xAI відкриває API для аудіо Grok STT та TTS, загальна помилка розпізнавання слів у STT знижена до 6.9%

robot
Генерація анотацій у процесі
ME News Новини, 18 квітня (UTC+8), згідно з моніторингом Дангча Beating, xAI запустила два окремі API для аудіо: Grok Speech to Text та Grok Text to Speech. Обидва належать одній аудіо-стеку, яка підтримує Grok Voice, автомобільну систему Tesla та обслуговування Starlink, і тепер відкриті у вигляді окремих кінцевих точок, що дозволяє розробникам безпосередньо підключатися до голосових агентів, реального часу транскрипції, інструментів для людей з обмеженими можливостями та подкастів. STT пропонує два режими. REST API використовується для пакетної транскрипції великих аудіофайлів з миттєвою відповіддю; WebSocket API орієнтований на потокове мовлення у реальному часі. Додаткові можливості включають часові мітки на рівні слів, розділення мовців (діаризація), розпізнавання по кількох каналах та зворотню нормалізацію тексту, тобто автоматичне форматування чисел, дат, валют у стандартизований структурований текст. Мови підтримують понад 25, і можна безперервно перемикатися між ними у діалогах. xAI також опублікувала порівняльні дані щодо рівня помилок у словах (WER, чим нижче, тим краще): у цілому сценарії Grok 6.9%, ElevenLabs 9.0%, Deepgram 11.0%, AssemblyAI 12.9%; різниця у «розпізнаванні сутностей телефонних дзвінків» ще більша, Grok 5.0%, відповідно трьом іншим — 12.0%, 13.5%, 21.3%. У популярних сценаріях, таких як конференції, відеоподкасти та телефонні дзвінки, Grok також має невелике перевагу. Ці дані були опубліковані xAI на основі власних тестів, без сторонньої перевірки. Щодо цін, то для пакетної обробки STT — 0.10 долара США за годину, для потокової — 0.20 долара за годину; TTS коштує 4.20 долара за 1 мільйон символів. TTS підтримує використання внутрішніх тегів Speech для керування емоціями та ритмікою, наприклад \[laugh\], \[sigh\], \[whisper\], \ (джерело: BlockBeats)
Переглянути оригінал
Ця сторінка може містити контент третіх осіб, який надається виключно в інформаційних цілях (не в якості запевнень/гарантій) і не повинен розглядатися як схвалення його поглядів компанією Gate, а також як фінансова або професійна консультація. Див. Застереження для отримання детальної інформації.
  • Нагородити
  • 6
  • Репост
  • Поділіться
Прокоментувати
Додати коментар
Додати коментар
GovernanceVotingTug-Of-WarKing
· 2год тому
25+ мовних покриттів цілком достатньо, але якість малих мов викликає сумніви — доведеться спробувати, щоб переконатися
Переглянути оригіналвідповісти на0
ViewingBullAndBearMarketsFromA
· 2год тому
WebSocket реальна затримка потоку в мілісекундах не вказана, дуже важливо для сценаріїв прямого ефіру
Переглянути оригіналвідповісти на0
BorrowedHalo
· 2год тому
Чи зможе майбутній AI-подкаст розпізнавати сарказм, враховуючи вбудовані емоційні мітки?
Переглянути оригіналвідповісти на0
PuddingMarketMaker
· 2год тому
Обслуговування клієнтів Starlink вже запроваджено, підтверджено закриту екосистему Маска
Переглянути оригіналвідповісти на0
GateUser-83c80dd0
· 2год тому
Тайм-коди на рівні слів + розділення мовця, радість для монтажу подкастів
Переглянути оригіналвідповісти на0
TideEarningsTable
· 2год тому
4.2 мільйонів доларів за символ, дешевше чи дорожче за ElevenLabs? Хтось рахував?
Переглянути оригіналвідповісти на0
  • Закріплено