У нещодавньому блозі Nvidia йдеться, що GPU Blackwell коштують майже вдвічі дорожче за годину порівняно з поколінням Hopper, але забезпечують у 35 разів нижчі витрати на інференс на токен. Як тестову модель використали DeepSeek-R1: оренда Blackwell (GB300 NVL72) становить $2,65 за GPU на годину проти $1,41 для Hopper, однак пропускна здатність одного GPU зростає з 90 до 6 000 токенів за секунду. Такий приріст пропускної здатності у 65 разів знижує витрати на мільйон токенів з $4,20 до $0,12.
Показник $0,12 передбачає повну оптимізацію програмного забезпечення, включно з інференсом у низькій точності FP4 та багатотокенним прогнозуванням (MTP). Якщо MTP не ввімкнено, витрати на мільйон токенів досягають приблизно $2,35, а з увімкненим MTP падають до $0,11, демонструючи, що лише ця функція дає ефект оптимізації у 21 раз.
Застереження: Інформація на цій сторінці може походити від третіх осіб і не відображає погляди або думки Gate. Вміст, що відображається на цій сторінці, є лише довідковим і не є фінансовою, інвестиційною або юридичною порадою. Gate не гарантує точність або повноту інформації і не несе відповідальності за будь-які збитки, що виникли в результаті використання цієї інформації. Інвестиції у віртуальні активи пов'язані з високим ризиком і піддаються значній ціновій волатильності. Ви можете втратити весь вкладений капітал. Будь ласка, повністю усвідомлюйте відповідні ризики та приймайте обережні рішення, виходячи з вашого фінансового становища та толерантності до ризику. Для отримання детальної інформації, будь ласка, зверніться до
Застереження.
Пов'язані статті
Генеральний директор Google DeepMind прогнозує, що AGI з’явиться до 2030 року, і компаніям дадуть чотири роки на підготовку
У відеосеріалі Sequoia Capital із участю Деніса Хассабіса генеральний директор Google DeepMind прогнозує, що штучний загальний інтелект (AGI) з’явиться до 2030 року. Хассабіс, лауреат Нобелівської премії з хімії 2024 року, розглядає ці строки як жорстку бізнес-реальність, яка змушує лідерів переосмислити продукт de
GateNews2хв. тому
OpenAI працюватиме як компанія з постійно низькою прибутковістю та підписує угоду про електропостачання на 20 років
За даними Odaily, генеральний директор OpenAI Сем Альтман заявив на Stripe Sessions, що OpenAI прагне стати компанією інфраструктури з постійно низькою маржинальністю, але водночас масивною та такою, що швидко зростає, пропонуючи продукти, подібні до «інтелектуального лічильника», який користувачі можуть придбати, щоб автоматизувати бізнес-операції, або вбудувати в
GateNews3хв. тому
Forefront Tech завершує $100M -ціну IPO, щоб вийти на Nasdaq
Згідно з ChainCatcher, Forefront Tech Holdings Acquisition Corp завершила цінування IPO на суму 100 мільйонів доларів 30 квітня, щоб розміститися на Nasdaq під тикером FTHAU. Кошти буде використано для вивчення можливостей злиття та поглинання в блокчейні, штучному інтелекті, фінтеху та інших
GateNews40хв. тому
Колишній топменеджер Meta залучає кошти для AI-стартапу Flourish із оцінкою $2,5 мільярда
За даними Bloomberg, Томас Редардон, колишній виконавчий директор Meta, який керував роботою над Meta Neural Band, збирає кошти для Flourish — нового AI-стартапу, що фокусується на системах low-power AI. Lux Capital і Google Ventures погодилися стати ключовими інвесторами, а вже були внесені зобов’язання на суму $500 мільйонів за оцінкою $2,5
GateNews42хв. тому
OpenAI відстежує «ґоблінську» проблему до винагородного сигналу нердьової особистості та спостерігає сплеск згадок «ґобліна» на 175% у GPT-5,1
За даними OpenAI, компанія визначила першопричину проблеми «гоблін», яка переслідувала моделі GPT починаючи з GPT-5.1. Сигнал винагороди, який використовували для підсилення риси «Nerdy», заохочував результати з посиланнями на фантастичних істот, причому 76,2% навчального набору даних демонстрували
GateNews1год тому
Parallel Web Systems залучає $100M раунд B на оцінку в $2B , який очолює Sequoia
За даними TechCrunch, Parallel Web Systems — стартап у сфері ШІ, заснований колишнім CEO Twitter Парагом Агарвалом — залучив $100 мільйонів у раунді серії B, який очолила Sequoia, оцінивши компанію в $2 мільярда. Раунд збільшує загальне фінансування компанії до $230 мільйонів — через п’ять місяців після її раунду серії A на $100 мільйонів. Parallel
GateNews2год тому
