Обзоры Google AI дают ошибку 1 раз из 10, миллионы ошибок в час

Новое исследование Oumi, о котором сообщила The New York Times, показало, что Google AI Overviews неточны в 9% случаев — то есть на масштабе Google это превращается в десятки миллионов неверных ответов в час. Более половины точных ответов также ссылались на источники, которые не полностью подтверждают их утверждения, при этом Google назвал исследование «серьезно ошибочным».

Что именно означают цифры на масштабе Google

Oumi проанализировала 4,326 поисковых запросов, на которые отвечали Gemini 2 в октябре и Gemini 3 в феврале, обнаружив, что точность Gemini 2 составила 85%, а у Gemini 3 она улучшилась до 91%. По отдельности это являются убедительными числами для системы генеративного ИИ.

Проблема в масштабе. При заявленной Google скорости — 5 триллионов+ поисков в год — математика рисует тревожную картину:

· ~14 миллионов неточных ИИ-ответов генерируется каждый час

· ~230,000 неправильных ответов доставляется каждую минуту

· ~4,000 ошибок производится каждую секунду на пике использования

Аргумент о масштабе переосмысляет весь спор об точности: даже небольшая доля ошибок, если применить ее к системе, используемой миллиардами людей, в абсолютных величинах превращается в проблему масштабной дезинформации.

Проблема «привязки»: ссылки, которые не выдерживают проверки

Помимо исходных цифр по точности, Oumi выявила отдельную — и, возможно, более тревожную — проблему: «grounding», то есть подтверждают ли источники, на которые ссылаются в AI Overviews, те утверждения, которые в них делаются. Результаты показывают: Gemini 3, несмотря на то что она точнее, чем ее предшественница, заметно хуже в предоставлении действительно поддерживающих ссылок.

При Gemini 2 37% правильных ответов были «без привязки». Эта доля выросла до 56% при Gemini 3 — то есть большинство точных ответов по-прежнему ссылались на источники, которые не полностью поддерживают предоставленную информацию. Это создает проблему верификации: пользователи, которые переходят по ссылкам «чтобы подтвердить» ответ, могут обнаружить, что источник говорит нечто иное или неполное.

Анализ источников по 5,380 процитированным ссылкам также поднял опасения по поводу платформы. Facebook занял второе место среди источников в целом по цитируемости, а Reddit оказался на четвертом. Оба — социальные медиа-платформы, где распространен пользовательский, не верифицированный контент — появление на вершине результата поиска, синтезированного ИИ, придает им незаслуженный авторитет. Facebook цитировали в 5% точных ответов и в 7% неточных, что указывает на паттерн, за которым стоит следить.

Защита Google: вопросы к методологии и внутренние данные

Google не принял выводы исследования без возражений. Представитель Нед Адрианс (Ned Adriance) поставил под сомнение базовый дизайн анализа: Oumi оценивала точность AI Google, используя собственную модель ИИ, что вносит методологическую «цикличность» — если модель Oumi тоже может ошибаться, ее суждения о том, где именно ошибался Google, сами по себе могут быть ненадежными.

«В этом исследовании серьезные пробелы», — сказал Адрианс. «Оно не отражает то, что люди на самом деле ищут в Google».

Google также опубликовал собственные сравнительные данные. Компания заявила, что автономная Gemini 3 — работающая без дополнительного контекста, предоставляемого AI Overviews — была неточной в 28% случаев, что предполагает: система AI Overviews обеспечивает существенные улучшения точности по сравнению с «сырым» выводом модели. Компания сохраняет свой стандартный дисклеймер внизу всех AI Overviews: «ИИ может ошибаться, поэтому перепроверьте ответы».

FAQ

Что такое Google AI Overviews и когда они были представлены?

Google AI Overviews — это сгенерированные ИИ краткие обзоры, которые появляются в верхней части результатов поиска Google, синтезируя ответы на запросы пользователей и приводя цитаты поддерживающих источников в вебе. Работая на моделях Gemini от Google, функция была широко представлена в 2024 году и теперь появляется в миллиардах поисковых запросов по всему миру. Они отличаются от стандартных результатов поиска, поскольку генерируют текст, а не просто перечисляют ссылки.

Что означает «ungrounded» в этом контексте и почему это важно?

AI Overview считается «ungrounded» («без привязки»), когда сайты, на которые она ссылается, на самом деле не подтверждают и не полностью поддерживают информацию, представленную в кратком обзоре. Это проблематично, потому что пользователи, которые пытаются проверить утверждение, кликнув на указанном источник, могут обнаружить, что источник опровергает, частично поддерживает или вовсе не имеет отношения к заявлению ИИ — подрывая роль системы как надежного инструмента информации и усложняя независимую проверку.

Как пользователям следует подходить к AI Overviews с учетом этих вопросов точности?

Сам Google признает это ограничение своим встроенным дисклеймером о том, что ИИ может ошибаться. Для запросов с низкими ставками AI Overviews могут дать полезную отправную точку. Для решений по здоровью, праву, финансам или фактам пользователи должны самостоятельно проверять информацию через авторитетные первичные источники, а не полагаться только на синтезированные ИИ краткие обзоры. Рекомендуется проверять процитированные источники напрямую — а не принимать характеристику ИИ о них.