Google AI Overviews se trompe 1 fois sur 10, des millions d’erreurs par heure

Une nouvelle étude d’Oumi, rapportée par The New York Times, a révélé que les AI Overviews de Google sont inexactes 9% du temps — ce qui se traduit, à l’échelle de Google, par des dizaines de millions de réponses erronées par heure. Plus de la moitié des réponses exactes citaient aussi des sources qui ne soutiennent pas pleinement leurs affirmations, tandis que Google a qualifié l’étude de « sérieusement défectueuse ».

Que signifient réellement les chiffres à l’échelle de Google

Oumi a analysé 4 326 recherches auxquelles Gemini 2 a répondu en octobre et Gemini 3 en février, en constatant que Gemini 2 atteignait 85% de précision, tandis que Gemini 3 s’améliorait jusqu’à 91%. Pris individuellement, ce sont des chiffres défendables pour un système d’IA générative.

Le défi, c’est le volume. À raison de 5 billions+ de recherches par an, selon le taux rapporté par Google, les calculs dressent un tableau préoccupant :

· ~14 millions de réponses d’IA inexactes générées chaque heure

· ~230 000 réponses incorrectes fournies chaque minute

· ~4 000 erreurs produites chaque seconde en pic d’utilisation

L’argument lié à l’échelle remet en perspective l’ensemble du débat sur la précision : même un faible taux d’erreur, appliqué à un système utilisé par des milliards de personnes, devient en termes absolus un problème majeur de désinformation.

Le problème de l’ancrage : des citations qui ne tiennent pas

Au-delà des chiffres bruts sur la précision, Oumi a identifié un problème distinct, et potentiellement encore plus préoccupant : l’« ancrage » — autrement dit, si les sources citées dans les AI Overviews soutiennent réellement les affirmations formulées. Les résultats montrent que Gemini 3, malgré une précision supérieure à celle de son prédécesseur, est nettement moins bon pour fournir des citations réellement étayantes.

Avec Gemini 2, 37% des réponses correctes n’étaient pas ancrées. Ce chiffre est monté à 56% avec Gemini 3 — ce qui signifie que la majorité des réponses exactes renvoyaient encore à des sources qui ne corroborent pas pleinement l’information fournie. Cela crée un problème de vérification : les utilisateurs qui cliquent pour « confirmer » une réponse peuvent découvrir que la source dit quelque chose de différent ou d’incomplet.

L’analyse des sources, portant sur 5 380 références citées, a également soulevé des inquiétudes concernant la plateforme. Facebook est arrivé en deuxième source la plus citée dans l’ensemble, tandis que Reddit s’est classé quatrième. Ce sont deux plateformes de médias sociaux où le contenu généré par les utilisateurs et non vérifié est très présent — les placer en haut d’un résultat de recherche synthétisé par une IA leur confère une autorité injustifiée. Facebook a été cité dans 5% des réponses exactes et 7% des réponses inexactes, suggérant un schéma qui mérite d’être surveillé.

La défense de Google : questions sur la méthodologie et données internes

Google n’a pas accepté les conclusions de l’étude sans riposte. Le porte-parole Ned Adriance a remis en question la conception fondamentale de l’analyse : Oumi a évalué la précision de l’IA de Google à l’aide de son propre modèle d’IA, ce qui introduit une circularité méthodologique — si le modèle d’Oumi peut aussi se tromper, ses jugements sur les erreurs de Google peuvent eux-mêmes être peu fiables.

« Cette étude présente de sérieuses lacunes », a déclaré Adriance. « Elle ne reflète pas ce que les gens recherchent réellement sur Google. »

Google a aussi publié ses propres données comparatives. La société a indiqué que Gemini 3 seul — fonctionnant sans le contexte supplémentaire fourni par les AI Overviews — était inexact 28% du temps, ce qui suggère que le système des AI Overviews apporte des améliorations de précision significatives par rapport à la simple sortie brute du modèle. La société maintient son avertissement standard en bas de toutes les AI Overviews : « L’IA peut se tromper, alors vérifiez deux fois les réponses. »

FAQ

Que sont les Google AI Overviews et quand ont-elles été introduites ?

Les Google AI Overviews sont des résumés générés par une IA qui apparaissent en haut des résultats de Google Search, en synthétisant des réponses aux questions des utilisateurs et en citant des sources web pertinentes. Propulsée par les modèles Gemini de Google, la fonctionnalité a été largement introduite en 2024 et apparaît désormais sur des milliards de recherches dans le monde. Elles se distinguent des résultats de recherche standard, car elles génèrent du texte plutôt que de simplement lister des liens.

Que signifie « non ancré » dans ce contexte, et pourquoi est-ce important ?

Une AI Overview est considérée comme « non ancrée » lorsque les sites qu’elle cite ne vérifient pas réellement ou ne soutiennent pas pleinement l’information présentée dans le résumé. C’est problématique parce que les utilisateurs qui essaient de vérifier une affirmation en cliquant sur la source citée peuvent constater que la source contredit, soutient partiellement, ou est entièrement sans rapport avec la déclaration faite par l’IA — ce qui affaiblit le rôle du système en tant qu’outil d’information fiable et rend la vérification indépendante plus difficile.

Comment les utilisateurs devraient-ils aborder les AI Overviews compte tenu de ces préoccupations sur la précision ?

Google lui-même reconnaît la limite avec son avertissement intégré selon lequel l’IA peut se tromper. Pour les requêtes à faible enjeu, les AI Overviews peuvent fournir un point de départ utile. Pour les décisions en matière de santé, de droit, de finance ou de faits, les utilisateurs devraient vérifier indépendamment les informations via des sources faisant autorité et primaires plutôt que de se fier uniquement à des résumés synthétisés par une IA. Il est conseillé de consulter directement les sources citées — plutôt que d’accepter la manière dont l’IA les caractérise.