Les 30 milliards de photos de Pokémon Go sont en train d'apprendre aux robots de livraison à se repérer

Auteur : Will Douglas Heaven

Traducteur : 深潮 TechFlow

深潮导读： Niantic transforme les 3 milliards de photos urbaines prises par les joueurs de Pokémon Go en une nouvelle activité. Sa filiale d’IA, Niantic Spatial, utilise ces données pour entraîner un système de localisation visuelle capable d’atteindre une précision au centimètre près, bien supérieure à celle du GPS en milieu urbain. Son premier grand client est la société de robots de livraison Coco Robotics. Passer de capturer Pikachu à livrer des pizzas, c’est peut-être l’une des voies de commercialisation de données crowdsourcées les plus inattendues.

全文如下：

Pokémon Go est le premier jeu AR phénomène mondial. Lancé en 2016 par la filiale de Google, Niantic, ce jeu basé sur l’univers Pokémon avec des éléments de réalité augmentée a rapidement conquis le monde entier. De Chicago à Oslo en passant par Enoshima, les joueurs envahissent les rues, espérant attraper un Togepi, une Tortank ou (si la chance est de leur côté) un Zapdos de Galar — flottant au-dessus du monde réel, à portée de main.

En résumé, cela signifie que des millions de personnes prennent leur téléphone pour photographier d’innombrables bâtiments. « Cinq cents millions de personnes ont installé cette application en 60 jours », explique Brian McClendon, CTO de Niantic Spatial. Niantic Spatial est la filiale d’IA créée en mai dernier par Niantic. Selon les données de Scopely (qui a acquis Pokémon Go en même temps que la scission), le jeu comptait encore plus de 100 millions de joueurs actifs en 2024, huit ans après sa sortie.

Aujourd’hui, Niantic Spatial exploite cette mine de données crowdsourcées — des milliards de photos de points de repère urbains prises par des joueurs du monde entier, avec des localisations ultra-précises — pour construire un modèle du monde (World Model). C’est une tendance technologique en vogue, visant à ancrer l’intelligence des grands modèles de langage (LLM) dans l’environnement réel.

Le dernier produit de la société est un modèle : avec seulement quelques photos d’un bâtiment ou d’un autre point de repère, il peut localiser votre position sur une carte avec une précision de quelques centimètres. Leur objectif est d’aider les robots à naviguer plus précisément dans des zones où le GPS est peu fiable.

Pour la première validation à grande échelle, Niantic Spatial a récemment conclu un partenariat avec Coco Robotics. Coco est une startup déployant des robots de livraison du dernier kilomètre dans plusieurs villes américaines et européennes. « Tout le monde pense que la réalité augmentée est l’avenir, que les lunettes AR vont arriver », explique McClendon, « mais ce sont les robots qui ont d’abord conquis les utilisateurs. »

De Pikachu à la livraison de pizzas

Coco Robotics a déployé environ 1000 robots, de la taille d’une valise, à Los Angeles, Chicago, Jersey City, Miami et Helsinki, capables de transporter jusqu’à 8 grandes pizzas ou 4 sacs de courses. Selon Zach Rash, PDG de Coco, ces robots ont effectué plus de 500 000 livraisons à ce jour, parcourant des millions de miles dans toutes sortes de conditions météorologiques.

Mais pour rivaliser avec les humains, les robots de Coco (se déplaçant à environ 8 km/h sur le trottoir) doivent être suffisamment fiables. « Notre meilleure méthode consiste à arriver à l’heure prévue », explique Rash. Ce qui implique de ne pas se perdre.

Le problème de Coco est qu’il ne peut pas compter sur le GPS. En ville, les signaux radio rebondissent entre les bâtiments, s’interfèrent, et le signal GPS devient faible. « Nous faisons des livraisons dans des zones densément construites avec de hauts immeubles, des passages souterrains et des ponts, où le GPS ne fonctionne quasiment jamais », indique Rash.

« La vallée urbaine est l’endroit où le GPS fonctionne le moins bien dans le monde », ajoute McClendon. « Sur votre téléphone, le point bleu dérive souvent de 50 mètres, vous plaçant dans un autre quartier, dans une autre direction, de l’autre côté de la rue. » C’est le problème que veut résoudre Niantic Spatial.

Ces dernières années, Niantic Spatial a exploité les données générées par Pokémon Go et Ingress (le précédent jeu AR de Niantic, lancé en 2013) pour construire un système de localisation visuelle — en utilisant ce que vous voyez pour déterminer où vous êtes. « Faire courir Pikachu dans la rue en réalité, et faire traverser en toute sécurité le robot de Coco, c’est essentiellement la même problématique », explique John Hanke, CEO de Niantic Spatial.

« La localisation visuelle n’est pas une technologie nouvelle », souligne Konrad Wenzel, de la société de cartographie numérique et d’analyse géospatiale ESRI. « Mais il est évident que plus il y a de caméras à l’extérieur, plus cela devient efficace. »

Niantic Spatial a entraîné son modèle avec 30 milliards d’images capturées en milieu urbain. Ces images sont particulièrement concentrées autour de « hotspots » — des lieux importants dans le jeu, comme les arènes de combat Pokémon. « Nous avons plus d’un million de lieux dans le monde où nous pouvons localiser précisément votre position », explique McClendon. « Nous savons où vous êtes, avec une précision de quelques centimètres. Et surtout, nous savons dans quelle direction vous regardez. »

Le résultat : pour chacun de ces 1 million de lieux, Niantic Spatial possède des milliers de photos prises à peu près au même endroit, sous différents angles, à différents moments, dans différentes conditions météorologiques. Chaque photo est accompagnée de métadonnées détaillées : position spatiale précise du téléphone, orientation, attitude, si l’appareil est en mouvement, vitesse, direction, etc.

L’entreprise utilise cet ensemble de données pour entraîner un modèle capable de prédire avec précision sa position en « voyant » ce qu’il voit — même dans des zones où ces 100 000 hotspots sont rares, où les images et les données de localisation sont peu nombreuses.

En plus du GPS, les robots de Coco (équipés de 4 caméras) utilisent désormais ce modèle pour déterminer leur position et leur destination. Les caméras sont placées à hauteur de la hanche, orientées dans toutes les directions, avec un champ de vision différent de celui des joueurs de Pokémon Go, mais Rash affirme que l’adaptation des données n’est pas compliquée.

Les concurrents utilisent aussi la localisation visuelle. Par exemple, Starship Technologies, une société de livraison de robots fondée en 2014 en Estonie, indique que ses robots construisent une carte 3D de leur environnement à l’aide de capteurs, en marquant les bords des bâtiments et la position des lampadaires.

Mais Rash mise sur le fait que la technologie de Niantic Spatial peut donner à Coco un avantage. Il pense que cela permettra aux robots de s’arrêter précisément devant le restaurant pour récupérer la commande, sans bloquer le passage, et de se garer devant la porte du client plutôt qu’à quelques mètres, ce qui arrivait souvent auparavant.

L’explosion des robots

Lorsque Niantic Spatial a commencé à développer la localisation visuelle, l’objectif était de l’utiliser pour la réalité augmentée, explique Hanke. « Si vous portez des lunettes AR, vous souhaitez que le monde virtuel s’aligne avec votre regard, ce qui nécessite une certaine méthode pour y parvenir. Mais aujourd’hui, nous assistons à une explosion dans le domaine des robots. »

Certains robots doivent partager l’espace avec des humains, comme sur les chantiers ou sur les trottoirs. « Si les robots doivent s’intégrer dans ces environnements sans déranger les humains, ils doivent avoir une compréhension spatiale comparable à celle des humains », explique Hanke. « Quand un robot est poussé ou heurté, nous devons pouvoir le faire retrouver sa position exacte. »

La collaboration avec Coco Robotics n’est qu’un début. Hanke indique que Niantic Spatial construit ce qu’il appelle une « carte vivante » (Living Map) : une simulation virtuelle ultra-précise du monde réel, évoluant avec lui. À mesure que Coco et d’autres robots circulent dans le monde, ils fourniront de nouvelles sources de données cartographiques, rendant la copie numérique du monde de plus en plus détaillée.

Selon Hanke et McClendon, la cartographie ne devient pas seulement plus précise, mais aussi de plus en plus utilisée par des machines. Cela modifie la finalité de la cartographie. Depuis longtemps, les cartes aident l’humain à se repérer. En passant du 2D au 3D, puis au 4D (comme dans la modélisation en temps réel de jumeaux numériques), le principe fondamental reste le même : chaque point sur la carte correspond à un point dans l’espace ou dans le temps.

Mais pour les machines, la cartographie doit ressembler davantage à un guide, rempli d’informations que l’humain considère comme évidentes. Niantic Spatial et des sociétés comme ESRI veulent doter la carte de descriptions, pour indiquer à la machine ce qu’elle voit réellement, avec une annotation de chaque objet par une série d’attributs. « La tâche de cette époque est de construire une description utile du monde pour les machines », explique Hanke. « Les données que nous possédons sont un excellent point de départ pour comprendre comment le monde s’organise et se connecte. »

Aujourd’hui, le modèle du monde est très en vogue, et Niantic Spatial en est conscient. Les grands modèles de langage (LLM) semblent tout comprendre, mais manquent de bon sens dans l’interprétation et l’interaction avec l’environnement quotidien. Le modèle du monde doit résoudre ce problème. Certaines entreprises, comme Google DeepMind et World Labs, développent des modèles capables de générer instantanément des mondes virtuels imaginaires, puis de les utiliser comme terrains d’entraînement pour des IA.

Niantic Spatial affirme aborder cette problématique sous différents angles. En rendant la cartographie suffisamment précise, on finira par tout capturer, explique McClendon : « Nous n’en sommes pas encore là, mais nous y travaillons. Je suis actuellement très concentré sur la reconstruction du monde réel. »