300 миллиардов фотографий Pokémon Go учат роботов-доставщиков ориентироваться

Автор: Уилл Дуглас Хевен

Перевод: 深潮 TechFlow

深潮导读： Niantic превращает 300 миллиардов городских фотографий, сделанных игроками Pokémon Go, в новый бизнес. Его дочерняя компания по искусственному интеллекту Niantic Spatial использует эти данные для обучения системы визуального позиционирования, достигающей сантиметровой точности, значительно превосходящей GPS в городских условиях. Первым крупным клиентом стал робот по доставке еды Coco Robotics. От ловли Пикачу до доставки пиццы — это один из самых неожиданных путей коммерциализации краудсорсинговых данных.

全文如下：

Pokémon Go — первая в мире феноменальная AR-игра. Вышедшая в 2016 году компанией Niantic, дочерней структурой Google, эта игра, основанная на IP Pokémon и дополненная технологиями дополненной реальности, быстро завоевала весь мир. От Чикаго до Осло и Джин-джи-джи-джи, игроки выходили на улицы, чтобы поймать Пикачу, Джинни-Гема или (если повезет) редкого Галлерского молниеносного птица — они парили в реальном мире, чуть не доставая.

Проще говоря, миллионы людей держали смартфоны и фотографировали огромное количество зданий. «Пять сотен миллионов человек установили это приложение за 60 дней», — говорит CTO Niantic Spatial Брайан МакКлендон. Niantic Spatial — это AI-компания, выделенная из Niantic в мае прошлого года. По данным игровой компании Scopely (которая в то же время приобрела Pokémon Go у Niantic), в 2024 году в игре остаётся более 100 миллионов активных игроков, прошло уже 8 лет с момента запуска.

Сейчас Niantic Spatial использует этот уникальный краудсорсинговый массив данных — фотографии городских достопримечательностей, сделанные сотнями миллионов смартфонов игроков по всему миру, с очень точными метками местоположения — для создания модели мира (World Model). Это современное направление технологий, цель которого — закрепить интеллект больших языковых моделей (LLM) в реальной окружающей среде.

Самый последний продукт компании — модель: достаточно нескольких снимков здания или другого объекта, чтобы определить ваше местоположение на карте с точностью до нескольких сантиметров. Они хотят использовать её для помощи роботам в более точной навигации в местах с ненадёжным GPS.

В качестве первого крупномасштабного теста технологии Niantic Spatial недавно заключила партнёрство с Coco Robotics. Coco — стартап, развертывающий роботов для доставки на последнем километре в нескольких городах США и Европы. «Все считают, что AR — будущее, и скоро появятся AR-очки», — говорит МакКлендон, «но первым стали роботы».

От Пикачу до доставки пиццы

Coco Robotics разместила около 1000 роботов размером с чемодан в Лос-Анджелесе, Чикаго, Джерси-Сити, Майами и Хельсинки. Эти роботы могут перевозить до 8 больших пицц или 4 мешка продуктов. По словам CEO Зэка Раша, за всё время они выполнили более 500 тысяч доставок, проехав миллионы миль в различных погодных условиях.

Но чтобы конкурировать с людьми-курьерами, роботы Coco (движущиеся по тротуарам со скоростью около 5 миль в час) должны быть достаточно надёжными. «Наш лучший подход — это своевременно доставлять заказ», — говорит Раш. А это значит — не заблудиться.

Проблема Coco — невозможность полагаться на GPS. В городах радиосигналы отражаются от зданий и мешают друг другу, сигнал GPS слаб. «Мы делаем доставки в густых районах с высотными зданиями, подземными переходами и мостами, где GPS практически не работает», — объясняет Раш.

«Городские каньоны — худшее место для GPS в мире», — говорит МакКлендон. «На экране телефона голубая точка часто смещается на 50 метров, и ты оказываешься в другом квартале, в другом направлении, на другой стороне улицы». Вот с этим и борется Niantic Spatial.

За последние годы Niantic Spatial обрабатывает данные, полученные от игроков Pokémon Go и Ingress (ещё одной AR-игры Niantic, выпущенной в 2013 году), создавая систему визуального позиционирования — по тому, что ты видишь, определять, где ты находишься. «Пусть Пикачу бегает по улицам, а роботы Coco безопасно и точно проходят по городу — по сути, одна и та же задача», — говорит CEO Niantic Spatial Джон Хэнке.

«Визуальное позиционирование — не новая технология», — говорит Конрад Вензель из компании ESRI, специализирующейся на цифровых картах и геопространственном анализе. «Но очевидно, чем больше камер снаружи, тем лучше оно работает».

Niantic Spatial обучила модель на 30 миллиардах изображений городских сред. Эти изображения особенно концентрированы вокруг «горячих точек» — важных мест, привлекающих игроков в Pokémon Go, например, арены для боёв. «У нас есть более миллиона точек по всему миру, где мы можем точно определить ваше местоположение», — говорит МакКлендон. «Мы знаем, где вы стоите, с точностью до нескольких сантиметров. И важнее всего — мы знаем, куда вы смотрите».

Результат — для каждого из этих миллиона мест у Niantic Spatial есть тысячи фотографий, сделанных с разных ракурсов, в разное время и при разной погоде. Каждая фотография содержит подробные метаданные: точное положение смартфона в пространстве, направление, ориентацию, движение или его отсутствие, скорость и направление.

Компания использует эти данные для обучения модели, которая по тому, что видит, точно определяет своё местоположение — даже в тех местах, где данных мало или их совсем нет.

Помимо GPS, роботы Coco (оснащённые четырьмя камерами) используют эту модель для определения своего положения и маршрута. Камеры расположены на бедрах робота и смотрят во все стороны, с немного иным углом обзора, чем у игроков Pokémon Go, но Раш говорит, что адаптация данных не сложна.

Конкуренты тоже используют системы визуального позиционирования. Например, стартап Starship Technologies, основанный в Эстонии в 2014 году, заявляет, что его роботы создают 3D-карты окружающей среды с помощью сенсоров, отмечая границы зданий и расположение уличных фонарей.

Но Раш уверен, что технология Niantic Spatial даст Coco преимущество. Он считает, что это поможет роботу точно остановиться у ресторана, не мешая прохожим, и припарковаться прямо у двери клиента, а не в нескольких метрах.

Краховский прорыв роботов

Когда Niantic Spatial начала разрабатывать систему визуального позиционирования, её цель была — использовать её в AR, говорит Хэнке. «Если вы носите AR-очки и хотите, чтобы виртуальный мир был закреплён в том направлении, которое вы смотрите, нужна какая-то технология для этого. Но сейчас мы наблюдаем бум в области роботов».

Некоторые роботы должны взаимодействовать с людьми, например, на стройках или тротуарах. «Чтобы роботы могли беспрепятственно интегрироваться в эти среды, им нужно иметь схожие с человеком навыки понимания пространства», — говорит Хэнке. «Когда роботы сталкиваются или толкают, мы можем помочь им точно определить, где они находятся».

Партнёрство с Coco Robotics — лишь начало. Хэнке говорит, что Niantic Spatial строит так называемую «живую карту» (Living Map) — компонент высокоточной виртуальной модели мира, которая меняется вместе с реальностью. По мере движения роботов Coco и других компаний по всему миру, они будут предоставлять новые данные для карт, делая цифровую копию мира всё более детальной.

По мнению Хэнке и МакКлендона, карты становятся не только более точными, но и всё больше предназначены для машин. Это меняет их назначение. В течение долгого времени карты помогали людям ориентироваться. От 2D до 3D и далее — до 4D (например, цифровых двойников в реальном времени) — принцип остаётся тем же: точки на карте соответствуют точкам в пространстве или времени.

Но карты для машин должны стать скорее путеводителями, наполненными информацией, которую человек считает очевидной. Niantic Spatial и компании вроде ESRI хотят добавлять к картам описания, чтобы показывать машинам, что они видят, и отмечать свойства каждого объекта. «Задача этого времени — создавать для машин полезное описание мира», — говорит Хэнке. «Данные, которыми мы обладаем, — отличный старт для понимания того, как устроены связи и организации в мире».

Сегодня модели мира очень популярны, и Niantic Spatial это хорошо понимает. Большие языковые модели вроде LLM кажутся всезнающими, но при взаимодействии с реальной средой у них почти нет здравого смысла. Модели мира призваны решить эту проблему. Некоторые компании, такие как Google DeepMind и World Labs, разрабатывают модели, способные мгновенно создавать виртуальные фантазии, которые используют как тренировочные площадки для AI-агентов.

Niantic Spatial говорит, что они подходят к задаче с разных сторон. Сделав карту настолько детальной, что она сможет захватить всё, — говорит МакКлендон, — «мы ещё не достигли этого, но к этому идём. Сейчас я сосредоточен на попытках воссоздать реальный мир».