300 мільярдів фотографій Pokémon Go навчають роботів доставки орієнтуватися

Автор: Вілл Дуглас Хевен

Переклад: Глибока Течія TechFlow

Глибока Течія: Niantic перетворила 300 мільярдів міських фотографій, зроблених гравцями Pokémon Go, у новий бізнес. Її AI-дочка Niantic Spatial використала ці дані для тренування системи візуального позиціонування, здатної до сантиметрової точності, що значно перевищує можливості GPS у міських каньйонах. Першим великим клієнтом стала компанія з доставки роботів Coco Robotics. Від ловлі Пікачу до доставки піци — це один із найнеочікуваніших шляхів комерціалізації краудсорсингових даних.

Повний текст нижче:

Pokémon Go — це перша у світі феноменальна AR-гра. Випущена у 2016 році дочірньою компанією Google Niantic, ця гра, побудована на IP Pokémon з додаванням доповненої реальності, швидко стала глобальним явищем. Від Чикаго до Осло і Джіоніма, гравці виходили на вулиці, щоб зловити Ватту, Дженніку або (якщо пощастить) надрідкісного Галарського блискавичного птаха — вони парили у реальному світі, майже торкаючись їх.

Простими словами, це означає, що мільйони людей тримають у руках телефони і фотографують безліч будівель. «П’ять мільярдів людей за 60 днів встановили цю додаток», — каже CTO Niantic Spatial Браян МакКліндон. Niantic Spatial — це AI-компанія, яка була виділена з Niantic у травні минулого року. За даними ігрової компанії Scopely (яка одночасно купила Pokémon Go у Niantic), у 2024 році у цій грі ще понад 100 мільйонів активних гравців, і з моменту запуску минуло вже 8 років.

Зараз Niantic Spatial використовує цей безпрецедентний краудсорсинговий скарб — міські фотографії з сотень мільйонів телефонів гравців Pokémon Go із точними геолокаційними даними — для створення моделі світу (World Model). Це сучасний тренд технологій, мета якого — закріпити інтелект LLM у реальному світі.

Найновіший продукт компанії — модель, яка за кілька знімків будівлі або іншого орієнтира може визначити ваше місцезнаходження з точністю до кількох сантиметрів. Вони прагнуть використати її для допомоги роботам у навігації в місцях із поганим GPS.

Як перший масштабний тест технології, Niantic Spatial уклала партнерство з Coco Robotics. Це стартап із розгортанням роботів для доставки останнього кілометра у кількох містах США та Європи. «Усі вважають, що AR — це майбутнє, і вже скоро з’являться AR-окуляри», — каже МакКліндон, «але перші стали користувачами роботи».

Від Пікачу до доставки піци

Coco Robotics розгорнула близько 1000 роботів у Лос-Анджелесі, Чикаго, Джерсі-Сіті, Маямі та Гельсінкі. Вони — розміром із валізу і можуть вмістити до 8 великих піц або 4 пакети продуктів. За словами CEO Заха Раша, ці роботи вже виконали понад 500 тисяч доставок і проїхали мільйони миль у різних погодних умовах.

Щоб конкурувати з людськими кур’єрами, їхні роботи (які рухаються по тротуарах зі швидкістю близько 5 миль на годину) мають бути достатньо надійними. «Найкращий спосіб — це точно дістатися вчасно», — каже Раш. Це означає, що вони не повинні заблукати.

Проблема Coco — залежність від GPS. У місті радіосигнали відбиваються і заважають один одному, сигнал GPS слабкий. «Ми працюємо у щільних районах з високими будівлями, підземними переходами та мостами, де GPS майже не працює», — каже Раш.

«Міські каньйони — це місця, де GPS показує найгірші результати», — каже МакКліндон. «На телефоні ви бачите синю точку, яка часто коливається на 50 метрів, і вас може віднести на інший бік вулиці, в інший напрямок». Це те, що має вирішити Niantic Spatial.

За останні роки Niantic Spatial обробляла дані з Pokémon Go і Ingress (попередньої AR-гри Niantic 2013 року), створюючи систему візуального позиціонування — визначення місця за зображеннями. «Зробити Пікачу реальним, щоб він бігав по вулиці, і щоб Coco-роботи безпомилково проходили містом — це одна й та сама проблема», — каже CEO John Hanke.

«Візуальне позиціонування — не нова технологія», — каже Конрад Венцель із компанії ESRI, що займається цифровими картами та геопросторовим аналізом. «Але очевидно, що чим більше камер зовні, тим краще працює ця система».

Niantic Spatial використала 300 мільярдів знімків міського середовища для тренування моделі. Ці знімки особливо зосереджені навколо «гарячих точок» — важливих місць у іграх Niantic, таких як арени для бою Pokémon. «Ми маємо понад мільйон точок по всьому світу, щоб точно визначити ваше місцезнаходження», — каже МакКліндон. «Ми знаємо, де ви стоїте, з точністю до кількох сантиметрів. І важливо, що ми знаємо, в якому напрямку ви дивитеся».

Результат — для кожної з цих мільйонів точок Niantic Spatial має тисячі фотографій із різних ракурсів, у різний час і за різних погодних умов. Кожна фотографія містить детальні метадані: точне положення телефону у просторі, напрямок, позу, чи рухається він, швидкість і курс тощо.

Компанія тренує цю модель на основі даних, щоб вона могла визначати своє місцезнаходження за «баченими» об’єктами — і працювати навіть у місцях, де даних мало або їх немає.

Крім GPS, роботи Coco (з 4 камерами) тепер використовують цю модель для визначення, де вони знаходяться і куди мають іти. Камери розташовані на рівні стегна і дивляться у всі боки, з кутом огляду, що відрізняється від Pokémon Go. Але Раш каже, що адаптація даних не є складною.

Конкуренти також використовують системи візуального позиціонування. Наприклад, у 2014 році в Естонії заснувала компанія Starship Technologies, яка стверджує, що її роботи створюють 3D-карти навколишнього середовища за допомогою сенсорів, позначаючи краю будівель і ліхтарі.

Але Раш вірить, що технологія Niantic Spatial дасть Coco конкурентну перевагу. Це дозволить роботам точно зупинятися біля ресторанів для отримання їжі, не заважаючи людям, і ставати ближче до дверей клієнтів — замість того, щоб зупинятися за кілька метрів.

Краховий прорив робототехніки

Niantic Spatial почала створювати систему візуального позиціонування з метою застосування у AR, каже Ханке. «Якщо ви носите AR-окуляри і хочете, щоб віртуальний світ був прив’язаний до вашого погляду, потрібен якийсь спосіб це зробити. Але зараз ми спостерігаємо великий прорив у робототехніці».

Деякі роботи мають працювати у спільному просторі з людьми, наприклад, на будівельних майданчиках або тротуарах. «Щоб роботи могли безпечно інтегруватися у ці середовища, вони повинні мати здатність розуміти простір так само, як і люди», — каже Ханке. «Коли роботи штовхають або вони самі натикаються на перешкоди, ми можемо допомогти їм точно визначити своє місцезнаходження».

Партнерство з Coco Robotics — лише початок. Ханке каже, що Niantic Spatial створює перші компоненти так званої «живої карти» (Living Map): високоточну віртуальну модель світу, яка змінюється разом із реальністю. Зі зростанням кількості роботів Coco та інших компаній по всьому світу вони будуть постачати нові дані для удосконалення цієї карти.

На думку Ханке і МакКліндона, карти стають не лише більш деталізованими, а й дедалі більше використовуються машинами. Це змінює їхнє призначення. Зазвичай карти допомагали людям орієнтуватися у просторі. Від 2D до 3D і до 4D (наприклад, цифрові двійники у реальному часі) — основний принцип лишається незмінним: точки на карті відповідають точкам у просторі або часі.

Але карти для машин мають ставати схожими на гідів-путівників, наповненими інформацією, яку вважає за потрібне додати людина. Niantic Spatial і ESRI прагнуть додати до карт описові дані, щоб машина могла розпізнавати, що саме вона бачить, і позначати кожен об’єкт атрибутами. «Задача цього часу — створити корисний світовий опис для машин», — каже Ханке. «Дані, які ми маємо, — це гарна база для розуміння того, як працює зв’язок у світі».

Зараз світова модель дуже популярна, і Niantic Spatial це добре розуміє. LLM здається, що вони все знають, але при цьому майже не мають здорового глузду у взаємодії з реальним світом. Саме для цього потрібна світова модель. Деякі компанії, наприклад Google DeepMind і World Labs, розробляють моделі, що здатні миттєво створювати віртуальні фантастичні світи для тренування AI-агентів.

Niantic Spatial каже, що підходить до цієї задачі з різних боків. Створюючи карти з максимальною деталізацією, можна зрозуміти все, — каже МакКліндон, — «Ми ще не досягли цього рівня, але прагнемо. Зараз я дуже зосереджений на тому, щоб спробувати відтворити реальний світ».