Автор: Moonshot
1947 року Алан Тьюрінг у своєму виступі зазначив: “Ми хочемо мати машину, яка може навчитися на основі досвіду”.
Через 78 років, нагороду Тьюрінга, відому як “Нобелівська премія у галузі обчислювальних наук”, було присуджено двом вченим, які присвятили своє життя вирішенню цієї проблеми Тьюрінга.
Андрю Барто (Andrew Barto) та Річард Саттон (Richard Sutton) отримали премію Тьюрінга 2024 року. Ці двоє митців є вчитель та учень, які розробили технології AlphaGo та ChatGPT, відомі як піонери в галузі машинного навчання.
Лауреат премії Тьюрінга Ендрю Барто (Andrew Barto) та Річард Саттон (Richard Sutton)
Джерело зображення: офіційний сайт премії Тьюрінга
Головний науковець Google Джефф Дін у своєму привітанні написав: “Технологія підсиленого навчання, яку створили Барто та Саттон, прямо відповідає на питання Тьюрінга. Їхній внесок є ключовим для прогресу штучного інтелекту протягом останніх десятиліть. Інструменти, які вони розробили, залишаються основою процвітання штучного інтелекту… Google є почесним спонсором премії ACM A.M. Тьюрінга.”
Єдиним спонсором премії Тьюрінга у розмірі 1000000 доларів США є Google.
А після отримання нагороди два вчені, що стояли під прожекторами, вказали на великі компанії AI, заявивши ЗМІ: «Зараз компанії зі штучного інтелекту отримують комерційну стимуляцію, а не зосереджуються на дослідженнях технологій, вони створюють «неперевірений міст, щоб люди могли перевірити,» у суспільстві.
Не випадково, останній раз премія Тьюрінга була вручена вченим у галузі штучного інтелекту на випуск 2018 року, Джошуа Бенджіо, Джеффрі Хінтон, Ян Лекун за їх внесок у глибинне навчання.
Лауреати премії Тьюрінга 2018 року
Джерело зображень: eurekalert
Зокрема, Джошуа Бенчіо та Джеффрі Хінтон (також лауреати Нобелівської премії з фізики 2024 року) - обидва «батьки штучного інтелекту», також активно закликають глобальне суспільство та наукову спільноту пильно стежити за зловживанням штучним інтелектом великими компаніями в останні два роки.
Джеффрі Сандтон також відбувся безпосередньо відмовився від Google, щоб “вільно висловлювати свої думки”, Сандтон, отримавши цю нагороду, також був науковцем у DeepMind у 2017-2023 роках.
Коли найвищі нагороди в галузі комп’ютерної індустрії знову й знову вручаються піонерам основних технологій штучного інтелекту, починає виявлятися цікавий явище:
Чому ці вчені-лідери завжди обертаються під прожектором, щоб вдарити в дзвіночок штучного інтелекту?
“будівельник мостів” штучного інтелекту
Якщо сказати, що Еллін Т’юрінг є провідною постаттю в галузі штучного інтелекту, то Ендрю Бато та Річард Саттон - це “будівничі мостів” на цьому шляху.
У часи стрімкого розвитку штучного інтелекту, після отримання похвали, вони переглядають свої побудовані мости, чи можуть вони забезпечити безпечний прохід для людей?
Можливо, відповідь саме прихована в їхній півстолітній науковій кар’єрі - лише повернення до того, як вони побудували “машинне навчання”, дозволить зрозуміти, чому вони обережні щодо “технологічного неконтролю”.
Джерело зображення: Університет Карнегі-Меллона
У 1950 році Еллен Т’юрінг у своїй відомій статті «Машини та інтелект» відразу поставив філософське та технічне питання:
“Чи може машина мислити?”
Таким чином, Тьюрінг розробив «імітаційну гру», яка відома як «Тест Тьюрінга» в наступних поколіннях.
У той же час Тьюрінг висловив думку, що штучний інтелект можна отримати шляхом навчання, а не лише покладаючись на попереднє програмування. Він уявив собі концепцію «Дитячої машини», тобто через тренування та досвід зробити так, щоб машина поступово навчалася, як дитина.
Основною метою штучного інтелекту є створення інтелектуального агента, який може сприймати та вживати кращі дії, а критерієм інтелекту є здатність агента визначити, що “дехто дії кращі за інші”.
Мета машинного навчання полягає в тому, щоб надавати машині відповідну зворотну дію після дій та дозволяти машині самостійно навчатися на досвіді зворотного зв’язку. Іншими словами, ідея Тьюрінга про метод машинного навчання на основі винагороди та покарання нічим не відрізняється від методу Павлова навчання собак.
Я стаю сильнішим, граючи в гру і програючи все більше, це також є одним видом «підсиленого навчання».
Джерело зображення: zequance.ai
Шлях машинного навчання, відкритий Тьюрінґом, тривав тридцять років, поки настав час відкрити міст між учителем і учнем - посилене навчання (Reinforcement Learning, RL).
У 1977 році Ендрю Барто, вдихновлений психологією та нейронауками, почав досліджувати нову теорію людського інтелекту: нейрони подібні до “гедоністів”, у мозку людини є мільярди нейронів, кожен з яких намагається максимізувати радість (нагороду) та мінімізувати біль (покарання). Більше того, нейрони не просто механічно отримують та передають сигнали, якщо діяльність певного нейрона призводить до позитивного зворотного зв’язку, він схильний повторювати цей шаблон, що спільно приводить до процесу навчання людини.
У 1980-х роках Бато взяв з собою свого докторанта Річарда Саттона, щоб застосувати теорію нейронів «постійно спробувати, виправити зворотний зв’язок, знайти оптимальну модель поведінки» на штучний інтелект, і саме тоді народився підсилююче навчання.
Книга “Підсилене навчання: Вступ” стала класичним підручником і була цитована майже 80000 разів
Джерело зображення: IEEE
Два учня використовували математичні основи процесу Пуассона, розробляючи і пишучи багато основних алгоритмів посиленого навчання, систематично побудовуючи теоретичну рамку посиленого навчання, а також написали підручник “Посилене навчання: вступ”, що дозволило десяткам тисяч дослідників увійти в галузь посиленого навчання, обидва можуть бути вважані батьками посиленого навчання.
Їхня мета вивчення підсиленого навчання полягає в пошуку найефективніших, найточніших та оптимальних заходів для максимізації винагороди у машинному навчанні.
Навчання з посиленням “Божественна рука”
Якщо машинне навчання - це ‘наповнення’ навчанням, то підсилений навчання - це ‘відгодівля’ навчанням.
Традиційне машинне навчання полягає в тому, що модель отримує велику кількість позначених даних, побудованих на фіксованому відображенні між входом і виходом. Найбільш класичний сценарій - показати комп’ютеру купу фотографій кішок і собак, сказати йому, яка картина є кішкою, а яка - собакою, якщо ви годуєте комп’ютер достатньо багато графіків, він зможе визначити котів і собак.
Підсилене навчання - це процес, при якому машина шляхом безперервних спроб і помилок та за допомогою системи нагород і покарань поступово коригує свою поведінку для оптимізації результатів у відсутність явних вказівок, схожий на те, як робот вчиться ходити: йому не потрібно, щоб людина постійно казала: «цей крок вірний, а той - ні»; він просто пробує, падає, коригується та врешті-решт навчається ходити, навіть розвиваючи власний унікальний стиль.
Очевидно, принципи підсиленого навчання більше нагадують людський інтелект, схоже на те, як кожен малюк вчиться ходити у падіннях, вивчає захоплення у пошуках, вловлює звукосполучення в болітанках, вчиться мові.
Потужне навчання з посиленням стоїть за вогняним «роботом-кікером».
Джерело зображення: Yushu Technology
Видатковий момент навчання з посиленням - це саме “Божественний хід” AlphaGo 2016 року. Тоді AlphaGo на 37-му ході підкинув білі камені, який вразив всіх людей, відвернув поразку одним ходом та переміг Лі Седола.
Топові майстри го та коментатори несподівано побачили, що AlphaGo робить цей хід, оскільки, за досвідом людей, цей хід був “незрозумілим”. Після гри Лі Седол також визнав, що він зовсім не розглядав такий хід.
AlphaGo не навчився грати “божественний хід” з відомих партій, а самостійно досліджуючи безліч самостійних ігор, помиляючись, розробляючи довгострокові стратегії та оптимізуючи тактику, він відкрив для себе це, що є сутністю підсиленого навчання.
Лі Сісі, якому ритм порушено “Божественною рукою” AlphaGo
Джерело зображення: AP
Підсилене навчання навіть впливає на інтелект людини, навіть змінюючи роль гравця, наприклад, після виявлення AlphaGo ‘божественного ходу’ гравці почали вивчати і досліджувати стратегію гри в Го з використанням штучного інтелекту. Вчені також використовують алгоритми та принципи підсилених навчань, щоб спробувати зрозуміти механізм навчання в людському мозку. Одним з досягнень дослідження Батто й Санто є створення обчислювальної моделі для пояснення ролі дофаміну в прийнятті рішень та навчанні в людини.
Крім того, підсилене навчання особливо добре впорається з складними правилами та змінними умовами, знаходячи оптимальні рішення, такі як гра у го, автоматичне керування автомобілем, керування роботами та розмови з людьми, що не зовсім зрозуміло.
Це є найсучасніші та найпопулярніші області застосування ШІ на сьогодні, особливо в галузі великих мовних моделей, майже всі провідні великі мовні моделі використовують метод навчання RLHF (підсилення навчання зі зворотним зв’язком від людини), тобто людина оцінює відповіді моделі, і модель вдосконалюється згідно з отриманим зворотним зв’язком.
Але саме це хвилює Бато: після того, як великі компанії побудували міст, вони випробовують безпеку мосту, вимагаючи від людей ходити туди-сюди по мосту.
“Без будь-яких заходів безпеки віддавати програмне забезпечення безпосередньо мільйонам користувачів - це не відповідальний підхід”, - сказав Бато у своєму інтерв’ю після отримання нагороди.
«Розвиток технологій мав би супроводжуватися контролем та уникненням потенційних негативних наслідків, але я не бачив, що ці компанії зі штучним інтелектом дійсно досягли цього». - додав він.
Штучний інтелект насправді турбується про що?
Теорія загроз штучним інтелектом не знає кінця, оскільки вчені найбільше бояться майбутнього, який вони створили своїми власними руками вийшов з-під контролю.
У «виступі з нагородою» Бато та Сандтону не було жорсткої критики поточних технологій штучного інтелекту, але було багато невдоволення компаніями зі штучним інтелектом.
Вони попереджають у своїх інтерв’ю, що наразі розвиток штучного інтелекту ґрунтується на тому, що великі компанії випускають потужні, але схильні до помилок моделі, що дозволяє їм залучити значні інвестиції, а потім витрачати десятки мільярдів доларів на гонку в озброєнні чіпів та даних.
Всі великі інвестиційні банки переглядають оцінку галузі штучного інтелекту
Джерело зображення: Голдман Сакс
На жаль, Deutsche Bank виявила, що сукупні інвестиції технологічних гігантів у галузі штучного інтелекту становлять приблизно 3400 мільярдів доларів, що вже перевищує щорічний ВВП Греції. Лідер галузі OpenAI оцінюється в 2600 мільярдів доларів і готується до нового раунду фінансування на суму 400 мільярдів доларів.
Насправді багато експертів з штучного інтелекту погоджуються з поглядами Бато та Сандера.
Раніше колишній високопосадовець Microsoft Стівен Сінофскі вже заявляв, що галузь штучного інтелекту опинилася в масштабній кризі, де технологічний прогрес обертається витратами, що не відповідає тенденції до поступового зниження вартості, а не зростання в історії технологічного розвитку.
Уже 7 березня колишній генеральний директор Google Ерік Шмідт, засновник Scale AI Алекс Ванг та директор Центру забезпечення безпеки штучного інтелекту Ден Гендрикс опублікували спільну попереджувальну статтю.
Три провідних фігури в галузі технологій вважають, що сьогоднішній стан справ у сфері передових технологій штучного інтелекту схожий на гонитву за ядерними зброями, що породила Проект Мангеттен; компанії в галузі штучного інтелекту проводять свій власний «проект Мангеттен» в таємниці, інвестиції у штучний інтелект збільшуються вдвічі щорічно в останні десять років, і якщо не втручатися з регулюванням, ШІ може стати найбільш нестабільною технологією після ядерної бомби.
“Стратегія суперінтелекту” та співавтор
Джерело зображення: nationalsecurity.ai
У 2019 році Йошуа Бенджіо, який отримав премію Тьюрінга за глибоке навчання, також попереджає у своєму блозі, що сьогоднішня галузь штучного інтелекту вартує десятки трильйонів доларів для капіталу, який гониться за ним, і має достатньо впливу для серйозного підриву поточного світового порядку.
Багато технічних фахівців вважають, що сучасна галузь штучного інтелекту відійшла від дослідження технологій, аналізу інтелекту та обережного ставлення до зловживання технологіями, перейшовши до моделі великого капіталу, яка вкладає гроші в купу мікросхем.
“Побудова великого центру обробки даних, збір коштів від користувачів і дозвіл їм використовувати не завжди безпечне програмне забезпечення - це не те, що я підтримую як мотивацію”, - сказав Бато у своєму інтерв’ю після отримання нагороди.
Автори першого міжнародного наукового звіту з питань безпеки передового штучного інтелекту, спільно написаного 75 експертами з 30 країн, зауважують, що “підходи до управління ризиками загального штучного інтелекту часто базуються на припущенні, що розробники штучного інтелекту та політики можуть правильно оцінювати можливості та потенційні наслідки AGI моделей та систем. Однак наукове розуміння внутрішньої роботи, можливостей та соціальних наслідків AGI насправді дуже обмежене.”
Довгий текст-попередження Йошуа Бен-Хіо
Джерело зображення: Yoshua Bengio
Не важко помітити, що сьогоднішня «Теорія загроз штучного інтелекту» вже звернула стрілку з технічних аспектів на великі компанії.
Експерти попереджають великі компанії: ви витрачаєте гроші, накопичуєте матеріали, закручуєте параметри, але ви дійсно розумієте продукт, який ви розробляєте? Це також походження метафори «будівництво мосту» Бато і Сандерса, оскільки технологія належить всьому людству, але капітал належить лише великим компаніям.
Зокрема, Бато і Сандтон завжди працювали в галузі дослідження: підсилене навчання. Його принципи більш придатні для інтелекту людини й мають характер “чорної скриньки”, особливо в глибокому підсиленим навчанні, коли модель поведінки AI стає складною та важкою для пояснення.
Це також стурбованість вчених-людей: допомагаючи та свідчачи про зростання штучного інтелекту, важко розшифрувати його наміри.
Лауреати премії Тьюрінга, які винайшли технології глибинного навчання та підсиленого навчання, не хвилюються щодо розвитку загального штучного інтелекту (AGI), але хвилюються про гонку озброєнь між великими компаніями, яка може викликати «інтелектуальний вибух» в галузі AGI, ненавмисно створивши СУІ (суперштучний інтелект), різниця між ними не лише в технічних питаннях, а й стосується майбутньої долі людської цивілізації.
ASI, який перевершує інтелект людини, здатен до самовдосконалення та має швидкість прийняття рішень та обсяг інформації, що далеко виходить за межі розуміння людини. Якщо ASI не буде ретельно спроектований та регульований, він може стати останнім, але найбеззахиснішим технологічним пунктом у історії людства.
У цей період ажіотажу навколо штучного інтелекту ці вчені, можливо, найбільше кваліфіковані для ‘зливання холодної води’. Адже п’ятдесят років тому, коли комп’ютер був ще великим чудовищем, вони вже розпочали дослідження в галузі штучного інтелекту, вони вплинули на сьогодення з минулого і мають позицію для сумніву у майбутньому.
Чи зустрінуться лідери штучного інтелекту з закінченням у стилі Опенгеймера?
Джерело зображення: The Economist
У інтерв’ю журналу ‘Економіст’ у лютому генеральний директор DeepMind та Anthropic висловився так:
Безсонні ночі через страх стати наступним О́лдгейтмером.
