Гірка релігія: священна війна, яку розгортає штучний інтелект навколо розширення закону

Спільнота штучного інтелекту опинилася в суперечці про її майбутнє та чи є достатньо масштабною, щоб створити вчення про Бога.

Написав: Маріо Габріеле

Компіляція: Блоковий єдиноріг

!

Священна війна штучного інтелекту

Я більше бажаю прожити своє життя, ніби немає Бога, і дізнатися про Його неіснування лише після смерті, ніж прожити життя, ніби є Бог, і дізнатися про Його існування лише після смерті. - Блез Паскаль

Релігія - це цікава річ. Можливо, через те, що вона є абсолютно неперевіреною в будь-якому напрямку, або можливо так, як моє улюблене прислів’я: «Ви не можете протистояти фактам почуттями».

Особливістю релігійної віри є те, що в процесі її зростання вона прискорюється з неймовірною швидкістю, так що практично неможливо сумніватися в існуванні Бога. Якщо ваші оточуючі все більше й більше вірять у це, як ви можете сумніватися в святому існуванні? Коли світ переплітається навколо нового догми, де ще є місце для відступників? Коли храми та собори, закони та норми упорядковуються за новим, незмінним Євангелієм, де ще є простір для опору?

Коли релігія Авраама вперше з’явилася і поширилася по всіх континентах, або коли буддизм розповсюдився з Індії по всій Азії, велика сила віри створила самопідтримуючийся цикл. З кожним новим прихильником і зі створенням складних теологічних систем і обрядів навколо цих вірувань, стає все складніше покластися на сумніви в цих основних припущеннях. У світі безкритичного спрямування стати відступником не легко. Величезні церкви, складні релігійні тексты і процвітання монастирів служать фізичними доказами священного існування.

Але історія релігії також навчає нас тому, наскільки легко руйнувати таку структуру. З поширенням християнства до Скандинавського півострова давні скандинавські вірування зруйнувалися всього за кілька поколінь. Релігійна система Стародавнього Єгипту тривала тисячоліття, але врешті-решт зникла, коли з’явилася нова, більш стійка віра та більші політичні структури. Навіть в межах однієї релігії ми бачимо драматичні події розколу - Реформація розірвала західне християнство, а Великий розкол призвів до розколу Східного та Західного Церков. Ці розколи зазвичай починаються з незначних розбіжностей у вченнях, а потім перетворюються на зовсім різні системи вірування.

Свита

Бог - це метафора, яка перевершує всі інтелектуальні рівні мислення. Так просто це. - Джозеф Кемпбелл

Просто кажучи, віра в Бога - це релігія. Можливо, створення Бога також нічим не відрізняється.

З моменту свого народження оптимістичні дослідники штучного інтелекту уявляли свою роботу як творіння бога - тобто створення Бога. Протягом останніх кількох років вибуховий розвиток великих мовних моделей (LLMs) подальше підтверджував віруючих у те, що ми йдемо священним шляхом.

Це також підтверджується блогом, написаним у 2019 році. Хоча люди поза галуззю штучного інтелекту дізналися про це лише недавно, “Гірка наука” канадського вченого з комп’ютерних наук Річарда Саттона стала все більш важливим текстом у спільноті, перетворившись з таємничих знань на нові, універсальні релігійні основи.

У 1 113 слів (кожна релігія потребує святого числа), Саттон підводить підсумки технічного спостереження: «Найбільша навчальна програма, яку можна взяти з 70-річних досліджень зі штучного інтелекту - використання універсальних методів обчислення, які є кінцево найбільш ефективними і мають величезну перевагу». Здобутки в моделях штучного інтелекту випливають з експоненційного зростання розрахункових ресурсів, що використовують закон Мура. У той же час Саттон зауважує, що багато робіт у галузі штучного інтелекту спрямовані на оптимізацію продуктивності за допомогою спеціальної техніки - збільшення людських знань або вузьких інструментів. Незважаючи на те, що ці оптимізації можуть допомогти в короткостроковій перспективі, на думку Саттона, вони нарешті відходять від часу та ресурсів, ніби налаштування крил або перебування в новому воску під час приходу великої хвилі.

Це те, що ми називаємо «гірким релігією». У ньому є тільки одне правило, яке спільнота зазвичай називає «правилом розширення»: обчислювальна потужність зростає експоненційно; все інше - це дурість.

Гіркий релігії розширюється від великих мовних моделей (LLMs) до світових моделей та швидко поширюється через незмінені храми біології, хімії та інкорпорованого інтелекту (робототехніка та автономні транспортні засоби).

Однак, з поширенням Сатона, визначення також почало змінюватися. Це є ознакою всіх активних і живих релігій - дискусій, розширень, коментарів. «Закон розширення» вже не означає лише розширення обчислень (Noah’s Ark - не просто корабель), він тепер вказує на різні методи покращення трансформаторів та обчислювальної продуктивності, включаючи кілька хитрощів.

!

Зараз класика охоплює спроби оптимізувати кожну частину стеку штучного інтелекту, від прийому прийомів, які застосовуються безпосередньо до основної моделі (об’єднання моделі, експертне злиття (MoE) та витяг знань), аж до вироблення синтетичних даних для живлення цих завжди голодних богів, пройшли також значні експерименти.

Релігійні фракції в конфлікті

Нещодавно в спільноті штучного інтелекту виникло питання з відтінком священної війни: чи все ще правильно говорити про “гірку релігію”.

!

Цього тижня Гарвардський університет, Стенфордський університет та Массачусетський технологічний інститут опублікували нову статтю під назвою «Закон про розширення точності», що спричинило цей конфлікт. У статті обговорюється кінцевий приріст ефективності квантової технології, яка є технологією, що поліпшує продуктивність моделей штучного інтелекту і має велике значення для екосистеми з відкритим джерелом. Дослідник наукового інституту штучного інтелекту Еллена, Тім Деттмерс, у своєму повідомленні визначив його важливість, назвавши його «найважливішою статтею протягом тривалого часу». Вона представляє продовження все більш гострої дискусії, яка нагрівається в останні тижні, і розкриває помітну тенденцію: зміцнення двох релігій.

!

Генеральний директор OpenAI Сем Ольтман і генеральний директор Anthropic Даріо Амодеї належать до одної секти. Обидва вони впевнено заявляють, що ми досягнемо загального штучного інтелекту (ЗШІ) протягом наступних приблизно 2-3 років. Ольтман і Амодеї можна назвати двома найбільшими прихильниками «гіркого релігійного» святині. Всі їхні стимули нахилені до надмірних обіцянок, створення найбільшого шуму, щоб накопичити капітал у цій майже повністю масово-економічній грі. Якщо правило розширення не є «альфою і омегою», початком і кінцем, то на що вам потрібні 22 мільярди доларів?

!

Перший науковий директор OpenAI Ілля Суцкевер встоює на інших принципах. Він, разом з іншими дослідниками (включаючи багатьох з внутрішніх дослідників OpenAI, за останніми витоками інформації), вважає, що розширення наближається до верхньої межі. Ця група вважає, що для забезпечення прогресу та впровадження AGI в реальний світ обов’язково потрібні нові наука та дослідження.

Сутскевер розумно зауважує, що ідея постійного розширення Альтмана економічно непрактична. Як питає дослідник зі штучного інтелекту Ноам Браун: „В кінці кінців, чи ми дійсно хочемо тренувати моделі, що коштують сотні мільярдів або трільйонів доларів?“ Це ще не враховує витрат десятків мільярдів доларів на обчислення для розширення з тренування на мислення.

Але істинно віруючі добре знайомі з аргументами своїх опонентів. Місіонери на вашому порозі можуть легко впоратися з вашою гедоністичною трилемою. Для Брауна і Суцкевера фракція Суцкевера вказує на можливість розширення «обчислень на тесті». На відміну від того, що було досі, замість того, щоб покладатися на більші обчислення для покращення навчання, Computation on Test виділяє більше ресурсів на виконання. Коли моделі штучного інтелекту потрібно відповісти на ваше запитання або згенерувати фрагмент коду чи тексту, це може надати більше часу та обчислень. Це еквівалентно зміщенню вашої уваги з підготовки до іспитів з математики на переконання вчителя дати вам додаткову годину і дозволити вам взяти з собою калькулятор. Для багатьох в екосистемі це новий рубіж «гіркої релігії», оскільки команди переходять від ортодоксального підходу до підходу до навчання/міркування.

Указати на недоліки інших релігійних систем, критикувати інші вчення, не розкриваючи своєї позиції, дуже легко. Однак, яка саме моя власна віра? По-перше, я вірю, що цей пакет моделей принесе дуже високий інвестиційний дохід з часом. Як люди навчаються обходити обмеження та використовувати наявні API, ми побачимо появу по-справжньому інноваційного продуктового досвіду і його успішне використання. Ми перейдемо від фази підвищення імітації та приросту продуктів штучного інтелекту. Ми не повинні розглядати це як «загальнопризначений штучний інтелект» (AGI), оскільки таке визначення має недоліки в рамках, але його слід розглядати як «мінімально можливий розум», який може бути настроєний відповідно до різних продуктів та сценаріїв використання.

Щодо досягнення суперінтелекту (ASI), потрібна більш складна структура. Чітке визначення та розділення допоможуть нам більш ефективно обговорювати відмінності між економічною цінністю та економічними витратами, які можуть виникнути від кожної з них. Наприклад, ШІ може мати економічну цінність для деяких користувачів (це лише часткова віра), тоді як ASI може продемонструвати незупинний композитний ефект та змінити світ, наші віровчення та соціальну структуру. Я не вважаю, що лише розширення трансформатора може забезпечити досягнення ASI; але, на жаль, це лише моя безбожна віра, як можуть сказати деякі люди.

Втрачена віра

Спільнота штучного інтелекту не зможе вирішити цю святе війну в короткі терміни; в цьому боротьбі емоцій немає фактичних підстав. Натомість, ми повинні звернути увагу на те, що сумнів у штучний інтелект і його віра в розширення правила означають. Втрата віри може спричинити ланцюгову реакцію, впливаючи на всі галузі та ринки, включаючи великі мовні моделі (LLM).

Важливо зазначити, що в більшості областей AI/ML ми не вивчили закон масштабування досконально; Далі буде ще більше чудес. Однак, якщо скептицизм все-таки з’явиться, інвесторам і будівельникам буде важче підтримувати однаково високий рівень впевненості в кінцевому стані продуктивності в таких категоріях, як біотехнології та робототехніка. Іншими словами, якщо ми побачимо, що великі мовні моделі почнуть сповільнюватися і відхилятися від обраного шляху, системи переконань багатьох засновників та інвесторів у суміжних галузях зруйнуються.

Це, наскільки справедливо, є окремим питанням.

Є думка, що «універсальний штучний інтелект» потребує більшої масштабності, тому якість спеціалізованих моделей повинна проявлятися на меншій масштабі, щоб уникнути заторів перед наданням практичної цінності. Якщо модель конкретної галузі бере лише частину даних і для досягнення можливості потребує лише частину обчислювальних ресурсів, чи вона не повинна мати достатньо простору для поліпшень? На перший погляд це здоровий глузд, але ми постійно виявляємо, що ключове значення не завжди полягає в цьому: включення пов’язаних або здавалося б незалежних даних часто підвищує продуктивність здавалося б непов’язаних моделей. Наприклад, включення даних програмування, здається, сприяє покращенню загальної здатності до міркувань.

У довгостроковій перспективі дискусія про спеціалізовану модель, ймовірно, не має значення. Будь-яка людина, яка будує Суперінтелект (ASI), ймовірно, має на меті створити сутність, яка може самовідтворюватися, самовдосконалюватися та мати нескінченну творчість у всіх сферах. Холден Карнофскі, колишній член правління OpenAI та засновник Open Philanthropy, називає цей створіння «ПАСТА» (процес автоматизації науки та технологічного прогресу). Початкова прибуткова стратегія Сема Алтмана, здається, заснована на схожих принципах: «побудуйте AGI, а потім запитайте, як воно може принести повернення». Це апокаліптичний штучний інтелект, це кінцева доля.

Успіх великих лабораторій штучного інтелекту, таких як OpenAI і Anthropic, стимулює фінансовий ринок підтримувати лабораторії, схожі на ‘X-область OpenAI’, метою яких є створення AGI в межах своєї конкретної вертикалі або галузі. Цей розклад інференції призводить до зміни парадигми, від віртуального моделювання OpenAI до компаній, що орієнтовані на продукт - це була моя пропозиція на Compound Conference 2023.

На відміну від моделі останніх часів, ці компанії повинні показати ряд досягнень. Вони будуть побудовані на проблемах масштабу інженерії, а не наукові організації, які займаються дослідженнями, з метою побудувати продукт.

У науковій галузі, якщо ви знаєте, що робите, то вам не слід це робити. У інженерній галузі, якщо ви не знаєте, що робите, то вам також не слід це робити. - Річард Хеммінг

Віряни не ймовірно втратять свою священну віру в короткі терміни. Як було зазначено раніше, зі зростанням релігійних спільнот, вони розробили набір сценаріїв життя та поклоніння та набір натхненних підходів. Вони будують фізичні пам’ятники та інфраструктуру, посилюють свою силу та мудрість та демонструють, що «знають, що роблять».

У недавньому інтерв’ю Сем Олтман згадав про Загальний Штучний Інтелект і сказав таке (акцент став на нас):

Це перший раз, коли я відчуваю, що ми дійсно знаємо, що робити. Від теперішнього моменту до побудови AGI все ще потрібна велика кількість роботи. Ми знаємо, що є деякі відомі невідомі, але я вважаю, що в основному ми знаємо, що робити, це займе певний час; це буде складно, але це також дуже захоплююче.

Суд

Ускаладнені сумнівники розглядають одну з найглибших дискусій останніх років, коли вони сумнівалися у “Гіркому релігії”. Кожен з нас коли-небудь приходив до подібних міркувань. Що станеться, якщо ми вигадаємо Бога? Як швидко з’явиться цей Бог? Що буде, якщо загальний штучний інтелект (AGI) дійсно і невервно зростатиме?

Як і з будь-якою невідомою й складною темою, ми швидко зберігаємо свої специфічні реакції в мозку: деякі люди відчувають відчайдушність від їх незначності, більшість людей очікують комбінацію знищення й процвітання, а остання група людей очікує, що людство буде робити те, що ми робимо найкраще - продовжувати шукати проблеми для вирішення та вирішувати проблеми, які ми самі створили, щоб досягти чистого благополуччя.

Будь-хто, хто має великі інтереси, бажає знати, яким буде світ для них, якщо закон розширення буде справджуватися і ШШІ з’явиться за кілька років. Як ви будете служити цьому новому Богу, і як цей новий Бог буде служити вам?

Але якщо стагнація відбиває оптимістів, що робити? Якщо почати думати, що навіть Бог може занепасти, що робити? У попередній статті “Робот FOMO, закон масштабу та технологічні прогнози” я писав:

Іноді я думаю, що станеться, якщо закон розширення не буде працювати, чи це буде схоже на вплив втрати доходів, сповільнення зростання та підвищення процентних ставок на багато галузей технологій. Іноді я також думаю, чи закон розширення працює повністю, чи це буде схоже на комодифікаційну криву попередників у багатьох інших сферах.

«Капіталізм хороший тим, що ми витрачаємо багато грошей, намагаючись розібратися в ньому, незважаючи ні на що».

Для засновників та інвесторів питання стало таким: що відбудеться далі? Кандидати, які можуть стати великими конструкторами продуктів у кожній вертикальній галузі, поступово стають відомими. Ще буде багато таких людей у кожній галузі, але ця історія вже розпочалася. Звідки ж з’являються нові можливості?

Якщо розширення стагнуло, я очікую, що побачу хвилю банкрутств і злиття. Залишені компанії все більше звертатимуть увагу на інженерію, і це еволюція, яку ми можемо передбачити, стежачи за рухом кадрів. Ми вже бачимо деякі ознаки того, що OpenAI рухається в цьому напрямку, оскільки воно все більше продуктує себе. Цей перехід відкриє простір для наступного покоління стартапів, які обгонятимуть існуючі підприємства, покладаючись на інноваційні дослідження та науку, а не на інженерію, і намагаючись відкрити нові шляхи.

!

Навчання релігії

Моє бачення щодо технології полягає в тому, що будь-які речі, які, здається, мають очевидний ефект на зростання, зазвичай не тривають довго, тоді як кожен загальновизнаний погляд полягає в тому, що будь-які бізнеси, які, здається, мають очевидний ефект на зростання, дивно розвиваються з набагато меншою швидкістю та масштабом, ніж очікувалося.

!

Початкові ознаки релігійного розколу зазвичай слідують передбачуваному шаблону, який може служити рамком для подальшого відстеження еволюції “Гіркі релігії”.

Зазвичай це починається з появи конкуруючих тлумачень, незалежно від того, чи це з причин капіталізму, чи ідеології. У ранніх християн погляди на божественність Христа та істинну природу Трійців були різні, що призвело до розколу та суттєво різних тлумачень Біблії. Окрім розколу, пов’язаного з ШІ, існують інші відколи, що з’являються. Наприклад, ми бачимо, що деякі дослідники ШІ відкидають основну ортодоксальну концепцію трансформатора та звертаються до інших архітектур, таких як моделі простору станів (State Space Models), Mamba, RWKV, рідина моделі (Liquid Models) і т.д. Хоча ці речі наразі є тільки сигналами, вони вказують на проростки єресі та бажання переосмислення цієї галузі з основних принципів.

З плином часу нездатність провісників нестримних промов спричиняє недовіру людей. Коли пророцтва релігійних лідерів не збулися, або божественне втручання не наступило, це сіє насіння сумнівів.

Міллерівський рух пророкував повернення Христа в 1844 році, але коли Ісус прийшов не так, як планувалося, рух розпався. У світі технологій ми зазвичай мовчки ховаємо невдалі пророцтва і дозволяємо нашим пророкам продовжувати малювати оптимістичні, довгоциклічні версії майбутнього, незважаючи на неодноразові пропущені заплановані терміни (привіт, Ілон). Однак, якщо віра в закон розширення не буде підкріплена продуктивністю вихідної моделі шляхом постійного вдосконалення, вона може зіткнутися з аналогічним крахом.

Релігійна корупція, вим’яність або нестабільність роблять релігію вразливою до впливу відступників. Рух Реформації не тільки через те, що Лютер висловлював свої богословські погляди, але й тому, що він з’явився в період занепаду та хаосу в Католицькій церкві. Коли головні установи стають тріщинами, довгострокові “еретичні” думки раптово знаходять поживний ґрунт.

У сфері штучного інтелекту ми можемо звернути увагу на менші моделі або альтернативні методи, які досягають подібних результатів за менше обчислювальних ресурсів або даних, наприклад, роботу, яку виконують різні китайські експериментальні лабораторії та відкриті команди (такі як Nous Research). Ті, хто перевершили межі біологічного інтелекту та подолали перешкоди, які раніше вважалися непереможними, також можуть створити нову історію.

Спостереження за рухом практикантів є найпрямішим і найактуальнішим способом виявлення початку змін. Зазвичай релігійні вчені та духовенство утримуються від іррелігійних поглядів в приватності, перш ніж це стане офіційним. Сучасне явище може полягати в тому, що деякі дослідники зі штучного інтелекту зовнішньо відповідають законам розширення, але насправді працюють над іншими методами, чекаючи на відповідний момент для виклику узгодженості або для виходу з лабораторії, щоб знайти ширший теоретичний простір.

Проблема з релігією та технологічними ортодоксами полягає в тому, що вони частково праві, але не є всеосяжно правильними, як вважають найвірніші вірники. Як релігія включає основну істину людства в свою метафізичну рамку, так і закони розширення чітко описують реальність навчання нейромережі. Питання полягає в тому, чи є ця реальність повністю і незмінною, як це припускається в поточному запалі, і чи достатньо гнучких і стратегічних релігійних установ (лабораторій зі штучним інтелектом), щоб проводити разом з фанатичними прихильниками. У той же час, створення друкарських машин для поширення знань (інтерфейсу спілкування та API), щоб передати свої знання.

Кінець

“Релігія в очах простих людей є реальною, в очах мудреців є химерною, в очах правителів є корисною.” - Луцій Анней Сенека

Можливо застарлий погляд на релігійні установи полягає в тому, що, як тільки вони досягають певного розміру, вони, подібно багатьом людським організаціям, легко піддаються мотивації виживання й намагаються вижити в конкурентному середовищі. При цьому вони нехтували правдою та великими мотивами (які, власне кажучи, не є взаємовиключними).

Я колись писав статтю про той, як фондовий ринок став інформаційною капсулою, що працює на основі наративів, а стимулюючі механізми часто забезпечують їх продовження. Згода про розширення часто надає людям відчуття містики - глибоко укорінену віру в систему, яка в математичному відношенні є елегантною і дуже корисною для координації великомасштабного використання капіталу. Як і багато релігійних рамок, вона може мати більшу цінність як координаційний механізм, ніж як основна істина.