La amarga religión: la yihad de la inteligencia artificial en torno a la expansión de la ley divina

La comunidad de inteligencia artificial se ha visto envuelta en una controversia sobre su futuro y si tiene suficiente escala para crear una doctrina divina.

Escrito por Mario Gabriele

Compilación: Block unicorn

La guerra santa de la inteligencia artificial

Prefiero vivir mi vida como si hubiera un Dios, solo para descubrir al final que no existe, que vivir mi vida como si no hubiera un Dios, solo para descubrir al final que sí existe. - Blaise Pascal

La religión es algo interesante. Tal vez porque es completamente inverificable en cualquier dirección, o tal vez como mi cita favorita: “No puedes luchar contra los sentimientos con hechos”.

La característica de la creencia religiosa es que, a medida que la fe crece, se acelera a una velocidad increíble, hasta el punto de que es casi imposible dudar de la existencia de Dios. ¿Cómo puedes dudar de una presencia divina cuando cada vez más personas a tu alrededor creen en ella? ¿Dónde queda el lugar para la herejía cuando el mundo se reorganiza en torno a una doctrina? ¿Dónde está el espacio para la oposición cuando los templos y catedrales, las leyes y normas se organizan según un nuevo y firme evangelio?

Cuando el primer líder religioso Abraham apareció y se extendió por todos los continentes, o cuando el budismo se extendió por toda Asia desde India, la gran energía de la fe creó un ciclo de auto-refuerzo. A medida que más personas se convierten y construyen sistemas teológicos y rituales complejos en torno a estas creencias, cuestionar estos supuestos básicos se vuelve cada vez más difícil. En un mar de credulidad, no es fácil convertirse en hereje. Grandes iglesias, escrituras religiosas complejas y monasterios prósperos son evidencia física de la existencia divina.

Pero la historia de la religión también nos dice cuán fácil es que este tipo de estructuras se derrumben. A medida que el cristianismo se propagaba en la península escandinava, la antigua fe nórdica colapsó en apenas unas pocas generaciones. El sistema religioso del antiguo Egipto perduró durante miles de años, pero finalmente desapareció con la llegada de una nueva fe más perdurable y la emergencia de estructuras de poder más grandes. Incluso dentro de una misma religión, vemos divisiones dramáticas: la Reforma dividió al cristianismo occidental, y el Gran Cisma provocó la división entre las iglesias orientales y occidentales. Estas divisiones a menudo comienzan con aparentes diferencias doctrinales insignificantes y evolucionan hasta convertirse en sistemas de creencias completamente diferentes.

Sagrado

Dios es una metáfora que trasciende todos los niveles de pensamiento intelectual. Es tan simple como eso. - Joseph Campbell

En pocas palabras, creer en Dios es religión. Tal vez no hay mucha diferencia en crear a Dios.

Desde su creación, los optimistas investigadores de inteligencia artificial han imaginado su trabajo como la teología de la creación de Dios. En los últimos años, el explosivo desarrollo de grandes modelos de lenguaje (LLMs) ha reforzado aún más la creencia de los fieles de que estamos caminando por un camino divino.

También confirmó un blog escrito en 2019. Aunque las personas fuera del campo de la inteligencia artificial no lo supieron hasta hace poco, ‘La Amarga Lección’ del científico informático canadiense Richard Sutton se ha convertido en un texto cada vez más importante en la comunidad, evolucionando de un conocimiento secreto a una base religiosa nueva e inclusiva.

En las 1.113 palabras (cada religión necesita números sagrados), Sutton resume una observación técnica: ‘La lección más importante que se puede aprender de 70 años de investigación en inteligencia artificial es que el uso de un enfoque computacional general es finalmente el más efectivo y una ventaja enorme’. El avance de los modelos de inteligencia artificial se debe al aumento exponencial de los recursos informáticos, impulsado por la ley de Moore. Al mismo tiempo, Sutton señala que gran parte de la investigación en inteligencia artificial se centra en la optimización del rendimiento a través de tecnologías especializadas, ya sea aumentando el conocimiento humano o utilizando herramientas de estrecho alcance. Aunque estas optimizaciones pueden ser útiles a corto plazo, Sutton considera que a la larga son una pérdida de tiempo y recursos, como ajustar las aletas de una tabla de surf o probar una nueva cera cuando llega una gran ola.

Esta es la base de lo que llamamos ‘religión amarga’. Solo tiene una regla, generalmente conocida como ‘ley de expansión’: el cálculo de crecimiento exponencial impulsa el rendimiento; todo lo demás es estúpido.

La religión amarga se está extendiendo rápidamente desde los grandes modelos de lenguaje (LLMs) a los modelos del mundo, ahora a través de los templos no convertidos de la biología, la química y la inteligencia encarnada (robótica y vehículos autónomos)

Sin embargo, con la difusión de la teoría de Sutton, la definición también comenzó a cambiar. Esta es la señal de todas las religiones activas y llenas de vida: debate, extensión, comentario. La ‘ley de la expansión’ ya no se refiere solo a la expansión del cálculo (el arca no es solo un barco), ahora se refiere a varios métodos para mejorar transformadores y rendimiento computacional, incluyendo algunos trucos.

Ahora, clásico ha abarcado intentos para optimizar cada parte del conjunto de herramientas de IA, desde técnicas aplicadas al modelo central en sí mismo (como la combinación de modelos, la mezcla de expertos (MoE) y la extracción de conocimiento) hasta la generación de datos sintéticos para alimentar a estos dioses siempre hambrientos, con numerosos experimentos en el medio.

Las facciones en conflicto

Recientemente, en la comunidad de inteligencia artificial ha surgido una cuestión con un aire de cruzada, sobre si el “amargo credo” sigue siendo correcto.

Esta semana, se publicó un nuevo artículo titulado ‘La ley de extensión de precisión’ por Harvard, Stanford y el MIT, lo que provocó este conflicto. El artículo discute el final de los beneficios de eficiencia de la tecnología cuantitativa, que es una serie de tecnologías que mejoran el rendimiento de los modelos de inteligencia artificial y son beneficiosas para el ecosistema de código abierto. Tim Dettmers, científico de investigación del Instituto de Investigación de Inteligencia Artificial de Allen, resumió su importancia en el siguiente post, llamándolo ‘el artículo más importante en mucho tiempo’. Representa la continuación de la creciente discusión en las últimas semanas y revela una tendencia notable: el creciente fortalecimiento de dos religiones.

El director ejecutivo de OpenAI, Sam Altman, y el director ejecutivo de Anthropic, Dario Amodei, pertenecen a la misma secta. Ambos expresan con confianza que lograremos la inteligencia artificial general (AGI) en aproximadamente 2-3 años en el futuro. Altman y Amodei son dos figuras que se basan en la sacralidad de la ‘religión amarga’. Todas sus medidas de incentivo tienden a hacer promesas exageradas, creando la mayor sensación para acumular capital en este juego dominado casi por completo por la economía a escala. Si la ley de expansión no es ‘alfa y omega’, ¿qué harías con 220 mil millones de dólares, el principio y el final, el comienzo y el final?

Ilya Sutskever, el ex científico jefe de OpenAI, tiene un conjunto diferente de principios. Junto con otros investigadores, incluidos muchos de los internos de OpenAI según la información recientemente filtrada, este grupo cree que la expansión se está acercando a su límite. Este grupo cree que se necesitan nuevas ciencias e investigaciones para mantener el progreso y llevar a cabo la AGI en el mundo real.

Sutskever señala con razón que la idea de expansión continua de Altman no es económicamente viable. Como pregunta el investigador en inteligencia artificial Noam Brown: ¿Realmente queremos entrenar modelos que cuesten miles de millones o incluso billones de dólares? Y eso sin contar los costos adicionales de cálculo para inferencia, que podrían ascender a varios miles de millones de dólares.

Pero los verdaderos creyentes están bien familiarizados con los argumentos de sus oponentes. Los misioneros en la puerta de tu casa pueden hacer frente fácilmente a tu trilema hedonista. Para Brown y Sutskever, la facción de Sutskever apunta a la posibilidad de expandir la “computación en pruebas”. A diferencia de lo que ha sido el caso hasta ahora, en lugar de depender de cálculos más grandes para mejorar el entrenamiento, Computation on Test dedica más recursos a la ejecución. Cuando un modelo de IA necesita responder a su pregunta o generar un fragmento de código o texto, puede proporcionar más tiempo y cálculo. Esto es el equivalente a cambiar tu enfoque de prepararte para los exámenes de matemáticas a convencer al profesor de que te dé una hora extra y te permita llevar una calculadora. Para muchos en el ecosistema, esta es la nueva frontera de la “religión amarga” a medida que los equipos pasan de los enfoques ortodoxos previos al entrenamiento a los enfoques posteriores al entrenamiento/razonamiento.

Es fácil señalar lagunas en otros sistemas de creencias y criticar otras doctrinas sin revelar tu propia posición. Entonces, ¿cuál es mi propia fe? En primer lugar, creo que el lote actual de modelos ofrecerá un retorno de la inversión muy alto a lo largo del tiempo. A medida que las personas aprendan a eludir las restricciones y aprovechar las API existentes, veremos surgir y tener éxito en experiencias de productos verdaderamente innovadoras. Iremos más allá de las etapas esqueuomórficas e incrementales de los productos de IA. No debemos pensar en ella como “inteligencia artificial general” (AGI, por sus siglas en inglés) debido a las fallas en esa definición, sino más bien como una “inteligencia mínima viable” que se puede adaptar a diferentes productos y casos de uso.

Para lograr la inteligencia artificial avanzada (ASI), se requiere una estructura más sólida. Una definición y división más precisa nos ayudará a discutir de manera más efectiva el equilibrio entre el valor económico y los costos económicos que cada uno puede traer. Por ejemplo, la IA general (AGI) puede proporcionar valor económico a algunos usuarios (solo en un sistema de creencias parcial), mientras que la ASI puede mostrar efectos compuestos imparables y cambiar el mundo, nuestros sistemas de creencias y nuestra estructura social. No creo que la expansión de transformadores sea suficiente para lograr ASI; pero, desafortunadamente, como algunos podrían decir, esta es solo mi creencia atea.

Fe perdida

La comunidad de inteligencia artificial no puede resolver esta guerra santa a corto plazo; no hay evidencia que se pueda presentar en esta lucha emocional. En cambio, debemos centrar nuestra atención en lo que significa cuestionar la fe en la expansión de la ley para la inteligencia artificial. La pérdida de fe puede desencadenar una reacción en cadena que afecte a todas las industrias y mercados, más allá de los grandes modelos de lenguaje (LLMs).

Es importante tener en cuenta que en la mayoría de las áreas de IA/ML, no hemos explorado a fondo la ley del escalado; Habrá más milagros por venir. Sin embargo, si el escepticismo se infiltra, será más difícil para los inversores y constructores mantener un nivel igualmente alto de confianza en el estado final del rendimiento en categorías de “curva temprana” como la biotecnología y la robótica. En otras palabras, si vemos que los grandes modelos de lenguaje comienzan a ralentizarse y desviarse del camino elegido, los sistemas de creencias de muchos fundadores e inversores en campos adyacentes se desmoronarán.

Si esto es justo es otra cuestión.

Hay una opinión de que la ‘inteligencia artificial general’ naturalmente requiere una escala más grande, por lo tanto, la ‘calidad’ de los modelos especializados debería manifestarse en una escala más pequeña, lo que les permite evitar cuellos de botella antes de proporcionar un valor real. Si un modelo en un campo específico solo consume una parte de los datos y, por lo tanto, solo requiere una parte de los recursos de cálculo para ser viable, ¿no debería tener suficiente espacio para mejoras? Esto parece tener sentido intuitivamente, pero repetidamente descubrimos que la clave no siempre radica en esto: incluir datos relevantes o aparentemente irrelevantes a menudo puede mejorar el rendimiento de modelos aparentemente irrelevantes. Por ejemplo, incluir datos de programación parece ayudar a mejorar la capacidad de razonamiento más amplia.

A largo plazo, el debate sobre el modelo de especialización puede ser irrelevante. Cualquier persona que construya una IA súper inteligente (ASI) probablemente tenga como objetivo final una entidad capaz de autoreplicarse, automejorarse y tener una creatividad ilimitada en todos los campos. Holden Karnofsky, ex miembro de la junta directiva de OpenAI y fundador de Open Philanthropy, llama a esta creación ‘PASTA’ (Proceso de Avance Científico y Tecnológico Automatizado). El plan original de ganancias de Sam Altman parece depender de principios similares: ‘Construir IA general y luego preguntarle cómo obtener un retorno’. Esta es la inteligencia artificial apocalíptica, es el destino final.

El éxito de laboratorios de IA de gran escala como OpenAI y Anthropic ha inspirado el apoyo del mercado de capitales a laboratorios similares a “OpenAI en el campo de X”, cuyo objetivo a largo plazo es construir una “AGI” en su industria o campo vertical específico. Esta descomposición de escala conducirá a un cambio de paradigma, alejándose de la simulación de OpenAI hacia empresas centradas en productos, lo que planteé como una posible posibilidad en la conferencia anual de Compound en 2023.

A diferencia del modelo de teoría del fin del mundo, estas empresas deben mostrar una serie de avances. Serán empresas basadas en problemas de ingeniería a gran escala en lugar de organizaciones científicas de investigación aplicada, con el objetivo final de construir productos.

En el campo de la ciencia, si sabes lo que estás haciendo, entonces no deberías estar haciéndolo. En el campo de la ingeniería, si no sabes lo que estás haciendo, entonces tampoco deberías estar haciéndolo. - Richard Hamming

Es poco probable que los seguidores pierdan su fe sagrada en el corto plazo. Como se mencionó anteriormente, con el aumento de las religiones, han compilado un guión y un conjunto de métodos inspiradores para la vida y la adoración. Han construido monumentos e infraestructuras físicas, fortaleciendo su poder y sabiduría, y demostrando que ‘saben lo que están haciendo’.

En una entrevista reciente, Sam Altman dijo esto sobre AGI (el punto clave es nosotros):

Esta es la primera vez que realmente sabemos lo que debemos hacer. Todavía hay mucho trabajo por hacer desde ahora hasta construir un AGI. Sabemos que hay algunas incógnitas conocidas, pero creo que básicamente sabemos qué hacer, esto llevará tiempo; será difícil, pero también muy emocionante.

Juicio

Al cuestionar ‘Religión Amarga’, los escépticos están liquidando una de las discusiones más profundas de los últimos años. Todos hemos tenido pensamientos similares en algún momento. ¿Qué sucedería si inventáramos a Dios? ¿Cómo aparecería ese Dios? ¿Qué sucedería si la IA general (AGI) realmente surgiera de manera irreversible?

Como todos los temas desconocidos y complejos, pronto almacenaremos nuestras propias reacciones específicas en nuestro cerebro: algunos sienten desesperación por su inminente irrelevancia, la mayoría espera una mezcla de destrucción y prosperidad, y un último grupo espera que la humanidad haga lo que mejor sabe hacer, seguir buscando problemas para resolver y abordar los problemas que nosotros mismos creamos, logrando así una verdadera prosperidad.

Cualquier persona con grandes intereses desea poder predecir cómo sería el mundo para ellos si la ley de Moore se cumple y la IA general llega en unos pocos años. ¿Cómo servirías a este nuevo dios, y cómo te serviría este nuevo dios a ti?

Pero, ¿qué pasa si el evangelio estancado aleja a los optimistas? ¿Y si comenzamos a pensar que tal vez incluso Dios se desvanecerá? En un artículo anterior sobre ‘El FOMO de los robots, la ley de escala y las predicciones tecnológicas’, escribí:

A veces me pregunto qué pasaría si la ley de la extensión no fuera válida, si esto sería similar al impacto en muchos campos tecnológicos de la pérdida de ingresos, la desaceleración del crecimiento y el aumento de las tasas de interés. A veces también me pregunto si la ley de la extensión es completamente válida, si esto sería similar a la curva de comercialización de valor de muchos otros campos pioneros.

“Lo bueno del capitalismo es que gastamos mucho dinero tratando de resolverlo, pase lo que pase”.

Para los fundadores e inversores, la pregunta es: ¿qué pasa después? Poco a poco se están dando a conocer candidatos en todas las verticales que tienen el potencial de ser grandes creadores de productos. Habrá más de estas personas en la industria, pero la historia ya está empezando a desarrollarse. ¿De dónde vienen las nuevas oportunidades?

Si la expansión se estanca, espero ver una ola de cierres y fusiones. El resto de empresas cambiarán cada vez más su enfoque hacia la ingeniería, una evolución que debemos anticipar mediante el seguimiento de los flujos de talento. Ya estamos viendo algunas señales de que OpenAI se está moviendo en esta dirección a medida que se produce cada vez más. Este cambio abrirá espacio para que la próxima generación de nuevas empresas “se adelante” confiando en la investigación aplicada y la ciencia innovadoras, en lugar de la ingeniería, para superar a los titulares en sus intentos de forjar nuevos caminos.

Lecciones religiosas

Mi opinión sobre la tecnología es que generalmente las cosas que parecen tener un efecto compuesto obvio no duran mucho tiempo, y es extraño que los negocios que parecen tener un efecto compuesto obvio se desarrollen a una velocidad y escala mucho más baja de lo esperado.

Las primeras señales de división religiosa suelen seguir patrones predecibles, que pueden servir como marco para rastrear la evolución de ‘The Bitter Religion’.

Generalmente comienza con la aparición de interpretaciones competitivas, ya sea por razones capitalistas o ideológicas. En el primer cristianismo, diferentes puntos de vista sobre la divinidad de Cristo y la naturaleza trinitaria llevaron a divisiones, dando lugar a interpretaciones bíblicas radicalmente diferentes. Además de la división de la IA que hemos mencionado, también hay grietas emergentes. Por ejemplo, vemos que algunos investigadores de IA rechazan la noción ortodoxa central del transformador y se vuelven hacia otras arquitecturas, como los Modelos del Espacio de Estado, Mamba, RWKV, Modelos Líquidos, etc. Aunque actualmente son solo señales débiles, muestran el brote de pensamiento herético y la voluntad de reconsiderar los principios fundamentales en este campo.

Con el tiempo, las palabras impacientes de los profetas también pueden generar desconfianza en la gente. Cuando las predicciones de los líderes religiosos no se cumplen, o la intervención divina no llega como se prometió, se siembra la semilla de la duda.

El movimiento Millerita predijo que Cristo regresaría en 1844, pero cuando Jesús no llegó según lo planeado, el movimiento se desmoronó. En el mundo de la tecnología, a menudo enterramos en silencio las predicciones fallidas y permitimos que nuestros profetas sigan pintando versiones optimistas y de largo plazo del futuro, a pesar de las fechas límite establecidas que se siguen incumpliendo una y otra vez (hola, Elon). Sin embargo, la creencia en la ley de Moore también puede enfrentar un colapso similar si no se respalda con un rendimiento continuamente mejorado del modelo original.

Una religión corrupta, hinchada o inestable es susceptible a los apóstatas. La Reforma Protestante pudo progresar no sólo por los puntos de vista teológicos de Lutero, sino también porque llegó en un momento de decadencia y agitación para la Iglesia Católica. Cuando hay una ruptura en el establishment dominante, las ideas “heréticas” de larga data de repente encuentran un terreno fértil.

En el campo de la inteligencia artificial, es posible que nos centremos en modelos más pequeños o métodos alternativos que logren resultados similares con menos cálculos o datos, como el trabajo realizado por varios equipos de laboratorios empresariales chinos y de código abierto (como Nous Research). Aquellos que rompen los límites de la inteligencia biológica y superan obstáculos que se consideraban insuperables durante mucho tiempo también pueden crear una nueva narrativa.

Una de las formas más directas y actuales de observar el comienzo de un cambio es seguir las tendencias de los profesionales. Antes de cualquier división formal, los eruditos religiosos y el clero suelen mantener puntos de vista heréticos en privado, pero actúan de manera sumisa en público. El fenómeno correspondiente en la actualidad podría ser algunos investigadores de IA que, en apariencia, siguen la ley de extensión, pero secretamente persiguen métodos completamente diferentes, esperando desafiar el consenso en el momento adecuado, o abandonar sus laboratorios para explorar un terreno teórico más amplio.

El problema con la ortodoxia religiosa y tecnológica es que a menudo tienen una parte que es correcta, pero no tan universalmente correcta como los fieles más devotos creen. Al igual que la religión incorpora las verdades fundamentales de la humanidad en su marco metafísico, las leyes de expansión describen claramente la realidad del aprendizaje de las redes neuronales. La cuestión es si esta realidad es tan completa e inmutable como sugiere el entusiasmo actual, y si estas instituciones religiosas (laboratorios de inteligencia artificial) son lo suficientemente flexibles y estratégicas como para liderar a los fanáticos juntos. Al mismo tiempo, establecen una máquina de impresión que permite la difusión del conocimiento (interfaz de chat y API) para que su conocimiento se propague.

Final

“La religión es real para la gente común, falsa para los sabios y útil para los gobernantes.” - Lucius Annaeus Seneca

Una posible visión obsoleta de las instituciones religiosas es que, una vez que alcanzan cierto tamaño, son susceptibles de sucumbir al impulso de supervivencia que es común en muchas organizaciones humanas, tratando de sobrevivir en la competencia. En este proceso, se descuida el motivo de la verdad y la grandeza (que no son mutuamente excluyentes).

Una vez escribí un artículo sobre cómo el mercado de capitales se convierte en una cámara de información impulsada por la narrativa, y los mecanismos de incentivos a menudo permiten que estas narrativas continúen. El consenso de la ley de expansión da una sensación ominosa de similitud: un sistema de creencias arraigado, elegante en términos matemáticos y extremadamente útil para coordinar la implementación de capital a gran escala. Al igual que muchos marcos religiosos, puede ser más valioso como un mecanismo de coordinación que como una verdad fundamental.