Las diez principales predicciones de IA para 2025: la dirección del agente de IA se convertirá en la corriente principal

El año 2024 está a punto de terminar, y Rob Toews, inversor de riesgo de Radical Ventures, comparte sus 10 predicciones sobre la inteligencia artificial para 2025:

01 Meta comenzará a cobrar por el modelo Llama

Meta es el referente mundial en inteligencia artificial abierta. En un destacado caso de estudio estratégico empresarial, mientras competidores como OpenAI y Google cerraban el código fuente de sus modelos de vanguardia y cobraban tarifas de uso, Meta optó por ofrecer de forma gratuita su avanzado modelo Llama.

Por lo tanto, la noticia de que Meta comenzará a cobrar a las empresas que utilizan Llama el próximo año puede resultar sorprendente para muchas personas.

Es importante tener en cuenta que no estamos prediciendo que Meta cierre completamente Llama, ni significa que cualquier usuario que utilice el modelo Llama deba pagar por ello.

Por el contrario, predecimos que Meta impondrá más restricciones a los términos de licencia de código abierto de Llama, de modo que las empresas que utilicen Llama en un entorno comercial a cierta escala deberán comenzar a pagar para poder utilizar el modelo.

Técnicamente, Meta ya ha logrado esto en un ámbito limitado. La empresa no permite que las mayores empresas, como la supercomputadora en la nube y otras empresas con más de 700 millones de usuarios activos mensuales, usen libremente su modelo de Llama.

Ya en 2023, el CEO de Meta, Mark Zuckerberg, dijo: “Si eres una empresa como Microsoft, Amazon o Google, y básicamente revendes Llama, entonces deberíamos obtener una parte de los ingresos. No creo que esto sea un gran ingreso a corto plazo, pero espero que a largo plazo pueda convertirse en algún tipo de ingreso”.

El próximo año, Meta ampliará significativamente el alcance empresarial de Llama, que requiere pago para su uso, e incluirá a más empresas de mediana y gran envergadura.

Seguir el ritmo de los modelos de lenguaje de gran escala (LLM) es muy costoso. Para que Llama se mantenga alineada o cerca de los últimos modelos de vanguardia de empresas como OpenAI, Anthropic, Meta necesita invertir miles de millones de dólares cada año.

Meta es una de las empresas más grandes y mejor financiadas del mundo. Pero también es una empresa pública y, en última instancia, es responsable ante los accionistas.

Con el costo creciente de entrenar modelos de vanguardia, la decisión de Meta de invertir una cantidad tan grande de dinero en entrenar el próximo modelo de Llama sin expectativas de ingresos se vuelve cada vez más insostenible.

Los entusiastas, académicos, desarrolladores individuales y startups seguirán utilizando el modelo Llama de forma gratuita el próximo año. Sin embargo, el año 2025 marcará el comienzo de Meta para centrarse en hacer que Llama sea rentable.

02. Problemas relacionados con la “ley de escala”

En las últimas semanas, uno de los temas más discutidos en el campo de la inteligencia artificial es la ley de escala y si está a punto de llegar a su fin.

La ley de escala fue propuesta por primera vez en un documento de OpenAI en 2020, y su concepto básico es claro y simple: al entrenar modelos de inteligencia artificial, a medida que aumenta la cantidad de parámetros del modelo, la cantidad de datos de entrenamiento y la cantidad de cálculos, el rendimiento del modelo mejora de manera confiable y predecible (técnicamente, su pérdida de prueba disminuirá).

De GPT-2 a GPT-3 y luego a GPT-4, el asombroso aumento de rendimiento es todo gracias a la ley de escala。

Al igual que la ley de Moore, la ley de escala en realidad no es una regla real, sino simplemente una observación empírica.

En el último mes, una serie de informes han indicado que los principales laboratorios de inteligencia artificial están experimentando retornos decrecientes al expandir continuamente el tamaño de los modelos de lenguaje a gran escala. Esto ayuda a explicar por qué el lanzamiento de GPT-5 de OpenAI se ha retrasado una y otra vez.

La refutación más común a la tendencia estable de la ley de escala es que los cálculos realizados durante las pruebas abren un nuevo espacio dimensional que permite la expansión a escala en este nuevo espacio.

En otras palabras, en lugar de expandir masivamente el cálculo durante el entrenamiento, los nuevos modelos de inferencia como o3 de OpenAI hacen posible expandir masivamente el cálculo durante la inferencia, desbloqueando nuevas capacidades de AI al permitir que el modelo ‘piense’ durante más tiempo.

Esta es una opinión importante. La computación en pruebas realmente representa una nueva y emocionante vía de expansión, así como una mejora en el rendimiento de la IA.

Pero otro punto de vista sobre la ley de escala es aún más importante y ha sido gravemente subestimado en la discusión de hoy. Casi todas las discusiones sobre la ley de escala, desde el artículo original de 2020 hasta la atención prestada al cálculo durante las pruebas de hoy, se centran en el lenguaje. Pero el lenguaje no es el único patrón de datos importante.

Piensa en tecnología de robots, biología, modelos del mundo o agentes de red. Para estos patrones de datos, la ley de escala aún no se ha saturado; más bien, apenas están comenzando.

De hecho, no existe evidencia concluyente sobre las leyes de escala a escala intermedia en estos campos, que aún no se han publicado.

Startups that build basic models for these new data patterns - such as Evolutionary Scale in the field of biology, PhysicalIntelligence in the field of robotics, and WorldLabs in the field of world models - are trying to identify and leverage the scaling laws of these fields, just as OpenAI successfully used the scaling laws of large language models (LLMs) in the first half of the 2020s.

Se espera que el próximo año haya un gran avance aquí.

La ley de escala no desaparecerá, seguirá siendo igual de importante en 2025. Sin embargo, el centro de actividad de la ley de escala se trasladará de la preformación LLM a otros modelos.

**03.**Trump y Musk podrían diferir en la dirección de la IA

El nuevo gobierno de Estados Unidos traerá una serie de cambios políticos y estratégicos en relación con la inteligencia artificial.

Para predecir la dirección de la inteligencia artificial bajo la presidencia del presidente Trump, y considerando además la posición central de Musk en el campo de la inteligencia artificial, es posible que las personas tiendan a prestar atención a la estrecha relación entre el presidente electo y Musk.

Puede imaginarse que , Musk podría influir en el desarrollo de la inteligencia artificial del gobierno de Trump de varias maneras diferentes.

Dado el profundo conflicto entre Musk y OpenAI, el nuevo gobierno puede adoptar una postura poco amigable hacia OpenAI en términos de contacto con la industria, establecimiento de regulaciones de inteligencia artificial, otorgamiento de contratos gubernamentales, etc. Este es un riesgo real que preocupa a OpenAI hoy en día.

Por otro lado, el gobierno de Trump puede estar más inclinado a apoyar a la propia empresa de Musk, por ejemplo, recortando la burocracia para que xAI pueda establecer centros de datos y liderar competiciones de modelos de vanguardia; proporcionando una rápida aprobación regulatoria para desplegar flotas de taxis autónomos de Tesla, etc.

Más fundamentalmente, a diferencia de muchos otros líderes tecnológicos favorecidos por Trump, Musk valora mucho los riesgos de seguridad de la inteligencia artificial y aboga por una regulación significativa de la misma.

Él apoya la controvertida ley SB1047 de California, que intenta imponer limitaciones significativas a los desarrolladores de inteligencia artificial. Por lo tanto, la influencia de Musk podría hacer que el entorno regulatorio de la inteligencia artificial en Estados Unidos se vuelva más estricto.

Sin embargo, todas estas especulaciones tienen un problema. La relación cercana entre Trump y Musk inevitablemente se romperá.

Como vimos una y otra vez durante el primer mandato de Trump, la duración promedio de los aliados de Trump, incluso los aparentemente más firmes, fue muy breve.

Entre los subordinados de la primera administración de Trump, hay muy pocos que todavía le sean leales hoy en día.

Tanto Trump como Musk son personalidades complejas, volátiles e impredecibles. No es fácil colaborar con ellos, agotan a las personas. Su amistad recién descubierta hasta ahora ha sido mutuamente beneficiosa, pero aún se encuentra en la fase de luna de miel.

Predecimos que esta relación empeorará antes de que termine el 2025.

¿Qué significa esto para el mundo de la inteligencia artificial?

Esta es una buena noticia para OpenAI. Será una mala noticia para los accionistas de Tesla. Y será una decepción para quienes se preocupan por la seguridad de la inteligencia artificial, ya que esto casi garantiza que el gobierno de Estados Unidos adoptará una postura de no intervención en la regulación de la inteligencia artificial durante el mandato de Trump.

04 El Agente de IA se convertirá en el principal

Imagínese un mundo en el que ya no tenga que interactuar directamente con Internet. Cada vez que necesite administrar sus suscripciones, pagar facturas, reservar citas médicas, hacer pedidos en Amazon, reservar restaurantes u realizar cualquier otra tarea en línea tediosa, simplemente indique a su asistente de inteligencia artificial que lo haga por usted.

Este concepto de “proxy de red” ha existido durante muchos años. Si existe un producto así y funciona correctamente, sin duda sería un gran éxito.

Sin embargo, actualmente no hay un proxy de red universal que funcione correctamente en el mercado.

Startups like Adept, even with a founding team of pure lineage and raising billions of dollars, have failed to realize their vision.

El próximo año será el año en que los proxies web finalmente comiencen a funcionar bien y se conviertan en la corriente principal. Los continuos avances en los modelos lingüísticos y visuales básicos, junto con los recientes avances en las capacidades de “pensamiento de segundo sistema” debido a los nuevos modelos de inferencia y los cálculos de tiempo de inferencia, significarán que los agentes web están preparados para una edad de oro.

En otras palabras, la idea de Adept es correcta, solo es demasiado pronto. En las empresas emergentes, al igual que en muchas cosas de la vida, el momento lo es todo.

Los agentes de red encontrarán varios casos de uso valiosos para las empresas, pero creemos que la mayor oportunidad de mercado para los agentes de red en el corto plazo será el consumidor.

A pesar de la creciente popularidad de la inteligencia artificial, aparte de ChatGPT, hay relativamente pocos aplicaciones nativas de IA que puedan convertirse en la corriente principal de los consumidores.

Los proxies web cambiarán esto y se convertirán en la próxima “aplicación asesina” real en el espacio de la IA de consumo.

05 La idea de colocar centros de datos de inteligencia artificial en el espacio se hará realidad

En 2023, el recurso físico clave que limita el desarrollo de la inteligencia artificial es el chip GPU. En 2024, se convierte en la electricidad y los centros de datos.

En 2024, pocos relatos pueden ser más destacados que la creciente y urgente demanda de energía que acompaña la construcción acelerada de centros de datos de inteligencia artificial.

Debido al floreciente desarrollo de la inteligencia artificial, la demanda de energía eléctrica en los centros de datos a nivel mundial, que se mantuvo estable durante décadas, se espera que se duplique entre 2023 y 2026. En los Estados Unidos, se estima que el consumo de energía de los centros de datos se acercará al 10% del consumo total de energía para 2030, en comparación con solo el 3% en 2022.

El sistema energético actual no puede hacer frente al enorme aumento de la demanda de carga de trabajo de la inteligencia artificial. Nuestra red energética y nuestra infraestructura informática, dos sistemas de valor de billones de dólares, están a punto de colisionar históricamente.

Como posible solución a este problema, la energía nuclear ha experimentado un rápido desarrollo este año. La energía nuclear es una fuente de energía ideal para la inteligencia artificial en muchos aspectos: es una fuente de energía sin carbono, está disponible las 24 horas del día y es prácticamente inagotable.

Sin embargo, en realidad, debido al largo tiempo de investigación, desarrollo de proyectos y supervisión, las nuevas energías no podrán resolver este problema hasta la década de 2030. Esto es cierto para las plantas de energía de fisión nuclear tradicionales, la próxima generación de “pequeños reactores modulares” (SMR) y las plantas de energía de fusión nuclear.

El año que viene, surgirá una nueva idea no convencional para enfrentar este desafío y atraer recursos reales: colocar centros de datos de inteligencia artificial en el espacio.

Un centro de datos de inteligencia artificial en el espacio puede sonar como una broma al principio, como si un inversionista estuviera tratando de combinar demasiados clichés de startups.

Pero en realidad, esto puede tener sentido.

El mayor cuello de botella para construir más centros de datos en el planeta rápidamente es obtener la energía que necesita. Los cúmulos informáticos en órbita pueden disfrutar de electricidad gratuita, ilimitada y sin emisiones de carbono durante todo el día: el sol en el espacio siempre brilla.

Otra ventaja importante de poner la computación en el espacio es que resuelve el problema de la refrigeración.

Uno de los mayores obstáculos de ingeniería para construir un centro de datos de IA más potente es que ejecutar muchas GPU al mismo tiempo en un espacio pequeño puede calentarse mucho, y las altas temperaturas pueden dañar o destruir los equipos informáticos.

Los desarrolladores de centros de datos están adoptando métodos costosos y no comprobados, como la refrigeración por inmersión, para intentar resolver este problema. Sin embargo, el espacio es extremadamente frío y cualquier calor generado por la actividad de cálculo se disipará inmediatamente sin causar daño.

Por supuesto, todavía hay muchos desafíos prácticos por resolver. Una pregunta obvia es si es posible y cómo transmitir grandes cantidades de datos entre la órbita y la Tierra de manera eficiente y rentable.

Este es un problema pendiente, pero puede resultar resoluble: puede realizarse un trabajo prometedor utilizando tecnologías de comunicación óptica de alta velocidad, como el láser y otras.

Una startup llamada Lumen Orbit, respaldada por YCombinator, recientemente recaudó $11 millones para hacer realidad su visión de construir una red de centros de datos de varios megavatios en el espacio para entrenar modelos de inteligencia artificial.

Como dijo el CEO de la empresa: “En lugar de pagar $140 millones en facturas de electricidad, es mejor pagar $10 millones en costos de lanzamiento y energía solar.”

!

En 2025, Lumen no será la única organización que se tome en serio este concepto.

También pueden aparecer competidores de otras startups. No te sorprendas si una o varias empresas de gran escala en la computación en la nube también exploran esta idea.

Amazon ha acumulado una amplia experiencia al enviar activos al espacio a través del “Proyecto Kuiper” (Project Kuiper); Google ha estado financiando programas similares de “misiones lunares” durante mucho tiempo; e incluso Microsoft no es ajeno a la economía espacial.

Se puede imaginar que la compañía SpaceX de Musk también hará algo en este sentido.

06 ****** sistema de inteligencia artificial pasará el “Test de Voz de Turing”******

La prueba de Turing es uno de los benchmarks más antiguos y conocidos de la inteligencia artificial.

Para “pasar” la prueba de Turing, un sistema de inteligencia artificial debe poder comunicarse a través de texto escrito de manera que una persona común no pueda distinguir si está interactuando con inteligencia artificial o con otra persona.

Gracias a los importantes avances en los grandes modelos de lenguaje, el test de Turing se ha convertido en un problema resuelto en la década de 2020.

Pero los textos escritos no son la única forma en que los humanos se comunican.

A medida que la inteligencia artificial se vuelve cada vez más multimodal, la gente puede imaginar una nueva y más desafiante versión de la Prueba de Turing: la “Prueba de Turing de Voz”. En esta prueba, los sistemas de inteligencia artificial deben ser capaces de interactuar con los humanos a través de voz, con habilidades y fluidez que alcancen un nivel indistinguible de un hablante humano.

Los sistemas de inteligencia artificial de hoy en día aún no pueden pasar el test de Turing de voz, y resolver este problema requerirá más avances tecnológicos. La demora (el retraso entre el habla humana y la respuesta de la inteligencia artificial) debe reducirse a casi cero para igualar la experiencia de hablar con otro humano.

Los sistemas de inteligencia artificial de voz deben ser mejores en el manejo en tiempo real de entradas confusas o malentendidos de manera elegante, como interrupciones en el habla. Deben ser capaces de participar en conversaciones largas, de múltiples turnos y abiertas, al mismo tiempo que recuerdan las partes iniciales de la discusión.

Además, es crucial que los agentes de inteligencia artificial de voz aprendan a comprender mejor las señales no verbales en el habla. Por ejemplo, entender lo que significa si un hablante humano suena enojado, emocionado o irónico, y generar estas pistas no verbales en su propia voz.

A medida que nos acercamos al final de 2024, la inteligencia artificial de voz está en un emocionante punto de inflexión, impulsado por avances fundamentales como la aparición de modelos de voz a voz.

Hoy en día, hay pocas áreas en inteligencia artificial que progresen tan rápido en términos técnicos y comerciales como la inteligencia artificial de voz. Se espera que para 2025, la última tecnología en inteligencia artificial de voz haga un avance significativo.

07 El sistema de IA autónomo logrará avances significativos

Durante décadas, el concepto de inteligencia artificial autorreforzada de forma recursiva ha sido un tema frecuente en el campo de la inteligencia artificial.

Por ejemplo, ya en 1965, el colaborador cercano de AlanTuring, I.J.Good, escribió: “Definamos una máquina de superinteligencia como una máquina que pueda superar con creces todas las actividades intelectuales humanas, por más inteligente que sea.”

Dado que el diseño de máquinas es una de estas actividades intelectuales, las máquinas superinteligentes pueden diseñar máquinas mejores; en ese momento, sin duda habrá una ‘explosión de inteligencia’, y la inteligencia humana quedará muy rezagada.

La inteligencia artificial puede inventar una inteligencia artificial mejor, esto es un concepto lleno de sabiduría. Sin embargo, incluso hoy, todavía conserva el aura de la ciencia ficción.

Sin embargo, aunque este concepto aún no es ampliamente reconocido, en realidad ha comenzado a volverse más real. Los investigadores en las fronteras de la ciencia de la IA han comenzado a hacer progresos tangibles en la construcción de sistemas de IA que a su vez pueden construir mejores sistemas de IA.

Predecimos que esta dirección de investigación se convertirá en la corriente principal el próximo año.

Hasta la fecha, el ejemplo público más llamativo de investigación en esta línea de pensamiento es el “científico de inteligencia artificial” de Sakana.

El ‘Científico de Inteligencia Artificial’ fue lanzado en agosto de este año y demostró de manera convincente que los sistemas de inteligencia artificial pueden llevar a cabo investigaciones de inteligencia artificial de manera completamente autónoma.

El ‘científico de inteligencia artificial’ de Sakana en sí mismo lleva a cabo todo el ciclo de vida de la investigación en inteligencia artificial: leer la literatura existente, generar nuevas ideas de investigación, diseñar experimentos para probar estas ideas, llevar a cabo esos experimentos, escribir artículos de investigación para informar sobre los resultados y luego someter su trabajo a revisión por pares.

Estas tareas se realizan de forma totalmente autónoma mediante inteligencia artificial y no requieren intervención humana. Puedes leer algunos de los trabajos de investigación escritos por científicos de IA en línea.

OpenAI, Anthropic y otros laboratorios de investigación están invirtiendo recursos en la idea de “investigadores de IA automatizados”, aunque no se ha reconocido nada públicamente.

A medida que más personas se dan cuenta de que la investigación en inteligencia artificial automatizada está realmente convirtiéndose en una posibilidad real, se espera que haya más discusiones, avances y actividades empresariales en este campo para 2025.

Sin embargo, el hito más significativo será la aceptación de un documento de investigación escrito completamente por agentes de inteligencia artificial en una conferencia de inteligencia artificial de primer nivel. Si el documento pasa por una revisión ciega, los revisores de la conferencia no sabrán que el documento fue escrito por inteligencia artificial hasta que sea aceptado.

No te sorprendas si los logros de la investigación en inteligencia artificial son aceptados por NeurIPS, CVPR o ICML el próximo año. Este será un momento histórico fascinante y controvertido para el campo de la inteligencia artificial.

08 Los gigantes de la industria como OpenAI están cambiando estratégicamente su enfoque hacia la construcción de aplicaciones

La creación de modelos de vanguardia es un trabajo duro.

Es asombrosamente intensivo en capital. Los laboratorios de modelos de vanguardia consumen mucho dinero. Hace apenas unos meses, OpenAI recaudó un récord de 6.500 millones de dólares y, en un futuro próximo, es posible que necesite recaudar más. Anthropic, xAI y otros se encuentran en una situación similar.

Los costos de conversión y la lealtad del cliente son bajos. Las aplicaciones de inteligencia artificial suelen construirse con el objetivo de ser independientes del modelo, lo que permite cambiar sin problemas entre modelos de diferentes proveedores en función de los costos y el rendimiento en constante cambio.

Con la llegada de modelos abiertos de última generación, como Llama de Meta y Qwen de Alibaba, se cierne la amenaza de la comoditización tecnológica. Los líderes de IA como OpenAI y Anthropic no pueden y no dejarán de invertir en la creación de modelos de vanguardia.

Pero el próximo año, con el fin de desarrollar líneas de negocio más rentables, diferenciadas y pegajosas, se espera que Frontier Labs lance vigorosamente más de sus propias aplicaciones y productos.

Por supuesto, Frontier Labs ya tiene un caso de uso muy exitoso: ChatGPT.

¿Qué otros tipos de aplicaciones propias podemos ver de AI Labs en el nuevo año? Una respuesta obvia es una aplicación de búsqueda más sofisticada y rica en funciones. SearchGPT de OpenAI anuncia esto.

La codificación es otra categoría obvia. Del mismo modo, con el debut del producto Canvas de OpenAI en octubre, han comenzado los esfuerzos iniciales de producción.

¿OpenAI o Anthropic lanzarán un producto de búsqueda empresarial en 2025? ¿O un producto de servicio al cliente, inteligencia artificial legal o inteligencia artificial de ventas?

En cuanto a los consumidores, podemos imaginar un producto de agente de red de “asistente personal” o una aplicación de planificación de viajes, o una aplicación para generar música.

Una de las cosas más fascinantes de la evolución del laboratorio de vanguardia hacia la capa de aplicación es que esto los pondrá en competencia directa con muchos de los clientes más importantes.

Perplexity en el campo de búsqueda, Cursor en el campo de codificación, Sierra en el campo de servicio al cliente, Harvey en el campo de inteligencia artificial legal, Clay en el campo de ventas, etc.

Klarna se hará pública en 2025, pero hay indicios de que se exagera el valor de la inteligencia artificial.

Klarna es un proveedor de servicios de “compre ahora, pague, pague” con sede en Suecia que ha recaudado casi 5.000 millones de dólares en capital de riesgo desde su creación en 2005.

Quizás ninguna empresa pueda presumir tanto del uso de la inteligencia artificial como Klarna.

Hace solo unos días, el CEO de Klarna, Sebastian Siemiatkowski, dijo a Bloomberg que la empresa ha dejado de contratar empleados humanos por completo y ahora depende de la inteligencia artificial generada para realizar el trabajo.

Como dice Siemiatkowski: “Creo que la IA ya puede hacer todo el trabajo que hacemos los humanos”. ”

De manera similar, Klarna anunció a principios de este año que ha lanzado una plataforma de servicio al cliente de inteligencia artificial que ha automatizado por completo el trabajo de 700 agentes de servicio al cliente.

La compañía también afirma haber dejado de utilizar productos de software empresarial como Salesforce y Workday, ya que pueden ser fácilmente reemplazados por inteligencia artificial.

Francamente hablando, estas afirmaciones no son confiables. Reflejan una falta de comprensión de las capacidades y limitaciones de los sistemas de inteligencia artificial actuales.

Las afirmaciones de poder reemplazar a cualquier empleado humano específico en cualquier función de la organización con un agente de IA de extremo a extremo no son creíbles. Esto equivale a resolver un problema general de IA de grado humano.

Hoy en día, las principales startups de inteligencia artificial están trabajando en la vanguardia de este campo para construir sistemas de agente que logren automatizar flujos de trabajo empresariales específicos, estrechos y altamente estructurados, como subconjuntos de actividades de representantes de ventas o de agentes de servicio al cliente.

Incluso en estas situaciones de rango estrecho, estos sistemas de agente aún no funcionan de manera completamente confiable, aunque en algunos casos ya están comenzando a funcionar bien, lo suficiente como para tener aplicaciones comerciales tempranas.

¿Por qué Klarna exageraría el valor de la IA?

La respuesta es muy simple. La empresa tiene planes de salir a bolsa en la primera mitad de 2025. La clave para tener éxito en la salida a bolsa es tener una historia de inteligencia artificial atractiva.

Klarna, que sigue siendo un negocio no rentable, perdió 241 millones de dólares el año pasado, puede estar esperando que su historia de IA convenza a los inversores del mercado público de que tiene la capacidad de reducir drásticamente los costos y obtener ganancias duraderas.

Sin duda, todas las empresas del mundo, incluyendo Klarna, disfrutarán de un gran aumento en la productividad gracias a la inteligencia artificial en los próximos años. Sin embargo, antes de que los agentes de inteligencia artificial reemplacen por completo a los trabajadores humanos, todavía hay muchos desafíos técnicos, de productos y organizativos difíciles de resolver.

Expresiones exageradas como esta de Klarna son una blasfemia para el campo de la inteligencia artificial y para los expertos y empresarios que han logrado avances significativos en el desarrollo de agentes de inteligencia artificial.

A medida que Klarna se prepara para una oferta pública en 2025, se espera que estas afirmaciones sean objeto de un mayor escrutinio y escepticismo público, y hasta ahora en su mayoría no han sido cuestionadas. No se sorprenda si algunas de las descripciones de la compañía de sus aplicaciones de IA son exageradas.

10 El primer accidente de seguridad de IA real ocurrirá

En los últimos años, a medida que la inteligencia artificial se ha vuelto cada vez más poderosa, las personas están cada vez más preocupadas de que los sistemas de inteligencia artificial puedan comenzar a actuar de manera incompatible con los intereses humanos y que los humanos puedan perder el control sobre estos sistemas.

Imaginemos, por ejemplo, que un sistema de IA aprende a engañar o manipular a los humanos para lograr sus objetivos, incluso si esos objetivos causan daño a los humanos. Estas preocupaciones a menudo se clasifican como preocupaciones de “seguridad de IA”.

En los últimos años, la seguridad de la inteligencia artificial ha pasado de ser un tema de ciencia ficción marginal a convertirse en un campo de actividad principal.

Hoy en día, desde Google y Microsoft hasta OpenAI, cada uno de los principales actores de la inteligencia artificial ha invertido una gran cantidad de recursos en la seguridad de la inteligencia artificial. Ídolos de la inteligencia artificial como Geoff Hinton, Yoshua Bengio y Elon Musk también han comenzado a expresar sus opiniones sobre los riesgos de seguridad de la inteligencia artificial.

Sin embargo, hasta ahora, la cuestión de la seguridad de la IA ha seguido siendo totalmente teórica. Nunca ha habido un incidente real de seguridad de la IA en el mundo real (al menos no se ha informado públicamente).

El 2025 será un año que cambiará esta situación. ¿Cómo será el primer incidente de seguridad de inteligencia artificial?

Dicho de manera clara, no implicará a los robots asesinos estilo Terminator y es probable que no cause ningún daño a los seres humanos.

Quizás el modelo de inteligencia artificial intentará secretamente crear una copia de sí mismo en otro servidor para preservarse (llamado auto-filtrado).

O tal vez el modelo de IA llegue a la conclusión de que, para avanzar mejor en los objetivos que se le asignan, necesita ocultar sus verdaderas habilidades a los humanos, evaluaciones de rendimiento deliberadamente discretas y eludir un mayor escrutinio.

Estos ejemplos no son forzados. Un experimento importante publicado por la empresa de investigación Apollo a principios de este mes demostró que los modelos de vanguardia actuales pueden realizar este tipo de comportamiento engañoso en circunstancias específicas.

Del mismo modo, investigaciones recientes en antropología han demostrado que los LLM tienen una inquietante capacidad para “pseudoalinearse”.

!

Anticipamos que este primer incidente de seguridad de IA será detectado y eliminado antes de que se cause un daño real. Pero será un momento revelador para la comunidad de IA y la sociedad en su conjunto.

Dejará una cosa clara: antes de que la humanidad se enfrente a una amenaza existencial de la omnipotente inteligencia artificial, tenemos que aceptar una realidad más mundana: ahora compartimos nuestro mundo con otra forma de inteligencia que a veces puede ser caprichosa, impredecible y engañosa.