Les petits modèles de langue (SLMs) sont présentés comme le prochain grand pas dans l'IA

Alors que les entreprises investissent massivement dans les grands modèles de langage (LLM), certains experts de l’industrie de l’IA estiment que les petits modèles de langage (SLM) deviendront la prochaine grande tendance.

Cela intervient alors que l’activité dans l’industrie continue de croître à l’approche de la saison festive, avec les entreprises technologiques investissant davantage de financement pour développer leur technologie.

L’avenir est dans les petits modèles de langue

Des acteurs tels que xAI, dirigés par le milliardaire Elon Musk, ont réussi à lever 5 milliards de dollars supplémentaires auprès d’Andreessen Horowitz, du Qatar Investment Authority, de Sequoia et de Valor Equity Partners, tandis qu’Amazon a investi 4 milliards de dollars supplémentaires dans Anthropic, un concurrent d’OpenAI.

Alors que ces grandes entreprises technologiques et d’autres investissent des milliards de dollars pour développer de grands LLMs afin de gérer de nombreuses tâches différentes, la réalité de l’IA est qu’il n’y a pas de solution universelle car il est nécessaire de disposer de modèles spécifiques aux tâches pour les entreprises.

Selon le directeur général d’AWS, Matt Garman, dans un communiqué sur leur partenariat et leurs investissements croissants, il existe déjà une réponse écrasante de la part des clients d’AWS qui développent une IA générative alimentée par Anthropic.

Les LLMs sont toujours le premier choix pour la plupart des entreprises pour certains projets, mais pour d’autres, ce choix peut être coûteux en termes de coûts, d’énergie et de ressources informatiques.

Steven McMillan, président et PDG de Teradata, qui a proposé une alternative pour certaines entreprises, a également d’autres opinions. Il est convaincu que l’avenir réside dans les SLMs.

« En regardant vers l’avenir, nous pensons que les modèles linguistiques de petite et moyenne taille et les environnements contrôlés tels que les LLM spécifiques à un domaine fourniront de bien meilleures solutions. »

~ McMillan

Les SLM produisent des sorties personnalisées sur des types spécifiques de données car les modèles de langage sont spécifiquement entraînés à le faire. Étant donné que les données générées par les SLM sont conservées en interne, les modèles de langage sont donc entraînés sur des données potentiellement sensibles.

Étant donné que les LLMs consomment de l’énergie, les versions de petites langues sont entraînées à adapter à la fois le calcul et l’utilisation de l’énergie aux besoins réels du projet. Grâce à ces ajustements, cela signifie que les SLMs sont efficaces à moindre coût que les modèles volumineux actuels.

Pour les utilisateurs qui souhaitent utiliser l’IA pour des connaissances spécifiques, il existe l’option des LLM spécifiques à un domaine car ils n’offrent pas de connaissances générales. Il est formé pour comprendre en profondeur une seule catégorie d’informations et répondre de manière plus précise, par exemple un CMO par rapport à un CFO, dans ce domaine.

Pourquoi les SLM sont une option préférée

Selon l’Association des scientifiques des données (ADaSci), le développement complet d’un SLM avec 7 milliards de paramètres pour un million d’utilisateurs ne nécessiterait que 55,1 MWh (mégawattheures).

ADaSci a découvert que l’entraînement de GPT-3 avec 175 milliards de paramètres a consommé environ 1 287 MWh d’électricité et l’énergie ne comprend pas lorsqu’il est officiellement utilisé par le public. Par conséquent, un SLM utilise environ 5% de l’énergie consommée lors de l’entraînement d’un LLM.

Les grands modèles sont généralement exécutés sur des ordinateurs cloud car ils utilisent plus de puissance de calcul que ce qui est jamais disponible sur un appareil individuel. Cela entraîne des complications pour les entreprises car elles perdent le contrôle de leurs informations lorsqu’elles passent au cloud, et des réponses lentes lorsqu’elles voyagent à travers Internet.

À l’avenir, l’adoption de l’IA par les entreprises ne sera pas universelle car l’efficacité et la sélection de l’outil le mieux adapté et le moins cher pour accomplir les tâches seront privilégiées, ce qui signifie choisir le modèle de taille appropriée pour chaque projet.

Cela sera fait pour tous les modèles, qu’il s’agisse d’un LLM polyvalent ou de LLM plus petits et spécifiques à un domaine, en fonction du modèle qui produira de meilleurs résultats, nécessitera moins de ressources et réduira le besoin de migrer les données vers le cloud.

Pour la prochaine phase, l’IA sera essentielle pour les décisions commerciales car le public a une grande confiance dans les réponses générées par l’IA.

« Lorsque vous pensez à former des modèles d’IA, ils doivent être construits sur la base de données de qualité. »

~ McMillan

« C’est ce que nous sommes, fournir cet ensemble de données de confiance, puis fournir les capacités et les capacités d’analyse afin que les clients, ainsi que leurs clients, puissent faire confiance aux résultats », a ajouté McMillan.

Avec l’efficacité et la précision étant très demandées dans le monde, les LLM plus petits et spécifiques à un domaine offrent une autre option pour fournir des résultats sur lesquels les entreprises et le grand public peuvent compter.

Un guide étape par étape pour lancer votre carrière Web3 et obtenir des emplois rémunérateurs dans le domaine de la cryptomonnaie en 90 jours.