Os Pequenos Modelos de Linguagem (SLMs) são apontados como a próxima grande novidade em IA

Enquanto as empresas estão despejando dinheiro em grandes modelos de linguagem (LLMs), alguns especialistas do setor de IA acreditam que os pequenos modelos de linguagem (SLMs) se tornarão a próxima grande novidade.

Isso acontece à medida que a atividade na indústria continua a crescer à medida que a temporada festiva surge, com empresas de tecnologia investindo mais financiamento para desenvolver sua tecnologia.

O futuro está nos pequenos modelos de linguagem

Os gostos de xAI administrado pelo multi-bilionário Elon Musk conseguiram arrecadar mais 5 mil milhões de dólares da Andreessen Horowitz, Qatar Investment Authority, Sequoia e Valor Equity Partners, enquanto a Amazon investiu mais 4 mil milhões de dólares na Anthropic, uma concorrente da OpenAI.

Enquanto essas grandes empresas de tecnologia e outras estão investindo bilhões de dólares focando no desenvolvimento de grandes LLMs para lidar com várias tarefas diferentes, a realidade da IA é que não existe um único tamanho que sirva para todos, pois há a necessidade de modelos específicos de tarefas para os negócios.

De acordo com o diretor executivo da AWS, Matt Garman, num comunicado sobre a expansão da parceria e dos investimentos, já existe uma resposta esmagadora por parte dos clientes da AWS que estão a desenvolver IA generativa alimentada por Anthropic.

As LLMs para a maioria das empresas ainda são a escolha número um para certos projetos, mas para outros, essa escolha pode ser cara em custo, energia e recursos de computação.

Steven McMillan, presidente e CEO da Teradata, que ofereceu um caminho alternativo para algumas empresas, também tem outras opiniões. Ele é positivo de que o futuro está nos SLMs.

“Ao olharmos para o futuro, acreditamos que modelos de linguagem pequenos e médios e ambientes controlados, como LLMs específicos de domínio, oferecerão soluções muito melhores.”

~ McMillan

Os SLMs produzem saídas personalizadas em tipos específicos de dados, pois os modelos de linguagem são especificamente treinados para isso. Como os dados gerados pelos SLMs são mantidos internamente, os modelos de linguagem são, portanto, treinados em dados potencialmente sensíveis.

Com os LLMs a serem consumidores de energia, as versões de linguagem pequena são treinadas para dimensionar tanto a computação quanto o uso de energia para as necessidades reais do projeto. Com tais ajustes, significa que os SLMs são eficientes a um custo menor do que os modelos grandes atuais.

Para os utilizadores que desejam utilizar IA para conhecimento específico, existe a opção de LLMs específicos de domínio, uma vez que não oferecem conhecimento amplo. Ele é treinado para compreender profundamente apenas uma categoria de informação e responder de forma mais precisa, por exemplo, um CMO vs um CFO, nesse domínio.

Por que os SLMs são uma opção preferida

De acordo com a Associação de Cientistas de Dados (ADaSci), desenvolver totalmente um SLM com 7 bilhões de parâmetros para um milhão de usuários requereria apenas 55,1 MWh (Megawatt-horas).

A AdaSci descobriu que treinar o GPT-3 com 175 biliões de parâmetros consumiu cerca de 1,287MWh de eletricidade e a potência não inclui quando é oficialmente utilizado pelo público. Portanto, um SLM utiliza aproximadamente 5% da energia consumida ao treinar um LLM.

Grandes modelos geralmente são executados em computadores na nuvem porque utilizam mais potência de computação do que está sempre disponível em um dispositivo individual. Isso resulta em complicações para as empresas, pois perdem o controle sobre suas informações ao migrarem para a nuvem e têm respostas lentas enquanto viajam pela internet.

No futuro, a adoção de IA pelas empresas não será única, pois a eficiência e a seleção da melhor e menos cara ferramenta para concluir tarefas serão o foco, o que significa escolher o modelo de tamanho adequado para cada projeto.

Isso será feito para todos os modelos, seja um LLM de uso geral, ou LLMs menores e específicos do domínio, dependendo de qual modelo fornecerá melhores resultados, exigir menos recursos e reduzir a necessidade de migrar dados para a nuvem.

Para a próxima fase, a IA será vital para as decisões empresariais, uma vez que o público tem grande confiança nas respostas geradas pela IA.

Quando você pensa em treinar modelos de IA, eles devem ser construídos sobre a base de dados excelentes.

~ McMillan

“É isso que nós somos, fornecendo esse conjunto de dados confiável e depois fornecendo as capacidades e capacidades analíticas para que os clientes e seus clientes possam confiar nas saídas”, acrescentou McMillan.

Com a eficiência e precisão sendo muito demandadas no mundo, LLMs menores e específicos do domínio oferecem outra opção para fornecer resultados nos quais as empresas e o público em geral podem confiar.

Um Passo a Passo Para Lançar Sua Carreira Web3 e Conseguir Empregos de Cripto Bem Remunerados em 90 Dias.