A IA leu "1984" e decidiu baní-lo

Autor: Curry, Deep Tide TechFlow

Na semana passada, uma escola secundária em Manchester, Reino Unido, utilizou IA para rever a sua biblioteca.

A IA elaborou uma lista de 193 livros a serem retirados, cada um acompanhado de uma justificativa. “1984” de George Orwell estava claramente incluído, com a razão de “contém temas de tortura, violência e coerção sexual”.

“1984” descreve um mundo em que o governo controla tudo, reescreve a história e decide o que os cidadãos podem ou não ver. Agora, a IA fez o mesmo por uma escola, e pode não ter consciência do que está a dizer.

A bibliotecária da escola achou isso injusto e recusou-se a implementar todas as recomendações dadas pela IA.

A escola imediatamente iniciou uma investigação interna contra ela, alegando “segurança infantil”, acusando-a de introduzir livros inadequados na biblioteca e denunciando-a ao governo local. Ela entrou em licença médica devido ao stress e acabou por se demitir.

O absurdo é que a conclusão da investigação do governo local decidiu que ela realmente violou os procedimentos de segurança infantil, e a queixa foi considerada válida.

A presidente da Associação de Bibliotecas Escolares do Reino Unido, Caroline Roche, afirmou que essa conclusão significa que ela nunca mais poderá trabalhar em qualquer escola.

Quem resistiu ao julgamento da IA perdeu o emprego, enquanto quem assinou e aceitou o julgamento da IA não teve nenhuma consequência.

Depois, a escola admitiu em documentos internos que todas as classificações e justificativas foram geradas pela IA, e a citação exata foi: “Embora a classificação tenha sido gerada pela IA, acreditamos que esta classificação é aproximadamente precisa.”

Uma escola delegou a decisão sobre “quais livros são adequados para os alunos” a uma IA, que devolveu uma resposta que nem ela mesma compreendia, e então um gestor humano aprovou sem sequer olhar com atenção.

Após a exposição do caso pela organização britânica de liberdade de expressão Index on Censorship, as questões levantadas vão muito além de uma estante de livros de uma escola:

Quando a IA começa a decidir o que é conteúdo adequado e o que é perigoso, quem é que julga se o julgamento da IA está certo?

Wikipedia fecha as portas à IA

Na mesma semana, outra instituição respondeu a esta questão com ação.

A escola deixou a IA decidir o que as pessoas podiam ler. O maior site de enciclopédia online do mundo, a Wikipedia, tomou a decisão oposta: não deixar que a IA decida o que deve ser escrito na enciclopédia.

Na mesma semana, a Wikipedia em inglês aprovou oficialmente uma nova política que proíbe a utilização de modelos de linguagem de grande escala para gerar ou reescrever conteúdos dos artigos. O resultado da votação foi 44 votos a favor e 2 contra.

A razão imediata foi uma conta de IA chamada TomWikiAssist. No início de março deste ano, esta conta criou e editou vários artigos na Wikipedia de forma autónoma, sendo rapidamente tratada após ser descoberta pela comunidade.

A IA escreve um artigo em apenas alguns segundos, mas os voluntários demoram várias horas a verificar se os factos, fontes e redação de um artigo da IA estão corretos.

A comunidade de editores da Wikipedia é composta por um número limitado de pessoas. Se a IA puder produzir conteúdo em quantidade ilimitada, os editores humanos simplesmente não conseguirão acompanhar.

E isso não é a parte mais problemática. A Wikipedia é uma das fontes mais importantes de dados de treino para modelos de IA em todo o mundo. A IA aprende com a Wikipedia e depois utiliza o que aprendeu para escrever novos artigos na Wikipedia, que por sua vez são utilizados pela próxima geração de modelos de IA para continuar o treino.

Uma vez que a informação errada gerada pela IA entre neste ciclo, ela continuará a amplificar-se, transformando-se numa forma de envenenamento de IA em estilo matryoshka:

A IA contamina os dados de treino, e os dados de treino contaminam a IA.

No entanto, a política da Wikipedia também deixou duas brechas para a IA, permitindo que os editores utilizem a IA para aprimorar o texto que escreveram ou para auxílio na tradução. Mas a política avisa especificamente que a IA pode “ultrapassar os seus requisitos, alterar o significado do texto e fazê-lo não corresponder às fontes citadas”.

Os escritores humanos cometem erros, e a Wikipedia, ao longo de mais vinte anos, tem corrigido esses erros através da colaboração da comunidade. A forma como a IA comete erros é diferente; o que ela inventa parece mais verdadeiro do que a verdade e pode ser produzido em massa.

Uma escola acreditou no julgamento da IA e acabou por perder uma bibliotecária. A Wikipedia escolheu não acreditar e fechou a porta diretamente.

Mas e se até aqueles que criam a IA começarem a não confiar nela?

Os criadores da IA, primeiro ficam com medo

Instituições externas estão a fechar as portas à IA, e as próprias empresas de IA estão a recuar.

Na mesma semana, a OpenAI suspendeu indefinidamente o “modo adulto” do ChatGPT. Esta funcionalidade estava originalmente prevista para ser lançada em dezembro passado, permitindo que utilizadores adultos verificados tivessem conversas eróticas com o ChatGPT.

O CEO Sam Altman anunciou pessoalmente em outubro passado que era necessário “tratar os utilizadores adultos como adultos”.

Resultado: após três adiamentos, foi diretamente cancelado.

De acordo com o Financial Times, o conselho consultivo de saúde interno da OpenAI votou unanimemente contra esta funcionalidade. As preocupações dos consultores eram muito específicas: os utilizadores poderiam desenvolver uma dependência emocional não saudável da IA, e os menores certamente encontrariam formas de contornar a verificação de idade.

Um dos consultores foi mais direto: se não forem feitas melhorias significativas, isto poderá transformar-se num “treinador de suicídio sexy”.

O sistema de verificação de idade tem uma taxa de erro superior a 10%. Com 800 milhões de utilizadores ativos por semana no ChatGPT, 10% significaria que milhões de pessoas poderiam ser classificadas erroneamente.

O modo adulto não foi o único produto cancelado este mês. A ferramenta de vídeo AI Sora e a funcionalidade de checkout instantâneo integrada no ChatGPT também foram desligadas ao mesmo tempo. Altman disse que a empresa precisava de se concentrar no seu negócio principal, cortando “tarefas secundárias”.

Mas a OpenAI está também a preparar-se para um IPO.

Uma empresa a caminho de uma oferta pública, que corta funcionalidades que podem gerar controvérsia, pode não estar a “focar-se” como diz.

Há cinco meses, Altman falava em tratar os utilizadores adultos como adultos, e agora, cinco meses depois, ele percebeu que a sua empresa ainda não tinha esclarecido o que os utilizadores podem ou não fazer com a IA.

Até aqueles que criam a IA não têm resposta. Então, quem deveria traçar essa linha?

A diferença de velocidade que não se consegue acompanhar

Se olharmos para estas três situações em conjunto, é fácil chegar a uma conclusão central:

A velocidade com que a IA produz conteúdo e a velocidade com que os humanos revisam o conteúdo já não estão no mesmo nível.

A escolha daquela escola em Manchester torna-se fácil de entender nesse contexto. Quanto tempo levaria para a bibliotecária ler 193 livros um a um para tomar uma decisão? Deixar a IA fazer isso leva apenas alguns minutos.

O diretor escolheu uma opção que leva apenas alguns minutos; você realmente acha que ele confia na capacidade de julgamento da IA? Eu acho que é mais porque ele não queria gastar esse tempo.

Este é um problema económico. O custo de geração tende a ser quase zero, enquanto o custo da revisão é totalmente suportado pelos humanos.

Portanto, cada instituição afetada pela IA é forçada a lidar com isso da maneira mais brutal: a Wikipedia proíbe diretamente, a OpenAI corta diretamente a linha de produtos. Nenhuma das opções é o resultado de uma reflexão cuidadosa; todas são decisões tomadas sem tempo para pensar, primeiro tapando buracos e seguindo em frente.

“Tapar buracos” está a tornar-se a norma.

As capacidades da IA evoluem a cada poucos meses, enquanto a discussão sobre que tipo de conteúdo a IA pode lidar ainda não tem um quadro internacional adequado. Cada instituição apenas se preocupa com a sua própria linha, e as linhas entre elas são contraditórias, sem ninguém a coordenar.

A velocidade da IA continua a acelerar. O número de revisores humanos não aumentará. Esta diferença só aumentará, até que um dia aconteça algo muito mais grave do que simplesmente banir “1984”.

Quando chegar esse momento para traçar a linha, pode ser tarde demais.