Universidade de Stanford lançou modelo baseado em IA "indicador de transparência", Llama 2 lidera, mas "falha" com 54%

De acordo com o relatório da IT House em 20 de outubro, a Universidade de Stanford lançou recentemente o modelo básico de IA “indicador de transparência”, do qual o indicador mais alto é o Lama 2 da Meta, mas a “transparência” relevante é de apenas 54%, então os pesquisadores acreditam que quase todos os modelos de IA no mercado “carecem de transparência”.

É relatado que a pesquisa foi liderada por Rishi Bommasani, chefe do HAI Basic Model Research Center (CRFM), e investigou os 10 modelos básicos mais populares no exterior. Rishi Bommasani acredita que a “falta de transparência” sempre foi um problema enfrentado pela indústria de IA, e em termos de “indicadores de transparência” específicos do modelo, a IT House descobriu que o conteúdo de avaliação relevante gira principalmente em torno de “direitos autorais do conjunto de dados de treinamento do modelo”, “recursos de computação usados para treinar o modelo”, “credibilidade do conteúdo gerado pelo modelo”, “a capacidade do próprio modelo”, “o risco de o modelo ser induzido a gerar conteúdo prejudicial”, “a privacidade dos usuários usando o modelo”, etc., um total de 100 itens.

A pesquisa final mostrou que o Lama 2 da Meta liderou com 54% de transparência, enquanto a transparência GPT-4 da OpenAI foi de apenas 48% e o PaLM 2 do Google ficou em quinto lugar, com 40%.