IA generativa está à beira de um colapso, alerta especialista

Cético em relação à inteligência artificial, o cientista Gary Marcus publicou um alerta para um possível colapso da tecnologia por deficiências da IA.

Há algum tempo, especialistas previram que melhorias na ampliação de grandes modelos de linguagem ficariam mais lentas no futuro à medida que ficassem sem dados. Isso se refere também à dificuldade em adicionar mais parâmetros e poder de processamento, por exemplo.

E a previsão já está acontecendo, à medida que os modelos de IA generativa esbarram em obstáculos e evoluem mais lentamente.

De acordo com Marcus, em seu Substack, “a economia provavelmente será sombria”. “A avaliação altíssima de empresas como OpenAI e Microsoft é amplamente baseada na noção de que os LLMs, com o escalonamento contínuo, se tornarão inteligência artificial geral. Como sempre avisei, isso é apenas uma fantasia”, declarou.

Modelos de IA começam a evoluir a passos lentos

Esta semana, o The Information relatou que pesquisadores da OpenAI descobriram que seu próximo modelo principal, o Orion, demonstrou pouca melhora em relação ao seu antecessor GPT-4 do que o GPT4 em relação ao GPT-3.

Além disso, Ilya Sutskever, cofundador e ex-diretor científico da OpenAI, disse à Reuters que as melhorias da ampliação de modelos de IA estagnaram. A evolução fica ainda mais difícil porque, segundo a agência, execuções de treinamento para grandes modelos podem custar dezenas de milhões de dólares.

Outra questão é que, como mencionado, as empresas não tem mais dados gratuitos para treinar seus modelos, uma vez que já utilizaram quase tudo disponível na internet.

Enquanto isso, tem o problema da infraestrutura necessária para rodar os modelos. Isso significa exigir o uso de centenas de chips de IA, o que pode levar meses para serem concluídos de uma vez.

Para combater o problema, pesquisadores da OpenAI estão trabalhando em formas de treinar os modelos para “pensar” ou “raciocinar” como humanos. Uma opção é usar a “computação em tempo de teste”, que faz com que um modelo explore múltiplas possibilidades para problemas complexos e escolha a mais promissora.

No entanto, ainda não se sabe qual será o resultado — e o relógio da “corrida armamentista da IA” não para.