Ilya Sutskever, cofundador da OpenAI, deixa a empresa para criar novo laboratório de IA
Ilya Sutskever, que foi cofundador e cientista chefe da OpenAI, chamou a atenção no início deste ano ao deixar a empresa para fundar seu próprio laboratório de inteligência artificial, chamado Safe Superintelligence Inc (link). Desde então, ele tem evitado os holofotes, mas fez uma rara aparição pública na última sexta-feira em Vancouver, durante a Conferência sobre Sistemas de Processamento de Informação Neural (NeurIPS).
“O pré-treinamento como o conhecemos definitivamente chegará ao fim”, afirmou Sutskever no palco.
O pré-treinamento é a primeira fase do desenvolvimento de modelos de IA, onde um modelo de linguagem grande aprende padrões a partir de vastas quantidades de dados não rotulados, tipicamente textos da internet, livros e outras fontes.
Sutskever destacou que “alcançamos o pico de dados e não haverá mais”. Durante sua apresentação no NeurIPS, ele mencionou que, embora acredite que os dados existentes podem impulsionar ainda mais o desenvolvimento da IA, a indústria está esgotando a busca por novos dados para treinamento. Essa dinâmica, segundo ele, forçará eventualmente uma mudança na forma como os modelos são treinados atualmente. Ele comparou a situação com combustíveis fósseis: assim como o petróleo é um recurso finito, a internet contém uma quantidade limitada de conteúdo gerado pelo ser humano.
“Temos que lidar com os dados que temos. Há apenas uma internet.”
Sutskever descreveu os dados como o “combustível fóssil da IA” e previu que os modelos de próxima geração serão “agentes de maneiras reais”. O termo “agentes” tornou-se uma verdadeira palavra da moda no campo da IA. Embora Sutskever não tenha definido o termo durante sua fala, esses agentes são geralmente entendidos como sistemas de IA autônomos que executam tarefas, tomam decisões e interagem com softwares por conta própria.
Além de serem “agentes”, ele afirmou que os futuros sistemas também terão a capacidade de raciocinar. Diferente das IAs atuais, que basicamente fazem correspondência de padrões com base no que já viram, os futuros sistemas de IA serão capazes de resolver problemas passo a passo, de uma maneira mais comparável ao pensamento humano.
“Quanto mais um sistema raciocina, mais imprevisível ele se torna”, explicou Sutskever.
Ele comparou a imprevisibilidade dos “sistemas que realmente raciocinam” com a maneira como as IAs avançadas que jogam xadrez são “imprevisíveis até para os melhores jogadores de xadrez humanos”. “Eles entenderão as coisas a partir de dados limitados e não ficarão confusos”, acrescentou.
No palco, Sutskever desenhou uma comparação entre a escalabilidade dos sistemas de IA e a biologia evolutiva, citando pesquisas que mostram a relação entre massa cerebral e corporal entre espécies. Ele notou que, embora a maioria dos mamíferos siga um padrão de escalabilidade, os hominídeos (ancestrais humanos) demonstram uma inclinação distintamente diferente em sua relação massa cerebral/massa corporal em escalas logarítmicas.
Ele sugeriu que, assim como a evolução encontrou um novo padrão de escalabilidade para os cérebros dos hominídeos, a IA pode descobrir novas abordagens para a escalabilidade além de como o pré-treinamento funciona atualmente.
Após a conclusão de sua apresentação, um membro da audiência questionou Sutskever sobre como os pesquisadores podem criar mecanismos de incentivo adequados para a humanidade desenvolver a IA de uma maneira que ofereça a ela “as liberdades que temos como Homo sapiens”.
“Sinto que, de certa forma, são essas as perguntas que as pessoas deveriam refletir mais”, respondeu Sutskever.
Ele demonstrou hesitação em responder, afirmando que isso exigiria uma “estrutura governamental de cima para baixo”. O membro da audiência sugeriu o uso de criptomoedas, o que fez outras pessoas na sala rirem.
“Não me sinto a pessoa certa para comentar sobre criptomoedas, mas existe a chance do que você descreve acontecer”, disse Sutskever. “No fim das contas, não seria um resultado ruim se tivermos IAs que desejam coexistir conosco e também ter direitos. Talvez isso seja aceitável… As coisas são tão incrivelmente imprevisíveis que hesito em opinar, mas encorajo a especulação.”
