Quando você conversa com o ChatGPT ou qualquer outro modelo de linguagem grande, a experiência é tão fluida que se torna quase impossível não lhe atribuir algum tipo de inteligência. Ele responde perguntas, escreve poemas, explica conceitos complexos, parece até raciocinar. Mas por dentro o mecanismo é muito mais simples do que a aparência sugere: a inteligência artificial generativa, em seu núcleo mais fundamental, é um sistema de autocompletar extraordinariamente sofisticado. Não pensa. Não entende. Não tem consciência. Simplesmente prediz a próxima palavra.
Para entender isso é preciso começar pelos tokens. Os modelos de linguagem não trabalham com palavras completas, mas com fragmentos menores chamados tokens. Um token pode ser uma palavra inteira como «gato», uma sílaba como «ga» ou até um caractere isolado — em média, um token equivale a cerca de três quartos de uma palavra. O modelo recebe uma sequência de tokens, o contexto que você escreveu até o momento, e calcula qual deveria ser o próximo.
Esse cálculo é possível graças ao Transformer, uma arquitetura de rede neural proposta em 2017 por uma equipe de pesquisadores do Google liderada por Ashish Vaswani. O artigo, intitulado «Attention Is All You Need», introduziu um mecanismo chamado atenção que permite ao modelo ponderar a importância de cada token anterior na hora de decidir o seguinte. Quando o modelo processa a frase «O gato sentou no —», o mecanismo de atenção aprende que «gato» e «sentou» são mais relevantes para predizer a próxima palavra do que «O» ou «no». Essa capacidade de olhar para trás e decidir o que importa é o que diferencia o Transformer das arquiteturas anteriores.
Depois que o Transformer processou o contexto completo, ele gera uma distribuição de probabilidade sobre todos os tokens possíveis em seu vocabulário. Alguns tokens recebem uma probabilidade alta; outros, quase zero. Se o contexto for «O gato sentou no —», as probabilidades mais altas corresponderão a palavras como «chão», «sofá», «tapete» ou «colo». O modelo não escolhe sempre a opção mais provável: ele pode amostrar dentro dessa distribuição, o que introduz variabilidade nas respostas. Um mesmo contexto pode produzir textos diferentes a cada vez.
Esse processo — receber tokens, processá-los com atenção, predizer uma distribuição de probabilidade, amostrar o próximo token, adicioná-lo ao contexto e repetir — chama-se geração autorregressiva. Cada novo token se torna parte do contexto para o passo seguinte. O modelo avança token a token, construindo a resposta de forma incremental, exatamente igual ao autocompletar do teclado do seu celular, mas com um contexto muito maior e uma capacidade de computação imensamente superior.
E como o modelo aprende a fazer essas predições? Por meio de treinamento em escala massiva. Durante o treinamento, mostra-se ao modelo bilhões de tokens extraídos da internet: páginas web, livros, artigos científicos, fóruns, redes sociais, código-fonte. Para cada fragmento de texto, oculta-se o último token e pede-se ao modelo que o prediga com base nos anteriores. A diferença entre a predição do modelo e o token real é um erro que se utiliza para ajustar os parâmetros internos — os chamados pesos neuronais — por meio de um processo chamado retropropagação. Repetido milhões de vezes sobre quantidades ingentes de dados, esse ciclo de predição e ajuste produz modelos que geram texto coerente, gramaticalmente correto e surpreendentemente matizado.
Mas aqui está o ponto crucial: a coerência não implica compreensão. O modelo não tem um modelo interno do mundo. Não sabe o que é um gato, nem o que significa sentar, nem o que é um sofá. Ele viu essas palavras aparecerem juntas tantas vezes em seus dados de treinamento que aprendeu as correlações estatísticas entre elas. Quando responde corretamente a uma pergunta, não é porque entende a pergunta, mas porque viu padrões semelhantes de perguntas e respostas em seu treinamento. Seu conhecimento é emprestado: reflete o que os seres humanos escreveram na internet, não uma experiência direta do mundo. Nas palavras da pesquisadora Emily Bender e seus colegas, o modelo é um «papagaio estocástico»: repete padrões que memorizou, recombinando-os de maneiras que resultam novas.
Entender esse mecanismo muda radicalmente a forma como deveríamos avaliar e utilizar essas ferramentas. Se sabemos que o modelo apenas prediz a próxima palavra, deixamos de vê-lo como um oráculo infalível e passamos a tratá-lo como o que é: uma máquina estatística que pode produzir tanto verdades fundamentadas quanto disparates com a mesma fluidez. As alucinações — aquelas respostas seguras mas completamente falsas — deixam de ser misteriosas: são simplesmente o modelo predizendo tokens prováveis de acordo com seu treinamento, sem capacidade de contrastar com a realidade. Os vieses e preconceitos que reflete não são malícia, mas o subproduto de ter aprendido de uma internet cheia de contradições humanas.
Isso não significa que a IA generativa não seja útil. Ela é, e de forma extraordinária. Mas sua utilidade depende de entendermos seus limites. Não pensa. Não raciocina. Não compreende. Prediz a próxima palavra. E essa predição, quando executada em uma escala de centenas de bilhões de parâmetros treinados com textos de toda a humanidade, produz resultados que parecem mágica. Mas não é mágica. É estatística. É autocompletar. É o mecanismo mais simples executado na escala mais ampla.
Fonte principal: Attention Is All You Need — Vaswani et al., NIPS 2017.