A análise de sentimentos que a maioria das empresas usa hoje responde a uma única pergunta: isso é positivo ou negativo? É útil, mas é pouco. Um cliente surpreso com uma cobrança e um cliente entediado com o atendimento podem receber o mesmo rótulo “negativo” — e pedem reações completamente diferentes. A psicologia sabe disso há décadas: emoções têm estrutura, com múltiplas dimensões além do agradável/desagradável.
Em um trabalho de pesquisa em preparação, investigamos uma pergunta que fica no meio do caminho entre a inteligência artificial e a ciência cognitiva: a linguagem, sozinha, carrega essa estrutura emocional? Ou, em termos práticos: quando um modelo de IA aprende com bilhões de textos, o mapa de emoções que ele forma se parece com o mapa que os psicólogos medem em seres humanos?
Como testamos: um comitê de 12 modelos
Em vez de treinar um classificador de sentimentos, fizemos algo mais fundamental. Tomamos 12 modelos de linguagem bem diferentes entre si — de veteranos como word2vec e GloVe a encoders modernos e embeddings comerciais — e, para cada um, medimos apenas uma coisa: quais emoções o modelo considera próximas e quais considera distantes, num conjunto de 77 palavras de emoção. Essa “tabela de distâncias” descarta tudo o que é arbitrário em cada modelo e guarda só a geometria.
Depois combinamos as 12 geometrias num consenso de máquinas: uma espécie de mapa emocional médio, construído sem nunca consultar dados humanos. Só no final comparamos esse consenso com as normas psicométricas medidas em pessoas.
Quem quiser explorar o mapa por conta própria pode acessar a demonstração interativa da metodologia.
O que encontramos
A estrutura psicométrica está lá. O consenso recupera as quatro dimensões do modelo GRID da psicologia — valência, potência, ativação e novidade (o quanto uma emoção envolve surpresa/inesperado). A novidade é o teste difícil: ela não existe nos modelos clássicos de 3 dimensões usados em análise de sentimento, e ainda assim 11 dos 12 modelos a capturam. O consenso chega a 76% do nível de concordância que instrumentos humanos têm entre si — mais que qualquer modelo individual, mas ainda abaixo do humano.
O consenso precisa dos seus dissidentes. Testamos mais de 4 mil combinações de comitês, e nenhuma seleção curada de “melhores modelos” supera o comitê completo e diverso. Cada modelo erra de um jeito próprio; a média cancela os vieses e concentra o sinal comum.
O que isso muda na prática
Para quem usa (ou vende) análise de opinião automatizada, três lições diretas:
- Sentimento é multidimensional. Se os modelos carregam pelo menos quatro dimensões emocionais, um pipeline sério pode ir além do positivo/negativo — distinguir indignação de decepção, ou detectar surpresa em feedback de clientes, que costuma anteceder tanto o churn quanto o encantamento.
- Não confie em um único modelo. A versão prática do nosso achado central: um comitê diverso de modelos, combinado de forma relacional, é mais válido, mais estável e mais difícil de manipular do que apostar no modelo da moda.
- O instrumento molda o resultado. A mesma dimensão emocional é recuperada com força muito diferente dependendo de qual escala humana serve de referência. Quem desenha pesquisas de opinião conhece o problema — ele também existe em IA.
Limites honestos
O estudo mede emoções como conceitos expressos em texto — não a experiência vivida de sentir. O vocabulário tem 77 termos, em inglês (com replicação parcial em francês e indonésio). E nenhum modelo, nem o consenso, alcança o nível de concordância humano. A IA aproxima o mapa; não o substitui.
Trabalho em preparação, em coautoria com Felipe Giuntini (ICMC-USP). A KLM Consulting aplica análise de sentimentos e NLP a problemas de negócio — conheça os serviços de desenvolvimento em IA.