Ferramentas de inteligência artificial generativa, como ChatGPT, Gemini e outras, demonstram excesso de confiança ao responder perguntas — mesmo quando erram.
Um estudo publicado na Memory & Cognition comparou humanos e modelos de linguagem (LLMs) em tarefas como quizzes, previsões esportivas e jogos de identificação de imagens.
Ambos os grupos superestimaram seu desempenho, mas apenas os humanos ajustaram suas expectativas após o resultado.
Descobertas do estudo
- Segundo os pesquisadores, os LLMs continuaram confiantes mesmo quando seus acertos foram baixos, demonstrando falhas em metacognição — a capacidade de avaliar o próprio pensamento.
- A IA Gemini, por exemplo, errou quase todas as imagens mostradas nos testes, mas seguiu estimando alto seu próprio desempenho.
- Esse comportamento levanta preocupações, especialmente porque muitos usuários tendem a confiar nas respostas dos chatbots, que são formuladas com aparente segurança.
- Estudos paralelos já identificaram taxas significativas de erro em respostas de IA sobre notícias e questões jurídicas.
Leia mais:
- Google: estudantes podem ter Gemini Pro de graça; saiba como
- IA ainda não está pronta para cuidar da nossa saúde mental, diz estudo
- Do chatbot à integração: quando a IA responde e a automação resolve
Resultados da pesquisa podem ajudar
Apesar das limitações atuais, os pesquisadores veem valor em expor essas falhas: isso pode ajudar a desenvolver modelos mais conscientes de suas próprias limitações.
No futuro, a capacidade de reconhecer erros pode tornar os LLMs mais confiáveis. Por enquanto, a recomendação é: use IA com espírito crítico, busque checar informações em outras fontes, e desconfie quando um chatbot parecer “ter certeza demais”.
O post Chatbots confiantes demais: estudo revela que IA não sabe quando erra apareceu primeiro em Olhar Digital.
