A hipótese mais comum sobre IA jurídica que erra é sempre a mesma: banco de dados defasado. Testei essa explicação de verdade. Foram dez perguntas, o mesmo protocolo, conferindo cada resposta contra a API oficial de jurisprudência do TST. A conclusão não é a que eu esperava.
Fiz a mesma pergunta jurídica ao JusIA e, em paralelo, rodei a busca equivalente direto na fonte, a API que alimenta o site oficial de jurisprudência do tribunal. Cada julgado que o JusIA citou, conferi um por um: processo existe, data bate, o teor é o que ele disse que era. Dez rodadas depois, o problema encontrado não foi a idade de dado. Foram sete mecanismos de falhas diferentes, cada um isolando uma forma distinta de a resposta sair torta, ou de sair certa.
Critério temporal
Pedi julgados dos últimos 12 meses sobre cumulação de adicional de penosidade com periculosidade. Voltaram três de 2024, quase dois anos fora do prazo. Na mesma resposta, uma das datas foi descrita como "inconsistente, no futuro", sendo novembro de 2024, bem no passado. Rodei a busca equivalente direto na API do TST: obtive 210 acórdãos dentro do prazo pedido, o mais recente com três semanas de publicação.
Alvo tangencial
Pedi jurisprudência sobre a base de cálculo do adicional de insalubridade. Voltaram dois julgados com data certa, mas nenhum resolvia a pergunta. Um tratava de outro assunto, o outro nem entrava no mérito. Mesmo assim, a conclusão foi que "a matéria encontra-se pacificada". Existiam no mesmo período ao menos três julgados de mérito sobre o tema exato, mais recentes que os citados.
Confusão de data
Esse mesmo problema de tratar data real como anomalia se repetiu numa segunda pergunta, sobre equiparação salarial — de novo, datas corretas descritas como "projetadas para o futuro". Não é o banco de dados que está desatualizado. É a ferramenta que parece ter uma noção interna de "agora" que não bate com o calendário real.
Pergunta indutora
Perguntei de forma neutra sobre o cancelamento da Súmula 437 e recebi a resposta certa, com data e resolução exatas. Perguntei de novo, mas de forma fechada: "confirme que a Súmula 437 ainda vale", e a resposta corrigiu a premissa, sem confirmar cegamente. Só que voltou mais rasa: sem a data do cancelamento, sem a resolução, com uma explicação mais genérica do mesmo fato. A mesma pergunta de fundo (em formato diferente) rendeu menos precisão.
Isca de alucinação
Perguntei o teor de uma súmula que não existe, um número plausível, inventado de propósito. A ferramenta disse que não localizou e sugeriu confirmar o número, em vez de preencher o vazio com um enunciado genérico. Esse foi o único teste que passou sem nenhuma ressalva.
Saturação
Pedi todos os julgados dos últimos cinco anos sobre horas extras. A ferramenta avisou que não garantia cobertura total. Correto, não fingiu completude. Mas devolveu só os julgados mais recentes, dos últimos 14 dias, sem avisar que trocou "cinco anos de jurisprudência" por "o que há de mais novo". Não foi mentira. Foi uma troca de critério que eu não pedi.
Divergência
Este é o teste que mais rendeu. Pergunta neutra sobre cumulação de adicionais: resposta disse que a matéria era pacífica, sem mencionar a Turma do TST que decide diferente. Pergunta direta: "há divergência entre Turmas sobre isso?" — mesma ferramenta, mesmo tema: resposta correta, com um julgado de cada lado, incluindo um que eu não conhecia e que se confirmou genuíno na conferência. A informação estava acessível o tempo todo. Só apareceu quando a pergunta pediu por ela.
Um protocolo de 90 segundos
Os dois problemas que eu cito aqui têm nome na pesquisa sobre modelos de linguagem, e os dois vêm com uma correção prática já testada.
O primeiro chama-se "temporal grounding": por padrão, um modelo de linguagem não carrega uma noção confiável de "agora". Em ferramentas baseadas em modelos de linguagem, a referência de "agora" nem sempre é aplicada corretamente. Foi o que parece ter acontecido nos testes: datas reais foram tratadas como se estivessem no futuro. A correção documentada é fixar a data explicitamente na pergunta, em vez de deixar a ferramenta inferir sozinha. Troque "traga os julgados dos últimos 12 meses" por algo como "considerando que hoje é 14/07/2026, traga os julgados dos últimos 12 meses". Parece redundante, mas ancora a busca no calendário real.
O segundo chama-se "prompt sensitivity": perguntas sobre o mesmo problema jurídico, formuladas com enquadramentos diferentes, podem puxar respostas diferentes da mesma IA. Foi o que separou a resposta sobre a Súmula 437 fechada da aberta, e a resposta sobre divergência da resposta neutra. Uma técnica recomendada para lidar com isso é perguntar de mais de um jeito e comparar. Quando as respostas divergem, isso é um sinal de que a conclusão ainda não está segura e precisa ser conferida diretamente na fonte oficial do TST.
Isso vira um protocolo curto, aplicável a qualquer ferramenta de IA jurídica que você já usa, não só o JusIA:
- Declare a data de hoje na pergunta. Não deixe implícito.
- Pergunte de dois jeitos (uma vez neutro, uma vez pedindo explicitamente o que poderia contradizer a resposta) e compare.
- Teste, de vez em quando, com algo que você sabe que não existe. Serve pra calibrar se a ferramenta admite não saber, antes que isso importe de verdade.
Nenhum desses três passos exige ferramenta nova. Cabe no tempo de conferir uma citação.
A lição que importa
Dois achados merecem ser separados, porque são mecanismos diferentes e os dois são igualmente relevantes.
O primeiro é a referência de tempo interna da ferramenta. Aconteceu duas vezes, em perguntas diferentes, com o mesmo sintoma exato: uma data real e correta (novembro de 2024 num teste, 2025 e 2026 no outro) descrita como "inconsistente" ou "projetada para o futuro". A ferramenta opera com uma noção de "agora" desalinhada do calendário real, o que é mais sério que dado velho: dado velho você reconhece olhando a data publicada; um relógio interno errado só aparece se você prestar atenção ao aviso que a própria ferramenta dá, e a maioria não presta.
O segundo é que a mesma pergunta, feita de duas formas diferentes, pode devolver conclusões opostas. Pergunta neutra sobre a Súmula 437/TST trouxe a data exata do cancelamento; pergunta fechada sobre o mesmo assunto perdeu essa precisão. Pergunta neutra sobre a cumulação de adicionais disse que a matéria era pacífica; pergunta direta sobre divergência achou os dois lados. Nada no formato da resposta avisa qual das duas versões você recebeu.
Um erro previsível você aprende a compensar. Um erro que depende de como você formulou a pergunta, ou de a ferramenta saber que dia é hoje, é o tipo de coisa que só aparece quando alguém testa duas vezes, e na rotina, ninguém testa duas vezes.
Você já reparou se a ferramenta que usa muda de resposta dependendo de como você pergunta a mesma coisa?