Por que até as grandes IAs estrangeiras podem decepcionar no Direito brasileiro?

Você paga por uma IA de uma grande empresa estrangeira. O modelo é capaz, entende português e produz textos impressionantes. Mesmo assim, quando a pergunta exige uma pesquisa jurídica brasileira cuidadosa, a resposta pode ficar aquém do esperado.

Como isso acontece, se agora o problema já não é usar um modelo barato?

No artigo Não existe rodízio de champanhe, discutimos a tensão entre mensalidade, custo de processamento e capacidade entregue. Há outra camada nessa história: o modelo pode ser excelente e trabalhar com uma seleção insuficiente das fontes que o caso exige.

A expectativa do advogado é receber uma análise que considere o Direito aplicável. O produto pode entregar uma boa análise apenas do material que conseguiu encontrar ou recebeu. A distância entre essas duas coisas explica uma parte importante da frustração.

Entender português não demonstra cobertura jurídica brasileira

Uma IA de uso geral atende a tarefas de redação, programação, estudo, pesquisa e análise em muitos países. Conseguir conversar sobre Direito brasileiro não demonstra que ela mantenha uma cobertura completa, atualizada e verificável das nossas fontes.

Mesmo uma plataforma jurídica estrangeira precisa ser avaliada pelo acervo e pelas integrações que oferece para o Brasil. O tamanho da empresa, a qualidade da interface e a competência demonstrada em outra jurisdição não respondem a essa pergunta.

Isso não permite concluir que todas as ferramentas estrangeiras ignorem fontes brasileiras. Algumas podem acessá-las pela web, por integrações ou pelos documentos fornecidos pelo usuário. O ponto é verificar o que o produto efetivamente consulta, em vez de presumir cobertura a partir da reputação do fornecedor.

Conhecer um instituto jurídico e conferir sua situação atual são trabalhos diferentes.

A fonte que ficou de fora pode mudar a resposta

Imagine uma pergunta sobre a viabilidade de determinada tese. A ferramenta encontra decisões favoráveis, organiza os argumentos e entrega uma conclusão convincente. Todas as citações existem. Ainda assim, a pesquisa pode estar incompleta.

Talvez exista um tema de repercussão geral pertinente. Talvez a controvérsia esteja submetida ao rito dos recursos repetitivos. Talvez seja necessário verificar uma determinação de suspensão, uma delimitação da tese ou uma decisão posterior.

As categorias brasileiras também precisam ser respeitadas

Repercussão geral, recursos repetitivos, incidentes de assunção de competência e relevância da questão federal não são nomes intercambiáveis para a mesma coisa.

A relevância da questão de direito federal infraconstitucional, introduzida pela Emenda Constitucional 125/2022 no âmbito do recurso especial, merece cuidado específico. No Enunciado Administrativo 8, divulgado em 2022, o STJ condicionou a exigência de sua demonstração à entrada em vigor da lei regulamentadora, nos termos ali definidos.

Por isso, uma ferramenta precisa conferir o regime aplicável no momento da pesquisa. Tratar “temas de relevância da questão federal” como uma categoria automaticamente equivalente aos temas repetitivos ou à repercussão geral já seria um sinal de imprecisão.

O mesmo cuidado vale para distinguir uma súmula de um acórdão, uma decisão em controle concentrado de uma decisão em caso individual e um resumo informativo do julgamento que ele apresenta. O documento precisa chegar à análise acompanhado de sua natureza, origem e contexto.

Ter busca na internet ajuda. Como ela pesquisa também importa.

Acesso à web pode ampliar muito o material disponível. Mas uma resposta com links não demonstra que a ferramenta percorreu todas as bases relevantes, leu o inteiro teor ou verificou os desdobramentos de um precedente.

O resultado depende das buscas realizadas, dos documentos acessíveis e da seleção do que será levado ao modelo. Se a seleção deixa de fora uma fonte decisiva, a qualidade da redação não recompõe essa ausência.

Essa separação entre recuperação de documentos e geração da resposta aparece na própria pesquisa técnica dos fornecedores. A Anthropic, por exemplo, descreve como falhas na recuperação de contexto podem deixar informações relevantes fora da análise. É uma dificuldade de construção do sistema, além da capacidade do modelo.

Para o advogado, a consequência é concreta: “não encontrei” precisa ser acompanhado do alcance da pesquisa. Não encontrar um precedente nas fontes consultadas não autoriza afirmar que ele não existe.

A solução exige uma estrutura de pesquisa brasileira

Para aproximar a entrega da expectativa, o sistema precisa combinar um modelo capaz com uma estrutura de pesquisa adequada às fontes brasileiras. Isso exige trabalho que não aparece na caixa de conversa:

• Cobertura declarada: informar quais tribunais, coleções e tipos de documento estão disponíveis e onde há lacunas.
• Atualização verificável: permitir conferir a situação atual da fonte e identificar quando o acervo foi atualizado.
• Pesquisa por categoria jurídica: consultar temas e precedentes qualificados quando a questão exigir, além de procurar textos semelhantes.
• Contexto preservado: relacionar tese, julgamento, documentos e desdobramentos necessários à análise.
• Fundamentação conferível: mostrar de onde veio cada conclusão e permitir abrir a fonte.
• Avaliação com problemas brasileiros: testar se a ferramenta encontra os documentos decisivos, distingue institutos e reconhece quando não dispõe de informação suficiente.

Esses são critérios para avaliar uma solução, não uma declaração de que qualquer produto, inclusive o LexGPT, já cubra todas as fontes ou cumpra integralmente esse ideal. A cobrança deve valer para todos os fornecedores.

Essa estrutura pode estar dentro de uma plataforma jurídica ou ser conectada a uma IA de uso geral. O que importa é que as fontes necessárias cheguem à análise e que o profissional consiga conferir o caminho percorrido.

A pergunta para o fornecedor é: quais fontes brasileiras sua ferramenta considera, como as mantém atualizadas e como demonstra o que consultou nesta resposta?

Uma IA pode ser extraordinária. A pesquisa jurídica ainda depende de encontrar aquilo que não pode ficar de fora.