IA na contabilidade, dia 8: pesquisar legislação sem citar norma que não existe

Terça-feira, dez da manhã, e chega no WhatsApp a pergunta que você sabia que viria: com a reforma tributária, o cliente vai pagar mais ou menos imposto no ano que vem? Você abre a IA, digita a dúvida e em dez segundos recebe uma resposta impecável, organizada em tópicos, citando lei complementar, artigo e parágrafo com a segurança de quem redigiu a norma, então a tentação é copiar, colar e responder antes de o café esfriar. O oitavo capítulo da série existe para segurar exatamente essa tentação, porque a pesquisa de legislação é, ao mesmo tempo, o uso em que a IA mais ajuda e o uso em que ela mais engana.

O problema: a máquina que inventa com fluência

O nome técnico do fenômeno é alucinação, e entendê-lo muda o seu jeito de perguntar: a IA de conversa não consulta um banco de leis quando responde, ela gera o texto mais provável a partir do que aprendeu, logo, quando falta o dado exato, ela completa com o que soa plausível, e número de norma, artigo de lei e ementa de julgado soam plausíveis com uma facilidade assustadora. O caso mais famoso é verificável: em junho de 2023, em Nova York, o juiz federal P. Kevin Castel multou em 5 mil dólares dois advogados e o escritório deles no caso de Roberto Mata contra a companhia aérea Avianca, porque a petição citava seis precedentes que não existiam, todos criados pelo ChatGPT, que, questionado pelo próprio advogado, ainda garantiu que os casos eram reais. O Brasil já tem os seus: o Tribunal de Justiça de Santa Catarina multou por litigância de má-fé o autor de um recurso recheado de jurisprudência e doutrina fabricadas por IA, com ofício à OAB, a Ordem dos Advogados do Brasil. E o fenômeno está longe de ser azar de desatentos, porque pesquisadores de Stanford e Yale o mediram em escala: em mais de 800 mil perguntas verificáveis sobre julgados federais americanos, os modelos testados em 2023 alucinaram entre 58% e 88% das respostas. Se acontece com advogado em juízo, acontece com contador em parecer, então o que muda a seu favor é o método.

O método defensivo em 4 etapas

O caminho completo, da dúvida à citação conferida.

Etapa 1, use a IA para entender e organizar, nunca para citar. Nisso ela é excelente: explicar um conceito em linguagem clara, comparar o tratamento de dois regimes, montar o roteiro do que você precisa pesquisar e em que ordem. O erro aparece quando a resposta é tratada como fonte final, porque a IA é uma ótima professora e uma péssima fonte primária.

Etapa 2, exija número e fonte de toda norma. O pedido pronto abaixo obriga a IA a citar tipo, número, ano e artigo de cada afirmação, dá permissão explícita para ela declarar incerteza em vez de arriscar um número, e ainda encomenda a lista de onde conferir, que é o insumo da etapa seguinte.

O prompt da casa: reduz a invenção, mas não dispensa a etapa 3.

Etapa 3, confira cada citação em fonte oficial antes de usar. Lei e decreto se conferem no Portal da Legislação do Planalto, instrução normativa, ato declaratório e solução de consulta se conferem no portal de normas da Receita Federal, e norma profissional se confere na página das Normas Brasileiras de Contabilidade do CFC, o Conselho Federal de Contabilidade. A regra da casa cabe numa frase: citação não conferida não entra em documento assinado.

Etapa 4, tema recente pede busca na web ativada. O conhecimento da IA tem data de corte, que é o ponto no tempo em que o treinamento dela parou, então norma publicada depois desse ponto ela desconhece, e é aí que o risco de completar com o plausível explode. Para reforma tributária, regulamentação nova e ato do mês passado, prefira a ferramenta com busca na web ligada, que passa a citar páginas reais que você pode abrir.

O exemplo prático

Veja a diferença aplicada a uma dúvida típica deste ano, o split payment, o mecanismo da reforma em que o tributo é separado e recolhido no momento do pagamento, sem passar pelo caixa do vendedor (o diálogo do exemplo é fictício, montado para o exercício):

A mesma dúvida, dois destinos: no caminho ingênuo a citação inventada vai parar no parecer, no defensivo ela morre na conferência.

Repare que a resposta ingênua não parece errada, e esse é o ponto: a citação inventada chega com a mesma formatação, o mesmo tom e a mesma convicção da verdadeira, logo não é o faro que pega a invenção, é a conferência na fonte.

Cuidados

O primeiro cuidado é de responsabilidade: parecer que cita norma inexistente é dano real, porque o cliente decide com base nele, e quem assina responde perante o cliente e o conselho profissional, logo a etapa 3 é a parte do método que protege o seu registro. O segundo é o já conhecido da série: a dúvida que você digita às vezes carrega nome e situação de cliente, logo anonimize antes, por sigilo profissional e LGPD, a Lei Geral de Proteção de Dados Pessoais. E o terceiro é de calibragem: o prompt defensivo reduz a alucinação, a busca na web reduz mais ainda, e mesmo assim nenhuma combinação zera o risco, então a conferência final continua sendo sua.

Amanhã, no dia 9, a série entra no lugar onde o contador passa o dia: a IA dentro da planilha, escrevendo fórmula, destravando função e explicando por que aquele PROCV insiste em não funcionar.