Se uma IA agêntica prejudicar um correntista, quem responde pelo dano?

A tecnologia já avança sobre decisões financeiras sensíveis; quanto maior a autonomia das máquinas, mais indispensáveis se tornam a supervisão humana, a transparência e o botão de parada

Imagine que um correntista tente fazer uma transferência para pagar uma cirurgia. O sistema considera a operação suspeita, bloqueia a conta e encerra o atendimento com uma mensagem automática. O dinheiro continua na instituição, mas o cliente não consegue acessá-lo. Quem tomou a decisão? Quem pode revisá-la? E quem responde pelo prejuízo causado?

Essas perguntas se tornarão cada vez mais importantes à medida que bancos, fintechs, seguradoras e plataformas de investimento adotarem sistemas capazes de analisar dados e agir com menor intervenção humana.

O que é uma IA agêntica

A inteligência artificial agêntica é uma evolução dos sistemas que apenas respondem a comandos. Em vez de produzir uma resposta isolada, ela pode receber um objetivo, analisar informações, planejar etapas, utilizar diferentes ferramentas, executar ações e avaliar os resultados.

Um sistema desse tipo pode, por exemplo, identificar uma movimentação fora do padrão, consultar bases de dados, comparar o comportamento do cliente com outros indicadores, classificar o risco, bloquear temporariamente uma transação e abrir um procedimento de verificação. Dependendo de como for configurado, pode fazer tudo isso sem que um funcionário acompanhe cada etapa.

A diferença está no grau de autonomia. Um chatbot responde a uma pergunta. Uma IA agêntica pode conduzir um processo. Sistemas agênticos são projetados para interpretar objetivos, organizar ações, usar ferramentas e adaptar seu comportamento com base no que acontece durante a execução.

No setor financeiro, isso significa que a tecnologia pode estar por trás de decisões sobre prevenção a fraudes, concessão de crédito, abertura e encerramento de contas, análise de investimentos, cumprimento de normas e relacionamento com clientes.

Não se trata de dizer que uma máquina passou a ter vontade própria. Sua autonomia é operacional e limitada por dados, regras, permissões e objetivos definidos pela instituição. Mas, se ela puder agir diretamente sobre a vida financeira das pessoas, seus limites precisarão ser tão claros quanto os de qualquer funcionário que exerça uma função de responsabilidade.

Quando o sistema erra

Uma máquina não precisa ter a intenção de prejudicar alguém para produzir um dano. Pode receber dados incompletos, interpretar uma situação de forma equivocada ou executar uma instrução sem encontrar uma barreira capaz de interrompê-la.

Um caso ocorrido no mercado financeiro dos Estados Unidos ajuda a dimensionar esse risco. Em 2012, a empresa Knight Capital teve uma falha em seu sistema automatizado de negociação. Em cerca de 45 minutos, a plataforma enviou mais de 4 milhões de ordens equivocadas ao mercado. A companhia acumulou posições indesejadas e perdeu mais de US$ 460 milhões. A Securities and Exchange Commission concluiu que faltavam controles para limitar os riscos do sistema e aplicou uma penalidade de US$ 12 milhões.

O episódio não envolveu uma IA agêntica nos moldes atuais, mas ilustra um problema que permanece válido: um sistema autorizado a agir em grande escala pode transformar uma falha técnica em uma crise financeira antes que os responsáveis consigam reagir.

Para os administradores, as consequências podem incluir perdas, sanções, processos, danos à reputação e questionamentos sobre a governança da instituição. Para o cliente, o prejuízo pode ser mais imediato: uma transferência interrompida, um cartão recusado, uma conta congelada ou um pedido de crédito negado.

O cliente do outro lado

Sistemas automatizados de prevenção a fraudes são importantes para proteger o dinheiro dos correntistas. O problema surge quando uma operação legítima é confundida com uma ameaça e o cliente não consegue resolver o impasse.

Em 2022, o órgão norte-americano de proteção financeira ao consumidor determinou que o Wells Fargo pagasse mais de US$ 3,7 bilhões por uma série de problemas. Entre as acusações estava o congelamento de mais de 1 milhão de contas com base em um filtro automatizado defeituoso, que apontava possíveis depósitos fraudulentos. Segundo o órgão, alguns consumidores ficaram sem acesso ao dinheiro por pelo menos duas semanas.

O caso mostra que um erro automatizado não é apenas uma estatística. Para a pessoa afetada, ele pode significar a impossibilidade de comprar remédios, pagar uma conta, honrar uma dívida ou manter um pequeno negócio funcionando.

Também há riscos na concessão de crédito. Um sistema pode avaliar renda, histórico de pagamentos, movimentações e outras variáveis para decidir se alguém receberá um empréstimo. Mas a instituição não pode se esconder atrás da complexidade do modelo para deixar de explicar uma negativa.

O Consumer Financial Protection Bureau, órgão norte-americano de proteção financeira, já orientou que credores devem apresentar razões específicas e corretas para decisões negativas de crédito, mesmo quando utilizam inteligência artificial ou algoritmos complexos.

A regra traduz um princípio simples: a tecnologia pode ser difícil de entender, mas a decisão que afeta a vida do cliente precisa ser explicável.

Quem aperta o botão?

Quanto mais autonomia uma máquina tiver, mais importante será estabelecer limites antes que ela comece a agir. Uma instituição financeira precisa definir, por exemplo:

• quais decisões o sistema pode tomar sozinho;
• quais operações exigem autorização humana;
• quais valores ou níveis de risco exigem revisão;
• como interromper imediatamente o sistema;
• como registrar cada ação e sua justificativa;
• como o cliente poderá contestar uma decisão;
• quem responderá pelo problema em caso de erro.

O chamado “botão de parada” não pode ser uma figura de linguagem. Deve existir um mecanismo técnico para suspender as ações do sistema, além de uma equipe com autoridade para acioná-lo.

Também é necessário testar a ferramenta em situações fora do padrão: instabilidade de mercado, aumento repentino de fraudes, falhas de comunicação entre sistemas, mudança regulatória ou comportamento atípico dos clientes.

Supervisão humana não significa deixar alguém olhando passivamente para um painel. O responsável precisa ter acesso às informações, compreender os alertas, poder contrariar a recomendação da máquina e interromper o processo antes que o dano se espalhe.

A responsabilidade continua humana

A IA agêntica pode acelerar processos, encontrar padrões e reduzir tarefas repetitivas. Pode ajudar instituições financeiras a atender mais pessoas e detectar fraudes com maior rapidez. Mas eficiência não pode ser medida apenas pela quantidade de decisões tomadas em menos tempo.

É preciso perguntar quantos clientes foram prejudicados por decisões erradas, quantos conseguiram contestá-las e quanto tempo levaram para recuperar o acesso ao próprio dinheiro.

A instituição pode terceirizar a tecnologia, contratar uma plataforma pronta ou delegar parte da análise a um agente artificial. Não pode, porém, terceirizar a responsabilidade. Para o correntista, o investidor ou o segurado, pouco importa qual sistema produziu a decisão: o vínculo é com a instituição que administra seu dinheiro.

A questão central não é impedir que as máquinas ajudem os bancos. É evitar que elas se tornem a última instância de decisão sem explicação, revisão ou possibilidade de interrupção.

Se uma IA agêntica prejudicar um correntista, a resposta não pode ser “foi o algoritmo”. Alguém terá de responder – e esse alguém deve estar definido antes de a máquina começar a agir.

Marco Antonio Rosa

Escritor e jornalista formado pela Universidade de São Paulo, com passagem pelo Diário Comércio e Indústria, pela Revista dos Tribunais, pela Editora Abril e diversos outros órgãos de imprensa, com especialização em extensão rural e jornalismo científico.