Uma pesquisa global realizada pela Sinch mostra um desafio que aparece depois da implementação da inteligência artificial: manter agentes autônomos funcionando em situações reais.
O levantamento, realizado com 2.527 tomadores de decisão de empresas em dez países, aponta que 74% das organizações que colocaram agentes de IA em produção para comunicação com clientes precisaram posteriormente reduzir seu uso ou desligá-los.
O dado não significa que 74% dos projetos de inteligência artificial fracassaram. O estudo é específico para agentes utilizados em comunicações com clientes, como atendimento por chat, voz, e-mail e outros canais.
O problema aparece depois do lançamento, quando o sistema passa a lidar com dados reais, diferentes tipos de solicitações e situações que nem sempre foram previstas durante os testes.
Por que as empresas estão desligando agentes de IA?
Segundo a pesquisa, falhas de governança estão entre os principais motivos para os recuos. A exposição de informações pessoais de clientes aparece como um dos problemas mais citados, seguida por respostas incorretas geradas pelos sistemas e riscos para a reputação das marcas.
Outro obstáculo é a falta de auditabilidade. Em alguns casos, a empresa não consegue identificar com precisão por que o agente tomou determinada decisão ou produziu uma resposta.
Isso é especialmente relevante em sistemas que podem executar ações, e não apenas responder perguntas. Um agente conectado a sistemas internos pode consultar informações, alterar registros ou encaminhar solicitações. Um erro, portanto, pode ter consequências além de uma resposta inadequada.
O desafio começa quando a IA chega à produção
A pesquisa mostra que 62% das empresas entrevistadas já tinham agentes de comunicação com clientes funcionando em produção. Ou seja, o principal desafio não é necessariamente colocar a tecnologia no ar, mas mantê-la sob controle depois do lançamento.
Na prática, isso exige mecanismos para acompanhar o comportamento do agente e definir quando uma interação deve ser transferida para uma pessoa.
Entre os pontos que precisam ser monitorados estão:
- acesso e exposição de dados;
- qualidade das respostas;
- registro das decisões tomadas;
- possibilidade de intervenção humana;
- integração com sistemas e canais da empresa.
Mais governança não significa ausência de falhas
Um dos resultados mais curiosos do levantamento é que empresas que afirmaram ter estruturas de governança consideradas maduras apresentaram uma taxa de recuo ainda maior, de 81%.
Isso pode parecer contraditório, mas a própria pesquisa aponta uma possível explicação: organizações com mais controles também podem identificar problemas mais rapidamente e interromper sistemas antes que eles causem danos maiores.
O resultado reforça uma mudança no desafio corporativo. Com agentes de IA cada vez mais presentes em operações reais, avaliar a tecnologia apenas antes do lançamento pode não ser suficiente.
O desempenho também precisa ser acompanhado depois que o sistema começa a interagir com clientes e processos internos. Nesse cenário, monitoramento, segurança e supervisão humana passam a fazer parte da operação da inteligência artificial.
Fonte: Exame com adaptações da MundoCoop
