Como saber se um projeto de IA está realmente dando retorno?

Adele Delvern
Por Adele Delvern
6 Min de leitura
André de Barros Faria

Quanto vale um projeto de inteligência artificial depois que o entusiasmo da estreia passa? Na visão de André de Barros Faria, líder em transformação digital e hiperautomação, o retorno só aparece quando a empresa define, antes de começar, o que pretende mudar e como vai perceber que mudou de fato.

A definição prévia parece uma formalidade, mas decide quase tudo o que vem depois. Sem um ponto de partida claro, qualquer melhoria vira argumento a favor do projeto, e qualquer atraso vira desculpa. Com um ponto de partida claro, o debate deixa de ser sobre impressões e passa a ser sobre diferenças observáveis entre o antes e o depois. Muitas empresas descobrem tarde demais que não registraram como o processo funcionava antes da tecnologia, e então não têm contra o que comparar o resultado.

Que retorno vale medir, e em que horizonte?

O retorno de um projeto de IA raramente cabe numa única conta. Há o ganho direto, como o tempo economizado numa tarefa ou a redução de retrabalho, e há o ganho indireto, como a melhora na qualidade das decisões ou na satisfação de quem usa o resultado. O primeiro é mais fácil de medir e, por isso, costuma dominar os relatórios. O segundo, porém, muitas vezes responde pela maior parte do valor, e ignorá-lo faz bons projetos parecerem fracos.

Conforme explica André de Barros Faria, o horizonte de medição importa tanto quanto o indicador escolhido. Um sistema de análise de dados que ainda está aprendendo o contexto da empresa tende a render menos nos primeiros meses, e cobrar dele o desempenho de um sistema maduro leva a abandonar uma boa iniciativa cedo demais. O caminho mais sensato é separar marcos de curto prazo, que mostram se a solução está funcionando, de marcos de prazo mais longo, que mostram se ela está mudando o negócio.

Convém também distinguir indicador de atividade e indicador de resultado. Contar quantas consultas o sistema respondeu ou quantos relatórios gerou diz que ele está em uso, mas não diz que está ajudando. O que interessa é o que mudou na operação por causa disso: menos erros, decisões mais rápidas, consumidores atendidos com menos espera. Quando a equipe só acompanha atividade, o painel fica verde e o negócio continua igual.

Os custos que ficam fora da conta

Metade da dificuldade de medir retorno está no outro lado da divisão: o custo. Muita gente conta apenas a licença da ferramenta ou o valor do desenvolvimento, e esquece o que vem em volta. Preparar e limpar os dados, integrar o sistema aos processos existentes, treinar as equipes, supervisionar os resultados e manter o modelo atualizado são gastos reais, e frequentemente maiores que o da tecnologia em si. Uma conta que ignora esses itens faz qualquer projeto parecer um achado.

André de Barros Faria pondera que a qualidade dos dados costuma ser o custo mais subestimado. Um modelo alimentado por informações incompletas ou inconsistentes entrega respostas pouco confiáveis, e a empresa acaba pagando duas vezes: uma para construir a solução e outra para corrigir o que ela produziu. Por isso, antes de estimar qualquer retorno, vale examinar a situação dos dados com a mesma seriedade com que se examina o orçamento.

Há ainda o custo de oportunidade, que raramente entra em planilha. Uma equipe dedicada a um projeto de IA deixa de cuidar de outras frentes, e o valor dessas frentes precisa ser colocado na balança. Quando o problema escolhido para automação não é o mais relevante, meses de trabalho podem ser consumidos sem gerar o impacto esperado. Quem mede bem o retorno também escolhe bem por onde começar.

O que André de Barros Faria observa sobre a comparação com o ponto de partida?

Medir retorno é, no fundo, comparar, e comparar exige uma referência confiável, que precisa ser construída antes de a solução entrar em operação. Como observa André de Barros Faria, o recomendável é registrar o desempenho do processo atual, com os indicadores que importam, durante um período suficiente para captar as oscilações normais, como picos de demanda e semanas mais fracas. Sem esse registro, a melhora percebida pode ser apenas uma flutuação.

Uma forma prática de reforçar a comparação é manter, durante algum tempo, parte da operação funcionando como antes, ao lado da parte que usa a solução. Assim, fatores externos, como uma mudança no mercado ou uma campanha sazonal, afetam os dois grupos, e a diferença entre eles revela o efeito real da tecnologia. É o velho cuidado de não confundir coincidência com causa, só que aplicado a um projeto de negócios.

O retorno precisa, ainda, ser revisitado. Um número bom no terceiro mês pode se deteriorar se os dados mudarem, se o comportamento dos usuários se alterar ou se a equipe parar de acompanhar o sistema. Tratar a medição como um hábito contínuo, e não como um relatório de encerramento, é o que separa a empresa que aprende com a IA daquela que apenas a instalou. No fim das contas, a pergunta certa não é se o projeto deu certo, mas se continua dando.

Compartilhe esse artigo