Como medir o retorno de um projeto de IA se a empresa não mede o processo hoje?

Começando a medir antes do projeto. Duas semanas de registro simples, em planilha, do tempo por unidade de trabalho e da taxa de erro já formam uma linha de base honesta para comparar depois.

Quais indicadores servem para medir um projeto de IA?

Tempo de trabalho humano por unidade, taxa de erro ou retrabalho, volume processado pela mesma equipe e receita atribuível. Escolha um como principal, no máximo um secundário, e defina o alvo antes de construir.

Quantidade de uso da ferramenta de IA conta como resultado?

Não. Uso é atividade. Resultado é a mudança no indicador combinado no início, como horas liberadas, erros evitados ou receita adicional. Uma ferramenta muito usada pode não mudar nenhum número da empresa.

Como medir o retorno de um projeto de IA: do indicador ao caixa

A última etapa do meu método se chama Mensuro, e ela é a que mais separa projetos que viraram operação de projetos que viraram apresentação. A IA facilitou muito construir. Facilitou também construir coisas bonitas que não mudam nenhum número da empresa.

Este texto é o roteiro que uso para evitar isso. Ele é curto porque medir retorno de IA não é complicado. É só desconfortável, porque obriga a dizer antes o que se espera depois.

Primeiro, o indicador

Todo projeto de IA em operação mexe em um de quatro números. Escolha um antes de escrever uma linha de código.

Tempo. Horas de trabalho humano por unidade de processo: por nota conferida, por lead qualificado, por chamado resolvido.
Erro. Retrabalho, devolução, multa, glosa, reclamação. Tudo que custa dinheiro porque algo saiu errado na primeira vez.
Volume. Quanto a mesma equipe consegue processar. Pedidos por dia, propostas por semana, atendimentos por hora.
Receita. Conversão, ticket, recorrência, recuperação de inadimplência. O mais difícil de atribuir e o mais convincente quando se consegue.

Um indicador por projeto. Quando a proposta lista oito benefícios, é sinal de que ninguém sabe qual vai acontecer. Escolha o que mais dói e meça esse.

Linha de base: medir antes, mesmo que seja na mão

A objeção mais comum é que a empresa não mede o processo hoje, então não tem como comparar. É verdade, e é exatamente por isso que a medição começa antes do projeto, não depois.

Duas semanas de cronômetro resolvem. Peça para a equipe anotar, em uma planilha simples, quanto tempo cada unidade de trabalho levou e quantas voltaram com erro. Não precisa de precisão de laboratório. Precisa de um número honesto para comparar com o número de depois. Sem isso, o resultado do projeto será uma opinião, e opiniões não convencem quem assina o cheque.

O erro mais comum: medir uso em vez de resultado

Relatórios de projeto de IA adoram métricas de adoção. Quantas pessoas usaram, quantas perguntas o assistente respondeu, quantos documentos foram processados. Nenhum desses números é resultado. São atividade.

O assistente pode ter respondido dez mil perguntas e o tempo de atendimento continuar igual, porque as pessoas conferem a resposta antes de usar. O classificador pode ter processado todas as notas e a multa continuar vindo, porque ninguém age sobre a divergência apontada. Resultado é o que mudou no indicador escolhido no início. O resto é curiosidade.

Um exemplo com números

Conferência de notas fiscais de entrada contra pedido de compra, em uma distribuidora de porte médio. O indicador escolhido foi tempo, com erro como secundário.

Linha de base: duas pessoas, cerca de 90 horas por mês na conferência, com 4% das notas voltando por divergência não detectada.
Depois de seis semanas em produção: o sistema lê a nota, cruza com o pedido e aponta divergências. As pessoas revisam só o que foi apontado. Cerca de 15 horas por mês.
Erro: divergências não detectadas caíram para menos de 1%, porque a máquina confere tudo e a pessoa confere o que importa.
Caixa: 75 horas por mês liberadas e redução de glosas e devoluções. A equipe foi realocada para negociação com fornecedores, que é onde o conhecimento dela vale.

Note que o relatório não fala em quantas notas o modelo processou. Fala em horas e em erro, porque foi isso que combinamos medir antes de começar.

Quando o retorno não aparece

Acontece. O projeto entra em produção, o indicador não se move, ou se move menos do que o esperado. Nesse momento há três caminhos, e o pior deles é o mais comum: continuar porque já foi investido.

O primeiro caminho é ajustar. Em geral o problema está no dado ou no processo ao redor, não no modelo. O segundo é redefinir o indicador, se ficou claro que o projeto mexe em outro número. O terceiro é parar. Um projeto que não move indicador em dois ciclos de medição está ensinando algo sobre o processo, e a lição mais barata é interromper e aplicar o aprendizado no próximo.

Checklist antes de assinar qualquer projeto de IA

Qual é o indicador único que este projeto vai mover?
Qual é o número dele hoje, medido, não estimado?
Em quanto tempo esperamos ver mudança, e qual mudança justifica o investimento?
Quem vai medir, com que frequência, e onde o número vai ser publicado?
O que fazemos se o número não mudar?

Se o fornecedor não consegue responder as cinco com você, ele está vendendo tecnologia, não resultado. Se você não consegue responder, ainda não é hora de contratar. Em ambos os casos, a resposta é a mesma: volte ao processo, meça, e só então construa.

Texto de Marcelo Toscano, que acompanha indicadores até o resultado aparecer no caixa, não só na demonstração. Mais sobre dados e IA no Instagram @toscano.com.br.