Guia completo: Customer Health Score (CHS)
Como criar ou aperfeiçoar seu método de prever churns?
Aviso: este material é um guia completo. Ele será bem maior do que as versões tradicionais da Newsletter.
Além disso, ele é parte do meu futuro Livro sobre Customer Success. Se você não está inscrito ainda na lista de espera, o link está no fim do guia!
O Health Score (ou Customer Health Score) é uma das ferramentas fundamentais de uma área de Customer Success. Mas a verdade é que poucas áreas têm e as que têm, raramente usam.
Mesmo as que usam, ainda tem suas questões. Eu conversei com dezenas de lideranças de Customer Success nos últimos 4 meses. Da maioria eu ouvi as mesmas coisas:
Meu Health Score me sinaliza clientes errados
Os critérios do meu Health Score parecem “chutados”
Ninguém sabe explicar por que os critérios usados foram escolhidos
O time não sabe fazer com o Health Score
Entre outras inúmeras reclamações. A verdade é que é muito difícil construir um modelo capaz de prever churn de forma que seja útil.
Recentemente, foi uma conversa com o Diego Marafon, Diretor de Experiência do Cliente na ChecklistFacil que originou esta edição super especial da Newsletter.
Os motivos que tornam isso difícil são:
A empresa não tem dados para basear a criação do Health Score
Ou às vezes até tem, mas são incompletos ou insuficientes
Falta embasamento teórico para criar um Health Score
As pessoas querem começar logo com um modelo complicado demais e acabam não saindo do lugar
Então a ideia do artigo de hoje é ser um grande guia sobre Customer Health Score. Eu quero ajudar você a conseguir, finalmente, criar um que ajude a direcionar as ações do seu time de forma prática.
No fim deste artigo, você vai saber o que é necessário para construir desde listas simples de clientes em risco até modelos mais elaborados, com valores ponderados.
E é claro, os assinantes pagos terão acesso a uma planilha com um modelo prontinho para ser adaptado e poderá baixar esse guia em PDF! Por isso, se você ainda não é assinante da versão paga, assine e tenha acesso a este e vários outros materiais.
O que é e qual o objetivo de um Health Score?
O CHS (abreviação de Customer Health Score) é uma forma de tentar prever o churn. Basinte, você pega características e comportamentos do cliente e, de acordo com elas, tenta dizer qual a chance deste cliente sair.
Para ilustrar, vou usar um exemplo que eu gosto bastante:
Imagine que o time de CS é um time de manutenção preventiva de carros. Quando você vai fazer uma revisão, o mecânico vai olhar coisas como:
O nível de óleo
O desgaste das correias
O desgaste dos pneus
E com o conhecimento dele ou com as indicações do fabricante, ele entende se é hora de trocar uma peça. Ele faz isso para tentar avaliar o nível de risco de alguma coisa quebrar. E se ele achar que o risco existe, tenta evitar.
O Health Score é como esse procedimento de verificação. É algo prático, que ajuda a tomar a decisão:
Eu preciso ou não interferir neste cliente?
Se eu pudesse resumir, o Health Score é um modelo de priorização. Ele não vai ser perfeito, muitas vezes ele vai errar. Mas, ele tira seu time de CS da inércia. Faz com que o time não fique esperando o cliente pedir cancelamento para agir.
Por fim, um Health Score é como se fosse uma função ou equação matemática. Você insere parâmetros ou variáveis e obtém um resultado. Vou ilustrar isso da seguinte maneira:
De um lado você insere o cliente e suas variáveis. Do outro sai o resultado. O resultado pode ser um número (como uma nota de risco) ou uma categoria (risco alto, médio ou baixo). Como uma caixa preta.
Dito isso, o time de CS não precisa necessariamente saber como funciona o modelo. É claro que é interessante, para que cada um possa “refinar” os resultados com a própria percepção. Mas no fim, o que importa é a saída.
Antes de começarmos a pensar na construção, eu gostaria que você entendesse 4 coisas:
Health Score bom é Health Score usado. Se seu Health Score fica num BI e ninguém entende ou abre, não adianta. Pouco importa o nível de tecnologia ou esforço que você empenhou para criar. É lixo, pode descartar.
Você não precisa do modelo perfeito logo de cara. O Health Score é uma ferramenta para ajudar a aumentar a assertividade da previsão de churn. Isso quer dizer que ele nunca será perfeito, e a ideia nem é essa. A ideia é ter um modelo que seja apenas melhor do que a aleatoriedade e ir melhorando.
Qualquer melhoria que faça você priorizar melhor os clientes vale. Mesmo que seja só 5% melhor do que “chutar”. Isso já é uma economia de tempo, dinheiro e outros recursos.
Se você não tiver dados históricos para construir um modelo baseado em dados, comece com “instinto”. Muitas áreas não criam um modelo de predição de churn por quererem ter todos os dados possíveis para escolher critérios. Mas aqui feito é melhor que perfeito. Se você acha que clientes com muito suporte tendem a sair mais, crie um modelo com isso. Depois você mede a efetividade e escolhe colocar ou tirar da conta.
Se você não sabe construir um modelo muito robusto, faça um simples. Seu modelo pode ser tão simples quanto: quanto menor o uso do produto, mais risco. Só isso já vai ajudar a direcionar alguma ação.
Health Score é só um gatilho. O Health Score é só um alerta que fala “hora de aplicar o playbook”. Tão importante - ou mais - quanto prever o churn é saber o que fazer com essa informação. Então, além do Health Score você precisa de um bom playbook de mitigação de riscos.
Modelos complexos demais podem ser um problema. Se o modelo é tão complexo que dá muito trabalho para ser usado, ele não será usado.
Exemplo: imagine que você tem dois modelos. Um deles te garante uns 60% de precisão e o outro 80%. O primeiro leva 5 minutos para atualizar e ter a lista de clientes na mão, já o segundo te toma 2 horas mensalmente. Vá com o primeiro, a menos que você tenha alguém com essa atribuição para delegar. Caso contrário, enquanto você estiver empolgado, você até vai fazer. Mas, com o tempo, vai acabar deixando desatualizado e o modelo cai no desuso.
E eu falo tudo isso por experiência própria. Eu sou um grande entusiasta de dados. Então, quando eu entrei na área de CS me empolguei com o desafio de construir um algoritmo capaz de prever churn com alta eficácia.
Eu fui fundo na coisa: até aprendi modelos de classificação e frameworks de programação como Scikit Learn. Construí até alguns modelos com IA (na mão), antes do hype da IA generativa:
Mas a verdade é que, na época, eu não tinha a estrutura necessária para construir - e manter - isso. Esse modelo caiu em desuso. Aliás, nem lembro se ele chegou a ir para a ponta. Apesar de prever com mais de 90% de assertividade o churn (de acordo com testes na minha própria base).
Faltava integração entre ferramentas, processos para garantir a qualidade da informação e muitas outras coisas. Então, precisei recomeçar. E simples.
Como montar um Customer Health Score?
Agora, vamos começar a entrar na parte prática. Vou falar um pouco sobre - e te ensinar a fazer - 4 tipos diferentes de Health Score:
Jeito iniciante: percepção do CSM, ou seja, “cheiro”.
Jeito simples: listas de cliente por critérios simples
Jeito menos simples: pontuação por eventos
Jeito intermediário: listas com múltiplos critérios (ponderados).
E tem também um quinto jeito, que não é tanto o escopo aqui, mas que eu vou explicar brevemente também. Só a fins de informação mesmo.
Jeito complexo: algoritmos de classificação (ex: árvore de decisão, KNN, etc).
Então vamos lá, falar sobre cada um deles com um pouco mais de detalhes.
Jeito iniciante
O que você precisa: CSMs bons e disciplinados
A primeira forma é a mais simples de toda. É basicamente o CSM categorizar de acordo com a sua percepção, baseado na interação que tem com o cliente. Sabe quando você entra em reunião com o cliente e sai com aquela percepção:
Putz, esse cliente tá gritando que vai sair…
É isso. Basicamente o CSM pega essa informação e insere adequadamente no CRM ou no seu controle pessoal. E, com base nisso, começa a tratar o risco de acordo com o que está ao seu alcance.
Jeito simples
O que você precisa: dados básicos sobre características e/ou comportamentos dos clientes
A segunda maneira é com base em listas de clientes. A ideia é a seguinte: mensalmente você extrai listas de clientes que tenham alguma relação com o churn e atuam nela. Por exemplo:
Clientes com mais tickets de suporte
Clientes com nota mais baixa no NPS
Clientes com nota baixa no CSAT
Clientes com baixo uso do produto
Clientes com mais tempo sem acessar o produto
Todos esses podem ser categorizados como risco alto. E assim, o time de CS entra em contato com os principais, de acordo com o volume de receita em risco.
Jeito menos simples
O que você precisa: pesos para cada evento + automação e processo de atualização
A terceira maneira é o método que adiciona ou remove pontos do cliente a partir de eventos. Neste modelo, o score geralmente começa em um patamar (geralmente 50). Então, o cliente ganha ou perde pontos de acordo com coisas que acontecem. Por exemplo:
Cliente cumpre determinado checklist (exemplo checklist de onboarding): ganha X pontos
Cliente responde o NPS negativamente: perde X pontos
Cliente responde o NPS positivamente: ganha X pontos
Cliente comparece a uma reunião: ganha X pontos
Cliente fica meses sem contato: perde X pontos
Alguns softwares de CS utilizam este método de cálculo, mas eu acho complexo demais para o patamar de assertividade que isso dá. É difícil acompanhar, manter atualizado e melhorar. Mas essa é minha opinião baseada em percepção. Nunca trabalhei diretamente com este método.
Jeito intermediário
O que você precisa: dados + pesos para cada variável + processo de atualização
A terceira maneira é uma das mais comuns usadas por aí. Basicamente você escolhe critérios e pesos para determinar uma “nota” para o seu Health Score. Esses critérios são objetivos (numéricos) e o Health Score nesse caso é literalmente uma equação.
Vou facilitar a compreensão com um exemplo. Digamos que você escolheu os determinados fatores e pesos:
Número de tickets de suporte nos últimos 30 dias (quanto menor melhor) - 20%
Meses como cliente (Quanto maior melhor) - 30%
Número de produtos contratados (Quanto maior melhor) - 20%
Percentual de uso das funcionalidades nos últimos 30 dias (Quanto mais melhor) - 30%
Então a equação ficaria algo como:
Health Score = (Nota tickets × 0,2) + (Nota tempo × 0,3) + (Nota produtos × 0,2) + (Nota uso × 0,3)
Perceba que eu mencionei “Nota” para cada um. Cada uma dessas “notas” precisa ser normalizada, ou seja, transformada em um valor padronizado — geralmente entre 0 e 1 ou de 0 a 100 — para que a equação funcione corretamente.
Por exemplo, você pode atribuir nota 1 para clientes com 0 tickets, e nota 0 para quem abriu mais de 10. Para o tempo como cliente, o máximo da escala pode ser 24 meses. O segredo está em definir essas escalas de forma coerente com a realidade do seu negócio.
O resultado final da equação será um número que representa a saúde do cliente: quanto mais próximo do máximo, mais saudável ele está. Isso te permite acompanhar a evolução ao longo do tempo e comparar clientes entre si com critérios objetivos.
Jeito complexo
O que você precisa: boa estrutura de dados + histórico de dados para analisar + expertise em ciência de dados
O jeito complexo de fazer é via algoritmos de Machine Learning. Você precisaria criar um algoritmo de classificação. Há diversos algoritmos que podem ser adequados para a criação de um modelo de predição de churn. Não existe algoritmo melhor ou pior. Você precisaria testar alguns modelos e hipóteses baseado na realidade do seu negócio. Assim, saberia qual tem maior assertividade e o implementaria na rotina.
Caso queira se aprofundar, recomento o livro Mãos a Obra: Aprendizado de Máquina com Scikit-Learn, Keras e TensorFlow. Não é uma leitura geral. É para quem se interessa por dados. É um livro técnico de ciência de dados com Python, mas tem exemplos práticos e códigos prontos. Inclusive de classificação de risco de churn.
É claro que os algoritmos criados com Machine Learning são o supra-sumo da predição de churn. Mas você dificilmente precisa de um algoritmo desses para o seu trabalho no dia a dia. Você consegue melhorar MUITO o seu patamar atual de churn com um modelo simples. Modelos assim são necessários quando a volumetria de clientes é imensa e você precisa agir de forma muito pontual e estratégica.
Eu tô falando isso agora, mas eu já mergulhei nesse buraco de coelho. O print que coloquei lá em cima é de um algoritmo de Árvore de Decisão em Machine Learning que eu criei.
Bônus: minha visão sobre o Health Score perfeito
Essa parte é só uma curiosidade. Pode pular se quiser.
Eu acredito que só há uma forma de criar um Health Score praticamente perfeito, que tenha a máxima assertividade possível. E isso seria com mais de um Health Score. Como assim? Vou explicar.
No começo da jornada do cliente, você não tem muitos dados de comportamento. Afinal, o cliente recém entrou. Então, você não tem muitos tickets de suporte ou medidas de uso, por exemplo. Sendo assim, algumas métricas perdem o sentido. Nessa época, vale muito mais avaliar o cliente por “quem ele é”.
Ele é grande ou pequeno? PJ ou PF?
Qual o mercado dele?
Quanto ele paga? Isso é muito para ele?
Quais produtos ele comprou?
E uma vez que o cliente “rompe” a barreira da adoção, quem ele é importa menos. Passa a importar mais o valor que ele tira do seu produto.
A forma de tratar isso é com 2 algoritmos: um para avaliar clientes novos e um para clientes maduros. O primeiro seria 100% baseado em características inerentes ao cliente (um pouco como medidas de fit). Já o segundo seria quase 100% baseado em comportamento.
O processo de desenvolvimento do Health Score
Criar, utilizar e manter um Health Score é um processo. A forma mais saudável de fazer isso é com ajuda de algum braço de inteligência como um time de Ops, Planejamento Comercial ou Dados.
Eu diria que é um processo de 5 etapas:
Compreensão do negócio e escolha de variáveis
Criação do modelo
Teste do modelo
Implementação do modelo
Melhoria do modelo
(caso você tenha curiosidade, me inspirei na metodologia CRISP-DM para definir essas etapas)
Etapa 1 - Compreensão do negócio e escolha de variáveis
Entender o negócio e escolher quais parâmetros considerar. Com base no seu conhecimento sobre o negócio, você faz uma lista de critérios que pode ser relevante na predição do churn.
Como escolher quais critérios vão no modelo? Simples. Se você tiver histórico de dados para analisar, analise. Olhe a prevalência do churn de acordo com certas características ou comportamentos. Exemplo: clientes menores têm churn rate maior? Então talvez porte seja um bom parâmetro. Se você não tiver histórico, escolha arbitrariamente os parâmetros e teste. Vamos falar sobre como testar o modelo mais adiante.
Etapa 2 - Criação do modelo
Aqui é basicamente você escolher um dos modelos que listei acima e aplicar na sua realidade. A escolha do modelo deve levar em consideração, principalmente:
Assertividade (qual o percentual de acertos que você espera ter)
Facilidade de uso e manutenção
Etapa 3 - Teste do modelo
Vou te ensinar uma forma prática de testar um modelo de Health Score:
Pegue uma lista de clientes antiga (ex: 6 meses, 1 ano atrás)
Use seu Health Score para simular a predição de churn. Seu modelo vai classificar os clientes de acordo com o risco.
Confronte a previsão com o resultado real. Como a lista é antiga, você já sabe quais daqueles clientes de fato saíram ou não. O % de acerto do seu modelo é a assertividade.
Caso o % seja baixo, volte para a etapa 1 e repense os parâmetros escolhidos.
Você pode ter esse tipo de teste rodando o tempo todo. Exemplo: todo mês você gera uma lista de clientes em risco. Então, no fim do mês você mede o percentual e evasão daquela lista. Se o percentual cair muito, pode ser que algo tenha mudado no seu mercado ou nos seus clientes. Então, pode ser um bom momento para procurar ajustar os parâmetros.
Etapa 4 - Implementação
Coloque o modelo na mão do seu time e rode playbooks em cima dele. Colete feedbacks do time sobre eventuais falhas ou sugestões de melhoria.
Etapa 5 - Melhoria do modelo
Sempre que você tiver uma boa massa crítica de sugestões ou ideias de melhoria, retorne ao modelo. Vale também ter rotinas de avaliação de assertividade do modelo, como mencionei na etapa de teste.
Todo modelo é um organismo vivo, que precisa ser avaliado e melhorado constantemente. Mesmo que você não mexa em nada, ele pode perder performance com o tempo.
Como medir retorno financeiro do Health Score
Alguns de vocês já devem saber que eu adoro medir o retorno financeiro de tudo que faço como gestor. Com o Health Score não é diferente.
Um bom Health Score pode ter um impacto financeiro imenso. Se isso for bem medido e bem vendido, pode te render facilmente uma promoção. Então, vou te ensinar como medir isso. Tem basicamente 2 maneiras.
Antes e depois: se você tiver um churn de 5% antes da implementação do Health Score e isso cair para 3,5% imediatamente depois, grande parte disso provavelmente é devido ao CHS. Digo provavelmente porque é impossível atribuir causalidade 100% a um evento apenas, nesse caso.
Mensuração do processo: com o CHS rodando, se você tiver um bom processo de mitigação de risco, pode medir tudo. Você consegue dizer exatamente quantos clientes estavam na lista, quantos você contatou via CS, quantos de fato estavam em risco e destes, quantos foram recuperados. Somando a receita desses recuperados, você tem o volume de receita mantido pela iniciativa.
Sobre a criação do processo de mitigação de risco: só este tema vale uma edição inteira. O que vocês acham?
Inscreva-se na Lista de Espera do livro de CS que estou escrevendo!
Se você quer ler um livro feito pensando na realidade do CS no Brasil, cuidando de carteiras grandes de clientes - principalmente SMB - fique ligado(a)!
O andamento do livro até o momento:
Já foram quase 16 mil palavras! Inscreva-se abaixo e receba avisos do andamento e lançamento por e-mail.