“O que não pode ser medido não pode ser gerenciado.”
O autor dessa frase foi William Edwards Deming. E se você tem dúvidas sobre isso, basta saber que esse estudioso dos processos produtivos criou nada menos do que o sistema de produção just in time que foi implementado na Toyota inicialmente e depois revolucionou não apenas o setor automobilístico, mas o da produção industrial como um todo.
Resumidamente, significa que todo gestor precisa se preocupar prioritariamente com a busca de indicadores de desempenho, inclusive sua própria performance.
Benefícios das métricas de desempenho
Poderia parecer a história de ensinar padre nosso ao vigário, mas não é bem isso. Vejamos…
Ironicamente, os profissionais envolvidos com projetos de dados estão geralmente tão focados na mensuração do modelo aplicado no projeto que não se preocupam em medir os seus próprios desempenhos e o que representam em relação à experiência do cliente.
No entanto, a expansão da mensuração para além do desempenho do modelo permite avaliar mais holisticamente o progresso de um projeto e seu potencial impacto.
E, ao fazer medições com frequência, você pode descobrir possíveis problemas e mudar a direção do projeto de acordo. Se as métricas pintarem uma imagem muito sombria, você poderá reduzir suas perdas mais cedo e até iniciar outro projeto mais promissor, aplicando o que aprendeu no anterior.
Agora é o momento de você apontar uma contradição em termos. Afinal, os cientistas de dados medem todos os tipos de métricas.
Sim, eles monitoram de perto as métricas de ciência de dados e KPIs como RMSE, F-scores ou coeficientes de correlação. Tais métricas são críticas para responder à pergunta: “quão bem o modelo está executando?”.
Mas, por si só, não pode responder a perguntas como:
– Quão bem meu projeto está progredindo?
– O desempenho/eficiência da minha equipe está melhorando ao longo do tempo?
– Meu projeto terá um impacto?
Mas como você consegue medir propriamente o seu desempenho e o de sua equipe?
A resposta não é direta. Assim como as diferentes métricas de precisão do modelo medem diferentes tipos de modelos, diferentes métricas de gerenciamento de projetos podem ajudar a medir diferentes equipes, projetos e ambientes. Dez deles são discutidos abaixo.
Dez grupos de KPI de ciência de dados
Vamos começar com o resumo e depois mergulhar em cada um desses diferentes agrupamentos de métricas de ciência de dados.
1. Métricas tradicionais de gerenciamento de projetos
Os gerentes de projetos tradicionais comparam o tempo, o custo e o desempenho do escopo em relação a um plano de linha de base.
Por um lado, como os projetos de ciência de dados tendem a evoluir sem a adesão a um plano inicial detalhado, tais métricas de variação geralmente não são úteis. Por outro, muitas vezes é necessário que as equipes de projetos de ciência de dados cumpram prazos ou planos de recursos ou orçamentos.
Assim, métricas como taxa de conclusão de marcos dentro do prazo e orçamento real versus orçamento estimado ainda podem ser necessárias.
2. Métricas agile
Métricas agile populares, como velocidade do story point e porcentagem de histórias comprometidas concluídas, só ajudam se a equipe usar story points ou aproveitar estruturas iterativas com limite de tempo, como o Scrum. No entanto, tais práticas só podem ser práticas para as fases de produção do seu projeto.
Os tempos de ciclo, conforme enfatizado nas abordagens Kanban, são geralmente mais significativos, pois medem a rapidez com que uma equipe gera valor. Mas será preciso monitorar de perto e padronizar as definições de tarefas ou procurar tempos de ciclo mais definitivos, como:
– Tempo desde a solicitação do projeto até o início para medir a largura de banda e receber novas solicitações;
– Tempo desde o início do projeto até a entrega do produto mínimo viável para medir a rapidez com que uma equipe pode entregar o valor inicial;
– Frequência de demonstração ou taxa de insights significativos para medir a frequência com que os resultados são entregues às partes interessadas,
3. Métricas lean
Quanto do tempo da sua equipe é trabalho real que agrega valor? Grande parte pode estar focada em tarefas administrativas, como cartões de ponto, reuniões ou intervalos perto do bebedouro. Embora não sejam evitáveis, devem ser mantidas a um nível razoável. Uma dessas métricas para rastrear isso é a eficiência, definida como a porcentagem de tempo gasto em atividades de valor agregado (isixsigma.com).
4. Métricas financeiras
O valor medido em termos financeiros costuma ser o conjunto de métricas mais importante para qualquer projeto baseado em organizações com fins lucrativos. A receita incremental obtida, o lucro incremental obtido ou os custos incrementais reduzidos estão entre as métricas mais simples, enquanto o período de retorno mede o tempo necessário para que os benefícios paguem os custos do projeto.
Métricas mais avançadas, nomeadamente o Valor Presente Líquido (VAL) e o Retorno do Investimento (ROI), medem o valor da entrada de fluxo de caixa do projeto em relação aos custos, tendo em conta o calendário dos fluxos de caixa e o valor temporal do dinheiro. Geralmente, várias dessas métricas combinadas com informações orçamentais pintam o quadro mais abrangente do impacto financeiro.
5. Impacto nas metas organizacionais
Embora as métricas financeiras tendam a ser um tanto padronizadas, as metas organizacionais variam drasticamente. Às vezes, essas metas podem ser medidas em termos financeiros, mas muitas vezes é melhor medir o impacto do projeto com as mesmas métricas que as partes interessadas usam para seus próprios projetos.
6. Criação de artefatos
O valor é muitas vezes derivado de projetos de formas que não estão diretamente relacionadas com os objetivos das partes interessadas. Por exemplo, as equipes podem criar novos conjuntos de dados ou um aplicativo de implantação durante um projeto. Tais artefatos são valiosos porque podem ser reutilizados (talvez com modificações) em outros projetos.
Assim, o número (ou valor) de artefatos criados pode ajudar a medir se a equipe está construindo uma infraestrutura subjacente eficaz para apoiar projetos futuros, enquanto o número (ou valor) de artefatos reutilizados pode medir se a equipe está aproveitando os frutos de projetos anteriores.
7. Competências adquiridas
Da mesma forma, os membros da equipe de ciência de dados muitas vezes precisam dedicar um tempo significativo ao aprendizado de novas tecnologias e algoritmos. Assim, o número de competências adquiridas pode indicar se a equipe do projeto adquiriu conjuntos de habilidades relevantes ao executar um projeto.
8. Satisfação dos stakeholders
A satisfação das partes interessadas é de extrema importância, especialmente para equipes ágeis (o primeiro Princípio Ágil afirma que “Nossa maior prioridade é satisfazer os clientes…”). O Net Promoter Score é uma métrica promovida pelos departamentos de marketing (hbr.org), que pode ser calculada a partir de pesquisas com clientes que se envolvem diretamente com o produto final de ciência de dados ou com a equipe de ciência de dados.
9. Métricas de desempenho de software
Projetos de ciência de dados ponta a ponta têm resultados de software que podem ser medidos por métricas de software. Os exemplos incluem contagem de defeitos, tempo de resolução de defeitos, frequência de revisões técnicas, latência (para aplicativos em tempo real) ou cobertura de testes automatizados.
10. Métricas do modelo de ciência de dados
E voltamos ao início… Sim, o desempenho do modelo técnico é um grupo-chave de métricas que pode orientar grande parte da estratégia do projeto.
Por exemplo: o desempenho do modelo é suficientemente melhor que o da linha de base? Se sim, talvez ofereça-o às partes interessadas e comece a testar o seu desempenho em experiências controladas.
Alternativamente: o desempenho do modelo está estável? Isso pode indicar que você deve encerrar o desenvolvimento do modelo (porque os resultados são tão bons quanto podem ser obtidos no momento) ou procurar diferentes técnicas ou conjuntos de dados que possam mudar drasticamente o trabalho de desenvolvimento do modelo
Conclusão
E, assim, voltamos a um tema que se torna cada vez mais importante: a execução perfeita e a governança dos dados.
Ou, indo um passo adiante, à cogovernança de dados, uma abordagem que implica a montagem de uma estrutura permanente que opera paralelamente às áreas de marketing, vendas, BI, CRM, ajudando a definir objetivos, desenhar estratégias, implementar ações, mensurar resultados e manter um histórico dinâmico que garanta o aprimoramento permanente das iniciativas.
Não deixe de solicitar agora mesmo nosso e-book sobre as tendências do mundo dos dados para 2024; basta clicar aqui.
Até a próxima!