Este artigo foi escrito em parceria com Eduardo de Rezende Francisco *
Em um cenário global cada vez mais competitivo e com a sociedade produzindo dados e informações em volumes sem precedentes, as equipes responsáveis pela gestão de dados nas empresas encontram-se sobrecarregadas devido às crescentes necessidades de adaptação das organizações. Essa pressão mercadológica e competitiva cria um desalinhamento entre as necessidades organizacionais e as arquiteturas de dados atualmente implementadas.
Com as arquiteturas de dados atuais em crise, o data mesh surge como uma mudança de paradigma que permitirá às empresas se tornarem verdadeiramente orientadas a dados, implementando uma arquitetura que contrasta os modelos atuais e promove uma cooperação eficiente entre produtos de dados. O data mesh não é apenas um framework, estratégia ou conjunto de processos. Mais do que isso, ele representa uma mudança cultural e organizacional na gestão de dados, focando no uso de computação federada.
O conceito de data mesh começou a ganhar destaque em 2019, introduzido por Zhamak Dehghani como uma evolução das arquiteturas de dados tradicionais, como data warehouses e data lakes. Enquanto essas arquiteturas centralizadas eram adequadas para consolidar grandes volumes de dados, elas frequentemente falhavam em acompanhar a agilidade e a complexidade das demandas modernas, criando gargalos operacionais. Inspirado por práticas de desenvolvimento ágil, microsserviços e product thinking, o data mesh incorpora princípios como descentralização e domínio de responsabilidade, propondo uma ruptura com o modelo centralizado para atender às necessidades de um mundo cada vez mais orientado a dados.
A mudança de paradigma do data mesh
Na prática, o data mesh traz uma revolução na organização dos dados: em vez de tudo centralizado e engessado, os dados são divididos em “territórios” chamados domínios, onde equipes ágeis assumem o controle e fazem as coisas acontecerem de forma mais rápida e eficiente. Mas a transformação não para por aí! Essa mudança vai além da estrutura, atingindo também o coração da organização, ao descentralizar as equipes e colocá-las para focar em áreas específicas. É como transformar um exército centralizado em uma legião de pequenos esquadrões especializados, prontos para agir com autonomia e precisão.
Na base teórica do data mesh, os dados são tratados como um recurso estratégico e, por isso, seguem os princípios do DATSIS: Descobertos, Endereçáveis, Confiáveis, Autodescritivos, Interoperáveis e Seguros. Esses princípios visam garantir que os dados sejam não apenas acessíveis, mas também úteis, seguros e interoperáveis, independentemente do sistema ou da plataforma em que estão inseridos. Por exemplo, um time que trabalha em um domínio de vendas deve ser capaz de encontrar facilmente os dados necessários para projetar estratégias sem enfrentar barreiras técnicas ou operacionais.
Cada conjunto de dados deve ter um identificador único – como uma URL ou código de referência -, facilitando o acesso direto e sem ambiguidades em sistemas distribuídos. Para serem confiáveis e úteis em decisões críticas, os dados precisam ser precisos, completos, atualizados e coletados de fontes válidas, seguindo processos rigorosos de validação e verificação para garantir sua integridade. Além disso, é essencial que os dados sejam acompanhados de descrições claras que expliquem seu conteúdo e estrutura, permitindo que usuários entendam facilmente cada elemento sem necessidade de extensa documentação externa. A interoperabilidade é crucial – portanto, os dados devem ser capazes de interagir com diferentes sistemas e plataformas sem grandes ajustes, o que implica a adoção de padrões abertos e formatos comuns. Por fim, a segurança dos dados é fundamental, exigindo proteção contra acessos não autorizados, perda ou corrupção através de mecanismos robustos de controle de acesso, criptografia e auditoria para assegurar a confidencialidade, integridade e disponibilidade dos dados.
Dados como produto
Além dos princípios citados acima, uma boa arquitetura de data mesh propõe uma mudança fundamental na forma como as equipes se organizam nas companhias atualmente. Seguindo as teorias de product thinking, o data mesh aplica o conceito de “dados como produto”. Esse conceito implica um conjunto de características que visam maximizar a qualidade e a gestão dos dados em uma organização. Essa nova orientação de dados como produto implica fundamentalmente a criação de novos papéis nos times de dados, como: 1. Data Product Owner, 2. Data Engineer, 3. Data Scientist, 4. Data Analyst, 5. Data Architect, 6. Data Steward, 7. Data Curator, 8. Data Security Analyst.
Embora o data msh surja como uma potencial mudança de paradigma na gestão de dados e na organização estrutural dos domínios e equipes que fazem seu gerenciamento, existem diversas discussões sobre como implementar esses conceitos para gerar o maior valor possível para as empresas.
Dada a sua natureza emergente, ainda não existem bases científicas e mercadológicas robustas o suficiente para apontar os melhores caminhos de implementação para as companhias tradicionais. Ainda há várias áreas do data mesh que precisam ser esclarecidas e, portanto, necessitam ser mais bem investigadas. Como a mudança será gerenciada dentro da plataforma de dados proposta? Qual o impacto que essa mudança de paradigma terá nas organizações em termos de rentabilidade de recursos? Qual será a maneira mais eficiente de ajustar os data lakes já existentes nas organizações?
Em suma, apesar dos desafios e das incertezas que cercam a implementação do data mesh, essa abordagem representa uma oportunidade significativa para as empresas redefinirem sua gestão de dados em alinhamento com as demandas atuais do mercado. Investir na compreensão e adaptação do data mesh pode ser o passo decisivo para que as organizações transformem seus dados em ativos estratégicos, promovendo agilidade, inovação e vantagem competitiva em um mundo cada vez mais orientado por dados.
O data mesh representa mais do que uma revolução técnica; é uma nova maneira de pensar sobre dados e suas possibilidades. Ainda que o data mesh ofereça uma abordagem promissora, surge a pergunta: será essa a solução para o caos dos dados em grandes corporações? Apesar dos desafios e das incertezas que cercam sua implementação, essa estratégia representa uma oportunidade significativa para as empresas redefinirem sua gestão de dados em alinhamento com as demandas atuais do mercado. Investir na compreensão e adaptação do data mesh pode ser o passo decisivo para que as organizações transformem seus dados em ativos estratégicos, promovendo agilidade, inovação e vantagem competitiva em um mundo cada vez mais orientado por dados.
No entanto, como qualquer mudança significativa, ele exige planejamento, adaptação e, acima de tudo, uma visão clara de onde se quer chegar. Será o data mesh o fim do caos dos dados? Ou apenas mais uma promessa no já complexo mundo da gestão de dados? Cabe às organizações explorarem esse terreno com ousadia e cautela, transformando dados em um diferencial competitivo duradouro.
* Sobre os autores:
Diego Albino Figueiredo
https://www.linkedin.com/in/diego-albino-figueiredo
Chief Strategy, Innovation, Technology and Organization Transformation da La Moda, com atuação em Transformação Digital, eCommerce e Precision Marketing em Multinacionais. Pós-graduado em Inteligência de Marketing pela Universidade Nova de Lisboa (IMS) e em Gestão de Marketing pela ECA-USP.
Eduardo de Rezende Francisco
https://www.linkedin.com/in/eduardo-de-rezende-francisco-416300/
Professor e Chefe do Departamento de Tecnologia e Data Science da FGV EAESP, com atuação em GeoAnalytics, Big Data e Inteligência Artificial. Doutor em Administração pela FGV EAESP, com bacharelado em Ciência da Computação pelo IME-USP. Pesquisador principal do FGVanalytics, pesquisador visitante na University of Otago (Nova Zelândia) e sócio-fundador do GisBI.