Logo E-Commerce Brasil

Hering transforma tomada de decisões ao apostar em estratégia data driven

Por: Redação E-Commerce Brasil

Equipe de jornalismo E-Commerce Brasil

Marcelo Costa, head of IT Cia Hering, realizou uma palestra no segundo dia do Fórum E-Commerce Brasil 2023. Na oportunidade, ele detalhou a estratégia de data driven da empresa que movimenta milhões de dados diariamente.

Imagem de palestrante masculino sobre o palco do Fórum E-Commerce Brasil 2023
Durante apresentação, Marcelo Costa, head of IT Cia Hering, revela que em 2021 construíram um Datalake dentro do Google, onde movimentavam poucos dados: 18 tabelas e 50 milhões de registros

“Criamos uma estratégia de digital decoupling, permitindo que sistemas antigos conversem naturalmente com novas tecnologias, além de alimentar o Datalake para tomada de decisões”, explica Costa.

O executivo revela que em 2021 construíram um Datalake dentro do Google, onde movimentavam poucos dados: 18 tabelas e 50 milhões de registros. Entre os produtos digitais que integram diariamente na companhia estão: B2B, marketplace, logística, compras, dashboard e relatórios.

“Em 2022, entendemos o desafio tecnológico que seria interligar todos os sistemas. Com isso, foi aplicado uma técnica de desacoplamento dos legados com o Apache Kafka e o seu ecossistema como habilitador. Foi realizado o desacoplamento dos dados, capaz de integrar sistemas legados, como SAP ECC e sistemas de indústrias constituídos sob Oracle Forms, como novos sistemas construídos em nuvem”, conta o palestrante.

Segundo o executivo, sistemas antigos existem em todas as empresas, não sendo possível mudar tudo de uma hora para outra. “Entregamos uma arquitetura que chamamos de Integration hub. No início plantamos em Blumenau, que está um dos principais data centers da empresa. Integramos com SAP o sistema de varejo e da indústria. Criamos uma estratégia de recuperação em caso de algum problema nessa integração. Toda a arquitetura fala com Blumenau e Google Cloud. Além disso, criamos um portal de reposicionamento de mensagem, interface essa que olhas as mensagens e reprocessa quando faz sentido”.

Componentes do Integration Hubs

– Kafka Broker

– Kafka Connect (Debezium, JDBC)

– Mirror Maker

– Java jCo (SAP)

– RFC HTTP SYNC (SAP)

– API Gateway (Kong no Core)

– Esteira DevOps

– Observability (Elastic, LogStash, Beats)

– Portal Integration Hub (React, DLQ, Retry)

– Processo de FallBack (MongoDB, Go Lang)

Infraestrutura On-Premises em Blumenau

Kafka Broker

– Cluster com 3 nós

– 39 GB de memória em cada nó

– 8 vCPU em cada nó

– 1 Tera de Storage para o Cluster

Kafka Connect

– Cluster com 5 nós

– 35 GB de memória em cada nó

– 4 vCPU em cada nó

– 300 GB de Storage para o Cluster

Infraestrutura no Google Cloud

Kafka Broker

– Cluster com 3 nós

– 16 GB de memória em cada nó

– 8 vCPU em cada nó

– 1 Tera de Storage para o Cluster

Kafka Connect

– Cluster com 5 nós

– 8 GB de memória em cada nó

– 2 vCPU em cada nó

– 300 GB de Storage para o Cluster

Os domínios impactados

– B2C

– B2B

– Indústria

– Sistemas Corporativos

– Inteligência Comercial

Os benefícios alcançados

Segurança da informação: isolamento dos sistemas importantes por meio de camadas

Velocidade na entrega: componentes térmicos que aceleram a entrega de valor para o negócio

Conectividade com parceiros: uma estratégia de API que nos permite acoplar facilmente

Desacoplamento: regras de negócio do grupo em poder do grupo sem depender de terceiro

Reuso: uma estrutura que permite o uso e reuso atendendo várias abordagens