Migração de processamento de dados otimiza custos e eficiência no RH com Apache Beam e Dataflow

Categoria

Projeto

Área

Recursos humanos

Setor

Motores e automação

Porte

Grande porte

Duração do projeto

5 meses

Desafio

A área de Recursos Humanos enfrentava altos custos operacionais e de renovação relacionados ao uso da plataforma Dataprep para transformações de dados. Era necessário encontrar uma solução que reduzisse essas despesas sem comprometer a qualidade, eficiência e flexibilidade no processamento dos dados.

Solução proposta

A Dojo liderou a migração das transformações de dados do Dataprep para uma solução personalizada baseada em Apache Beam, executada no Dataflow. Essa abordagem permitiu maior controle e otimização dos processos, eliminando a necessidade de licenças caras.

01

Reestruturação das pipelines de dados

Todas as transformações foram reescritas em Apache Beam/Python, mantendo as regras e requisitos do negócio.

02

Execução escalável no Dataflow

Implementação de uma infraestrutura robusta e flexível para processar os dados de Recursos Humanos de forma contínua e eficiente.

Resultados alcançados

01

Redução de custos

Eliminação dos custos de licenciamento do Dataprep, promovendo economia significativa.

02

Automação e eficiência

Processos de transformação de dados otimizados, com maior qualidade e confiabilidade.

03

Escalabilidade

Solução preparada para atender demandas futuras e crescentes.

04

Autonomia tecnológica

Uso de tecnologias de código aberto, reduzindo dependências de soluções proprietárias.