Engenheiro de dados - Líder Técnico

A VMBears é uma empresa jovem e moderna com o objetivo de ajudar seus clientes a aproveitar novas tecnologias para acelerar seus negócios. Fornece serviços de consultoria para arquitetura corporativa e modernização de sistemas para nuvem. Fundada em 2018, possui em seu DNA a ética, a positividade, o comprometimento e a inovação. Somos focados em oferecer os melhores serviços prestados através dos melhores profissionais do mercado. Esses recursos são utilizados para auxiliar os clientes em sua jornada de modernização tecnológica e transformação digital.

O que buscamos?

O Engenheiro(a) de Dados é o profissional que constrói e mantém a infraestrutura responsável por mover, transformar e disponibilizar dados com confiabilidade e performance. Um(a) Engenheiro(a) de Dados eficaz domina pipelines batch + streaming, otimiza consultas em data-warehouses colunares e garante a rastreabilidade ponta-a-ponta de cada registro. Na prática, atua como elo entre arquitetura e desenvolvimento, permanecendo intrinsecamente ligado(a) ao código que sustenta o fluxo de informações.

Na VMBears, o Engenheiro(a) de Dados é o(a) guardião(ã) da qualidade dos dados : projeta pipelines escaláveis, monitora sua saúde em produção e antecipa gargalos. Para este projeto, a modernização de um motor de cálculo de alto volume no setor de energia, buscamos alguém que una profundidade técnica em processamento distribuído e lakehouse a uma mentalidade de produto baseada em dados.

Você integrará o squad que modernizará o Motor de Cálculo, um engine que processa bilhões de registros, aplica centenas de fórmulas regulatórias e gera resultados contábeis que movem o mercado de energia elétrica. Procuramos alguém que combine habilidade de modelar dados massivos com espírito de colaboração, ajudando o time a migrar de um monolito PL / SQL para uma plataforma distribuída, event-driven e cloud-native, onde cada byte chegue rápido, íntegro e auditável ao novo motor.

Responsabilidades :

• Implementar soluções com arquitetura de dados distribuída, garantindo latência e throughput que atendam aos requisitos da do negócio;
• Implantar pipelines de ingestão, transformação e publicação que suportem batch + streaming em larga escala;
• Desenvolver jobs Spark / Flink e para data-warehouses colunares;
• Seguir padrões de versionamento, catalogação e lineage de dados para rastreabilidade de processamento;
• Desenvolver processos sempre visando o menor custo e maior performance em Redshift / BigQuery / Athena, propondo ajustes de partição, compressão e caching;
• Documentar processos e fluxos de trabalho de dados : Manter registros detalhados dos processos de dados para facilitar a manutenção e a melhoria contínua;
• Projetar sistemas que possam crescer conforme a demanda por dados aumenta.

Stack desejável :

Requisitos imprescindíveis :

Segue abaixo os benefícios oferecidos :