Pessoa Engenheira de Dados Senior (Databricks e MongoDB)

Pessoa Engenheira de Dados Senior (Databricks e MongoDB)

A Dimensa está no topo do jogo quando o assunto é tecnologia e infraestrutura para operações financeiras, crédito e risco, e seguros. Nossos sistemas são super escaláveis e adaptáveis, perfeitos para negócios de todos os tamanhos. Nossa equipe de experts vive e respira o setor financeiro, atualizando nossas soluções constantemente para tornar suas operações mais digitais, melhorar a performance, inovar no atendimento aos clientes e garantir que todas as exigências regulatórias sejam 100% cumpridas.

Todas as nossas oportunidades são inclusivas e abertas para pessoas com deficiência. 🌟

• Implementar processos de ingestão e transformação de dados no Databricks, desenvolvendo código otimizado em Apache Spark (PySpark / Scala) para processar grandes volumes de dados provenientes de sistemas transacionais e logs.
• Projetar e manter estruturas de dados no MongoDB para armazenar e consultar dados semi-estruturados ou não relacionais, definindo modelos de documentos adequados e índices para garantir desempenho nas consultas.
• Integrar o MongoDB ao ecossistema da plataforma de dados, implementando pipelines que migrem ou sincronizem dados entre o MongoDB e outros repositórios (por exemplo, Data Lake ou PostgreSQL), conforme necessário para o projeto.
• Otimizar a performance de jobs e consultas, ajustando configurações de cluster Databricks / Spark (particionamento, paralelismo) e realizando otimizações no MongoDB (por meio de gestão de índices, sharding ou replicação, se aplicável).
• Colaborar com o Tech Lead e Arquiteto de Dados para garantir que as soluções implementadas em Databricks e MongoDB estejam alinhadas à arquitetura global e atendam aos padrões de qualidade e segurança.
• Identificar gargalos ou problemas de dados (ex : inconformidades, atrasos no pipeline, falhas de integração) e propor soluções eficazes, implementando melhorias de forma proativa.
• Documentar os processos desenvolvidos (notebooks, scripts, configurações do cluster, estruturas do MongoDB) para facilitar a manutenção futura e a transição para a fase de sustentação após o projeto.
• Atuação em projetos de Big Data e processamento distribuído.
• Domínio da plataforma Databricks e do ecossistema Apache Spark (incluindo escrita de jobs em PySpark e / ou Scala), com experiência em otimização de jobs, gerenciamento de clusters e uso de Delta Lake.
• Experiência avançada com MongoDB, incluindo design de coleções, consultas complexas (Aggregation Framework), índices e boas práticas de desempenho e replicação.
• Familiaridade com linguagens de programação e scripts para manipulação de dados (Python, Scala e SQL), assim como uso de APIs e conectores para integração entre Spark, MongoDB e outros sistemas.
• Conhecimentos de sistemas de mensageria / streaming de dados (ex : Kafka) para trabalhar com integrações em tempo real, caso parte dos dados seja recebida via streams.
• Experiência no mercado financeiro.

🍽️ Vale Refeição / Vale Alimentação (flexível)

🏥 Assistência Médica

🦷 Assistência Odontológica

⚕ Einstein Conecta : Orientação médica online com os especialistas do Hospital Israelita Albert Einstein, totalmente gratuito.

🛡️Seguro de Vida : Segurança para você e quem você ama.

👧 👦Auxílio Creche : Para ajudar nas despesas dos pequenos

👶 Licença Maternidade e Paternidade Estendida : Mais tempo para aproveitar os momentos especiais.

💹 Previdência Privada : Planeje o futuro com segurança.

💰 Participação nos Lucros e Resultados (PLR) : Sucesso compartilhado com todos.

💪 Gympass : Acesso a academias e atividades físicas para manter a saúde em dia.

🏖️ Parceria com o SESC : Acesso a lazer e cultura com benefícios exclusivos

😊 Reset Day : 1 dia OFF por ano para aproveitar da melhor forma.

Por que escolher a Dimensa?

Na Dimensa, você fará parte de um time que está revolucionando o mercado de operações financeiras, crédito e risco, e seguros, com inovação e tecnologia de ponta. Queremos conhecer você e ver como você pode contribuir para nossa missão!

Junte-se a nós e faça a diferença, #VEMFAZERPARTEDAONDAVERDE💚

#J-18808-Ljbffr