Engenheiro de Dados Especialista – Python, Scala & Spark | Data Engineering & Data Modeling

O que procuramos?

Profissional especialista em engenharia de dados, com forte domínio em Python, Scala e Apache Spark. Buscamos alguém capaz de atuar como referência técnica, com autonomia, visão arquitetural e experiência robusta na construção de pipelines escaláveis, modelagem de dados e soluções de alto desempenho.

Atribuições principais:

Construir e manter pipelines de dados (ETL/ELT) de alta performance;

Desenvolver soluções em Python, Scala e Spark para grandes volumes;

Modelagem de dados (dimensional/Kimball, Data Vault, relacional/analítica);

Orquestrar fluxos (Airflow, ADF, Luigi; ControlM como diferencial);

Trabalhar com camadas de dados (Landing, Cleaning, Processing, Curation, Data Marts);

Integrar fontes/serviços em SQL, NoSQL e Data Lakes (Parquet/Delta/ORC);

Implementar boas práticas: Git, testes de dados, observabilidade;

Colaborar com times de arquitetura, produto e analytics.

Requisitos:

Python e Scala para pipelines e automações;

Apache Spark (Spark SQL, DataFrames, otimização/particionamento);

Modelagem de dados: Dimensional (Kimball), Data Vault, relacional/analítica;

Orquestração: Airflow, ADF, Luigi (ControlM desejável);

Big Data: Hadoop, Hive, Kafka (integração/streaming);

Bancos e formatos: Postgres, SQL Server, Oracle; MongoDB, Cassandra, Redis; Parquet, Delta Lake, ORC;

Cloud: AWS, Azure ou GCP;

Camadas de dados: Landing Curation; encadeamento de ETLs; Data Marts;

Boas práticas: Git, testes, observabilidade, performance de queries/cargas;

Espanhol avançado.

Diferenciais:

MapReduce, governança de dados, monitoramento/tuning avançado;

Ferramentas de self-service (Looker/Metabase) e estatística descritiva aplicada;

Inglês intermediário/avançado.

Localidade da posição: Remota

Por que construir sua carreira na Meta?

Oferecemos autonomia, metas claras e um ambiente dinâmico e desafiador, onde os profissionais têm oportunidade de interagir com diferentes tecnologias, participar de todos os tipos de projetos, trazer novas ideias e trabalhar de qualquer lugar do Brasil e (por que não?) do mundo. Além disso, somos uma das melhores empresas para se trabalhar no Brasil segundo o Great Place to Work e uma das 10 empresas que mais crescem no país há 3 anos consecutivos, segundo o Anuário Informática Hoje.

Quais são nossos valores?

- Somos pessoas servindo pessoas

- Pensamos e agimos como donos

- Temos gana por performance

- Crescemos e aprendemos juntos

- Buscamos excelência e a simplicidade

- Temos inovação e criatividade no nosso DNA

Todas as pessoas são bem-vindas independentemente de sua condição, deficiência, etnia, crença religiosa, orientação sexual, aparência, idade ou afins. Queremos que você cresça conosco em um ambiente acolhedor e repleto de oportunidades.

Se identificou? Então, #VemSerMeta!