Engenheiro De Dados Azure Pleno (Remoto)

Papel na empresa

Construir pipeline de dados, entregando modelo de dados nas camadas Bronze, Silver, Gold para o time de negócios ter capacidade de analisar dados e tomar decisões.

Responsabilidades

Escrever consultas SQL complexas para realizar tarefas como selecionar, inserir, atualizar e excluir dados de várias tabelas.

Construir pipeline de dados utilizando Azure Data Factory.

Construir notebooks em Python e SQL utilizando Databricks.

Construir Modern Data Warehouse com Synapse Analytics.

Trabalhar com ingestões de dados em Datalakehouse.

Criar e manipular dataframes e RDDs em PySpark de forma eficiente e escalável.

Usar junções de vários tipos, como junções internas, externas e naturais.

Usar subqueries de vários tipos, como subqueries de seleção, atualização e exclusão.

Usar funções agregadas de vários tipos.

Usar SQL com grandes conjuntos de dados.

Usar PySpark para realizar análise exploratória de dados (EDA) de forma eficiente e escalável.

Usar PySpark para gerar modelos de aprendizado de máquina.

Requisitos

Identificar os principais requisitos de negócios para um modelo de dados complexo.

Projetar um modelo de dados complexo que atenda a esses requisitos.

Implementar um modelo de dados complexo em um banco de dados relacional ou não relacional.

Realizar testes de integridade de dados para garantir que o modelo de dados está funcionando corretamente.

Usar ferramentas de modelagem de dados para projetar e implementar modelos de dados.

Documentar modelos de dados para facilitar a comunicação com outras partes interessadas.

Diferenciais

Projetar soluções avançadas de aprendizado de máquina utilizando PySpark.

Experiência em projetos complexos de BI.

Conhecimento detalhado dos desafios e oportunidades de Big Data e computação em nuvem.

Experiência em projetos complexos de DB, DW, lake e lakehouse.

Experiência em projetos complexos de ETL.

Profundo entendimento dos conceitos de Azure Data Factory, Synapse, Databricks e Fabric.

Experiência em implementação de pipelines complexos em cenários desafiadores.

Expertise em conceitos avançados de DevOps.

Habilidade de gerenciar projetos de forma eficiente e propor soluções proativas para problemas.

Nossos Incentivos

• Auxílio médico;
• Wellhub;
• Auxílio terapia;
• Teleatendimento em Nutrição;
• Seguro de vida;
• Day off no dia do aniversário;
• Parceria com instituições de ensino com desconto em cursos (Anhanguera, FIAP e Instituto Infnet);
• Gameficação interna (troque ações por prêmios);
• English Club;

Reembolso + Bônus por certificação.

Entre outros.

Atuação remota.

Valorizamos cada voz e cada pessoa, porque sabemos que a diversidade nos torna mais inovadores e fortes.

#J-18808-Ljbffr