Engenheiro De Dados Azure Sênior (Curitiba)

Papel na empresa : Construir pipelines de dados entregando modelos de dados nas camadas Bronze, Silver e Gold para o time de negócios; ter capacidade de analisar dados e tomar decisões.Responsabilidades : Escrever consultas SQL complexas para realizar tarefas como selecionar, inserir, atualizar e excluir dados de várias tabelas.Construir pipelines de dados utilizando Azure Data Factory.Construir notebooks em Python e SQL utilizando Databricks.Construir Modern Data Warehouse com Synapse Analytics (Serverless & Dedicated).

Desenvolver Data Governance utilizando Unity Catalog ou Purview.Trabalhar com ingestões de dados em Data Lakehouse.Definir e explicar conceitos de Azure Data Factory, Synapse, Databricks e Fabric de forma crítica.Criar e manipular dataframes e RDDs em PySpark de forma eficiente e escalável.Usar junções de vários tipos, como junções internas, externas e naturais.Usar subqueries de vários tipos, como subqueries de seleção, atualização e exclusão.Usar funções agregadas de vários tipos.Utilizar SQL com grandes conjuntos de dados.Utilizar SQL para otimizar o desempenho e a escalabilidade de consultas e soluções de dados.Utilizar SQL para resolver problemas complexos de dados.Utilizar PySpark para análise exploratória de dados (EDA) de forma eficiente e escalável.Utilizar PySpark para gerar modelos de aprendizado de máquina de forma eficiente e escalável.Utilizar PySpark para otimizar o desempenho de aplicações de processamento de dados.Definir e explicar conceitos de DevOps de maneira abrangente e crítica.Utilizar ferramentas de CI / CD para automação eficiente.Gerenciar infraestrutura como código, comunicar conceitos eficazmente e liderar projetos de DevOps.Requisitos : Identificar os principais requisitos de negócios para um modelo de dados complexo e desafiador.Alto conhecimento em arquitetura de Big Data end-to-end.Capacidade de projetar arquitetura de Big Data (Infraestrutura, Ingestão, Armazenamento, Processamento e Serving).

Implementar um modelo de dados complexo e desafiador em um banco de dados relacional ou não relacional.Realizar testes de integridade de dados para garantir que o modelo de dados está funcionando corretamente.Usar ferramentas de modelagem de dados para projetar e implementar modelos de dados.Documentar modelos de dados para facilitar a comunicação com outras partes interessadas.Projetar e implementar modelos de dados para lidar com grandes conjuntos de dados.Projetar e implementar modelos de dados para dados em tempo real.Projetar e implementar modelos de dados para dados de múltiplas fontes.Experiência em liderar engenheiros de dados Jr.

e Pleno.Hard skills necessárias : Inglês fluente.Python, SQL.Azure (Data Factory, Data Lake, Synapse).

Databricks, Spark SQL, PySpark.Machine Learning / IA.Metodologias Ágeis, CI / CD (Azure DevOps, GitHub).

Infraestrutura como código (Terraform desejável).

Data Governance, MLOps.Power BI (desejável).

Nossos Incentivos : Auxílio médico;Wellhub;Auxílio terapia;Teleatendimento em Nutrição;Seguro de vida;Day off no dia do aniversário;Parceria com instituições de ensino com desconto em cursos (Anhanguera, FIAP e Instituto Infnet);Gameficação interna (troque ações por prêmios);English Club;Reembolso + Bônus por certificação.Atuação remota.Valorizamos cada voz e cada pessoa, porque sabemos que a diversidade nos torna mais inovadores e fortes.

#J-18808-Ljbffr