Especialista em Plataformas de Big Data [Cloudera]
Descrição
Estamos à procura de um(a) Engenheiro de Dados Sênior em Cloudera. Se você deseja ser nosso Especialista construindo e gerenciando soluções robustas de Big Data, essa vaga é para você!
Responsabilidades e atribuições
- Implementar e gerenciar arquiteturas de Big Data na plataforma Cloudera.
- Configurar pipelines de dados utilizando Apache Spark, Livy e NiFi.
- Garantir a governança de dados por meio do Apache Ranger e Cloudera Navigator.
- Estruturar e organizar Data Lakes em camadas para otimizar o processamento e consumo de dados.
- Definir, criar e manter um catálogo de dados centralizado, assegurando a documentação completa dos ativos de dados, rastreabilidade e compliance com políticas de governança.
- Colaborar com equipes de Data Science e Engenharia para integração de soluções de IA e Machine Learning.
Requisitos e qualificações
Experiência avançada na Cloudera Data Platform (CDP), Cloudera Manager e Cloudera Navigator, em ambientes de nuvem e on-premises.Domínio na criação de Data Lakes estruturados em camadas (Bronze, Prata e Ouro).Experiência em Python e Apache Spark para processamento de dados em larga escala.Conhecimento em Apache Ranger para gestão de permissões e governança.Uso do Hive e HUE para consultas e interação com dados.Experiência com Apache NiFi para automação e integração de fluxos de dados.Conhecimento em Livy para gerenciamento e envio de trabalhos Spark em ambientes distribuídos.Experiência em realizar treinamentos e apresentações técnicas.Habilidades de levantamento negocial e de dados, facilitando o entendimento das necessidades do cliente e a definição de soluções técnicas.J-18808-Ljbffr