Especialista Big Data

Descrição da Vaga :

Estamos em busca de um(a) profissional qualificado(a) de Big Data para integrar nossa equipe. O(a) candidato(a) será responsável por projetar, construir e manter soluções de Big Data e Data Lake, além de atuar em todo o pipeline de processamento e análise de dados, incluindo administração, governança e monitoramento das ferramentas.

Atividades :

Será responsável por projetar, construir e manter nossas soluções de Big Data e Data Lake, garantindo a eficiência, confiabilidade e escalabilidade dos sistemas, além de atuar ao longo de todo o pipeline de processamento e análise de dados, inclusive na administração e gestão de dados, governança de dados, monitoramento e gestão de ferramentas especializadas.

Requisitos :

• Experiência com engenharia de dados;
• Implantação, administração, otimização e troubleshooting de frameworks de Big Data em ambiente on-premises Cluster Apache Spark;
• Apache Ranger para controle de acessos e segurança do MinIO;
• Experiência em Delta Lake;

Desenvolvimento em Python, PySpark e SQL (DDL, DML, DQL)

Vivência em sistemas Linux (Red Hat Enterprise, Ubuntu Server)

Implantação e administração de JupyterHub para múltiplos usuários.