Big Data Administrator - 10530725

Decision Group • São Carlos, SP

Há +30 dias

Descrição da vaga

Descrição:

2x a week to São Carlos Habilidades: "Experiência com o ecossistema AWS EMR e Hadoop. Sólida experiência em administração Linux e programação de scripts (Bash, Python).
- Familiaridade com serviços da AWS como S3, EC2, IAM e CloudWatch.
- Experiência com Terraform, CloudFormation e outras ferramentas DevOps.
- Certificações AWS (Arquiteto de Soluções, Big Data, Engenheiro de Dados).- Experiência com EMR Serverless, Docker ou Kubernetes.

1. Administração de Cluster EMR:
- Provisionar, configurar e gerenciar clusters do Amazon EMR.

- Otimizar dimensionamento, escalonamento automático e desempenho.

- Gerenciar componentes do Hadoop, incluindo HDFS, YARN, Hive e Spark.

2. Operações da Plataforma de Big Data:
- Instalar, configurar e atualizar ferramentas de big data.

- Monitorar a integridade do cluster e solucionar problemas.

- Gerenciar pipelines de ingestão de dados, incluindo Kafka, Kinesis e AWS Glue.

3. Segurança, Conformidade e IAM:
- Implementar segurança do EMR com configurações de IAM, Kerberos, KMS e VPC.

- Garantir a conformidade com os padrões organizacionais.

4. Automação e DevOps:
- Automatizar o provisionamento do EMR usando CloudFormation, CDK ou Terraform.

- Criar pipelines de CI/CD usando ferramentas da AWS ou Jenkins.

- Implementar estratégias de otimização de custos.
5. Monitoramento e Solução de Problemas:
- Utilize CloudWatch, CloudTrail e o Console do EMR para diagnósticos.

- Otimize os jobs do Spark e do Hive para melhor desempenho.

6. Colaboração e Suporte:
- Trabalhe em estreita colaboração com engenheiros de dados e equipes de nuvem.
- Forneça suporte à produção e assistência de plantão."

Criar um alerta de emprego para esta pesquisa