Engenheiro (a) de Dados AWS
NTT DATA • Florianópolis, Brazil
Há +30 dias
Descrição da vaga
Sobre a vaga
Buscamos um(a) Engenheiro(a) de Dados AWS para projetar, desenvolver e manter pipelines de ingestão, transformação e armazenamento de dados em ambientes de Data Warehouse e Data Lake.
Você será responsável por garantir a qualidade, confiabilidade e monitoramento dos dados, além de criar integrações entre sistemas e a nuvem AWS.
Responsabilidades principais
- Projetar, desenvolver e manter processos de ingestão de dados;
- Modelar e projetar estruturas de dados para Data Warehouse e Data Lake (estruturados e não estruturados);
- Construir e manter processos de tratamento e armazenamento de dados;
- Construir e manter processos de controle e monitoramento do Data Lake;
- Desenvolver integrações utilizando APIs e soluções de mensageria;
- Criar integrações de dados entre sistemas e o Data Lake, utilizando SQL e Apache;
- Monitorar ingestões de dados envolvendo ciclos de qualidade;
- Garantir a confiabilidade da plataforma e dos dados por meio de testes unitários;
- Apoiar na criação de esteiras DevOps/DataOps em escala de serviços e infraestrutura na nuvem.
Requisitos técnicos
- Experiência com AWS: S3, Lambda, Glue, Athena, CloudWatch, CloudFormation, SNS, SQS, API Gateway, RDS (Aurora) e Terraform;
- Conhecimento em SQL e Apache;
- Experiência com modelagem de dados para Data Warehouse e Data Lake;
- Familiaridade com APIs, mensageria e automação de infraestrutura;
- Conhecimento em práticas de DevOps/DataOps.
Diferenciais
- Conhecimento em Amazon QuickSight;
- Experiência com testes unitários em pipelines de dados;
- Atuação prévia em ambientes de grande volume de dados.