Especialista Em Engenharia De Dados E Ciência De Dados

Buscamos um especialista em engenharia de dados e ciência de dados com conhecimento em analytics com AWS e Spark.

Deve ter capacidade de entender requisitos de negócio e traduzi-los em soluções técnicas.Criaremos pipelines de transformação de dados utilizando AWS Glue e PySpark para a construção de sistemas eficientes de ingestão, armazenamento e processamento de dados.Desenvolveremos jobs ETL para transformação entre camadas (Bronze, Prata e Ouro) com persistência dos dados no Amazon S3.

Configuraremos também o Data Catalog e os crawlers do Glue para as camadas Prata e Ouro.Orquestraremos processos com ferramentas como AWS Step Functions e EventBridge para gerenciar e automatizar as etapas do pipeline.Utilizaremos Kinesis Data Streams e Kinesis Firehose para ingestão de dados e configuração da plataforma Amazon Athena para consultas analíticas.Realizaremos testes de performance de processamento e consultas para garantir a qualidade dos resultados.Validaremos formatos de dados para integração com aplicações e gerenciaremos versionamentos e deploys via GitHub e Terraform.