Engenheiro De Dados - Trabalho Remoto

A Dexian está comprometida com responsabilidade social corporativa e investe em programas que apoiam a diversidade e inclusão.

A empresa atua como ponte entre profissionais altamente qualificados e oportunidades consistentes e prósperas.Descrição do Cargo : Desenvolver pipelines de dados escaláveis utilizando Apache Hadoop, Spark e KafkaImplementar processos de ETL e integração de dados de múltiplas fontes (internas e externas)Trabalhar com grandes volumes de dados estruturados e não estruturados para habilitar análises em escalaOtimizar e ajustar jobs Spark e Hadoop para melhor performanceAtuar com CDP (Cloudera Data Platform) para deploy e gerenciamento de aplicações Big DataIntegrar soluções com Azure, Snowflake e infraestrutura on-premisesColaborar com cientistas de dados, analistas, arquitetos e stakeholders para entender requisitos e entregar soluções robustasUtilizar ferramentas de versionamento como GitHub e automações via GitHub Actions e / ou Azure DevOpsExplorar e implementar novas tecnologias de acordo com o roadmap interno de Big DataGarantir segurança, integridade e governança dos dadosRequisitos Técnicos : Formação : Bacharelado em Ciência da Computação ou áreas correlatas | GPA mínimo : 6.5 / 10Experiência : 5 a 8+ anos em TI, com pelo menos 3 anos em ambientes HadoopLinguagens : Scala, Java e / ou PythonFrameworks e Ferramentas : Apache Spark, Hadoop EcosystemHive, Iceberg, HBaseSolrKafka, Spark Streaming ou Apache FlinkOozie (Airflow é diferencial)Sistemas UNIX / LinuxGit, GitHub, DevOps (desejável Azure DevOps)Cloud : Experiência com Azure (desejável conhecimento em AWS)Diferenciais : Conhecimento em Apache NiFiHabilidades de modelagem de dadosExperiência prévia no setor de energia (Oil & Gas)Nossa equipe é composta por profissionais altamente qualificados e experientes na área de Big Data.Você pode contribuir para nossos projetos e trabalhar em uma equipe dinâmica e motivada.