Desenvolvedor de Big DataA Dexian é uma empresa líder em soluções de staffing, tecnologia e força de trabalho.
Buscamos um profissional qualificado para trabalhar em projetos de impacto global na área de energia e sustentabilidade.O candidato ideal terá experiência em desenvolvimento de pipelines de dados escaláveis utilizando Apache Hadoop, Spark e Kafka.
Além disso, deve estar familiarizado com as linguagens Scala, Java e / ou Python, e ter conhecimento em sistemas UNIX / Linux e Git.O papel envolve : Projetar, desenvolver e manter pipelines de dados escaláveis;Implementar processos de ETL e integração de dados de múltiplas fontes;Trabalhar com grandes volumes de dados estruturados e não estruturados;Otimizar e ajustar jobs Spark e Hadoop para melhor performance;Integrar soluções com Azure, Snowflake e infraestrutura on-premises;Colaborar com cientistas de dados, analistas, arquitetos e stakeholders para entender requisitos e entregar soluções robustas;Garantir segurança, integridade e governança dos dados.Requisitos Técnicos : Formação : Bacharelado em Ciência da Computação ou áreas correlatas;Experiência : 5 a 8+ anos em TI, com pelo menos 3 anos em ambientes Hadoop;Linguagens : Scala, Java e / ou Python;Frameworks e Ferramentas : Apache Spark, Hadoop Ecosystem, Hive, Iceberg, HBase, Solr, Kafka, Spark Streaming ou Apache Flink, Oozie (Airflow é diferencial), Sistemas UNIX / Linux, Git, GitHub, DevOps (desejável Azure DevOps), Cloud : Experiência com Azure (desejável conhecimento em AWS).
Soft Skills : Excelente comunicação verbal e escrita;Perfil proativo, autônomo e colaborativo;Forte capacidade analítica e de resolução de problemas complexos;Facilidade para trabalhar em times ágeis (Scrum) e ambientes multifuncionais;Habilidade de interface com áreas de negócio, arquitetura e desenvolvimento técnico.
Especialista Em Dados • São Paulo, Brasil