Buscamos um profissional experiente em tecnologia de dados para integrar nossa equipe.Resumo da Vaga : O objetivo desta vaga é contratar um Big Data Engineer para trabalhar com grandes volumes de dados e contribuir para projetos de impacto global na área de energia e sustentabilidade.Aqui está uma oportunidade única para você se destacar em uma equipe dinâmica e colaborativa, compartilhando conhecimentos e habilidades para alcançar objetivos em conjunto.Responsabilidades Principais : Desenvolver e suportar pipelines de dados escaláveis utilizando Apache Hadoop, Spark e KafkaImplementar processos de ETL e integração de dados de múltiplas fontes (internas e externas)Trabalhar com grandes volumes de dados estruturados e não estruturados para habilitar análises em escalaOtimizar e ajustar jobs Spark e Hadoop para melhor performanceAtuar com CDP (Cloudera Data Platform) para deploy e gerenciamento de aplicações Big DataIntegrar soluções com Azure, Snowflake e infraestrutura on-premisesColaborar com cientistas de dados, analistas, arquitetos e stakeholders para entender requisitos e entregar soluções robustasUtilizar ferramentas de versionamento como GitHub e automações via GitHub Actions e / ou Azure DevOpsExplorar e implementar novas tecnologias de acordo com o roadmap interno de Big DataGarantir segurança, integridade e governança dos dadosHabilidades Requeridas : Bacharelado em Ciência da Computação ou áreas correlatasExperiência : 5 a 8+ anos em TI, com pelo menos 3 anos em ambientes HadoopLinguagens : Scala, Java e / ou PythonFerramentas e frameworks : Apache Spark, Hadoop EcosystemHive, Iceberg, HBaseSolrKafka, Spark Streaming ou Apache FlinkOozie (Airflow é diferencial)Sistemas UNIX / LinuxGit, GitHub, DevOps (desejável Azure DevOps)Cloud : Experiência com Azure (desejável conhecimento em AWS)Vantagens : Nossa empresa oferece um ambiente de trabalho dinâmico e colaborativo, onde você pode compartilhar conhecimentos e habilidades com colegas talentosos.Certificações : Precisamos que você tenha certificações relevantes ao cargo.
Por exemplo, Big Data Engineer.
Dados • Recife, Pernambuco, Brasil