Olá, somos a SuperFrete : )
Queremos ser a maior e mais amada rede de logística digital, quer fazer parte disso?
Somos uma startup que atua no segmento do varejo e logística, apoiando os pequenos e médios empreendedores a se tornarem mais competitivos no mercado e a alavancarem suas vendas. Por isso, buscamos um Super Engenheiro(a) de Dados Sênior, que se identifique com o nosso propósito, que tenha muita energia para somar no time de Produtos e que queria crescer (muito!) com a gente.
Responsabilidades :
- Desenvolver e manter estratégias de gerenciamento de metadados;
- Acompanhamento de processamentos de pipelines e de solução de problemas dos mesmos;
- Atuação colaborativa com demais membros da equipe de dados, compartilhando boas práticas e conhecimento técnico;
- Produzir a documentação de soluções e processos relacionados a dados;
- Projetar, desenvolver e manter pipelines de dados escaláveis e confiáveis para integrar, transformar e disponibilizar grandes volumes de dados, mantendo em foco aspectos de confiabilidade, escalabilidade e mantenabilidade;
- Apoiar na definição e implementação de políticas de governança e segurança dos dados;
- Participar ativamente na definição de arquitetura e na escolha de tecnologias para o ecossistema de dados da empresa;
- Desenvolver e / ou melhorar pipelines automatizados para deploy de novos fluxos / código;
- Estruturação de ambientes para desenvolvimento.
Requisitos :
Experiência sólida com linguagens como Python, SQL e Spark (PySpark);Experiência com projetos envolvendo bancos de dados relacionais e não relacionais (SQL e NoSQL), considerando dados estruturados e semiestruturados, entre eles Mongodb, Elasticsearch e Postgres;Experiência sólida em modelagem dimensional (Star Schema, Snow Flake), sendo preferencialmente Star Schema;Experiência sólida em arquiteturas de dados, considerando conceitos e métodos de Data Warehouse, Data Lake e Data Lakehouse;Experiência sólida com serviços voltados para dados em plataformas cloud como AWS, GCP, e Azure, preferencialmente GCP;Experiência em soluções de ETL / ELT e desenvolvimento e manutenção de pipelines de dados, preferencialmente em Airflow(Composer);Experiência em gestão de metadados (Glossário de Negócio, Dicionário de Dados, Catálogo de Dados);Conhecimento em segurança de dados (criptografia, LGPD e mascaramento de dados);Familiaridade com metodologias ágeis (Scrum, Kanban);Experiência com IaC (Infra as Code) em ferramentas como Terraform, Ansible, entre outras.Será legal se você tiver :
Certificações Cloud;Conhecimento e / ou experiência em Kubernetes e Docker;Conhecimentos em Machine Learning e / ou Engenharia de Machine LearningO que você pode esperar dos Supers?
Uma cultura de muita confiança, colaboração, focada em resultados, com muita autonomia e transparência;Buscamos excelência em tudo o que fazemos, por isso estamos sempre aprendendo;Temos vontade de construir junto, fazer a diferença e gerar impacto.O que oferecemos :