Engenharia de IA Generativa (Pleno / Sênior)
Buscamos uma pessoa focada na engenharia de IA Generativa para atuar diretamente com nosso time de tecnologia, impulsionando a evolução dos produtos de IA Generativa. Seu papel será instrumentar e coletar dados de funcionamento dos sistemas, transformá-los em métricas e análises acionáveis e orientar decisões de produto e de negócio para aumentar qualidade, segurança, eficiência e impacto.
Responsabilidades
- Instrumentar o produto de ponta a ponta : definir eventos, logs e telemetria de conversas / consultas, garantindo privacidade e conformidade (LGPD).
- Construir e manter pipelines de dados e camadas semânticas que consolidem uso, custo, latência, satisfação e qualidade de respostas.
- Definir e acompanhar métricas-chave de LLM e de produto : taxa de resolução, groundedness / factualidade, hallucination rate, cobertura de RAG, retenção, NPS, custo por sessão e SLA de latência.
- Desenvolver frameworks de avaliação offline / online : datasets de referência, rubricas de avaliação, feedback humano (HITL), autoavaliação com LLM e testes de regressão.
- Conduzir experimentos A / B e análises causais; traduzir resultados em recomendações claras de priorização e ganhos estimados.
- Criar dashboards e sistemas de alerta para stakeholders de produto, engenharia e negócio.
- Colaborar com PMs para melhorar prompts, arquitetura de agentes, RAG e bases de conhecimento.
- Apoiar a governança do RAG : curadoria de fontes, chunking / embedding, deduplicação e versionamento.
- Monitorar e otimizar eficiência : escolha / versão de modelos, tamanho de contexto, caching, custo e latência.
- Mapear causas-raiz de erros e estruturar taxonomias para orientar roadmap e mitigação de riscos (segurança, toxicidade...)
Requisitos Essenciais
Graduação em Engenharia, Ciência da Computação, Matemática, Estatística ou áreas correlatas.5+ anos de experiência em ML / Data / Analytics aplicada a produtos digitais.Vivência com produtos de IA Generativa (LLMs) e suas métricas; experiência com OpenAI / Azure / Open Source ou provedores equivalentes.Sólidos conhecimentos em Python e SQL.Experiência com instrumentação e tracking de eventos (ex. : Segment, Amplitude, Mixpanel, GA4) e pipelines / orquestração (ex. : Airflow, Prefect, dbt).Prática em experimentação e avaliação : A / B testing, desenho experimental e análise estatística.Experiência criando dashboards (ex. : Looker, Metabase, Power BI, Databricks SQL) e relatórios executivos.Conhecimento de RAG, embeddings e versionamento de prompts / datasets.Comunicação clara, mentalidade de produto e orientação a impacto.Como você pode nos surpreender
Observabilidade de LLMs (ex. : Langfuse, Helicone, Arize, WhyLabs, Evidently, MLflow, Weights & Biases).Tracing e monitoramento (OpenTelemetry, Datadog) e governança / segurança de dados (LGPD, PII redaction).Otimização de custo / performance de LLMs e design de guardrails / moderação.Conhecimento do mercado financeiro / investimentos.Inglês / Espanhol para colaboração e leitura técnica.🚀 Somos uma das maiores fintechs de investimentos do mundo!
Fazemos parte do Santander , o maior banco da Zona do Euro e estamos dobrando de tamanho a cada ano.
Nosso propósito é gerar liberdade financeira para as pessoas , sendo a ponte entre elas e seus objetivos! Por isso, sonhamos grande e buscamos inovação contínua para ajudá-las a encontrar as melhores oportunidades de investimentos do mercado e a investir de um jeito fácil, seguro e com Corretagem Zero de verdade.
Para isso, combinamos pessoas e tecnologia, valorizando e preservando o espírito colaborativo, diverso e inovador. Todas as pessoas do nosso time são essenciais para o nosso desenvolvimento e sucesso.
#J-18808-Ljbffr