Talent.com
A vaga não está disponível no seu país.
QA / Red Teaming Expert

QA / Red Teaming Expert

Innodata Inc.Rio de Janeiro, BR
Há 6 horas
Descrição da vaga

Job Description :

We are seeking highly analytical and detail-oriented professionals with hands-on experience in Red Teaming, Prompt Evaluation , and AI / LLM Quality Assurance . The ideal candidate will help us rigorously test and evaluate AI-generated content to identify vulnerabilities, assess risks, and ensure compliance with safety, ethical, and quality standards.

Job Title : - Red Teaming, Prompt Evaluation, or AI / LLM Quality Assurance Expert

Key Responsibilities :

  • Conduct Red Teaming exercises to identify adversarial, harmful, or unsafe outputs from large language models (LLMs).
  • Evaluate and stress-test AI prompts across multiple domains (e.g., finance, healthcare, security) to uncover potential failure modes.
  • Develop and apply test cases to assess accuracy, bias, toxicity, hallucinations , and misuse potential in AI-generated responses.
  • Collaborate with data scientists, safety researchers, and prompt engineers to report risks and suggest mitigations.
  • Perform manual QA and content validation across model versions, ensuring factual consistency, coherence, and guideline adherence.
  • Create evaluation frameworks and scoring rubrics for prompt performance and safety compliance.
  • Document findings, edge cases, and vulnerability reports with high clarity and structure.

Requirements :

  • Proven experience in AI red teaming , LLM safety testing, or adversarial prompt design.
  • Familiarity with prompt engineering , NLP tasks, and ethical considerations in generative AI.
  • Strong background in Quality Assurance , content review, or test case development for AI / ML systems.
  • Understanding of LLM behaviour's, failure modes, and model evaluation metrics.
  • Excellent critical thinking, pattern recognition, and analytical writing skills.
  • Ability to work independently, follow detailed evaluation protocols, and meet tight deadlines.
  • Preferred Qualifications :

  • Prior work with teams like Open AI, Anthropic, Google DeepMind, or other LLM safety initiatives.
  • Experience in risk assessment, red team security testing, or AI policy & governance.
  • Background in linguistics, psychology, or computational ethics is a plus.

    Kindly Attempt the below assessment to proceed further with your application.

  • https : / / icap.innodata.com / registerfreelancer?enc=oUTZVsr / Pnz / 0Xygc2EK32MdtinqnjC9vy8RU3Ha4EMfQdYWF8n1oAiUtOZXMcKhhhsYYecqmKWja8eKXV801gezikielezikiel
  • Criar um alerta de emprego para esta pesquisa

    Expert • Rio de Janeiro, BR

    Vagas relacionadas
    • Promovida
    • Nova!
    Senior Fullstack Engineer (remoto)

    Senior Fullstack Engineer (remoto)

    Brunelsão gonçalo, estado do rio de janeiro, br
    Remota
    Nosso cliente global em rastreamento de CCU busca.Engenheiro(a) Sênior Fullstack.Papel essencial em novos recursos, escalabilidade e boas práticas, atuando em infraestrutura AWS com foco em rastrea...Mostre maisÚltima atualização: 6 horas atrás
    • Promovida
    • Nova!
    Head of Product Design (UI / UX, AI-Forward) - Contractor Role

    Head of Product Design (UI / UX, AI-Forward) - Contractor Role

    Downstreamnova iguaçu, estado do rio de janeiro, br
    Head of Product Design (UI / UX, AI-Forward) - Contractor.Downstream • Open to employees in Argentina, Bolivia, Brazil, Chile, Colombia, Ecuador, Guyana, Paraguay, Peru, Suriname, Uruguay, Venezuela....Mostre maisÚltima atualização: 6 horas atrás
    • Promovida
    • Nova!
    Tech Lead Ruby Especialista

    Tech Lead Ruby Especialista

    FOURSYSduque de caxias, estado do rio de janeiro, br
    A Foursys é um time apaixonado por inovação, design e transformação digital.Na Foursys, celebramos a diversidade e acreditamos que são as diferentes ideias e perspectivas que nos enriquecem.Portant...Mostre maisÚltima atualização: 6 horas atrás
    • Promovida
    • Nova!
    $4,000 USD / mo Web & Mobile SaaS Product Designer (UX / UI) Fluent English

    $4,000 USD / mo Web & Mobile SaaS Product Designer (UX / UI) Fluent English

    Leading Edge Ag Solutionsniterói, estado do rio de janeiro, br
    Internal Business System focusing on workforce management and financial reporting.We need someone with systems design experience, this is not a website or e-commerce. We need experience with both we...Mostre maisÚltima atualização: 6 horas atrás
    • Promovida
    • Nova!
    Desenvolvedor full stack

    Desenvolvedor full stack

    CONFIDENCIALnova iguaçu, estado do rio de janeiro, br
    Participar do desenvolvimento e a evolução de um produto do ramo de saúde.GPT, mesmo sem experiência prévia na área.Há possibilidade de contratação PJ.Mostre maisÚltima atualização: 6 horas atrás
    • Promovida
    Tech Lead Outsystems

    Tech Lead Outsystems

    Framework DigitalRio de Janeiro, BR
    O que é preciso para fazer parte do time?.Requisitos técnicos essenciais : .ODC (OutSystems Developer Cloud).Domínio das ferramentas do ecossistema : . Service Center, Lifetime, Integration Studio, AI M...Mostre maisÚltima atualização: há mais de 30 dias
    • Promovida
    • Nova!
    Backend Developer 3D CPQ Integration and Automation

    Backend Developer 3D CPQ Integration and Automation

    Formifyniterói, estado do rio de janeiro, br
    Formify is looking for a Backend Developer who connects configurators, pricing logic and CAD automation straight to production. You build the systems that turn web clicks into CNC files.You must be ...Mostre maisÚltima atualização: 6 horas atrás
    • Promovida
    • Nova!
    Desenvolvedor de.NET sênior

    Desenvolvedor de.NET sênior

    Engineering Brasilsão gonçalo, estado do rio de janeiro, br
    Sustentação, análise e correção de bugs;.Desenvolvimento de novas funcionalidades e melhorias;.Análise de demandas e proposta de soluções. .Tenha experiência em Oracle PL / SQL;.Tenha experiência com ...Mostre maisÚltima atualização: 6 horas atrás
    • Promovida
    Content Evaluator

    Content Evaluator

    beBeeFeedbackDuque de Caxias, Brasil
    A dynamic and tech-savvy individual is required to analyze and provide feedback on various types of information, including texts, pages, images, and more. Analyzing and providing feedback on differe...Mostre maisÚltima atualização: 1 dia atrás
    • Promovida
    Home-Based Online Assessor

    Home-Based Online Assessor

    beBeeJobNiterói, Brasil
    This part-time role lets you work from home and set your own schedule, providing the perfect balance of personal and professional life. A flexible opportunity like this one doesn't come up often.Sei...Mostre maisÚltima atualização: 1 dia atrás
    • Promovida
    • Nova!
    Dynamics 365 Technical Engineer / Consultant - English - Remote

    Dynamics 365 Technical Engineer / Consultant - English - Remote

    HCLTechduque de caxias, estado do rio de janeiro, br
    HCLTech is a global technology company, spread across 60 countries, delivering industry-leading capabilities centered around digital, engineering, cloud and AI, powered by a broad portfolio of tech...Mostre maisÚltima atualização: 6 horas atrás
    • Promovida
    • Nova!
    Product Designer (B.I. or People Analytics)

    Product Designer (B.I. or People Analytics)

    UitifyRio de Janeiro, BR
    Professional English is a requirement for this role⚠️.A challenge will be required ⚠️.Uitify is a design studio specializing in delivering high-quality UI / UX and branding solutions for early-stage ...Mostre maisÚltima atualização: 6 horas atrás
    • Promovida
    • Nova!
    Generative AI Engineer

    Generative AI Engineer

    AnswerThis (YC F25)duque de caxias, estado do rio de janeiro, br
    Remote (Applications open worldwide).Semantic Search, Vector Databases, Prompt Engineering, GenAI Frameworks, React Agents, Graph Agents, Document Parsing, Python, Scalable APIs.AnswerThis is an AI...Mostre maisÚltima atualização: 6 horas atrás
    • Promovida
    • Nova!
    Desenvolvedor de.NET Pleno

    Desenvolvedor de.NET Pleno

    Engineering Brasilpetrópolis, estado do rio de janeiro, br
    Sustentação, análise e correção de bugs;.Desenvolvimento de novas funcionalidades e melhorias;.Análise de demandas e proposta de soluções. .Tenha experiência em Oracle PL / SQL;.Tenha experiência com ...Mostre maisÚltima atualização: 6 horas atrás
    • Promovida
    • Nova!
    Profissional Tech Lead Java e Kotlin

    Profissional Tech Lead Java e Kotlin

    BRQ Digital Solutionsniterói, estado do rio de janeiro, br
    Há 32 anos no mercado, a BRQ Digital Solutions se consolidou como uma das maiores empresas de transformação digital do país. Com uma plataforma de serviços end to end, oferecemos as mais eficientes ...Mostre maisÚltima atualização: 6 horas atrás
    • Promovida
    • Nova!
    Tech Lead.Net Sênior

    Tech Lead.Net Sênior

    MetaRio de Janeiro, BR
    Desenvolver técnicas outros colaboradores, transformando-as numa equipe que gera resultados;.Propor soluções com autonomia, apoiando a tomada de decisão de diferentes níveis de liderança;.Liderar o...Mostre maisÚltima atualização: 6 horas atrás
    • Promovida
    • Nova!
    Desenvolvedor Pleno PJ (.Net / Angular / SQL Server) – Presencial em Niterói / RJ

    Desenvolvedor Pleno PJ (.Net / Angular / SQL Server) – Presencial em Niterói / RJ

    Life Laudos TelemedicinaNiterói, Rio de Janeiro, Brazil
    Se você é apaixonado por tecnologia, inovação e busca crescimento profissional, essa oportunidade é para você.Desenvolvimento e manutenção de sistemas internos. .Suporte na implementação de melhoria...Mostre maisÚltima atualização: 6 horas atrás
    • Promovida
    • Nova!
    Senior IT Technical Recruiter – LATAM Based

    Senior IT Technical Recruiter – LATAM Based

    Aptonetduque de caxias, estado do rio de janeiro, br
    Senior IT Technical Recruiters.Our recruiting team builds the foundation of our clients’ success by connecting them with extraordinary talent who share our vision and values.Proven experience recru...Mostre maisÚltima atualização: 6 horas atrás