Talent.com
A vaga não está disponível no seu país.
QA / Red Teaming Expert

QA / Red Teaming Expert

Innodata Inc.viamão, estado do rio grande do sul, br
Há 16 horas
Descrição da vaga

Job Description :

We are seeking highly analytical and detail-oriented professionals with hands-on experience in Red Teaming, Prompt Evaluation , and AI / LLM Quality Assurance . The ideal candidate will help us rigorously test and evaluate AI-generated content to identify vulnerabilities, assess risks, and ensure compliance with safety, ethical, and quality standards.

Job Title : - Red Teaming, Prompt Evaluation, or AI / LLM Quality Assurance Expert

Key Responsibilities :

  • Conduct Red Teaming exercises to identify adversarial, harmful, or unsafe outputs from large language models (LLMs).
  • Evaluate and stress-test AI prompts across multiple domains (e.g., finance, healthcare, security) to uncover potential failure modes.
  • Develop and apply test cases to assess accuracy, bias, toxicity, hallucinations , and misuse potential in AI-generated responses.
  • Collaborate with data scientists, safety researchers, and prompt engineers to report risks and suggest mitigations.
  • Perform manual QA and content validation across model versions, ensuring factual consistency, coherence, and guideline adherence.
  • Create evaluation frameworks and scoring rubrics for prompt performance and safety compliance.
  • Document findings, edge cases, and vulnerability reports with high clarity and structure.

Requirements :

  • Proven experience in AI red teaming , LLM safety testing, or adversarial prompt design.
  • Familiarity with prompt engineering , NLP tasks, and ethical considerations in generative AI.
  • Strong background in Quality Assurance , content review, or test case development for AI / ML systems.
  • Understanding of LLM behaviour's, failure modes, and model evaluation metrics.
  • Excellent critical thinking, pattern recognition, and analytical writing skills.
  • Ability to work independently, follow detailed evaluation protocols, and meet tight deadlines.
  • Preferred Qualifications :

  • Prior work with teams like Open AI, Anthropic, Google DeepMind, or other LLM safety initiatives.
  • Experience in risk assessment, red team security testing, or AI policy & governance.
  • Background in linguistics, psychology, or computational ethics is a plus.

    Kindly Attempt the below assessment to proceed further with your application.

  • https : / / icap.innodata.com / registerfreelancer?enc=oUTZVsr / Pnz / 0Xygc2EK32MdtinqnjC9vy8RU3Ha4EMfQdYWF8n1oAiUtOZXMcKhhhsYYecqmKWja8eKXV801gezikielezikiel
  • Criar um alerta de emprego para esta pesquisa

    Expert • viamão, estado do rio grande do sul, br

    Vagas relacionadas
    • Promovida
    • Nova!
    Senior IT Technical Recruiter – LATAM Based

    Senior IT Technical Recruiter – LATAM Based

    Aptonetalvorada, estado do rio grande do sul, br
    Senior IT Technical Recruiters.Our recruiting team builds the foundation of our clients’ success by connecting them with extraordinary talent who share our vision and values.Proven experience recru...Mostre maisÚltima atualização: 16 horas atrás
    • Promovida
    • Nova!
    Generative AI Engineer

    Generative AI Engineer

    AnswerThis (YC F25)gravataí, estado do rio grande do sul, br
    Remote (Applications open worldwide).Semantic Search, Vector Databases, Prompt Engineering, GenAI Frameworks, React Agents, Graph Agents, Document Parsing, Python, Scalable APIs.AnswerThis is an AI...Mostre maisÚltima atualização: 16 horas atrás
    • Promovida
    • Nova!
    Unreal Programmer

    Unreal Programmer

    Zelcar Games LLCporto alegre, estado do rio grande do sul, br
    Programadores Unreal (Júnior, Plenos e Sêniores) – Full-Time / MMORPG.Brasil que queiram crescer conosco em projetos reais e de longo prazo. Programadores plenos (6–8 USDT / h) : .Programadores sêniores...Mostre maisÚltima atualização: 12 horas atrás
    • Promovida
    • Nova!
    Senior Fullstack Engineer (remoto)

    Senior Fullstack Engineer (remoto)

    Brunelestância velha, estado do rio grande do sul, br
    Remota
    Nosso cliente global em rastreamento de CCU busca.Engenheiro(a) Sênior Fullstack.Papel essencial em novos recursos, escalabilidade e boas práticas, atuando em infraestrutura AWS com foco em rastrea...Mostre maisÚltima atualização: 16 horas atrás
    • Promovida
    • Nova!
    Senior Recruitment Consultant – International Projects, Remote (Brazil Based)

    Senior Recruitment Consultant – International Projects, Remote (Brazil Based)

    Remote Peoplemontenegro, estado do rio grande do sul, br
    Are you a talented recruitment professional with a flair for business development and client management? Do you thrive working autonomously while being part of a dynamic international team? If yes,...Mostre maisÚltima atualização: 16 horas atrás
    • Promovida
    • Nova!
    QA / Red Teaming Expert

    QA / Red Teaming Expert

    Innodata Inc.Porto Alegre, BR
    We are seeking highly analytical and detail-oriented professionals with hands-on experience in.Red Teaming, Prompt Evaluation. The ideal candidate will help us rigorously test and evaluate AI-genera...Mostre maisÚltima atualização: 16 horas atrás
    • Promovida
    Collaboration Expert

    Collaboration Expert

    BebeecollaborationPorto Alegre, Rio Grande do Sul, Brasil
    Collaboration ExpertWe are seeking a skilled Collaboration Expert to join our team.As a key member, you will be responsible for implementing and configuring collaboration tools to drive business ou...Mostre maisÚltima atualização: 1 dia atrás
    • Promovida
    • Nova!
    Product Designer (B.I. or People Analytics)

    Product Designer (B.I. or People Analytics)

    Uitifynovo hamburgo, estado do rio grande do sul, br
    Professional English is a requirement for this role⚠️.A challenge will be required ⚠️.Uitify is a design studio specializing in delivering high-quality UI / UX and branding solutions for early-stage ...Mostre maisÚltima atualização: 16 horas atrás
    • Promovida
    • Nova!
    Tech Lead Ruby Especialista

    Tech Lead Ruby Especialista

    FOURSYSmontenegro, estado do rio grande do sul, br
    A Foursys é um time apaixonado por inovação, design e transformação digital.Na Foursys, celebramos a diversidade e acreditamos que são as diferentes ideias e perspectivas que nos enriquecem.Portant...Mostre maisÚltima atualização: 16 horas atrás
    • Promovida
    • Nova!
    $4,000 USD / mo Web & Mobile SaaS Product Designer (UX / UI) Fluent English

    $4,000 USD / mo Web & Mobile SaaS Product Designer (UX / UI) Fluent English

    Leading Edge Ag Solutionsalvorada, estado do rio grande do sul, br
    Internal Business System focusing on workforce management and financial reporting.We need someone with systems design experience, this is not a website or e-commerce. We need experience with both we...Mostre maisÚltima atualização: 16 horas atrás
    • Promovida
    • Nova!
    Desenvolvedor de.NET sênior

    Desenvolvedor de.NET sênior

    Engineering Brasilestância velha, estado do rio grande do sul, br
    Sustentação, análise e correção de bugs;.Desenvolvimento de novas funcionalidades e melhorias;.Análise de demandas e proposta de soluções. .Tenha experiência em Oracle PL / SQL;.Tenha experiência com ...Mostre maisÚltima atualização: 16 horas atrás
    • Promovida
    Desenvolvedor Full Stack Especialista

    Desenvolvedor Full Stack Especialista

    Dexian BrasilPorto Alegre, RS, Porto Alegre (microrregião); Rio Grande do Sul, BR
    Desenvolvedor Full Stack Especialista.A DEXIAN, lançada em 2023, tem presença global e traz consigo quase 30 anos de experiência através de suas companhias legadas, principalmen...Mostre maisÚltima atualização: 5 dias atrás
    • Promovida
    • Nova!
    Desenvolvedor full stack

    Desenvolvedor full stack

    CONFIDENCIALviamão, estado do rio grande do sul, br
    Participar do desenvolvimento e a evolução de um produto do ramo de saúde.GPT, mesmo sem experiência prévia na área.Há possibilidade de contratação PJ.Mostre maisÚltima atualização: 16 horas atrás
    • Promovida
    • Nova!
    Dynamics 365 Technical Engineer / Consultant - English - Remote

    Dynamics 365 Technical Engineer / Consultant - English - Remote

    HCLTechalvorada, estado do rio grande do sul, br
    HCLTech is a global technology company, spread across 60 countries, delivering industry-leading capabilities centered around digital, engineering, cloud and AI, powered by a broad portfolio of tech...Mostre maisÚltima atualização: 16 horas atrás
    • Promovida
    Tech Lead Outsystems

    Tech Lead Outsystems

    Framework DigitalPorto Alegre, BR
    O que é preciso para fazer parte do time?.Requisitos técnicos essenciais : .ODC (OutSystems Developer Cloud).Domínio das ferramentas do ecossistema : . Service Center, Lifetime, Integration Studio, AI M...Mostre maisÚltima atualização: há mais de 30 dias
    • Promovida
    • Nova!
    Head of Product Design (UI / UX, AI-Forward) - Contractor Role

    Head of Product Design (UI / UX, AI-Forward) - Contractor Role

    Downstreamviamão, estado do rio grande do sul, br
    Head of Product Design (UI / UX, AI-Forward) - Contractor.Downstream • Open to employees in Argentina, Bolivia, Brazil, Chile, Colombia, Ecuador, Guyana, Paraguay, Peru, Suriname, Uruguay, Venezuela....Mostre maisÚltima atualização: 16 horas atrás
    • Promovida
    • Nova!
    Tech Lead.Net Sênior

    Tech Lead.Net Sênior

    MetaPorto Alegre, BR
    Desenvolver técnicas outros colaboradores, transformando-as numa equipe que gera resultados;.Propor soluções com autonomia, apoiando a tomada de decisão de diferentes níveis de liderança;.Liderar o...Mostre maisÚltima atualização: 16 horas atrás
    • Promovida
    Power Platform Technical Lead (6-month contract) (Remote -Brasil)

    Power Platform Technical Lead (6-month contract) (Remote -Brasil)

    DBServices PortugalPorto Alegre, RS, Brazil
    Lead the development and architecture of Power Apps Model-driven applications.Coordinate and support technical teams throughout the project lifecycle. Design and implement Dataverse structures and b...Mostre maisÚltima atualização: há mais de 30 dias
    • Promovida
    • Nova!
    Desenvolvedor de.NET Pleno

    Desenvolvedor de.NET Pleno

    Engineering Brasilestância velha, estado do rio grande do sul, br
    Sustentação, análise e correção de bugs;.Desenvolvimento de novas funcionalidades e melhorias;.Análise de demandas e proposta de soluções. .Tenha experiência em Oracle PL / SQL;.Tenha experiência com ...Mostre maisÚltima atualização: 16 horas atrás
    • Promovida
    • Nova!
    Backend Developer 3D CPQ Integration and Automation

    Backend Developer 3D CPQ Integration and Automation

    Formifymontenegro, estado do rio grande do sul, br
    Formify is looking for a Backend Developer who connects configurators, pricing logic and CAD automation straight to production. You build the systems that turn web clicks into CNC files.You must be ...Mostre maisÚltima atualização: 16 horas atrás