Test - Consultant Expert Test IA - Senior H/F - Collective Works

  • Indépendant
  • Paris 75
  • Ingénierie
Test - Consultant Expert Test IA - Senior H/F Collective Works · Paris - 75 · Indépendant

📑 Missions du poste


  • Définir et structurer la stratégie de test des solutions intégrant de l'IA.

  • Intégrer les contrôles qualité tout au long du SDLC.

  • Évaluer la fiabilité, la robustesse et la conformité des agents IA et des LLM.

  • Industrialiser et automatiser les tests dans les pipelines CI/CD.

  • Accompagner les équipes dans la mise en place des bonnes pratiques QA.

Poste et responsabilités

  • Définition de la stratégie de test et des critères qualité.

  • Conception et exécution des tests fonctionnels, techniques et IA.

  • Évaluation des agents IA, des orchestrations multi-agents et des hallucinations.

  • Mise en place des quality gates et des tests automatisés.

  • Suivi des résultats, reporting et accompagnement des équipes.

👤 Profil recherché

  • Consultant Test / QA Senior.

  • Expérience confirmée en stratégie de test sur un SDLC mature.

  • Expérience en mise en production de solutions logicielles et CI/CD.

  • Expérience concrète en tests et évaluation de LLM, agents IA et architectures agentiques.

  • Capacité à transformer les besoins métier en scénarios et critères de test mesurables.

    Compétences techniques

  • Test / QA : stratégie de test, tests fonctionnels, automatisation, non-régression.

  • IA / LLM : évaluation IA, hallucinations, robustesse, agents et multi-agents.

  • Automatisation : Python, Pytest, Playwright, REST Assured.

  • Delivery : GitHub Enterprise, GitHub Actions, CI/CD, Quality Gates.

  • Évaluation IA : Promptfoo, DeepEval, Ragas, LangSmith.

  • Sécurité IA : Prompt injection, exfiltration de données, garde-fous.

  • Observabilité : logs, traces, coûts, latences et suivi des erreurs.

Ces offres pourraient également vous intéresser

Parcourir plus d’offres similaires en Ingénierie