Évaluer la maîtrise de l'IA en entretien

Évaluer la maîtrise de l'IA, c'est mesurer cinq compétences qui s'ajoutent aux compétences métier. Déléguer, cadrer, juger l'output, orchestrer des agents, maîtriser les coûts. Un test que l'IA résout seule ne mesure aucune d'elles. Il faut décider à chaque étape ce qu'on évalue, puis noter le raisonnement plutôt que le rendu.

Sommaire10 sections

1.Le replay du live
2.Pourquoi certains tests techniques ne mesurent plus rien ?
3.Que recouvre la maîtrise de l'IA ?
4.Comment évaluer la délégation et le cadrage ?
5.Comment évaluer le jugement et l'orchestration ?
6.Où intégrer l'évaluation de l'IA dans le process ?
7.Comment fixer la barre selon le niveau du poste ?
8.Une scorecard IA restera-t-elle valable dans six mois ?
9.Checklist pour évaluer la maîtrise de l'IA en entretien
10.Retravailler son process avec TPC

1. Le replay du live

Juliette Demain est Growth AI Marketer chez TPC. Cet été, de nombreux hiring managers ont posé la même question à TPC : comment évaluer l'IA en entretien ? Juliette a analysé 19 entreprises qui ont rendu publique leur façon de tester. Ce live, son premier en solo, présente la synthèse de ce benchmark et la scorecard construite par TPC.

2. Pourquoi certains tests techniques ne mesurent plus rien ?

Un test technique vérifie deux choses. Les hard skills du métier, d'abord. Le jugement, ensuite : la capacité à prendre de la hauteur. C'est le jugement qui distingue un junior d'un senior.

Un énoncé d'école que l'IA résout en quelques minutes casse ces deux mesures. Le rendu ne dit plus rien sur les hard skills. Le chemin de pensée du candidat reste invisible. Deux rendus produits avec deux modèles différents ne se comparent pas. La notation glisse vers le feeling, donc vers les biais.

Le premier réflexe est de se demander, à chaque étape, ce qu'on cherche à évaluer. Hard skills, jugement, maîtrise de l'IA, ou les trois ? Cette réponse décide de la place donnée à l'IA dans le process.

Posture	Règle IA	Exemple du corpus
Évaluer en conditions réelles	IA autorisée et vivement recommandée, sur une vraie codebase	Coinbase
Décider au cas par cas	IA autorisée ou interdite selon l'épreuve, avec une justification	Interdite quand on teste une compétence fondamentale

Posture

Évaluer en conditions réelles

Règle IA

IA autorisée et vivement recommandée, sur une vraie codebase

Exemple du corpus

Coinbase

Posture

Décider au cas par cas

Règle IA

IA autorisée ou interdite selon l'épreuve, avec une justification

Exemple du corpus

Interdite quand on teste une compétence fondamentale

Chez Coinbase, la part de code généré par l'IA est passée d'environ 6 % à plus de la moitié. Coder de mémoire pendant 45 minutes en entretien n'avait plus de sens. L'entretien se fait désormais sur une vraie codebase, avec l'IA.

"Dans ce corpus, il n'y a aucune boîte qui interdit l'IA pendant tout le process."
Juliette Demain, Growth AI Marketer, TPC

3. Que recouvre la maîtrise de l'IA ?

La maîtrise de l'IA n'est pas une compétence isolée. Elle se greffe aux compétences de base. Côté hard skills, elle prend la forme du rôle de builder. Côté jugement, elle prend la forme du rôle d'orchestrateur.

Compétence	Rôle	Ce qu'on observe	Exemple du corpus
Déléguer	Builder	Ce que le candidat confie à l'IA, ce qu'il garde, avec quel modèle	Fleet
Cadrer	Builder	Qualifier le besoin, configurer l'agent, donner contexte et limites, valider le plan	Test en deux temps, au tableau puis avec un agent
Juger l'output	Orchestrateur	Attraper l'erreur avant d'utiliser le résultat	Alan
Orchestrer	Orchestrateur	Faire travailler des agents en chaîne, anticiper la casse	Payplug
Maîtriser les coûts	À part	Le ratio entre temps gagné et coût en tokens	Aucun exemple dans le corpus

Compétence

Déléguer

Rôle

Builder

Ce qu'on observe

Ce que le candidat confie à l'IA, ce qu'il garde, avec quel modèle

Exemple du corpus

Fleet

Compétence

Cadrer

Rôle

Builder

Ce qu'on observe

Qualifier le besoin, configurer l'agent, donner contexte et limites, valider le plan

Exemple du corpus

Test en deux temps, au tableau puis avec un agent

Compétence

Juger l'output

Rôle

Orchestrateur

Ce qu'on observe

Attraper l'erreur avant d'utiliser le résultat

Exemple du corpus

Alan

Compétence

Orchestrer

Rôle

Orchestrateur

Ce qu'on observe

Faire travailler des agents en chaîne, anticiper la casse

Exemple du corpus

Payplug

Compétence

Maîtriser les coûts

Rôle

À part

Ce qu'on observe

Le ratio entre temps gagné et coût en tokens

Exemple du corpus

Aucun exemple dans le corpus

Un dernier signal traverse les cinq compétences : la façon dont le candidat en parle. Explique-t-il ses choix ? Donne-t-il des chiffres et des exemples ? Un candidat qui utilise l'IA en silence reste difficile à juger.

4. Comment évaluer la délégation et le cadrage ?

Déléguer, c'est choisir ce qu'on confie à l'IA et ce qu'on garde pour soi. C'est aussi choisir l'outil et le modèle pour chaque tâche.

Chez Fleet, le take-home est resté. L'IA y est attendue, car le candidat doit travailler avec les outils de l'entreprise. Mais la note porte sur la présentation orale du travail. La restitution sépare vite deux profils. Celui qui a délégué sa réflexion, et celui qui a délégué l'exécution. Le second explique son problème de départ, son modèle, ce qu'il a délégué et pourquoi.

Cadrer est la compétence qui se redéfinit le plus vite. On parlait de prompt engineering. On parle aujourd'hui de qualifier le besoin, de configurer l'agent et de context engineering. Le candidat doit aussi poser les limites et valider le plan avant l'exécution.

Dans une entreprise du corpus, le test se fait en deux temps. D'abord au tableau, sans machine : le candidat reçoit un problème métier avec son contexte. Il présente une solution, guidé par les questions du hiring manager. Ensuite, il configure son agent et écrit les spécifications de l'architecture. Il laisse l'agent proposer un plan, le retravaille, puis lance l'exécution. La note porte surtout sur l'interaction avec l'agent, pas sur l'output. Un seul test évalue ainsi la compétence métier et la maîtrise de l'IA.

5. Comment évaluer le jugement et l'orchestration ?

Juger l'output, c'est contrôler ce que l'IA produit avant de l'utiliser. Chez Alan, le candidat reçoit du code existant et un assistant IA qui connaît ce code. L'assistant est présenté comme une aide parmi d'autres, au même titre que Google ou Stack Overflow. Le code contient un bug caché, que personne ne signale. Le candidat le repère-t-il ? Arrive-t-il à le décrire et à le faire corriger ? Ou suit-il l'IA quand elle affirme que tout va bien ?

Orchestrer prend deux formes selon le poste. Pour un IC, c'est faire travailler des agents vers un résultat et anticiper où ça casse. Pour un leader, c'est déployer, piloter et gouverner l'IA à l'échelle de l'organisation.

Chez Payplug, cette dimension est notée à part entière pour les rôles de direction. Le recruteur creuse un déploiement cité par le candidat : "Tu m'as dit que tu avais utilisé Claude Code et la code review automatisée en prod. Qui a décidé ça ? Comment vous mesurez que ça fonctionne ? Et qu'est-ce qui a foiré au début ?"

Ces trois questions testent la mesure, le pilotage et l'honnêteté. Elles montrent si le candidat peut porter un déploiement IA et le maintenir.

La maîtrise des coûts reste à part. Aucune entreprise du corpus ne l'évalue encore. Elle peut entrer dans les questions de pilotage budgétaire, pour les rôles de direction.

6. Où intégrer l'évaluation de l'IA dans le process ?

Deux voies existent. Adapter le process existant, la plus efficiente. Ou créer des cas dédiés, quand c'est nécessaire.

Au screening, les questions de tooling ne mènent nulle part. "Cursor depuis deux ans et demi" ne dit rien du candidat. Mieux vaut demander si le candidat code avec l'IA au quotidien. Depuis quand, sur quels outils, sur quoi précisément ? L'objectif n'est pas d'obtenir des mots-clés mais une histoire. Chiffres, ROI, loupés et corrections montrent un usage réel.

"Il faut vraiment garder en tête que mot-clé égale red flag."
Juliette Demain, Growth AI Marketer, TPC

Le benchmark TPC propose 13 questions de screening de ce type. Chacune a trois paliers de réponse : faible, correcte, au-dessus des attentes.

Les autres étapes s'adaptent aussi :

Prise de référence : demander à l'ancien employeur si le système IA mis en place tourne encore et produit du résultat.

Take-home : noter la restitution, pas le rendu. Chez Doctolib, on demande comment le candidat referait le travail à la main. Ailleurs, le candidat restitue devant toute l'équipe et justifie ses choix.

Live case : chez Shopify, le candidat reçoit un dépôt GitHub vide cinq minutes avant le test. Il vient avec ses outils, et le problème s'enrichit au fil de l'épreuve.

Le format Shopify s'appuie sur l'imperfection du modèle. Voir le candidat réagir à du code imparfait fait partie du dispositif. Ce format exige un hiring manager qui creuse et challenge.

Canva a choisi la seconde voie. Son round CS Fundamentals, un exercice d'algorithmie classique, ne mesurait plus rien face à l'IA. Le nouveau test demande de gérer les décollages et atterrissages d'un aéroport saturé. Des contraintes s'ajoutent : pistes occupées, priorités, retards, flux de voyageurs. Soumis tel quel à l'IA, l'énoncé donne un résultat plausible mais faux. Le candidat doit découper le problème et juger chaque output. Après chaque morceau de code, le hiring manager demande à quoi il sert. Il vérifie ainsi que le candidat sait lire du code, et donc relire des PR. Selon Canva, les candidats qui pratiquaient peu l'IA ont souvent échoué. Pas faute de savoir coder, mais faute de savoir guider l'IA.

7. Comment fixer la barre selon le niveau du poste ?

On n'attend pas la même chose d'un junior et d'un senior. C'est vrai pour l'IA aussi. La scorecard TPC fixe la barre selon le périmètre sur lequel le candidat utilisera l'IA.

Niveau	Périmètre d'usage de l'IA	Exemple sur la compétence orchestrer
Plancher	Usage ponctuel, ne relit pas l'output, ne questionne jamais	Ne voit pas ce qu'un agent ferait de plus, se limite à de petites questions
Junior	Son périmètre, avec un agent déjà en place	Fait travailler des agents existants sur son périmètre
Confirmé	Tout son périmètre, avec une méthode répétable	Enchaîne un agent qui produit et un agent qui relit, sait où ça casse et comment réparer
Senior	L'équipe et le produit	Branche ses agents aux systèmes de l'entreprise, garde l'humain dans la boucle au bon endroit, ses agents tournent en production
Leader IA	L'organisation entière	Redessine la répartition entre humains et agents : qui pilote, qui maîtrise les coûts, qui gouverne, qui maintient

Niveau

Plancher

Périmètre d'usage de l'IA

Usage ponctuel, ne relit pas l'output, ne questionne jamais