Pour maîtriser son budget IA, il faut d'abord savoir ce qu'on paie : des tokens d'entrée, des tokens de sortie et du cache. Ensuite, il faut choisir le modèle selon la tâche, en partant du moins cher. Enfin, il faut mesurer le coût de chaque session pour savoir ce qui vaut son prix. C'est la méthode que Quentin Roussel-Stephan applique au quotidien chez Trainline.
Sommaire10 sections
- 1.Le replay du live
- 2.Pourquoi comprendre un LLM aide à réduire sa facture ?
- 3.Qu'est-ce qui coûte cher dans une requête IA ?
- 4.Comment éviter de repayer tout son contexte ?
- 5.Quel modèle choisir pour quelle tâche ?
- 6.Comment mesurer le coût réel de ses sessions ?
- 7.Comment piloter le budget IA à l'échelle d'une équipe ?
- 8.Comment obtenir plus de budget IA en tant que PM ?
- 9.La checklist pour maîtriser son budget IA
- 10.Recruter des PM qui savent travailler avec l'IA
1. Le replay du live
Quentin Roussel-Stephan est Senior PM chez Trainline, une entreprise de 1 200 personnes. Il se décrit comme un PM "un peu tech", attiré par les couches plateforme, API et architecture. Il fait partie des power users de l'IA en interne depuis un an et demi à deux ans. Il forme ses collègues à consommer moins et mieux. Le live était animé par Alexandre pour TPC.
2. Pourquoi comprendre un LLM aide à réduire sa facture ?
Un modèle ne lit pas du texte. Il lit des tokens : un mot, un morceau de mot ou un signe de ponctuation. Chaque token devient un identifiant, puis un vecteur dans un espace sémantique. Ces vecteurs peuvent compter jusqu'à 12 000 dimensions.
Le modèle ajoute ensuite une information de position. "Le chat mange la souris" et "la souris mange le chat" n'ont pas le même sens. Puis le mécanisme d'attention relie les tokens entre eux, par exemple un pronom à son sujet.
Enfin, le modèle calcule une probabilité pour chaque token possible et choisit le suivant. Il recommence à chaque token généré, en relisant tout ce qui précède.
"Les hallucinations, ce n'est pas que le modèle hallucine, c'est que statistiquement, la génération du token suivant a produit son output."
Conséquence pratique : répéter "c'est faux" au modèle coûte cher. Il relit tout l'historique à chaque tour. Quentin préfère revenir en arrière, corriger son prompt et régénérer.
Autre point clé : le modèle n'a pas de mémoire. C'est le harness construit autour, dans l'outil, qui lui en donne une.
3. Qu'est-ce qui coûte cher dans une requête IA ?
La facture repose sur trois postes. Les écarts entre eux expliquent l'essentiel des dérives.
| Poste | Ce qui est facturé | Ordre de grandeur cité |
|---|---|---|
| Entrée | Tout ce qu'on donne au modèle : prompt, contexte, fichiers | Prix de référence |
| Sortie | La réponse, y compris tout le raisonnement en mode thinking | Environ 5 fois le prix d'entrée chez Anthropic |
| Lecture du cache | Le contexte déjà mis en cache et relu au tour suivant | Environ 10 % du prix d'entrée, 5 % sur les modèles récents |
| Écriture dans le cache | Le contexte enregistré ou réenregistré dans le cache | Plus cher qu'une entrée classique |
Poste
Entrée
Ce qui est facturé
Tout ce qu'on donne au modèle : prompt, contexte, fichiers
Ordre de grandeur cité
Prix de référence
Poste
Sortie
Ce qui est facturé
La réponse, y compris tout le raisonnement en mode thinking
Ordre de grandeur cité
Environ 5 fois le prix d'entrée chez Anthropic
Poste
Lecture du cache
Ce qui est facturé
Le contexte déjà mis en cache et relu au tour suivant
Ordre de grandeur cité
Environ 10 % du prix d'entrée, 5 % sur les modèles récents
Poste
Écriture dans le cache
Ce qui est facturé
Le contexte enregistré ou réenregistré dans le cache
Ordre de grandeur cité
Plus cher qu'une entrée classique
Le raisonnement est facturé comme de la sortie. Mettre un modèle en thinking maximum pour écrire un email n'a donc aucun sens économique. Selon Quentin, le thinking maximum donne même souvent des résultats moins bons, plus longs et plus coûteux.
Les écarts entre modèles sont aussi très marqués. Quentin cite, en sortie, environ 0,50 dollar le million de tokens pour Haiku. Il cite 10 dollars pour Sonnet, 20 pour Opus et 50 pour Fable.
"Faire écrire son mail par Fable, ce n'est pas tout à fait la meilleure stratégie."
4. Comment éviter de repayer tout son contexte ?
À chaque tour, le modèle relit l'intégralité de la conversation. Sans cache, chaque requête coûterait une fortune. Le cache stocke ce qui ne change pas et le relit pour une fraction du prix.
Deux pièges reviennent souvent. Le premier : une valeur relative dans le contexte, comme "il y a X minutes". Elle change à chaque tour et casse le cache. Le second : le cache expire. Chez Trainline, la durée est d'une heure. Une session lancée le matin et reprise l'après-midi repart d'un cache froid.
Sur une longue session, l'impact est lourd. Quentin cite une session de trois à quatre heures à près de 800 000 tokens de contexte. Avec un cache froid, il faudrait réécrire ces 800 000 tokens dans le cache.
Ses deux réflexes :
Compacter tôt. Il compacte vers 75 % de sa fenêtre de contexte, sans attendre la limite. Il garde ainsi la main sur ce qui est conservé.
Préparer la reprise. Avant d'arrêter, il demande au modèle d'écrire le prompt de départ du lendemain. Il repart d'un contexte prémâché, pas de toute la conversation.
5. Quel modèle choisir pour quelle tâche ?
La règle par défaut de Quentin : commencer par le modèle le moins cher. Si Haiku ne suffit pas, la tentative n'a coûté que quelques centimes. Il passe alors à Sonnet. Partir directement sur Opus aurait coûté plusieurs fois plus pour la même tâche.
"Démarrer sur un modèle qui n'est pas cher, c'est presque toujours rentable."
Exception : la conception d'une architecture ou d'une infrastructure. Là, le plan se fait avec le modèle le plus puissant. L'exécution du plan revient ensuite à Sonnet ou Haiku, selon la complexité.
| Rôle dans le dispositif de Quentin | Modèle utilisé |
|---|---|
| Session principale | Sonnet |
| Conseil quand le raisonnement manque (mode Advisor) | Opus |
| Exécution des tâches en sub-agents | Haiku |
| Conception d'un plan ou d'une architecture | Opus |
| Classification, tri, catégorisation | Petits modèles locaux |
Rôle dans le dispositif de Quentin
Session principale
Modèle utilisé
Sonnet
Rôle dans le dispositif de Quentin
Conseil quand le raisonnement manque (mode Advisor)
Modèle utilisé
Opus
Rôle dans le dispositif de Quentin
Exécution des tâches en sub-agents
Modèle utilisé
Haiku
Rôle dans le dispositif de Quentin
Conception d'un plan ou d'une architecture
Modèle utilisé
Opus
Rôle dans le dispositif de Quentin
Classification, tri, catégorisation
Modèle utilisé
Petits modèles locaux
Le mode Advisor d'Anthropic permet à Sonnet ou Haiku de solliciter un modèle supérieur quand ils bloquent. Ce montage coûte nettement moins cher que de tout faire tourner sur Opus.
Pour les tâches simples, Quentin plaide pour des petits modèles en local. Rédaction de mails, classification, tri de documents : quelques millions de paramètres suffisent. Pour lui, le meilleur système à venir est une hybridation entre petits modèles et modèles frontière.
"Le plus important, je pense, c'est d'expérimenter."
Il recommande de tester une même tâche sur Haiku, Sonnet et Opus. Après quelques essais, on sait quel type d'usage va sur quel modèle.
6. Comment mesurer le coût réel de ses sessions ?
Claude Code, Codex et Claude Cowork stockent les sessions en local, sur la machine. Quentin a d'abord écrit un script Python qui lit ces sessions et leurs métadonnées. Le script calcule le coût de chaque session sur la base des prix publics d'Anthropic.
Ce suivi lui a permis de répondre à une question de PM : ce que j'ai produit valait-il ce que j'ai payé ? Il a pu tester chaque type de tâche par modèle et par niveau de thinking.
Aujourd'hui, un bandeau au-dessus de sa zone de prompt affiche en temps réel :
Le coût de la session, sub-agents compris, le nombre d'appels à l'advisor et le type de sub-agents mobilisés.
La position de la session par rapport à son budget mensuel.
Il a partagé cet outil en interne sous forme de quelques fichiers, à intégrer par qui le souhaite.
7. Comment piloter le budget IA à l'échelle d'une équipe ?
Le premier levier est le modèle par défaut. Il se paramètre côté admin, en quelques clics. Chez Trainline, Opus était le modèle par défaut au départ. Quentin a obtenu le passage à Sonnet en thinking medium.
Alexandre, animateur du live, a nuancé : un modèle par défaut trop faible peut décevoir une organisation peu acculturée. Il y voit un risque d'adoption, pas seulement un sujet financier.
Le deuxième levier est l'organisation des budgets. Trainline a d'abord ouvert un mois en illimité pour mesurer les usages. L'entreprise a ensuite créé des paliers internes, du business user au power développeur. Les développeurs choisissent où dépenser leur enveloppe, entre Claude et Codex. Les autres utilisent la suite Anthropic.
Le troisième levier est la structure de l'information. Quentin s'appuie sur un LLM Wiki inspiré de celui d'Andrej Karpathy. Des index imbriqués, en Markdown ou JSON, guident le modèle du pilier à l'équipe, puis au document. Lire ces index coûte environ 10 000 tokens.
Pour ses propres pipelines, Quentin applique la même logique d'orchestration :
| Étape | Modèle |
|---|---|
| Orchestration | Sonnet |
| Récupération des données (Slack, fichiers) | Haiku |
| Corrélations et mise à jour des bases projets et stakeholders | Opus |
Étape
Orchestration
Modèle
Sonnet
Étape
Récupération des données (Slack, fichiers)
Modèle
Haiku
Étape
Corrélations et mise à jour des bases projets et stakeholders
Modèle
Opus
Trainline garde des garde-fous stricts : les plugins ne se téléchargent pas librement, par crainte de fuites. Quentin estime que l'adoption n'est pas encore assez rapide. Une plateforme de partage de skills est en construction côté ingénierie.
8. Comment obtenir plus de budget IA en tant que PM ?
Quentin dispose d'un budget de power développeur, sans être développeur. Il l'a obtenu en montrant la valeur produite.
Un exemple : un triage quotidien mobilisait un PM en rotation pendant 1h à 1h30 par jour. Quentin l'a automatisé pour environ 5 euros de tokens par jour. Le calcul est vite fait face au coût journalier d'un PM.
Sa logique : une demande liée à un usage personnel, comme résumer ses meetings, passe mal. Une demande liée à un outil qui a un impact collectif passe beaucoup mieux. Un usage optimisé et un ROI démontré justifient une rallonge.
Côté compétences, il ne pense pas qu'un PM doive coder. Il doit comprendre dans les grandes lignes une architecture et le fonctionnement d'un LLM. Cela suffit pour challenger une estimation technique et bien cadrer un prototype.
9. La checklist pour maîtriser son budget IA
Démarrer chaque nouvelle tâche sur le modèle le moins cher, puis monter si besoin.
Réserver le thinking élevé aux tâches qui le justifient.
Corriger son prompt plutôt que répéter "c'est faux" au modèle.
Retirer du contexte les valeurs qui changent à chaque tour.
Revenir dans sa session avant l'expiration du cache.
Compacter vers 75 % de la fenêtre de contexte.
Faire écrire le prompt de reprise du lendemain avant de couper.
Planifier avec un grand modèle, exécuter avec un petit.
Suivre le coût de chaque session.
Paramétrer un modèle par défaut raisonnable côté admin.
Justifier chaque demande de budget par un gain mesurable.
10. Recruter des PM qui savent travailler avec l'IA
Savoir arbitrer entre modèles, coûts et valeur produite devient une compétence attendue chez un PM. TPC accompagne les startups et scale-ups qui recrutent des profils produit seniors. Nos recruteurs évaluent aussi la maturité IA des candidats. Découvrir notre accompagnement.
Les rémunérations sont détaillées dans notre grille de salaire Product Manager.
Questions fréquentes
Pourquoi la sortie d'un LLM coûte-t-elle plus cher que l'entrée ?
Chez Anthropic, générer un token coûte environ 5 fois plus que le lire. Le raisonnement en mode thinking est facturé comme de la sortie.
Qu'est-ce que le caching d'un LLM ?
Le cache stocke le contexte qui ne change pas entre deux tours. Le relire coûte environ 10 % du prix d'entrée, voire 5 % sur les modèles récents.
Qu'est-ce qui casse le cache ?
Une valeur qui change à chaque tour, comme un horodatage relatif. L'expiration du cache aussi : il faut alors tout réécrire.
Quel modèle utiliser par défaut ?
Partir du moins cher, comme Haiku, puis monter vers Sonnet ou Opus si le résultat ne suffit pas. Le grand modèle sert à planifier, le petit à exécuter.
Quand faut-il compacter une conversation ?
Quentin Roussel-Stephan compacte vers 75 % de la fenêtre de contexte. Il garde ainsi tout son contexte pour bien choisir ce qu'il conserve.
Comment obtenir plus de budget IA en entreprise ?
En montrant un gain mesurable et collectif. Par exemple, un triage automatisé pour 5 euros par jour, qui libère 1h à 1h30 de PM chaque jour.