Mettre un LLM en prod sur des données de santé repose sur trois garde-fous. Les données ne quittent pas l'Europe. Le provider ne stocke rien. Chaque changement de modèle ou de prompt passe par une évaluation. Chez Qare, ce cadre fait tourner trois fonctionnalités IA en production, et une quatrième en bêta. Maxime Sraiki, CTO, explique comment.
Sommaire10 sections
- 1.Le replay du live
- 2.Faut-il un LLM pour mettre de l'IA en prod ?
- 3.Comment faire adopter une fonctionnalité IA par des médecins ?
- 4.Comment envoyer des données de santé à un LLM sans rogner sur la conformité ?
- 5.Comment évaluer un LLM en production ?
- 6.Comment éviter de dépendre d'un seul modèle ?
- 7.Jusqu'où laisser un LLM influencer le médecin ?
- 8.Comment ouvrir l'IA aux autres équipes sans prendre de risque ?
- 9.Checklist : mettre un LLM en prod sur des données sensibles
- 10.Recruter des engineers qui mettent l'IA en prod
1. Le replay du live
Maxime Sraiki est CTO de Qare et du groupe Health Hero. Il a rejoint Qare il y a environ cinq ans. Qare est une société de téléconsultation agréée par le ministère de la Santé. Elle a atteint sa dix millionième consultation cette année.
Health Hero se présente comme la plus grande clinique digitale d'Europe. Les médecins y sont rémunérés par l'entreprise, ce n'est pas une simple plateforme de mise en relation. Le groupe opère dans quatre pays et réalise un peu plus de quatre millions de consultations par an.
2. Faut-il un LLM pour mettre de l'IA en prod ?
Non. La première fonctionnalité IA présentée par Maxime Sraiki n'utilise aucun language model. Le Smart Calendar répond au problème central d'une marketplace live : faire coïncider l'offre et la demande, heure par heure.
Certaines heures, des patients attendent faute de médecins. D'autres heures, des médecins mettent du temps à disposition sans patients. L'équipe data de Qare prédit ces deux grandeurs depuis des années.
Les modèles enchaînent des algorithmes de régression, du type de ceux de Scikit-learn. Ils croisent des données internes (sessions, conversion, motifs de consultation) et externes. Parmi elles : la météo, les vacances scolaires et les signaux d'épidémies du réseau Sentinelles. Ils sont réentraînés chaque jour.
Ces prédictions servaient d'abord en interne : les équipes Ops appelaient les médecins avant un pic de demande. Une fois le taux d'erreur jugé satisfaisant, Qare les a affichées dans l'agenda des praticiens. Les smart slots signalent les créneaux à forte demande. D'autres créneaux signalent une demande faible. La prédiction est fiable jusqu'à deux semaines.
Les résultats, mesurés sur une cohorte test face à une cohorte contrôle d'environ 20 % des médecins :
Dix points de pourcentage gagnés sur les disponibilités posées sur les bons créneaux.
Plus de 50 % du temps posé l'est désormais une semaine à l'avance.
% de téléconsultations ratées en moins sur les créneaux concernés, faute de médecins.
3. Comment faire adopter une fonctionnalité IA par des médecins ?
En leur laissant le contrôle. La première idée de l'équipe tech était de bloquer les créneaux à faible demande. Le déploiement progressif, par feature flags, a vite montré que c'était une erreur.
"On a très vite compris que les médecins n'avaient aucunement l'intention de se faire dicter leur loi."
Les créneaux à faible demande sont donc restés indicatifs. Le même apprentissage est revenu avec le Clinical Note-taker. Il rédige le compte rendu médical à la fin de la consultation, en deux étapes : un modèle de speech to text, puis un LLM qui structure les notes.
La première version remplissait les champs par défaut pour tous les médecins. Beaucoup étaient sceptiques sur l'IA et sur le traitement des données. Certains voulaient écrire eux-mêmes leur compte rendu, pour mieux se souvenir de la consultation.
La version actuelle propose deux modes. Soit l'IA remplit les champs et le médecin ajoute ses notes. Soit le médecin écrit, et les suggestions de l'IA s'affichent à côté. Une question qualitative en bas de l'écran alimente l'évaluation.
"C'est important de considérer qu'il faut beaucoup d'options dans ces fonctionnalités-là pour laisser un contrôle maximum aux utilisateurs."
Les designers ont joué un rôle clé. Ils appelaient en direct les praticiens qui contestaient la fonctionnalité, pour comprendre le vrai problème. La version finale mêle l'idée de départ, ces retours et un benchmark du marché.
4. Comment envoyer des données de santé à un LLM sans rogner sur la conformité ?
Qare s'est fixé deux règles. Les données ne quittent pas le territoire européen. Elles ne sont stockées que sur des environnements HDS, pour hébergeur de données de santé. Les providers de LLM ne sont pas HDS : ils ne doivent donc rien stocker.
| Garantie | Ce qu'elle couvre | Dans le cas de Qare | |
|---|---|---|---|
| EU Residency | Les données transitent vers des endpoints européens et ne quittent pas l'Europe | Proposée par OpenAI sous conditions, par défaut chez Mistral | |
| Zero Data Retention (ZDR) | Le provider ne stocke rien, même de manière transitoire, et n'entraîne aucun modèle | Engagement écrit au contrat avec le provider | |
| HDS | Certification obligatoire pour stocker de la donnée de santé | Hébergement chez AWS, infogérance portée par Qare |
EU Residency
Garantie
Les données transitent vers des endpoints européens et ne quittent pas l'Europe
Ce qu'elle couvre
Proposée par OpenAI sous conditions, par défaut chez Mistral
Dans le cas de Qare
Zero Data Retention (ZDR)
Garantie
Le provider ne stocke rien, même de manière transitoire, et n'entraîne aucun modèle
Ce qu'elle couvre
Engagement écrit au contrat avec le provider
Dans le cas de Qare
HDS
Garantie
Certification obligatoire pour stocker de la donnée de santé
Ce qu'elle couvre
Hébergement chez AWS, infogérance portée par Qare
Dans le cas de Qare
Selon Maxime Sraiki, OpenAI réserve aujourd'hui l'EU Residency aux clients dépensant autour de 50 000 dollars par an. Il le cite de mémoire. Le secteur de la santé obtient plus facilement cette option. Chez Mistral, le ZDR s'active en un clic.
Le ZDR va plus loin qu'un simple refus d'entraînement. Le provider ne stocke même pas la donnée de façon transitoire. Côté stockage, Qare chiffre toutes ses bases et les échanges entre services, au repos et en transit. Les clés sont gérées en partie sur KMS, en partie avec des clés GPG.
Maxime Sraiki invite aussi à ne pas craindre le régulateur. Les échanges sont ouverts et relèvent de la co-construction.
5. Comment évaluer un LLM en production ?
Avant la prod, Qare teste dans un bac à sable. L'équipe a utilisé Basalt, un outil d'évaluation lancé par une startup de Hexa, qui a depuis pivoté. Qare a obtenu le droit de récupérer son code source et l'héberge chez elle. Une migration vers MLflow est prévue.
L'outil importe peu, d'autres solutions comme Langfuse conviennent. Maxime Sraiki retient trois checkpoints. Un golden dataset nourri de données de production. Des LLM as judges sur des critères précis. Un outil self-hosté pour garder la main sur sa donnée de prod.
Le dataset de départ comptait environ 150 cas. Il en compte aujourd'hui entre 1 000 et 10 000. Les juges sont passés d'une dizaine à une quinzaine. Chacun vise un défaut remonté par les praticiens. Exemple : le small talk recopié dans le compte rendu, ou un "mal de tête" qui doit devenir une céphalée.
En production, l'équipe data mesure la distance entre le compte rendu généré par l'IA et celui validé par le médecin. Chaque changement de modèle, de version ou de prompt passe derrière un feature flag. Il est testé sur 20 à 25 % des médecins. Au lancement, quatre options ont été testées en parallèle.
Les chiffres du Clinical Note-taker :
% de temps administratif en moins, sans baisse du temps passé avec le patient.
Environ 60 % des comptes rendus validés sans modification.
Les 40 % restants sont modifiés à hauteur de 20 % en moyenne.
Un taux de 100 % aurait inquiété l'équipe : il aurait signifié que les médecins ne relisent pas.
6. Comment éviter de dépendre d'un seul modèle ?
Qare fait passer tous ses appels par une couche d'abstraction. Elle permet de brancher plusieurs connecteurs et de changer de modèle sans toucher à la fonctionnalité. Sur le speech to text, l'équipe est passée de Whisper à des modèles de transcription d'OpenAI, puis à d'autres options.
"De trois mois en trois mois, ce n'est pas le même acteur qui est le meilleur."
L'équipe met à jour les versions, surveille les coûts et garde toujours deux portes ouvertes. Le coût de run par consultation est très bas. Qare offre la fonctionnalité aux médecins sans la refacturer.
Une couche d'inférence maison est à l'étude. Pour l'instant, son coût paraît disproportionné face à l'offre des providers.
7. Jusqu'où laisser un LLM influencer le médecin ?
Pour Maxime Sraiki, un LLM reste une boîte noire difficile à auditer. Il ne doit donc pas orienter seul le jugement médical. Le Symptom checker, en bêta sur une partie des patients, applique ce principe.
Le LLM pose des questions au patient avant la consultation. Il sait articuler les questions et récupérer plusieurs informations à la fois. Le patient valide ensuite la liste des informations comprises. Elles entrent alors dans un outil déterministe, certifié dispositif médical, développé par Health Hero depuis une vingtaine d'années.
Les agents conversationnels restent très cadrés. Leur contexte est réduit au minimum, sans accès automatique au dossier du patient. Les demandes suspectes sont détectées et basculées vers un humain si besoin. Maxime Sraiki préfère une collection de petits agents à contexte fermé à un agent unique qui a accès à tout.
Le KPI surveillé reste le temps passé avec le patient. Sur la bêta, le temps administratif baisse. Le temps de consultation, lui, reste stable ou augmente dans certains cas.
"On n'essaie pas d'optimiser l'opération de voir le patient."
8. Comment ouvrir l'IA aux autres équipes sans prendre de risque ?
En leur donnant des outils sûrs et un périmètre clair. L'équipe Ops a construit dans n8n un workflow de traitement des signalements de comportements abusifs de patients. Elle utilise les LLM de Qare configurés en EU Residency et en ZDR. Le process est sorti en quelques semaines et tourne en prod.
Deuxième exemple : une tablette déployée en pharmacie, construite avec une équipe go to market. La tech a défini les appels API autorisés : file d'attente, temps d'attente estimé, prise de rendez-vous, paiement. La téléconsultation passe ensuite par l'interface Qare certifiée. L'outil a dépassé le millier de consultations.
La tech intervient aux moments clés pour auditer avant la mise en production. Le gros du travail a demandé beaucoup moins de tech qu'auparavant.
9. Checklist : mettre un LLM en prod sur des données sensibles
Vérifier si un modèle de machine learning classique ne suffit pas avant de choisir un LLM.
Exiger l'EU Residency et un engagement Zero Data Retention écrit au contrat.
Stocker la donnée uniquement sur un hébergement certifié, chiffrée au repos et en transit.
Constituer un golden dataset alimenté par des données de production, dans un outil self-hosté.
Mettre en place des LLM as judges, un par défaut remonté par les utilisateurs.
Mesurer en prod l'écart entre l'output de l'IA et la version validée par l'humain.
Faire passer chaque changement de modèle, de version ou de prompt derrière un feature flag.
Passer par une couche d'abstraction pour changer de provider sans réécrire la fonctionnalité.
Proposer des options qui laissent le contrôle à l'utilisateur plutôt que d'imposer l'IA.
Suivre un KPI garde-fou, comme le temps passé avec le patient, pendant tout le déploiement.
10. Recruter des engineers qui mettent l'IA en prod
Le parcours de Maxime Sraiki illustre un CTO qui combine machine learning, LLM et contraintes réglementaires fortes. Ces profils sont rares et très recherchés. TPC accompagne les startups de la seed à la série B dans le recrutement de leurs équipes tech et data.
Les rémunérations sont détaillées dans nos grilles de salaire AI Engineer, ML Engineer et CTO.
Questions fréquentes
Peut-on envoyer des données de santé à OpenAI ou Mistral ?
Oui, avec des garanties. Qare exige l'EU Residency, pour que les données restent en Europe, et un engagement Zero Data Retention écrit : le provider ne stocke rien.
Quelle différence entre EU Residency et Zero Data Retention ?
L'EU Residency garantit que les données transitent par des serveurs européens. Le ZDR garantit que le provider ne les stocke pas, même de manière transitoire.
Un provider de LLM doit-il être certifié HDS ?
La certification HDS concerne le stockage de la donnée de santé. Chez Qare, la donnée est stockée chez AWS, et les providers de LLM ne la stockent pas grâce au ZDR.
Comment Qare évalue-t-il ses fonctionnalités LLM ?
Avec un golden dataset alimenté par des données de production, une quinzaine de LLM as judges et une mesure de l'écart entre le compte rendu IA et celui validé par le médecin.
Le Clinical Note-taker fait-il gagner du temps aux médecins ?
Qare mesure 10 % de temps administratif en moins, sans baisse du temps passé avec le patient. Environ 60 % des comptes rendus sont validés sans modification.
Faut-il forcément un LLM pour faire de l'IA en prod ?
Non. Le Smart Calendar de Qare repose sur du machine learning classique. Il a réduit de 60 % les téléconsultations ratées faute de médecins sur les créneaux concernés.