Une démonstration d'agent d'intelligence artificielle coûte quelques centimes. Le même agent en production, appelé des milliers de fois par jour sur des documents réels, peut coûter plus cher que la personne qu'il était censé soulager. L'écart ne vient presque jamais du modèle choisi : il vient de la façon dont on l'appelle.
Voici les trois leviers que le siège impose à toutes les filiales du groupe. Ils sont ennuyeux, ils ne se voient pas dans une démonstration, et ils décident de la rentabilité.
1. Mettre en cache ce qui se répète
Dans un agent réel, la majeure partie de ce qu'on envoie au modèle est identique d'un appel à l'autre : les instructions, les règles métier, les exemples, le catalogue produit. Seule la fin change. Facturer intégralement cette partie stable à chaque appel, c'est payer plusieurs milliers de fois pour la même lecture.
La mise en cache des requêtes change l'économie du problème, à une condition : la partie stable doit être assez longue pour franchir le seuil de cache du modèle, et elle doit être strictement identique, au caractère près. Une date insérée en tête de prompt suffit à faire échouer le cache sur la totalité de ce qui suit. C'est l'erreur la plus fréquente et la plus chère.
Notre règle : tout ce qui ne dépend pas de la requête de l'utilisateur passe en tête, dans un bloc figé. Les éléments variables, y compris l'horodatage, passent en fin.
2. Choisir le plus petit modèle qui fait le travail
Un pipeline d'agent enchaîne des tâches très inégales. Classer un message, extraire un numéro de SIRET, reformuler une phrase : ces tâches ne demandent pas le meilleur modèle disponible. Rédiger une proposition commerciale ou arbitrer un cas ambigu, si.
Nous découpons donc les pipelines par difficulté et nous affectons un modèle par étape, du plus léger au plus capable. Le gain n'est pas marginal : sur nos moteurs de prospection, l'essentiel du volume d'appels concerne des étapes de tri qui n'ont jamais besoin du modèle le plus lourd.
La contrepartie est un travail d'évaluation. Descendre en gamme sans mesurer la qualité, c'est transformer une économie en incident client. Chaque étape a un jeu de cas de référence, et un changement de modèle se juge dessus, pas à l'intuition.
3. S'arrêter tôt
Le levier le plus rentable est celui dont personne ne parle : ne pas appeler le modèle. Une grande partie des entrées d'un agent de prospection sont éliminables avant tout appel, avec des règles déterministes : secteur hors cible, entreprise déjà contactée, données de contact absentes, établissement fermé. Chaque filtre placé avant l'appel supprime un coût entier, pas une fraction.
Le même principe s'applique en cours de route. Si la première étape d'un pipeline conclut que le dossier est inexploitable, les six suivantes ne doivent pas se lancer. Un agent qui va toujours au bout de sa chaîne est un agent mal conçu.
Ce que nous surveillons
Trois indicateurs suffisent à voir venir les dérives : la part des appels servis par le cache, le coût moyen par unité de travail utile, et le taux d'entrées écartées avant tout appel. Quand le premier chute, c'est presque toujours qu'un développeur a inséré une variable en haut du prompt. Quand le troisième chute, c'est que les filtres d'entrée ont été contournés.
Nous appliquons ces règles sur tous les produits du groupe, du moteur d'agents de SmatchRoom Pulse à la qualification de dossiers de SmatchRoom Pro. Ce n'est pas de l'optimisation prématurée : c'est la condition pour qu'un agent d'intelligence artificielle survive au passage en production.