Routeur LLM : définition et enjeux du routage de modèles

Comment fonctionne un routeur LLM ?

Un routeur LLM se place entre vos applications et plusieurs modèles, et décide pour chaque requête lequel la traite. Deux logiques coexistent.

1. Le routage a priori. Le routeur estime la demande avant tout appel et l’envoie à un seul modèle. Les routeurs de RouteLLM (Berkeley notamment, 2024) apprennent ce choix sur les votes publics de Chatbot Arena.

2. La cascade. Le système interroge d’abord un modèle bon marché et note sa réponse. Sous un certain seuil, il passe au modèle suivant. C’est le principe de FrugalGPT (Stanford, 2023).

Le routeur applique ainsi l’IA frugale requête par requête. Il peut aussi activer un modèle de raisonnement, plus lent et plus cher, ou garder une demande sensible sur un modèle hébergé chez vous. Avec lui, l’IA devient un « système d’IA composite », selon l’expression de chercheurs de Berkeley (BAIR, 2024) : plusieurs composants en interaction.

Qui choisit le modèle : l’éditeur ou votre entreprise ?

Le routage se fait chez l’éditeur, qui en fixe la logique et vous laisse quelques réglages, ou dans votre architecture, où vous fixez les règles.

• Dans un assistant. OpenAI a présenté GPT-5, le 7 août 2025, avec un routeur en temps réel entre un modèle rapide et un modèle de raisonnement. Ce routeur tient compte de la complexité, des outils nécessaires et de l’intention exprimée. En septembre 2025, OpenAI a annoncé orienter certaines conversations sensibles vers un modèle de raisonnement, quel que soit le choix de l’utilisateur. Fin octobre 2026, son centre d’aide indique que, dans ChatGPT Business, un réglage décide si ChatGPT ajoute de lui-même de la réflexion quand l’utilisateur a choisi le mode Instant.

• Dans une offre cloud. Microsoft propose dans Foundry un routeur à trois modes : équilibré, qualité, coût. AWS propose dans Bedrock un routage entre deux modèles d’une même famille.

• Dans votre architecture. Votre équipe écrit ses règles ou s’appuie sur un outil libre, comme RouteLLM (licence Apache 2.0).

Que mesure la recherche sur le routage de modèles ?

La recherche mesure de fortes économies, sur des tâches précises et avec des données d’entraînement adaptées.

• FrugalGPT (Stanford, mai 2023) combine 12 API de 5 fournisseurs. Sur un jeu de titres de presse financière, la cascade égale GPT-4 pour un coût inférieur de 98 %. Elle demande des exemples annotés, proches des requêtes à traiter.

• RouteLLM (juillet 2024) répartit les requêtes entre GPT-4 Turbo et Mixtral 8x7B. Par rapport à GPT-4 seul, ses auteurs mesurent un coût inférieur de plus de 85 % sur MT Bench, 45 % sur MMLU et 35 % sur GSM8K. La qualité reste proche de celle de GPT-4.

Ces résultats portent sur des bancs d’essai publics et sur des modèles disponibles en 2023 et 2024. Le gain varie d’une tâche à l’autre : seul un test sur vos requêtes le chiffre.

Routeur LLM, passerelle d’IA ou mixture d’experts : quelle différence ?

Le routeur choisit entre plusieurs modèles ; la passerelle donne accès à ces modèles ; la mixture d’experts route à l’intérieur d’un seul modèle.

• La passerelle d’IA (AI gateway) relie vos applications à plusieurs fournisseurs par un point unique, avec journal, cache, quotas et modèle de secours. Elle applique vos règles ; certaines proposent aussi un routeur automatique.

• La mixture d’experts (MoE) est une architecture interne au modèle. Dans Mixtral (Mistral AI, décembre 2023), un réseau routeur choisit pour chaque token deux groupes de paramètres sur huit. Vous ne réglez pas ce routage.

• L’orchestrateur d’un système multi-agents découpe une tâche entre plusieurs agents ; le routeur choisit le modèle qui traite une requête.

Rien à voir, enfin, avec un routeur réseau « à IA ».

Que change un routeur LLM pour votre décision ?

• Écrivez qui choisit le modèle, et selon quels critères. Fixez quelles demandes vont au petit modèle, lesquelles au grand, lesquelles ne quittent jamais vos serveurs. Microsoft indique que son routeur respecte les frontières de zone de données : exigez cette garantie de tout fournisseur.

• Journalisez le modèle qui a répondu. Les routeurs de Microsoft et d’AWS indiquent dans chaque réponse le modèle utilisé : conservez-le, avec le critère de routage. Sans journal, vous ne savez pas pourquoi la qualité varie.

• Évaluez le système entier, puis réévaluez-le. Testez le routeur et ses modèles ensemble, sur vos propres cas. Microsoft ajoute des modèles à son routeur sans changer son numéro de version. Si vous fixez vous-même la liste des modèles, les nouveaux n’y entrent que si vous les ajoutez. Microsoft prévient qu’une mise à jour automatique peut changer performance et coûts. AWS optimise le sien pour les requêtes en anglais seulement.

• Mesurez le coût par tâche réussie, routeur compris. Microsoft facture l’usage de son routeur sur les requêtes entrantes, et une cascade paie parfois deux appels pour une réponse. Comparez ce coût d’inférence à celui d’un modèle unique.

• Gardez la main sur le catalogue. Un routeur dans votre architecture vous laisse changer de modèle sans réécrire vos applications. Un routeur d’éditeur vous limite aux modèles qu’il prend en charge, ce qui accroît la dépendance fournisseur.