Test-time compute : définition et coût du calcul à l’inférence

Comment fonctionne le test-time compute ?

Le test-time compute améliore une réponse en donnant plus de calcul au modèle au moment où il répond, sans modifier le modèle. En septembre 2024, OpenAI a montré que son modèle o1 progresse avec l’entraînement. Il progresse aussi avec le temps qu’il passe à réfléchir : c’est le test-time compute.

Trois techniques se combinent.

1. Réfléchir plus longtemps. Le modèle écrit un raisonnement intermédiaire avant de répondre : c’est le principe des modèles de raisonnement.

2. Produire plusieurs réponses et choisir. Le système génère plusieurs réponses, puis garde celle qu’un modèle vérificateur note le mieux (« best-of-N »).

3. Vérifier et réviser. Un vérificateur note chaque étape, ou le modèle corrige sa réponse en plusieurs passes.

Chaque technique ajoute des tokens, donc du calcul et des coûts. Selon une prévision de Deloitte (novembre 2025), l’inférence représenterait en 2026 environ les deux tiers du calcul de l’IA, contre la moitié en 2025. Elle pèse aussi sur l’impact environnemental de l’IA.

Que montre la recherche sur le test-time compute ?

Le gain est réel, mais il dépend de la difficulté de la tâche, et chaque point de plus demande beaucoup plus de calcul.

• Il remplace parfois un modèle plus grand. Des chercheurs de Google DeepMind et de Berkeley ont comparé les deux options à calcul égal, en mathématiques (Snell et al., août 2024). Avec un calcul à l’inférence bien réparti, leur petit modèle, PaLM 2-S*, dépasse un modèle 14 fois plus grand. Ce résultat vaut pour un seul modèle et un seul banc d’essai (MATH), sur des problèmes faciles à intermédiaires. Avec un fort volume de requêtes, l’article juge l’entraînement souvent plus efficace. Sur les problèmes les plus durs, le gain reste très faible : plus d’entraînement y rapporte davantage.

• Les derniers points coûtent cher. En décembre 2024, l’ARC Prize a testé une version préliminaire d’o3, d’OpenAI, sur son banc d’essai ARC-AGI. Avec 6 réponses générées par tâche, o3 obtenait 75,7 % ; avec 1 024 réponses générées et 172 fois plus de calcul, 87,5 %.

• Le modèle réfléchit parfois pour rien. Des chercheurs de Tencent et de l’université Jiao Tong de Shanghai étudient cette « sur-réflexion », ou overthinking (Chen et al., ICML 2025). Pour répondre à « 2 + 3 = ? », des modèles de type o1 produisaient en moyenne environ 20 fois plus de tokens que des modèles classiques. Selon leur article d’ICML 2025, quand ces modèles trouvaient la bonne réponse, la première solution était déjà juste dans plus de 80 % des cas.

Test-time compute, modèle de raisonnement ou coût d’inférence : quelle différence ?

Le test-time compute est une ressource : le calcul accordé au modèle quand il répond. Le modèle de raisonnement est un type de modèle, et le coût d’inférence, une facture.

• Le calcul d’entraînement se dépense une fois, avant la mise en service. Le calcul à l’inférence se dépense à chaque requête.

• Le modèle de raisonnement, entraîné à raisonner avant de répondre, consomme du test-time compute.

• Le coût d’inférence couvre tout usage d’un modèle ; le test-time compute en forme une part réglable.

• L’IA frugale choisit le plus petit modèle utile ; le test-time compute règle le temps de réflexion. Un petit modèle qui réfléchit plus peut suffire.

Que change le test-time compute pour votre décision ?

Vous décidez combien de réflexion chaque tâche mérite, et donc une partie de la facture.

• Le coût d’une requête varie. Par défaut, les modèles Gemini de Google ajustent leur réflexion à la complexité de la demande. En mode adaptatif, Claude, d’Anthropic, décide à chaque requête s’il réfléchit et combien. Budgétez une fourchette, pas un coût fixe par requête.

• Vous payez une réflexion que vous ne lisez pas. Google et Anthropic facturent toute la réflexion produite, même quand l’API n’en renvoie qu’un résumé. Chez Anthropic, masquer la réflexion réduit le délai, pas le coût.

• Le niveau d’effort oriente, le plafond coupe. OpenAI, Anthropic et Google proposent un niveau d’effort, de « low » à « high », voire « max » chez les deux premiers. Pour Anthropic, ce niveau ne fixe pas un budget strict. Chez OpenAI, le plafond de tokens de sortie inclut le raisonnement. Une réponse coupée peut ne rien afficher alors que vous payez déjà le raisonnement.

• Les réglages changent avec les modèles. En février 2025, Anthropic a lancé un budget de réflexion en tokens ; ses modèles depuis Claude 4.7 le rejettent au profit du niveau d’effort. Rejouez vos tests à chaque changement de modèle.

• Mesurez le coût par tâche réussie. Rapportez la dépense totale, réflexion comprise, au nombre de tâches réussies. Testez chaque cas d’usage à plusieurs niveaux d’effort et retenez le plus bas qui atteint la qualité voulue. Un routeur LLM peut réserver la réflexion longue aux demandes difficiles.

Exemple illustratif

Ce cas est fictif. Une ETI teste trois niveaux d’effort sur 200 cas déjà traités, pour deux tâches. Pour trier les courriels clients, le niveau bas égale le niveau haut avec bien moins de tokens. Pour relire les contrats fournisseurs, seul le niveau haut atteint le taux de repérage que les juristes exigent. L’ETI règle chaque tâche à son niveau, plafonne les tokens par requête et suit le coût par tâche réussie.