L'IA agentique, nouvelles frontières, nouveaux défis

L'IA agentique, nouvelles frontières, nouveaux défis

1. Introduction : de la prédiction à l'action autonome

L'intelligence artificielle est à un point d'inflexion. Le paradigme de la prédiction passive, qui a dominé son développement pendant des années en se contentant d'anticiper la suite la plus probable d'une séquence, cède la place à une nouvelle ère : celle de l'IA agentique, conçue pour l'action. Ces nouveaux systèmes ne se contentent plus d'analyser les corrélations statistiques du passé ; ils interagissent dynamiquement avec des environnements complexes, utilisent des outils et élaborent des stratégies pour atteindre des objectifs concrets. Ce livre blanc a pour mission d'analyser les avancées technologiques qui rendent cette transition possible, d'identifier les défis infrastructurels et sécuritaires qu'elle engendre, et de proposer une perspective stratégique aux décideurs. Pour comprendre le cœur de cette mutation, la section suivante explorera le moteur principal qui l'alimente : l'apprentissage par renforcement.

2. La révolution agentique : L'apprentissage par renforcement comme catalyseur

L'émergence d'agents IA autonomes ne relève pas d'une simple amélioration incrémentale, mais d'une rupture méthodologique fondamentale : l'apprentissage par renforcement (Reinforcement Learning, RL). Cette approche permet aux modèles d'apprendre non plus par l'analyse de jeux de données statiques, mais par l'expérimentation et l'interaction directe avec un environnement. Ce processus d'essais et d'erreurs, guidé par un système de récompenses, est bien plus dynamique et se rapproche davantage de l'apprentissage humain. Pour les organisations qui cherchent à se positionner à l'avant-garde de l'innovation, la maîtrise de ces nouvelles techniques n'est pas une option, mais une nécessité stratégique pour développer les IA de nouvelle génération.

2.1. Les fondations d'un nouvel apprentissage

Le concept fondamental de l'apprentissage par renforcement repose sur la modélisation de l'exécution d'un agent en tant que Processus de Décision Markovien[1] (MDP). Dans ce cadre, chaque étape est décomposée en trois éléments : l'État (State), un instantané de l'environnement ; l'Action (Action), la sortie générée par le grand modèle de langage (LLM)[2] ; et la Récompense (Reward), un signal évaluant la qualité de cette action. Ce processus est analogue à un jeu où l'état est la position des pièces sur l'échiquier, l'action est le prochain coup joué, et la récompense est un point gagné pour une position avantageuse.

Des architectures comme le framework “Agent Lightning[3]” illustrent la puissance de cette approche. En découplant l'exécution de l'agent de son entraînement par RL, ce type de système permet d'appliquer ces techniques d'optimisation à n'importe quel agent existant, créant une interface unifiée pour l'apprentissage par l'action.

2.2. Les Avancées méthodologiques et algorithmiques

L'efficacité de l'apprentissage par renforcement à grande échelle est rendue possible par des innovations qui optimisent et stabilisent le processus d'entraînement. Trois avancées algorithmiques se distinguent par leur impact stratégique :

● L'Optimisation par Politique Proximale de Groupe (GRPO) : Utilisé pour entraîner le modèle mathématique “DeepSeekMath[4]”, cet algorithme améliore considérablement la stabilité de l'entraînement en optimisant des groupes de trajectoires, permettant une convergence plus efficace vers des politiques performantes.

● La Recherche par Arbre pour l'Efficacité : Plutôt que d'explorer des trajectoires de manière linéaire, des méthodes comme “Language Agent Tree Search” (LATS) et “Tree-GRPO” structurent l'exploration sous forme d'arbre[5]. Cette approche améliore l'efficacité de l'échantillonnage de manière significative : pour un budget de calcul donné, la recherche en arbre peut générer environ 1,5 fois plus d'échantillons que les méthodes séquentielles.

● La Qualité des Données de Trajectoire : La nature des données d'amorçage (cold-start) est cruciale. Les études empiriques confirment que les trajectoires réelles de bout en bout, générées par des agents en interaction, établissent un "point de départ beaucoup plus solide et stable pour le RL" que les trajectoires synthétiques "reconstruites[6]". Une base de données de haute qualité est la clé d'un apprentissage performant.

2.3. Vers des modèles fondateurs agentiques

La vision la plus ambitieuse de cette révolution est d'intégrer les capacités agentiques au cœur même de l'architecture des modèles. C'est l'objectif du "pré-entraînement continu agentique" (Agentic CPT), introduit par le projet “AgentFounder[7]”. Au lieu du paradigme classique en deux étapes (pré-entraînement généraliste, puis post-entraînement), cette approche intègre des biais inductifs agentiques dès la phase de pré-entraînement. L'objectif est de construire des modèles de fondation nativement conçus pour l'action, ce qui représente un avantage stratégique majeur pour le développement d'IA véritablement autonomes.

Ces avancées logicielles, aussi profondes soient-elles, ne peuvent se concrétiser sans une évolution parallèle des infrastructures matérielles et logicielles sur lesquelles elles reposent.

3. L'infrastructure pour une nouvelle ère : du calcul à la cognition

Le déploiement à grande échelle d'agents IA performants ne dépend pas uniquement de la sophistication des algorithmes, mais aussi d'une infrastructure robuste, efficace et fiable. La transition vers des systèmes agentiques intensifie les besoins en calcul et introduit de nouveaux défis. Cette section examine les défis liés à l'intensification des calculs, les innovations pour y répondre, ainsi que l'enjeu critique de la reproductibilité des résultats.

3.1. Le défi de l'efficacité à grande échelle

L'entraînement par RL est une entreprise coûteuse qui exige des environnements de code à haut débit et des planificateurs de déploiement (rollout schedulers) à charge équilibrée pour éviter les temps d'inactivité des GPU. Ces exigences sont directement liées au coût de la phase de "rollout" (l'expérimentation de l'agent), inhérente aux méthodes de RL comme GRPO et la recherche en arbre décrites précédemment[8].

Pour relever ce défi, des solutions logicielles innovantes comme “QeRL” (Quantization-enhanced Reinforcement Learning[9]) combinent la quantification (NVFP4) et l'adaptation de bas rang (LoRA). Cette approche offre une accélération de 1,5 fois sur la phase de "rollout" et réduit l'empreinte mémoire à un point tel qu'il devient possible d'entraîner un modèle de 32 milliards de paramètres sur un seul GPU H100, démocratisant ainsi l'accès à ces techniques avancées.

3.2. L'horizon matériel : l'informatique neuromorphique

Au-delà des optimisations logicielles, une nouvelle génération de matériel se profile. L'informatique neuromorphique, inspirée du cerveau humain, permet de concevoir des puces radicalement plus économes en énergie, comme le processeur “Loihi” d'Intel[10]. En imitant la communication par impulsions (spikes) des neurones, ces architectures ouvrent la voie à des applications d'IA en temps réel sur des appareils de périphérie (edge devices) comme les smartphones ou les objets connectés. Maîtriser les architectures neuromorphiques ne sera pas une simple optimisation, mais un avantage concurrentiel décisif pour déployer l'intelligence à la périphérie du réseau, là où l'efficacité énergétique dicte la faisabilité.

3.3. Le problème du déterminisme et de la fiabilité

Un défi sous-estimé dans le déploiement des LLM est le non-déterminisme de leurs résultats. Contrairement à une idée reçue, ce phénomène n'est pas uniquement dû à l'arithmétique des nombres à virgule flottante. La cause principale réside dans la manière dont les moteurs d'inférence regroupent (batching) et découpent les requêtes pour optimiser l'usage du matériel[11]. Pour les applications critiques, cette variabilité est inacceptable. Il est donc impératif d'utiliser des opérations "invariantes par lot" (batch-invariant) qui garantissent des résultats parfaitement reproductibles, quel que soit le contexte d'exécution[12].

La fiabilité des systèmes IA ne dépend pas seulement de l'infrastructure, mais aussi de notre capacité à vérifier leurs résultats et à les protéger contre les usages malveillants.

4. L'écosystème de confiance : vérification, sécurité et malveillance

Le passage "de la prédiction à l'action" élève fondamentalement les enjeux : les actions d'un agent ont des conséquences dans le monde réel, ce qu'une prédiction passive n'a pas. Cette autonomie croissante crée donc un besoin impérieux de confiance, qui repose sur trois piliers : la capacité à évaluer objectivement les performances, l'identification des nouvelles surfaces d'attaque, et le développement de mécanismes de défense robustes.

4.1. L'ascension des IA "juges"

L'approche “LLM-as-a-Judge”, où une IA évalue les réponses d'une autre, a émergé pour répondre au besoin d'évaluation à grande échelle. Cependant, ces systèmes souffrent souvent d'un "phénomène de surconfiance". Pour pallier ce problème, des cadres comme “LLM-as-a-Fuser” utilisent un LLM "fuseur" dédié pour synthétiser les jugements de plusieurs modèles évaluateurs[13]. Cette approche améliore drastiquement la fiabilité des évaluations, avec des gains pouvant atteindre +47,14 % en précision et une réduction de l'erreur de calibration de -53,73 %, réduisant ainsi le besoin de supervision humaine.

4.2. Analyse des nouvelles surfaces d'attaque

L'autonomie et la capacité des agents à interagir avec des systèmes externes créent de nouveaux vecteurs de menaces.

• Usage malveillant direct

Utilisation d'un agent IA pour développer des outils de piratage, des logiciels malveillants, ou pour mener des opérations de fraude financière et d'arnaques sentimentales (romance scams).

• Empoisonnement de données (RAG poisoning[14])

Injection de documents malveillants dans les bases de connaissances externes pour manipuler l'IA. L'attaque “ImportSnare” a démontré qu'il est possible de pousser l'agent à recommander des dépendances logicielles compromises, une menace sophistiquée et transférable entre différents utilisateurs, modèles de recherche et LLM.

• Injection indirecte de prompts

Dissimulation d'instructions malveillantes dans les données externes que l'IA traite (pages web, documents), la poussant à exécuter des actions non souhaitées par l'utilisateur.

4.3. Les mécanismes de défense avancés

Face à ces menaces, des stratégies de défense sophistiquées sont nécessaires.

● Les Classifieurs Constitutionnels : Des classifieurs dédiés filtrent les entrées et les sorties pour bloquer les tentatives de "jailbreak". Cette approche offre des garanties nettement plus solides que le simple entraînement à l'innocuité, faisant chuter le taux de succès des attaques d'environ 14 % à seulement 0,5 % lorsque les classifieurs d'entrée et de sortie sont combinés[15].

● Le "Red Teaming" systématique : Cette pratique de simulation d'attaques est cruciale dans les domaines à haut risque. Le projet “SafeProtein[16]”, par exemple, l'applique aux modèles de fondation de protéines pour s'assurer qu'ils ne peuvent pas être utilisés pour concevoir des molécules dangereuses, soulignant l'impératif de la biosécurité.

La sécurité technique, bien que nécessaire, est insuffisante. Une vision stratégique éclairée sur la nature même de l'intelligence artificielle est indispensable.

5. Perspectives stratégiques : au-delà de la prédiction, le raisonnement causal

Pour intégrer pleinement l'IA dans les processus décisionnels critiques, il est crucial de comprendre ses limites fondamentales par rapport à la cognition humaine. Cette section explore le contraste entre le raisonnement statistique de l'IA et le raisonnement causal humain, avant de proposer une vision pour une collaboration homme-machine plus synergique.

5.1. Les limites de l'IA statistique

La "cognition" d'une IA fonctionne selon une chaîne rétrospective : “données → prédiction → décision”. Elle analyse les données passées pour identifier des corrélations et prédire l'avenir le plus probable. C'est un moteur de prédiction extraordinairement puissant, mais il est incapable de générer des hypothèses qui vont à l'encontre des données existantes.

La cognition humaine, en revanche, suit un modèle prospectif et interventionniste : “théorie → intervention → nouvelles données”. Un humain peut formuler une conjecture (une "théorie") non soutenue par les données passées (ex : réfutation), concevoir une intervention pour la tester et générer de nouvelles données. C'est l'asymétrie données-croyances : notre capacité à raisonner de manière causale nous permet de nous affranchir du poids du passé pour imaginer et créer un futur différent.

5.2. Vers une approche cybernétique de l'autonomie

Pour concevoir des agents véritablement autonomes, il est utile de s'inspirer de concepts issus de la cybernétique et des sciences du vivant, comme l'homéostasie : la capacité d'un système à maintenir sa stabilité interne face aux perturbations externes. La prise de décision intelligente n'est pas seulement un traitement d'information, mais un processus continu de régulation pour maintenir la cohérence face à un environnement en perpétuel changement. Pour un agent IA, l'homéostasie se traduit par la capacité à maintenir la poursuite de ses objectifs à long terme malgré les erreurs, les changements d'environnement ou les informations inattendues, en s'auto-régulant continuellement au lieu de simplement exécuter une séquence d'instructions statique.

5.3. Le futur de la collaboration Homme-IA

La vision stratégique la plus prometteuse pour l'IA n'est pas celle du remplacement, mais de l'augmentation. L'objectif n'est pas de substituer le jugement humain, mais de le décupler. Dans cette collaboration, les rôles sont clairs et complémentaires :

● L'Intelligence Artificielle est l'outil ultime pour la prédiction et l'analyse statistique, capable de traiter des ensembles de données d'une complexité inaccessible à l'esprit humain.

● L'Humain conserve le rôle de fournir la logique causale, la vision stratégique et les croyances prospectives. C'est à lui de poser les questions "et si ?" et de prendre la décision finale.

L'objectif ultime pour toute organisation n'est pas de construire une "machine qui pense", mais d'architecturer un "système cognitif augmenté" où le jugement stratégique humain est amplifié par la puissance prédictive de l'IA. C'est dans cette synergie que réside le véritable avantage compétitif.

6. Conclusion : naviguer dans l'ère agentique

Le passage de l'intelligence artificielle prédictive à l'IA agentique est un changement de paradigme majeur, redéfinissant ce que ces systèmes peuvent accomplir en passant de l'analyse passive à l'action autonome.

Cette nouvelle ère repose sur trois piliers indissociables. Le premier est méthodologique, avec l'avènement de l'apprentissage par renforcement et du pré-entraînement agentique, qui construisent des modèles nativement conçus pour l'action. Le deuxième pilier est infrastructurel, exigeant une nouvelle génération de matériel efficace et de logiciels fiables. Le troisième pilier est la confiance, un écosystème robuste de vérification et de sécurité, indispensable pour déployer ces systèmes de manière responsable.

Le succès dans cette ère agentique ne dépendra pas de notre capacité à construire des oracles, mais de notre aptitude à développer des partenaires fiables. Les organisations qui prospèreront seront celles qui sauront exploiter ces systèmes non pas pour remplacer le jugement humain, mais pour l'augmenter, en combinant la puissance prédictive de la machine avec la profondeur du raisonnement causal humain. La véritable frontière n'est plus seulement de savoir, mais d'agir intelligemment.

C’est sur cette profonde conviction que repose l’approche organisationnelle de Spentia[17].

[1] Un MDP est défini par des états $S$ décrivant la situation courante, des actions $A$ que l’agent peut effectuer, une fonction de transition $T(s,a,s') = P(s'|s,a)$ qui donne la probabilité de passer à l’état $s'$ après action $a$, et une fonction de récompense $r(s,a)$ qui évalue l’utilité de chaque action dans chaque état. Ce formalisme a une longue histoire en recherche opérationnelle et a été popularisé en IA pour formaliser les problèmes de décision séquentielle (Bellman 1957).

[2] Un LLM (de type GPT, etc.) peut servir de cerveau de l’agent, produisant des actions textuelles (commandes, réponses) à partir de l’état courant décrit textuellement. Cette idée d’utiliser RL pour affiner un LLM à agir est confirmée par de nombreux travaux récents, notamment AgentGPT, WebAgent et autres, qui intègrent un LLM dans une boucle perception-action-récompense pour accomplir des tâches autonomes.

[3] https://huggingface.co/papers/2508.03680#:~:text=Agent .

Agent Lightning est un framework open-source qui permet d’appliquer des algorithmes de RL pour entraîner n’importe quel agent conversationnel existant, sans altérer son fonctionnement de base, grâce à une couche d’abstraction. Concrètement, l’agent (LLM avec ses instructions) continue de fonctionner normalement, mais Agent Lightning intercepte ses décisions, calcule des récompenses et ajuste ses paramètres via RL. Cela offre une interface unifiée pour enrichir des agents pré-entraînés par de l’apprentissage par l’action.

[4] Group Proximal Policy Optimization est une variante de PPO introduite en 2024 dans le cadre du projet DeepSeekMath. GRPO est donc un PPO modifié qui supprime le réseau de valeur (critique) et estime le baseline (avantage) en se basant sur des groupes d’épisodes. En évitant d’entraîner un critique et en utilisant une pénalisation KL, GRPO réduit la variance et le coût de calcul, ce qui mène à un entraînement plus stable et efficace.

https://ar5iv.labs.arxiv.org/html/2402.03300#

[5] Cette approche s’inspire du Monte Carlo Tree Search, permettant à l’agent d’explorer plusieurs scénarios en parallèle. Une publication de 2024 introduit LATS comme le premier cadre général combinant le raisonnement des LLMs avec une recherche arborescente pour la planification.

https://arxiv.org/abs/2310.04406#

LATS utilise une recherche Monte Carlo dans l’espace des pensées d’un LLM, avec des fonctions de valeur et de réflexion pour explorer plus efficacement.

[6] Un rapport de 2025 intitulé “Demystifying Reinforcement Learning in Agentic Reasoning” a étudié l’impact de la qualité des données d’entraînement sur des agents LLM. Les auteurs (Chen et al., 2025) confirment que former l’agent initialement sur des trajectoires simulées par LLM (“stitch-style”) est beaucoup moins efficace que d’utiliser de vraies sessions de bout en bout issues d’un agent interagissant avec son environnement.

https://arxiv.org/html/2510.11701v1#

[7] Il s’agit d’un concept tout récent (fin 2025) proposé par une équipe d’Alibaba pour pallier les limites des LLM généralistes actuels. Dans l’approche classique, on fait un pré-entraînement général du LLM sur des données textuelles passives, puis on le fine-tune via RL (ou apprentissage supervisé) pour le doter de capacités d’agent. Les chercheurs d’AgentFounder suggèrent au contraire de pré-entraîner le modèle directement dans un contexte agentif, c’est-à-dire l’habituer dès le départ à raisonner, utiliser des outils et agir au lieu de seulement prédire du texte.

https://arxiv.org/abs/2509.13310#:~:text=foundation

[8] Dans du RL classique distribué, générer des expériences (rollout) peut devenir le bottleneck si les agents simulés n’alimentent pas suffisamment vite la phase d’apprentissage. Des travaux comme SEED RL (Google, 2020) ou des cadres modernes (Ray RLlib, etc.) se concentrent sur cet équilibrage du pipeline.

[9] QeRL est un pipeline de RL pour LLMs en poids 4-bit (NVFP4) avec fine-tuning par Low-Rank Adaptation (LoRA). NVFP4 est le format de poids 4 bits introduit dans les GPUs Nvidia H100 et suivants (RTX 5090, etc.), qui permet de stocker et calculer les poids en très basse précision. En combinant cela avec LoRA (on n’entraîne que de petites matrices d’écart de faible rang), on obtient un entraînement RL bien plus léger : QeRL rapporte >1,5× de vitesse en plus sur le déroulement (rollout) et une consommation mémoire drastiquement réduite, rendant possible le fine-tuning RL d’un modèle 32B sur un seul H100 de 80 Go.

https://github.com/NVlabs/QeRL

[10] Loihi est un projet de recherche d’Intel Labs débuté en 2017, avec une première puce Loihi 1 (128k neurones virtuels) et une version Loihi 2 en 2021. Ces puces fonctionnent en réseaux de neurones impulsionnels asynchrones : les neurones communiquent par des pics électriques discrets et le calcul est déclenché par les événements, ce qui les rend extrêmement efficaces pour des charges sparse ou en temps réel. Intel a démontré que Loihi peut effectuer certaines tâches d’optimisation ou de vision avec un rapport énergie/délai jusqu’à 5000× meilleur que des solutions conventionnelles.

https://open-neuromorphic.org/neuromorphic-computing/hardware/loihi-intel/

En particulier, Loihi 2 supporte plus d’1 milliard de neurones simulés et a montré des gains d’ordre de grandeur en efficacité et vitesse sur des workloads edge (par ex. détection d’événements). La clé est que, dans ces architectures neuromorphiques, la mémoire et le calcul sont intégrés localement, et les unités consomment quasi zéro lorsqu’il n’y a pas d’événement (mode asynchrone), d’où la consommation ultra-faible en veille. Intel souligne que les neurones de Loihi communiquent directement entre eux plutôt que via une mémoire partagée, ce qui réduit drastiquement la consommation par rapport aux GPU classiques.

[11] https://thinkingmachines.ai/blog/defeating-nondeterminism-in-llm-inference/

[12] https://community.openai.com/t/defeating-nondeterminism-in-llm-inference/1358623

[13] Au lieu d’un seul juge, on utilise plusieurs juges LLM (éventuellement de modèles différents) et un modèle fuseur agrège leurs évaluations pour produire le verdict final. Cette approche d’ensemble réduit les biais individuels de chaque juge.

https://arxiv.org/pdf/2501.18837#

[14]

https://arxiv.org/abs/2509.07941#

[15] https://arxiv.org/pdf/2501.18837#

[16] SafeProtein est un cadre proposé en sept. 2025 (Fan et al.) pour éprouver les modèles de protéines du type ESM de Meta ou ProteinMPNN. Ces modèles peuvent générer des séquences protéiques et on craint une utilisation malveillante (par ex. créer des toxines, des pathogènes). SafeProtein introduit le premier benchmark de red teaming pour ces modèles biologiques.

https://www.arxiv.org/abs/2509.03487#

[17] https://www.spentia.com

‍