IA multimodale : définition, usages et risques d’un modèle multimodal

Comment fonctionne une IA multimodale ?

Une IA multimodale convertit chaque format en unités qu’un modèle sait traiter, comme les mots d’un texte. Anthropic indique par exemple, en octobre 2026, que ses modèles découpent chaque image en carrés de 28 pixels de côté : chaque carré compte comme un token visuel.

Les éditeurs suivent deux approches.

1. L’assemblage de modèles spécialisés. Un modèle transcrit la parole, un autre traite le texte, un troisième lit la réponse à voix haute. OpenAI décrit ainsi l’ancien mode vocal de ChatGPT : son modèle principal ne percevait ni le ton ni les bruits de fond.

2. Le modèle nativement multimodal. L’éditeur l’entraîne dès le départ sur plusieurs formats. Google présente ainsi Gemini en décembre 2023. OpenAI décrit GPT-4o, en mai 2024, comme un modèle unique entraîné de bout en bout sur le texte, l’image et le son.

Un assemblage peut perdre de l’information à chaque passage. Il produit en revanche des étapes intermédiaires que vous pouvez contrôler, comme une transcription.

À quoi sert l’IA multimodale en entreprise ?

L’IA multimodale fait entrer dans vos processus des informations qui n’existent pas sous forme de texte.

• Lire des documents : factures, bons de livraison, formulaires remplis à la main, contrats scannés. Le modèle extrait les champs utiles pour votre ERP ou votre CRM.

• Inspecter à partir d’images : défaut sur une pièce, état d’un équipement, conformité d’un rayon en magasin. Quand le modèle guide aussi le geste d’un robot, on parle d’IA physique.

• Résumer des réunions ou des appels : le modèle écoute l’enregistrement et rédige le compte rendu. La fiche IA vocale approfondit les usages de la voix.

IA multimodale ou IA générative : quelle différence ?

L’IA multimodale décrit les formats qu’un modèle lit ou produit ; l’IA générative décrit ce qu’il fait : produire un contenu. Un même outil relève des deux quand il lit une photo et rédige un texte. Mais un modèle multimodal sert aussi à extraire, classer ou contrôler, sans rien rédiger.

Ne confondez pas non plus :

• LLM et modèle multimodal. Un grand modèle de langage traite le texte. Gemini lit aussi l’image et le son, comme GPT-4o dès 2024 : on parle alors de modèle multimodal, ou de LLM multimodal.

• OCR et modèle multimodal. Un logiciel d’OCR (reconnaissance optique de caractères) transcrit les caractères d’une image. Un modèle multimodal interprète aussi la page, par exemple pour trouver le total d’une facture. Il peut en revanche livrer une lecture plausible et fausse.

Que change l’IA multimodale pour votre décision ?

L’IA multimodale étend l’automatisation à vos documents, images et enregistrements, et elle apporte ses propres risques.

• Une erreur de lecture ressemble à une bonne lecture. Le modèle peut renvoyer un montant faux avec la même assurance qu’un montant juste. Anthropic prévient que son modèle peut se tromper sur des images de faible qualité, pivotées ou de moins de 200 pixels. Ses comptages d’objets restent approximatifs, et il ne sait pas reconnaître une image produite par une IA. Mesurez le taux d’erreur sur vos documents réels, photos et scans compris.

• Une image se paie en tokens. Le modèle convertit chaque image, page ou minute d’audio en tokens, que l’API facture. Chez Anthropic, en octobre 2026, une image de 1 000 × 1 000 pixels compte 1 296 tokens. Une page de PDF y compte en général de 1 500 à 3 000 tokens de texte, plus le coût de son image. En octobre 2026, Google compte de 25 à 32 tokens par seconde d’audio selon le modèle, soit de 90 000 à 115 200 tokens pour une réunion d’une heure. Chiffrez le coût par page et par minute avant de traiter vos archives.

• Une image peut cacher une consigne. L’OWASP décrit l’injection multimodale : un attaquant cache une instruction dans une image jointe à un texte anodin. Le modèle change alors de comportement, ce qui peut conduire à des actions non autorisées ou à une fuite d’informations sensibles. Des chercheurs l’ont montré dès juillet 2023 avec des images et des sons piégés (Bagdasaryan et al.). Traitez toute photo reçue de l’extérieur comme une entrée non fiable : la fiche prompt injection décrit les parades.

• Photos, voix et visages relèvent de règles particulières. Le RGPD interdit en principe de traiter des données biométriques pour identifier une personne de manière unique (article 9). Une photo ne devient une donnée biométrique que si un traitement technique spécifique permet cette identification (considérant 51). Depuis le 2 février 2025, l’AI Act interdit d’inférer les émotions d’une personne au travail à partir de données biométriques, comme sa voix ou son visage. Seules des raisons médicales ou de sécurité font exception (article 5). La fiche RGPD et IA détaille vos obligations.

Exemple illustratif

Ce cas est fictif. Une ETI de maintenance industrielle veut accélérer ses rapports d’intervention. Ses techniciens photographient l’équipement et dictent un commentaire ; un modèle multimodal rédige le rapport et classe le défaut. L’équipe le teste sur 200 interventions déjà documentées. Il rédige bien, mais confond deux types de corrosion sur les photos prises en faible lumière. L’ETI garde le modèle pour la rédaction et confie le classement des défauts de sécurité à un technicien confirmé. Elle demande aussi aux équipes de ne photographier aucune personne sur site.