Modèles de plongement sémantique : comparer pour la recherche documentaire
La qualité d'un assistant documentaire dépend d'abord de sa capacité à retrouver les bons passages. Le modèle de plongement sémantique en est la pièce maîtresse. Comment comparer les options sans se fier aux seuls classements.
Un assistant documentaire répond mal ? Le problème vient souvent de l’étape qui précède la réponse : la recherche des passages pertinents. Cette étape repose sur des modèles d’embeddings, ou modèles de plongement sémantique, qui représentent chaque texte par un vecteur. Leur choix pèse sur la pertinence, le coût et la maîtrise des données. Ce comparatif examine les principales options disponibles à cette date selon les mêmes critères, puis propose une méthode de test.
Les critères de choix
- Qualité en français et dans vos autres langues, mesurée sur des documents comparables aux vôtres.
- Hébergement : service distant d’un fournisseur ou modèle ouvert installé sur votre infrastructure.
- Longueur de texte acceptée par passage, qui conditionne le découpage des documents.
- Dimension des vecteurs, qui influe sur le stockage et la vitesse de recherche.
- Coût : à l’usage pour les services hébergés, en calcul pour les modèles ouverts.
- Stabilité : un modèle retiré ou modifié oblige à recalculer tout l’index.
Les options en présence
| Modèle | Type | Multilingue | Hosting | À noter |
|---|---|---|---|---|
| OpenAI text-embedding-3 (small, large) | Propriétaire | Oui | Service distant | Dimension réglable ; simple à intégrer |
| Cohere Embed (versions multilingues) | Propriétaire | Oui | Service distant, certains déploiements sur nuage privé | Orienté recherche d’entreprise ; distingue requêtes et documents |
| Mistral Embed | Propriétaire | Oui, bon en français | Service distant, fournisseur européen | Intéressant pour une préférence d’hébergement européen |
| Voyage AI | Propriétaire | Oui | Service distant | Modèles spécialisés par domaine (juridique, code, finance) |
| Multilingual E5 (Microsoft) | Ouvert | Oui | Auto-hébergeable | Bon compromis qualité et taille ; préfixes requête et passage à respecter |
| BGE-M3 (BAAI) | Ouvert | Oui | Auto-hébergeable | Textes longs, recherche dense et lexicale combinées |
Les versions et les tarifs évoluent souvent ; vérifiez-les auprès de chaque fournisseur. Aucune note n’est attribuée ici : l’écart de qualité entre ces modèles dépend fortement du corpus.
Ce que disent, et ne disent pas, les classements
Le banc d’essai MTEB (Massive Text Embedding Benchmark, Muennighoff et collaborateurs, 2022), étendu depuis à de nombreuses langues, est la référence publique. Il est utile pour éliminer les modèles faibles. Trois limites invitent à la prudence : il agrège des tâches très différentes, ses jeux de données en français ne ressemblent pas forcément à vos documents administratifs ou techniques, et certains modèles peuvent avoir été entraînés sur des données proches des jeux de test.
Un classement public dit quel modèle est bon en moyenne ; une centaine de vos propres questions dit lequel est bon pour vous.
Hébergé ou ouvert
- Mise en route immédiate, pas d’infrastructure
- Qualité souvent élevée en multilingue
- Données envoyées au fournisseur : contrat à examiner
- Dépendance aux évolutions et au calendrier de retrait du fournisseur
- Données qui restent chez vous
- Coût prévisible, version figée tant que vous le décidez
- Infrastructure de calcul à exploiter
- Compétences internes ou prestataire nécessaires
Tester sur votre corpus
- Rassembler une centaine de questions réelles d’utilisateurs, avec pour chacune les passages qui y répondent.
- Indexer le même corpus, découpé de la même façon, avec deux à quatre modèles candidats.
- Mesurer pour chaque modèle la part des questions dont un bon passage figure dans les cinq premiers résultats.
- Tester aussi une recherche hybride (sémantique et mots-clés) et un reclassement des résultats.
- Comparer le coût d’indexation et de requête au volume prévu.
Écartez d’abord les modèles qui ne respectent pas vos contraintes d’hébergement, puis départagez les autres sur vos propres questions. Le découpage des documents et la recherche hybride pèsent souvent autant que le choix du modèle.
Recommandation
Pour des documents publics ou peu sensibles, un modèle hébergé multilingue permet de démarrer vite. Pour des documents confidentiels ou soumis à des obligations de localisation, un modèle ouvert auto-hébergé est le choix prudent. Dans les deux cas, conservez la possibilité de recalculer l’index : c’est la condition pour changer de modèle sans repartir de zéro. L’offre IA en entreprise de DOSOBE réalise ce type de test comparatif sur corpus réel, en lien avec la GED GedFlow.
Sources
- Muennighoff N., Tazi N., Magne L., Reimers N., « MTEB: Massive Text Embedding Benchmark », 2022.
- Wang L. et collaborateurs, « Multilingual E5 Text Embeddings: A Technical Report », Microsoft, 2024.
- Chen J. et collaborateurs, « BGE M3-Embedding », BAAI, 2024.
- Documentation publique des fournisseurs (OpenAI, Cohere, Mistral AI, Voyage AI).
Pour approfondir : IA d’entreprise · Automatisation des processus
Questions fréquentes
Qu'est-ce qu'un modèle de plongement ?
Un modèle qui transforme un texte en vecteur numérique, de sorte que des textes de sens voisin aient des vecteurs proches. Il permet de chercher par le sens et non par les mots exacts.
Le meilleur modèle du classement MTEB est-il le meilleur pour moi ?
Pas forcément. Le classement agrège de nombreuses tâches et langues ; vos documents, votre langue et vos questions peuvent donner un ordre différent. Un test sur une centaine de questions réelles tranche.
Peut-on utiliser un modèle hébergé avec des documents confidentiels ?
Seulement si le contrat garantit la non-réutilisation des données, une localisation compatible avec vos obligations et des mesures de sécurité suffisantes. Sinon, un modèle ouvert hébergé chez vous est préférable.
Faut-il combiner recherche sémantique et recherche par mots-clés ?
Souvent oui. La recherche hybride retrouve à la fois les passages proches par le sens et ceux qui contiennent un terme exact, comme une référence ou un numéro d'article.