Fenêtre de contexte (Context Window)

La fenêtre de contexte (context window) est la quantité de texte qu'un modèle d'IA peut prendre en compte simultanément lors d'une requête, mesurée en tokens. Tout ce qui se trouve dans la fenêtre entre dans la réponse, tout ce qui la dépasse est tronqué. Lors de longues conversations, la fenêtre de contexte détermine la part d'historique que l'IA peut intégrer.

Qu'est-ce que la fenêtre de contexte ?

Un grand modèle de langage ne peut pas traiter une quantité illimitée de texte d'un coup. La fenêtre de contexte est la limite supérieure pour cela, mesurée en tokens. Dans cette fenêtre tiennent la question actuelle, l'historique de conversation, les instructions et les documents joints. Ce qui ne tient plus, le modèle ne peut pas en tenir compte dans sa réponse.

Les modèles modernes ont de très grandes fenêtres de contexte, mais ce n'est jamais illimité, et plus de contexte signifie aussi davantage de coûts de calcul.

Pourquoi la fenêtre de contexte est importante

Dans le service client, la fenêtre de contexte se manifeste à trois endroits :

• Mémoire de conversation. Seul ce qui se trouve dans la fenêtre est présent pour l'IA. Les très longues conversations peuvent être « oubliées » au début.
• Documents. On ne peut pas joindre une quantité illimitée de contenus en même temps.
• Coûts et rapidité. Une fenêtre plus remplie coûte plus de tokens et donc un peu plus de temps et d'argent.

La solution : du ciblé plutôt que tout

Les bons systèmes ne remplissent pas la fenêtre au hasard, mais sélectionnent les contenus pertinents. C'est exactement ce que fait le RAG : au lieu d'envoyer toute la base de connaissances, il en extrait uniquement les passages adaptés à la question et maintient la fenêtre de contexte légère et précise.

Le contexte chez SendSeven

SendSeven est une plateforme de messagerie unifiée avec un assistant IA intégré. L'assistant tient compte du fil d'une conversation et puise via le RAG, de façon ciblée, les contenus adaptés dans votre base de connaissances, au lieu de remplir la fenêtre de contexte avec du superflu. Cela maintient les réponses pertinentes et les coûts maîtrisés. La guide de la base de connaissances montre comment préparer votre base de connaissances à cet effet. Conforme au RGPD, Made in Germany. Essai gratuit de 14 jours.