Token (IA)

Un token est la plus petite unité dans laquelle un modèle de langage découpe le texte, le plus souvent une partie de mot, un mot court entier ou un signe de ponctuation. Les modèles d'IA traitent le langage token par token. Le nombre de tokens détermine en partie le coût d'une requête à l'IA et la quantité de texte qu'un modèle peut traiter d'un coup.

Qu'est-ce qu'un token ?

Avant qu'un grand modèle de langage ne traite un texte, il le découpe en tokens. Un token est une brique de langage, souvent une partie de mot. En règle générale, un token correspond en anglais à environ quatre caractères ou aux trois quarts d'un mot ; en français, les mots longs ou composés sont plutôt découpés en davantage de tokens. Le mot « service client » peut donc, selon le modèle, se composer de plusieurs tokens.

L'IA lit les tokens de l'entrée et génère elle aussi sa réponse token par token. Les tokens sont ainsi la véritable monnaie dans laquelle calculent les modèles de langage.

Pourquoi les tokens sont importants

Les tokens ont trois conséquences pratiques :

• Coûts. La plupart des fournisseurs d'IA facturent par token traité. Les entrées longues et les réponses longues coûtent davantage.
• Vitesse. Plus de tokens signifie plus de calcul et donc des temps de réponse un peu plus longs.
• Limite. Chaque modèle a une fenêtre de contexte, c'est-à-dire un nombre maximal de tokens qu'il peut prendre en compte simultanément.

Exemple

Si un client envoie une courte question de 20 mots, cela représente grosso modo 30 à 40 tokens. Si le système y ajoute en plus un long historique de conversation et plusieurs documents de la base de connaissances, cela peut vite atteindre quelques milliers de tokens. C'est pourquoi les bons systèmes sélectionnent de façon ciblée uniquement les passages pertinents, au lieu de tout envoyer.

Les tokens et SendSeven

SendSeven est une plateforme de messagerie unifiée avec un assistant IA intégré. Pour que les réponses restent rapides et pertinentes, la méthode RAG n'envoie pas l'intégralité de votre base de connaissances au modèle, mais seulement les passages qui correspondent à la question. Cela maintient la consommation de tokens basse et les réponses pertinentes. La guide de configuration du bot de support IA montre comment mettre en place l'assistant IA. Conforme au RGPD, Made in Germany. Essai gratuit de 14 jours.