Token (IA)

Un token es la unidad más pequeña en la que un modelo de lenguaje divide el texto: normalmente un fragmento de palabra, una palabra entera corta o un signo de puntuación. Los modelos de IA procesan el lenguaje token a token. El número de tokens determina en parte cuánto cuesta una consulta de IA y cuánto texto puede procesar un modelo de una sola vez.

¿Qué es un token?

Antes de que un Large Language Model procese un texto, lo divide en tokens. Un token es un bloque lingüístico, a menudo un fragmento de palabra. Como regla general, en inglés un token equivale aproximadamente a cuatro caracteres o a unas tres cuartas partes de una palabra; en español, las palabras más largas y compuestas tienden a dividirse en más tokens. La palabra «atención al cliente» puede, por tanto, constar de varios tokens según el modelo.

La IA lee los tokens de la entrada y genera su respuesta también token a token. Los tokens son así la verdadera moneda con la que calculan los modelos de lenguaje.

Por qué los tokens son importantes

Los tokens tienen tres consecuencias prácticas:

• Costes. La mayoría de los proveedores de IA facturan por token procesado. Las entradas largas y las respuestas largas cuestan más.
• Velocidad. Más tokens significan más trabajo de cálculo y, por tanto, tiempos de respuesta algo más largos.
• Límite. Cada modelo tiene una ventana de contexto, es decir, un número máximo de tokens que puede tener en cuenta a la vez.

Ejemplo

Si un cliente envía una pregunta breve de 20 palabras, son a grandes rasgos de 30 a 40 tokens. Si el sistema añade además un historial de conversación largo y varios documentos de la base de conocimiento, pueden convertirse rápidamente en varios miles de tokens. Por eso los buenos sistemas seleccionan de forma específica solo los pasajes relevantes, en lugar de enviarlo todo.

Los tokens y SendSeven

SendSeven es una plataforma de mensajería unificada con asistente de IA integrado. Para que las respuestas sigan siendo rápidas y certeras, el método RAG no envía toda su base de conocimiento al modelo, sino solo los pasajes que encajan con la pregunta. Eso mantiene bajo el consumo de tokens y relevantes las respuestas. Cómo configurar el asistente de IA se muestra en la guía del bot de soporte con IA. Conforme al RGPD, Made in Germany. Pruébelo 14 días gratis.