Ventana de contexto (Context Window)
La ventana de contexto (context window) es la cantidad de texto que un modelo de IA puede tener en cuenta a la vez en una consulta, medida en tokens. Todo lo que está dentro de la ventana influye en la respuesta; todo lo que la supera se descarta. En conversaciones largas, la ventana de contexto decide cuánto historial puede incluir la IA.
¿Qué es la ventana de contexto?
Un Large Language Model no puede procesar texto ilimitado de una sola vez. La ventana de contexto es el límite máximo para ello, medido en tokens. En esa ventana caben la pregunta actual, el historial de conversación hasta el momento, las instrucciones y los documentos aportados. Lo que ya no cabe no puede tenerlo en cuenta el modelo al responder.
Los modelos modernos tienen ventanas de contexto muy grandes, pero nunca es ilimitada, y más contexto significa también más coste de cálculo.
Por qué es importante la ventana de contexto
En la atención al cliente, la ventana de contexto se manifiesta en tres puntos:
- Memoria de la conversación. Solo lo que está en la ventana está presente para la IA. Las conversaciones muy largas pueden «olvidarse» al principio.
- Documentos. No se pueden añadir a la vez contenidos ilimitados.
- Coste y rapidez. Una ventana más llena cuesta más tokens y, por tanto, algo más de tiempo y dinero.
La salida: con criterio en lugar de todo
Los buenos sistemas no llenan la ventana al azar, sino que seleccionan los contenidos relevantes. Eso es justamente lo que hace RAG: en lugar de enviar toda la base de conocimiento, busca solo los pasajes que encajan con la pregunta y mantiene la ventana de contexto ligera y certera.
El contexto en SendSeven
SendSeven es una plataforma de mensajería unificada con asistente de IA integrado. El asistente tiene en cuenta el hilo de una conversación y, mediante RAG, recupera de forma específica los contenidos adecuados de su base de conocimiento, en lugar de llenar la ventana de contexto con lo superfluo. Eso mantiene las respuestas relevantes y los costes bajo control. Cómo preparar su base de conocimiento para ello se muestra en la guía de la base de conocimiento. Conforme al RGPD, Made in Germany. Pruébelo 14 días gratis.