Janela de contexto (Context Window)

A janela de contexto (context window) é a quantidade de texto que um modelo de IA consegue considerar em simultâneo num pedido, medida em tokens. Tudo o que está dentro da janela entra na resposta; tudo o que a ultrapassa é cortado. Em conversas longas, a janela de contexto decide quanto do histórico a IA consegue incluir.

O que é a janela de contexto?

Um Large Language Model não consegue processar uma quantidade ilimitada de texto de uma só vez. A janela de contexto é o limite superior para isso, medido em tokens. Nessa janela cabem a pergunta atual, o histórico da conversa até ao momento, as instruções e os documentos fornecidos. Aquilo que já não cabe, o modelo não consegue considerar na sua resposta.

Os modelos modernos têm janelas de contexto muito grandes, mas nunca ilimitadas, e mais contexto significa também mais custos de cálculo.

Porque é que a janela de contexto é importante

No apoio ao cliente, a janela de contexto manifesta-se em três pontos:

• Memória da conversa. Só o que está dentro da janela está presente para a IA. Conversas muito longas podem ser «esquecidas» no início.
• Documentos. Não é possível anexar uma quantidade ilimitada de conteúdos em simultâneo.
• Custos e ritmo. Uma janela mais cheia custa mais tokens e, com isso, um pouco mais de tempo e dinheiro.

A saída: de forma direcionada, em vez de tudo

Os bons sistemas não preenchem a janela ao acaso, mas selecionam os conteúdos relevantes. É precisamente isto que o RAG faz: em vez de enviar a base de conhecimento inteira, procura apenas as passagens adequadas à pergunta e mantém a janela de contexto enxuta e certeira.

Contexto na SendSeven

A SendSeven é uma plataforma de mensagens unificada com um assistente de IA integrado. O assistente tem em conta o histórico de uma conversa e, através do RAG, traz de forma direcionada os conteúdos adequados da sua base de conhecimento, em vez de encher a janela de contexto com o que é supérfluo. Isso mantém as respostas relevantes e os custos sob controlo. Como preparar a sua base de conhecimento para isso mostra o guia da base de conhecimento. Em conformidade com o RGPD, Made in Germany. Experimente 14 dias gratuitamente.