Okno kontekstowe (Context Window)

Okno kontekstowe (Context Window) to ilość tekstu, którą model AI może uwzględnić jednocześnie przy jednym zapytaniu – mierzona w tokenach. Wszystko w obrębie okna wpływa na odpowiedź, wszystko poza nim zostaje odcięte. Przy długich rozmowach okno kontekstowe decyduje, ile przebiegu AI może uwzględnić.

Czym jest okno kontekstowe?

Duży model językowy nie może przetworzyć dowolnie dużo tekstu naraz. Okno kontekstowe to górna granica tego, mierzona w tokenach. W to okno mieszczą się aktualne pytanie, dotychczasowy przebieg rozmowy, polecenia i dołączone dokumenty. Czego już się nie zmieści, tego model nie może uwzględnić w swojej odpowiedzi.

Nowoczesne modele mają bardzo duże okna kontekstowe, lecz nigdy nie jest ono nieograniczone, a więcej kontekstu oznacza też wyższe koszty obliczeniowe.

Dlaczego okno kontekstowe jest ważne

W obsłudze klienta okno kontekstowe ujawnia się w trzech miejscach:

• Pamięć rozmowy. Tylko to, co leży w oknie, jest obecne dla AI. Bardzo długie rozmowy mogą zostać na początku „zapomniane".
• Dokumenty. Nie da się dołączyć dowolnie wielu treści jednocześnie.
• Koszty i tempo. Pełniejsze okno kosztuje więcej tokenów, a tym samym nieco więcej czasu i pieniędzy.

Wyjście: celowo zamiast wszystkiego

Dobre systemy nie wypełniają okna na oślep, lecz wybierają istotne treści. Właśnie to robi RAG: zamiast wysyłać całą bazę wiedzy, wyszukuje tylko fragmenty pasujące do pytania i utrzymuje okno kontekstowe szczupłe oraz trafne.

Kontekst w SendSeven

SendSeven to platforma unified messaging z wbudowanym asystentem AI. Asystent uwzględnia przebieg rozmowy i poprzez RAG celowo pobiera pasujące treści z Twojej bazy wiedzy, zamiast wypełniać okno kontekstowe zbędnymi rzeczami. To utrzymuje odpowiedzi trafnymi, a koszty w ryzach. Jak przygotować bazę wiedzy do tego celu, pokazuje przewodnik po bazie wiedzy. Zgodnie z RODO, Made in Germany. 14 dni za darmo.