Finestra di contesto (Context Window)
La finestra di contesto (context window) è la quantità di testo che un modello di IA può considerare contemporaneamente in una richiesta, misurata in token. Tutto ciò che rientra nella finestra confluisce nella risposta, tutto ciò che la supera viene tagliato. Nelle conversazioni lunghe è la finestra di contesto a decidere quanto storico l'IA può includere.
Che cos'è la finestra di contesto?
Un Large Language Model non può elaborare una quantità illimitata di testo in una volta. La finestra di contesto è il limite massimo per questo, misurato in token. In questa finestra rientrano la domanda attuale, lo storico della conversazione, le istruzioni e i documenti forniti. Ciò che non ci sta più, il modello non può tenerne conto nella sua risposta.
I modelli moderni hanno finestre di contesto molto grandi, ma non è mai illimitata, e più contesto significa anche più costi di calcolo.
Perché la finestra di contesto è importante
Nel servizio clienti la finestra di contesto si manifesta in tre punti:
- Memoria della conversazione. Solo ciò che è nella finestra è presente all'IA. Conversazioni molto lunghe possono essere «dimenticate» all'inizio.
- Documenti. Non si possono allegare contemporaneamente contenuti illimitati.
- Costi e velocità. Una finestra più piena costa più token e quindi un po' più di tempo e denaro.
La via d'uscita: mirato invece di tutto
I buoni sistemi non riempiono la finestra a casaccio, ma selezionano i contenuti rilevanti. È esattamente ciò che fa il RAG: invece di inviare l'intera knowledge base, estrae solo i passaggi pertinenti alla domanda e mantiene la finestra di contesto snella e precisa.
Il contesto in SendSeven
SendSeven è una piattaforma di messaggistica unificata con assistente IA integrato. L'assistente tiene conto dello storico di una conversazione e, tramite il RAG, attinge in modo mirato ai contenuti pertinenti dalla tua knowledge base, invece di riempire la finestra di contesto con il superfluo. Questo mantiene le risposte pertinenti e i costi sotto controllo. Come preparare la tua knowledge base a tal fine lo mostra la guida alla knowledge base. Nel rispetto del GDPR, Made in Germany. Provala gratis per 14 giorni.