Token (IA)

Un token è la più piccola unità in cui un modello linguistico scompone il testo, di solito una parte di parola, una breve parola intera o un segno di punteggiatura. I modelli di IA elaborano il linguaggio token dopo token. Il numero di token concorre a determinare quanto costa una richiesta all'IA e quanto testo un modello può elaborare in una volta.

Che cos'è un token?

Prima che un Large Language Model elabori il testo, lo scompone in token. Un token è un mattone linguistico, spesso una parte di parola. Come regola pratica, in inglese un token corrisponde a circa quattro caratteri o a tre quarti di una parola; in italiano le parole più lunghe tendono a essere scomposte in più token. La parola «servizio clienti» può quindi essere composta da più token a seconda del modello.

L'IA legge i token dell'input e genera anche la sua risposta token dopo token. I token sono quindi la vera valuta in cui calcolano i modelli linguistici.

Perché i token sono importanti

I token hanno tre conseguenze pratiche:

• Costi. La maggior parte dei provider di IA fattura per token elaborato. Input lunghi e risposte lunghe costano di più.
• Velocità. Più token significano più lavoro di calcolo e quindi tempi di risposta un po' più lunghi.
• Limite. Ogni modello ha una finestra di contesto, cioè un numero massimo di token che può considerare contemporaneamente.

Esempio

Se un cliente invia una breve domanda di 20 parole, sono all'incirca 30-40 token. Se il sistema aggiunge in più un lungo storico della conversazione e diversi documenti dalla knowledge base, possono diventare in fretta alcune migliaia di token. Per questo i buoni sistemi selezionano in modo mirato solo i passaggi rilevanti, invece di inviare tutto.

Token e SendSeven

SendSeven è una piattaforma di messaggistica unificata con assistente IA integrato. Affinché le risposte restino rapide e pertinenti, il metodo RAG non invia al modello l'intera tua knowledge base, ma solo i passaggi pertinenti alla domanda. Questo mantiene basso il consumo di token e le risposte pertinenti. Come configurare l'assistente IA lo mostra la guida al bot di supporto IA. Nel rispetto del GDPR, Made in Germany. Provala gratis per 14 giorni.