Token (AI)

Token to najmniejsza jednostka, na jaką model językowy rozkłada tekst – zwykle część słowa, krótkie całe słowo lub znak interpunkcyjny. Modele AI przetwarzają język token po tokenie. Liczba tokenów współdecyduje o tym, ile kosztuje zapytanie do AI i ile tekstu model może przetworzyć naraz.

Czym jest token?

Zanim duży model językowy przetworzy tekst, rozkłada go na tokeny. Token to klocek językowy, często część słowa. Jako reguła kciuka jeden token odpowiada w angielskim mniej więcej czterem znakom lub około trzem czwartym słowa; w polskim dłuższe i odmienione słowa są zwykle rozkładane na więcej tokenów. Słowo „obsługa klienta" może więc, zależnie od modelu, składać się z kilku tokenów.

AI czyta tokeny danych wejściowych i generuje swoją odpowiedź również token po tokenie. Tokeny są więc właściwą walutą, w której liczą modele językowe.

Dlaczego tokeny są ważne

Tokeny mają trzy praktyczne konsekwencje:

• Koszty. Większość dostawców AI rozlicza się za każdy przetworzony token. Długie dane wejściowe i długie odpowiedzi kosztują więcej.
• Szybkość. Więcej tokenów oznacza więcej pracy obliczeniowej, a tym samym nieco dłuższe czasy odpowiedzi.
• Granica. Każdy model ma okno kontekstowe, czyli maksymalną liczbę tokenów, którą może uwzględnić jednocześnie.

Przykład

Gdy klient wysyła krótkie pytanie złożone z 20 słów, to z grubsza 30 do 40 tokenów. Jeśli system dołączy dodatkowo długi przebieg rozmowy i kilka dokumentów z bazy wiedzy, może z tego szybko powstać kilka tysięcy tokenów. Dlatego dobre systemy wybierają celowo tylko istotne fragmenty, zamiast wysyłać wszystko.

Tokeny a SendSeven

SendSeven to platforma unified messaging z wbudowanym asystentem AI. Aby odpowiedzi pozostawały szybkie i trafne, metoda RAG nie wysyła do modelu całej Twojej bazy wiedzy, lecz tylko te fragmenty, które pasują do pytania. To utrzymuje zużycie tokenów na niskim poziomie, a odpowiedzi trafne. Jak skonfigurować asystenta AI, pokazuje przewodnik po bocie wsparcia AI. Zgodnie z RODO, Made in Germany. 14 dni za darmo.