Token (Yapay Zeka)

Token, bir dil modelinin metni böldüğü en küçük birimdir; çoğunlukla bir kelime parçası, kısa bir tam kelime ya da bir noktalama işareti. Yapay zeka modelleri dili token token işler. Token sayısı, bir yapay zeka talebinin maliyetini ve bir modelin tek seferde ne kadar metin işleyebileceğini birlikte belirler.

Token nedir?

Bir Büyük Dil Modeli metni işlemeden önce onu tokenlara böler. Bir token, çoğunlukla bir kelime parçası olan bir dil yapı taşıdır. Genel bir kural olarak bir token, İngilizcede yaklaşık dört karaktere ya da bir kelimenin yaklaşık dörtte üçüne karşılık gelir; Türkçede ekli ve birleşik kelimeler eğilimsel olarak daha çok tokena bölünür. Yani “müşteri hizmetleri” ifadesi, modele göre birden çok tokendan oluşabilir.

Yapay zeka girdinin tokenlarını okur ve yanıtını da token token üretir. Tokenlar böylece dil modellerinin hesap yaptığı asıl para birimidir.

Tokenlar neden önemli

Tokenların üç pratik sonucu vardır:

• Maliyet. Çoğu yapay zeka sağlayıcısı işlenen token başına ücretlendirir. Uzun girdiler ve uzun yanıtlar daha çok tutar.
• Hız. Daha çok token, daha çok hesap işi ve dolayısıyla biraz daha uzun yanıt süreleri demektir.
• Sınır. Her modelin bir bağlam penceresi vardır, yani aynı anda dikkate alabileceği azami token sayısı.

Örnek

Bir müşteri 20 kelimelik kısa bir soru gönderirse, bu kabaca 30 ila 40 tokendır. Sistem ek olarak uzun bir görüşme geçmişi ve bilgi tabanından birkaç belge eklerse, bunlardan hızla birkaç bin token oluşabilir. Bu nedenle iyi sistemler, her şeyi göndermek yerine yalnızca ilgili yerleri hedefe yönelik biçimde seçer.

Tokenlar ve SendSeven

SendSeven, entegre yapay zeka asistanı olan bir Unified Messaging platformudur. Yanıtların hızlı ve isabetli kalması için RAG yöntemi, tüm bilgi tabanınızı değil, yalnızca soruya uyan yerleri modele gönderir. Bu, token tüketimini düşük ve yanıtları ilgili tutar. Yapay zeka asistanını nasıl kuracağınızı yapay zeka destek botu kılavuzu gösterir. KVKK/GDPR uyumlu, Made in Germany. 14 gün ücretsiz deneyin.