Token (الذكاء الاصطناعي)

الـ Token هو أصغر وحدة يجزّئ إليها النموذج اللغوي النص، وهو في الغالب جزء كلمة أو كلمة قصيرة كاملة أو علامة ترقيم. تعالج نماذج الذكاء الاصطناعي اللغةَ وحدةً (token) تلو أخرى. وعدد الوحدات يحدّد جزئياً كم يكلّف طلبُ الذكاء الاصطناعي وكم نصاً يستطيع النموذج معالجته دفعة واحدة.

ما هو الـ Token؟

قبل أن يعالج نموذج لغوي كبير النص، يجزّئه إلى وحدات (tokens). والوحدة لبنة لغوية، غالباً جزء كلمة. وكقاعدة تقريبية، تقابل الوحدة في الإنجليزية نحو أربعة أحرف أو نحو ثلاثة أرباع الكلمة؛ وفي لغات كثيرة تُجزّأ الكلمات الطويلة والمركّبة إلى عدد أكبر من الوحدات. فكلمة مثل "خدمة العملاء" قد تتكوّن، تبعاً للنموذج، من عدة وحدات.

يقرأ الذكاء الاصطناعي وحدات الإدخال ويولّد إجابته كذلك وحدةً تلو أخرى. والوحدات هي إذن العملة الفعلية التي تحسب بها النماذج اللغوية.

لماذا تهمّ الوحدات (Tokens)؟

للوحدات ثلاثة آثار عملية:

• التكلفة. يحاسب معظم مزوّدي الذكاء الاصطناعي على كل وحدة معالَجة. فالمدخلات الطويلة والإجابات الطويلة تكلّف أكثر.
• السرعة. وحدات أكثر تعني عملاً حسابياً أكثر، ومن ثَمّ أزمنة إجابة أطول قليلاً.
• الحدّ. لكل نموذج نافذة سياق، أي حدّ أقصى لعدد الوحدات التي يمكنه مراعاتها في آن واحد.

مثال

إذا أرسل عميل سؤالاً قصيراً من 20 كلمة، فذلك نحو 30 إلى 40 وحدة تقريباً. وإذا أضاف النظام إضافةً إلى ذلك سياق محادثة طويلاً وعدة وثائق من قاعدة المعرفة، فقد تصير بسرعة بضعة آلاف من الوحدات. ولذلك تختار الأنظمة الجيدة بشكل موجَّه المواضعَ ذات الصلة فقط، بدلاً من إرسال كل شيء.

الوحدات (Tokens) و SendSeven

SendSeven منصّة مراسلة موحّدة مع مساعد ذكاء اصطناعي مدمج. وكي تبقى الإجابات سريعة ودقيقة، لا يرسل أسلوب RAG قاعدةَ معرفتك كلها إلى النموذج، بل المواضعَ المناسبة للسؤال فقط. وهذا يبقي استهلاك الوحدات منخفضاً والإجابات وثيقة الصلة. وكيفية إعداد مساعد الذكاء الاصطناعي يوضّحها دليل روبوت دعم الذكاء الاصطناعي. متوافق مع اللائحة العامة لحماية البيانات (GDPR)، صُنع في ألمانيا. جرّبه مجاناً 14 يوماً.