Bağlam Penceresi (Context Window)

Bağlam penceresi (Context Window), bir yapay zeka modelinin bir talepte aynı anda dikkate alabileceği metin miktarıdır; token cinsinden ölçülür. Pencerenin içindeki her şey yanıta katkı sağlar, bunun ötesindeki her şey kesilir. Uzun görüşmelerde bağlam penceresi, yapay zekânın ne kadar geçmişi dahil edebileceğini belirler.

Bağlam penceresi nedir?

Bir Büyük Dil Modeli aynı anda istediği kadar çok metni işleyemez. Bağlam penceresi, bunun üst sınırıdır ve token cinsinden ölçülür. Bu pencereye güncel soru, o ana kadarki görüşme geçmişi, yönergeler ve eklenen belgeler sığar. Artık sığmayanı model, yanıtında dikkate alamaz.

Modern modellerin çok büyük bağlam pencereleri vardır, ama bu hiçbir zaman sınırsız değildir ve daha çok bağlam aynı zamanda daha çok hesap maliyeti demektir.

Bağlam penceresi neden önemli

Müşteri hizmetlerinde bağlam penceresi üç yerde kendini gösterir:

• Görüşme belleği. Yalnızca pencerede olan, yapay zeka için mevcuttur. Çok uzun görüşmelerin başı “unutulabilir”.
• Belgeler. Aynı anda istenildiği kadar çok içerik eklenemez.
• Maliyet ve hız. Daha dolu bir pencere daha çok token, dolayısıyla biraz daha çok zaman ve para demektir.

Çözüm: her şey değil, hedefe yönelik

İyi sistemler pencereyi gelişigüzel doldurmaz, ilgili içerikleri seçer. RAG'in başardığı tam da budur: tüm bilgi tabanını göndermek yerine, yalnızca soruya uyan yerleri çıkarır ve bağlam penceresini yalın ve isabetli tutar.

SendSeven'de bağlam

SendSeven, entegre yapay zeka asistanı olan bir Unified Messaging platformudur. Asistan, bir görüşmenin geçmişini dikkate alır ve bağlam penceresini gereksiz şeylerle doldurmak yerine, RAG üzerinden bilgi tabanınızdan uygun içerikleri hedefe yönelik biçimde çeker. Bu, yanıtları ilgili ve maliyeti makul tutar. Bilgi tabanınızı bunun için nasıl hazırlayacağınızı bilgi tabanı kılavuzu gösterir. KVKK/GDPR uyumlu, Made in Germany. 14 gün ücretsiz deneyin.