الزحف (Crawling)

الزحف هو الزيارة الآلية لصفحات الويب أو المستندات والتقاط محتواها بواسطة برنامج. في سياق المراسلة، يُستخدم الزحف لتغذية محتوى موقع إلكتروني تلقائياً داخل قاعدة معرفة ذكاء اصطناعي — بدل رفع كلّ مستند يدوياً.

ماذا يعني الزحف؟

الزحف (من «to crawl» أي الزحف ببطء) هو العملية الآلية التي يزور فيها برنامج («crawler» أو «bot») صفحات الويب بانتظام، ويقرأ محتواها، ويتبع الروابط. تفعل ذلك Google لبناء فهرسها. وتفعله منصّات الذكاء الاصطناعي لتغذية قاعدة معرفة تلقائياً.

الزحف في سياق الذكاء الاصطناعي

لكي يجيب روبوت الدردشة بالذكاء الاصطناعي أو وكيل الذكاء الاصطناعي عن أسئلة العملاء، يجب أن يعرف عملك: المنتجات والأسعار وشروط الشحن والأسئلة الشائعة وساعات العمل. كلاسيكياً تُرفع هذه المعرفة بمشقّة، مستنداً بمستند. مع الزحف يكفي مدخل واحد — رابط الصفحة الرئيسية. يجوب الـcrawler الصفحات الفرعية المرتبطة ويخزّنها كمصادر قابلة للبحث.

كيف يعمل crawler الذكاء الاصطناعي

1. رابط البداية: تقدّم النطاق، مثلاً www.شركتك.com.
2. فحص robots.txt: يقرأ الـcrawler ملفّ robots.txt ويحترم المناطق التي يُمنع دخولها.
3. استخدام الـsitemap: عند توفّره يستعمل ملفّ sitemap بصيغة XML خريطةً لزحف فعّال.
4. سحب الصفحات: تُنزَّل كلّ صفحة ويُحلَّل الـHTML.
5. استخلاص المحتوى: تُحذف القوائم والتذييلات وشرائط الكوكيز؛ يبقى النصّ الفعلي وبنية العناوين فقط.
6. الفهرسة: يُجزّأ المحتوى إلى قطع أصغر ذات معنى دلاليّ ويُخزَّن في قاعدة بيانات متّجهات.
7. التحديثات: على فواصل قابلة للضبط يعيد الـcrawler التحقّق ممّا إذا كان المحتوى قد تغيّر.

ما الذي قد يخفق في الزحف

• صفحات يُرسَّم محتواها بـJavaScript: المحتوى الذي يُحمَّل فقط عبر JavaScript يكون غير مرئيّ لكثير من crawlers. الحلّ: تصيير من جانب الخادم أو crawler حديث يعتمد متصفّحاً headless.
• المناطق المحمية بتسجيل الدخول: خلف تسجيل الدخول لا يرى الـcrawler شيئاً — ما لم تزوّده ببيانات الدخول.
• المحتوى القديم: إن عمل الـcrawler مرّة واحدة فقط، تتقادم قاعدة المعرفة سريعاً. التحديثات المنتظمة إلزامية.
• مشكلات بنيوية: بلا عناوين واضحة وHTML دلاليّ، تتدهور جودة الاسترجاع.

وما علاقة robots.txt؟

كلّ crawler جادّ يحترم ملفّ robots.txt الخاصّ بالنطاق. يحدّد الملفّ المسارات الممنوعة. عند زحف موقعك تضع القواعد أنت. عند زحف موقع طرف ثالث عليك اتّباع قواعدهم.

الزحف مقابل الرفع اليدوي

الزحف في SendSeven

يمكن تغذية قاعدة معرفة SendSeven من عدّة مصادر: مستندات مرفوعة (PDF وDOCX)، وعمليّات زحف لمواقع الويب (بوتيرة تحديث قابلة للضبط)، وإدخالات مباشرة. ويصبح المحتوى المُزحف متاحاً فوراً لروبوت الدردشة ووكيل الذكاء الاصطناعي بوصفه أساساً للإجابات.