الروبوتات تجاوزت البشر على الويب المفتوح في يونيو 2026، قبل الموعد المتوقع بـ18 شهراً — والزاحف الذي يأخذ الأكثر من موقعك ما زال يُعيد زيارة واحدة فقط مقابل كل 1,782 صفحة أخذها في أغسطس
للمرة الأولى في تاريخ الإنترنت، صارت أغلب الطلبات التي تصل إلى الويب المفتوح آلية لا بشرية — وجزء معتبر من تلك الحركة الآلية هو زواحف ذكاء اصطناعي تقرأ موقعك لتجيب على سؤال شخصٍ آخر، لا لترسل لك عميلاً. النسبة تتحسن، لكنها بعيدة عن التوازن، وقلّة من الشركات نظرت فعلياً إلى ما تقوله سجلات خادمها — أو ملف robots.txt الخاص بها — عن ذلك.
في مكانٍ ما على موقعك الآن، يقرأ زاحفٌ صفحة أسعارك، وصفحات خدماتك، ودراسات حالتك — الصفحات التي كتبتها ليجدها عميل ويتصل بك. في أغلب الأحيان، لا يوجد عميل على الطرف الآخر من ذلك الطلب. إنه نموذج قيد التدريب، أو مساعد ذكاء اصطناعي يجيب على سؤال أحدهم مستخدماً محتواك، من دون أن يُرسل ذلك الشخص إليك. خادمك يدفع ثمن الطلب في الحالتين — النطاق الترددي، المعالجة، سطر السجلّ — سواء وصل أحدٌ فعلياً أم لا.
كان هذا هامش خطأ لا يُذكر. لم يعد كذلك. في 3 يونيو 2026، أعلنت Cloudflare — التي تقف أمام نحو خُمس الويب — أن الطلبات الآلية تجاوزت الطلبات البشرية للمرة الأولى إطلاقاً: 57.5٪ آلية مقابل 42.5٪ بشرية. كان الرئيس التنفيذي لـCloudflare نفسه قد توقّع هذا التجاوز لأواخر 2027. وصل قبل ذلك بعامٍ ونصف.
هذا المقال عمّا يختبئ فعلياً داخل تلك الأغلبية الآلية — أي الزواحف تأخذ الأكثر وتُعيد الأقل، وبأي سرعة يتغيّر ذلك شهراً بعد شهر، وماذا تُقرّر أي شركة فعلياً حين يبقى ملف robots.txt لديها بلا لمسة منذ إطلاق الموقع. هذا ليس حجّة لحجب كل شيء أو السماح بكل شيء. إنه الحساب الذي تحتاجه قبل أن تختار أياً منهما.
ابدأ بالرقم الذي حوّل هذا إلى خبرٍ لا مجرّد خط اتجاه: الروبوتات تتجاوز البشر على الويب المفتوح. قياس Cloudflare Radar في يونيو 2026 — المأخوذ عبر نحو خُمس كل المواقع التي تقف خلف Cloudflare — وضع الطلبات الآلية لصفحات HTML عند 57.5٪ مقابل 42.5٪ من أشخاص فعليين [1]. قيادة Cloudflare نفسها كانت قد وضعت نموذجاً لهذا التجاوز في أواخر 2027؛ نمو حركة الذكاء الاصطناعي العاملة بذاتها — برامج مستقلة تتصفّح الويب نيابةً عن مساعدٍ ذكي — قرّب الموعد بنحو عامٍ ونصف [1]. ليست كل تلك الحصّة الآلية ذكاءً اصطناعياً — فهارسات البحث، ومراقبات التوفر، وماسحات الأمان كانت دائماً جزءاً من المزيج — لكن الجزء الخاص بالذكاء الاصطناعي هو ما نما بسرعةٍ كافية ليُقرّب الموعد.
الرقم الأكثر فائدة لأي شركة ليس حصة الروبوتات من الحركة — بل ما يُعيده أي زاحف بعينه مقابل ما يأخذه. تتبّع Cloudflare Radar هذا كنسبة زحف-إلى-إحالة: صفحات قرأها روبوت منصّة ما، مقسومة على زوّار أرسلهم منتج تلك المنصّة الاستهلاكي فعلياً إلى الموقع. في يونيو 2026، وقفت نسبة Anthropic عند نحو 4,580:1 — أي 4,580 صفحة قُرئت مقابل كل زائرٍ واحد أُحيل. OpenAI عند 848:1، وPerplexity عند 186:1، وGoogle — التي يعتمد منتجها الأساسي على إرسال الناس إلى المواقع — عند نحو 5:1 [2].
تلك النسبة تتحرّك بسرعة، وليس دائماً بالاتجاه المتوقع. بحلول الـ28 يوماً الأخيرة المنتهية في 1 أغسطس 2026، تراجعت نسبة Anthropic إلى نحو 1,782:1 — تحسّن بنحو 61٪ خلال شهرين — وتراجعت OpenAI إلى 233:1، بما يتماشى مع إرسال المنصّتين مزيداً من الحركة عبر منتجيهما الاستهلاكيين، لا مع تراجع أيٍّ منهما في الزحف. تحرّكت Perplexity بالاتجاه المعاكس، من 186:1 إلى 303:1، تذكيراً بأن رقم أي منصّة ليس ثابتاً — إنه يعكس قراراً في منتجها يمكن أن ينعكس من دون إنذار. Google بقيت قريبة من التوازن طوال الفترة نفسها، عند نحو 4.79:1، المنصّة الكبرى الوحيدة التي بُنيت حوافزها على حركة الإحالة منذ البداية [3].
السؤال العملي الذي يطرحه هذا لأي شركة هو ما يفعله ملف robots.txt الخاص بها فعلياً، وهل كان ذلك اختياراً يوماً ما. بيانات الويب الكامل عن الملف تضع الصورة في سياقها: نحو 7.9٪ فقط من كل المواقع تحجب زاحف OpenAI صراحةً، لكن هذه النسبة تقفز إلى نحو 50.5٪ بين الناشرين — الشركات التي منتجها بأكمله هو المحتوى نفسه. حجب أي زاحف ذكاء اصطناعي إطلاقاً يقف عند نحو 10.3٪ للويب العام مقابل 56.4٪ للناشرين، ونحو 30٪ من أكبر المواقع تُشغّل الآن ما يشبه مساراً وسطاً: حجب الروبوتات التي تُدرّب فقط نموذجاً، والسماح لتلك التي ما زالت تستشهد بك وتُرسل لك أحداً [4]. حصّة ClaudeBot تحديداً من قواعد الحجب استمرت في التصاعد خلال الفترة نفسها، من 9.6٪ في يناير 2026 إلى 10.1٪ بحلول مارس [4] — دليل على أن هذا قرار نشط ومستمر لدى الشركات المنتبهة له، لا إعداداً يُضبط مرّة واحدة.
لا شيء من هذا سبب للذعر وحجب كل زاحف ذكاء اصطناعي تُظهره سجلاتك. زاحفٌ يُدرّب فقط نموذجاً على صفحات منتجك ولا يستشهد بك أبداً هو تكلفة صِرفة من دون أي مسار عودة — حجبه لا يُفقدك شيئاً كان لديك أصلاً. أما زاحفٌ يقرأ صفحاتك ليجيب على سؤال عميل محتمل ويذكر اسم شركتك أثناء ذلك، فهو النسخة الأحدث من الحركة نفسها التي طالما سعى إليها عملك في تحسين محركات البحث — حجبه من حيث المبدأ يُهدر استشهاداً من دون مقابل. الشركات التي تُحسن التعامل مع هذا لا تُطبّق قاعدة واحدة شاملة؛ إنها تقرأ سجلاتها الخاصة لترى أي الروبوتات تظهر، وتُقارن سلوك كل واحدٍ في الإحالة بتقارير كتقرير Cloudflare، وتضبط قواعد robots.txt وllms.txt بحسب الغرض لا بحسب الاسم المعروف.
الدافع مفهوم: لم يوافق أحد على أن تُقرأ صفحات منتجه آلاف المرات من دون مقابل. لكن الحجب الشامل يُغلق أيضاً الباب أمام الزواحف التي تستشهد بك فعلاً — نسبة Google البالغة 5:1 موجودة لأن نموذج عملها يُكافئ إرسال الناس إلى المواقع، وإجابة ذكاء اصطناعي تذكر اسم شركتك بالاسم هي قناة إحالة، لا تهديد. احجب من دون تمييز، وتخسر الفائدة مع التكلفة معاً.
الدافع المعاكس — البقاء منفتحاً على كل زاحف على افتراض أن المزيد من الظهور في الذكاء الاصطناعي لا يمكن إلا أن يفيد — يتجاهل أن نحو نصف المنصّات التي تزحف موقعك تُعيد شيئاً يكاد لا يُذكر مقابل ذلك. نسبة Anthropic تحسّنت 61٪ خلال شهرين وما زالت تتجاوز 1,700:1. أن تُقرأ ليس كأن تُوجد، والشركة التي لا تتحقق من الفارق أبداً تدفع فاتورة استضافة حقيقية مقابل نتيجة لم تقسها قط.
هناك نسخة حقيقية من هذه الحجّة: إن كانت الروبوتات الآن 57.5٪ من حركة HTML لديك، فتلك معالجة ونطاق ترددي تدفع ثمنهما بغض النظر عن الزاوية الاستراتيجية. صحيح — لكن حلّ مشكلة التكلفة وحلّ مشكلة الظهور هما الملف نفسه. ملف robots.txt مكتوب بحسب الغرض، لا بالسماح الشامل أو المنع الشامل، يعالج الاثنين معاً.
اقرأ سجلاتك الخاصة قبل أن تلمس ملف robots.txt. افصل الزواحف بحسب ما تفعله فعلياً بما تأخذه — روبوت يُدرّب فقط ولا يُحيل أحداً يُحجب؛ وروبوت خلف محرّك إجابة يذكر شركتك ويربط بها يُسمح له، ويحصل على نسخة نظيفة ومُهيكلة من محتواك (بيانات schema، ملف llms.txt، صفحات واقعية واضحة) ليكون لديه ما يستحق الاستشهاد به. تحقّق من النسبة مجدداً كل ربع سنة — رقم Perplexity نفسه تراجع خلال شهرين، ورقمك يمكن أن يفعل الشيء نفسه.
- 01هل تعرف أي نسبة من حركة موقعك هي زاحف لا زائر فعلي — أم ستكتشف ذلك فقط من فاتورة استضافة ارتفعت من دون سببٍ واضح؟
- 02إن قرأ روبوتٌ صفحات منتجك 1,782 مرة الشهر الماضي وأعاد زائراً واحداً، هل كانت تلك صفقة كنت لتقبلها عن قصد، أم أنها حدثت فقط لأن أحداً لم يضبط الملف؟
- 03هل ملف robots.txt لديك يحجب أو يسمح لزواحف الذكاء الاصطناعي بقرارٍ اتخذه أحد، أم أنه ما زال كما جاء في القالب يوم إطلاق الموقع؟
- 04إن حجبت كل زاحف ذكاء اصطناعي عند الباب بينما يبقى محتواك غير مُهيكل وصعب الاستشهاد به لتلك التي كنت تريدها فعلياً أن تقرأه، فهل تحمي شيئاً أم تُغلق كل الأبواب بالتساوي؟
- 05بما أن نسبة Perplexity تحرّكت بالاتجاه الخاطئ خلال شهرين بينما تحسّنت نسبة Anthropic، هل هذا إعداد تتحقق منه مرّة واحدة، أم أن أحداً يُعيد النظر فيه فعلياً؟
- [1]Cloudflare Radar، عبر تغريدة ماثيو برنس (الرئيس التنفيذي)، منصة X، 3 يونيو 2026: بلغت الطلبات الآلية لصفحات HTML 57.5٪ من الحركة مقابل 42.5٪ بشرية، عبر نحو خُمس الويب الذي يقف خلف Cloudflare — تجاوزٌ توقّعته قيادة Cloudflare نفسها لأواخر 2027، ووصل قبل ذلك بنحو 18 شهراً مدفوعاً بنمو حركة تصفّح الذكاء الاصطناعي العاملة بذاتها.
- [2]Cloudflare Radar — «The crawl before the fall… of referrals: understanding AI's impact on content providers» (قياس يونيو 2026): نسب زحف-إلى-إحالة بلغت 4,580:1 لـAnthropic، و848:1 لـOpenAI، و186:1 لـPerplexity، ونحو 5:1 لـGoogle.
- [3]SEOmator — «GEO Data Report 2026: Which AI Crawlers & LLM Bots Take the Most and Give the Least؟» — تتبّع شهري لبيانات Cloudflare Radar: Anthropic من 4,580:1 (يونيو) إلى 1,782:1 (الـ28 يوماً الأخيرة المنتهية في 1 أغسطس)؛ OpenAI من 848:1 إلى 233:1؛ Perplexity من 186:1 إلى 303:1؛ Google من نحو 5:1 إلى 4.79:1؛ Mistral بلغت ذروتها عند نحو 3,389:1 في يوليو.
- [4]Presenc.ai — «State of Robots.txt for AI 2026: Adoption Tracker»: معدّل حجب GPTBot على مستوى الويب الكامل 7.9٪ مقابل 50.5٪ بين الناشرين؛ معدّل «حجب أي زاحف ذكاء اصطناعي» المُجمّع 10.3٪ للويب الكامل مقابل 56.4٪ للناشرين؛ نحو 30٪ من أكبر المواقع تحجب الآن الروبوتات المخصصة للتدريب فقط بينما تسمح لروبوتات البحث/الإجابة؛ حصّة ClaudeBot من قواعد الحجب في robots.txt ارتفعت من 9.6٪ (يناير 2026) إلى 10.1٪ (مارس 2026).
نضبط سياسة الوصول للزواحف لديك عن قصد — مفتوحة للروبوتات التي تُعيد لك عملاء، مغلقة أمام تلك التي تأخذ فقط.
تبني فلوكا ملف robots.txt مُميَّزاً بحسب الغرض، وبيانات schema مُهيكلة، وملف llms.txt في كل موقع وصفحة أبحاث ننشئها — بحيث يكون لدى الزواحف الجديرة بالسماح لها ما يستحق الاستشهاد به، ولا يُمنح ما يُدرّب نموذجاً فقط حرية التصرف في خادمك مجاناً. إن كنت لا تعرف ما الذي يقرأ موقعك فعلياً الآن، سنُريك ذلك من سجلاتك الخاصة قبل أن نلمس سطر كود واحداً.
احجز استشارة مجانية 15 دقيقة