بعض الناس يدافعون عن الحيرة بعد تسمية Cloudflare وخيراها “

عندما CloudFlare المتهم محرك البحث من الذكاء الاصطناعى في حيرة مواقع الويب الشنيعة التي تجذلها الإلكترونية يوم الاثنين ، مع تجاهل الأساليب المحددة للموقع لحظره ، لم تكن هذه حالة واضحة لزاحف الويب AI.

جاء الكثير من الناس للدفاع عن الحيرة. وجادلوا بأن الحيرة في الوصول إلى المواقع التي تحد لرغبات مالك الموقع ، رغم أنها مثيرة للجدل ، أمر مقبول. وهذا جدل سوف ينمو بالتأكيد مع إغراق وكلاء الذكاء الاصطناعي عبر الإنترنت: هل يجب أن يعامل الوكيل على موقع ويب نيابة عن مستخدمه مثل الروبوت؟ أو مثل الإنسان يقدم نفس الطلب؟

تشتهر CloudFlare بتوفير خدمات زحف مكافحة السوائل وغيرها من خدمات أمان الويب لملايين مواقع الويب. في الأساس ، تضمنت حالة اختبار CloudFlare إعداد موقع ويب جديد مع مجال جديد لم يسبق له أن زحف من قبل أي روبوت ، وإعداد ملف robots.txt الذي منع على وجه التحديد الروبوتات المعروفة من AI ، ثم طلب الحيرة حول محتوى الموقع. وأجاب الحيرة على السؤال.

وجد باحثو CloudFlare أن محرك بحث الذكاء الاصطناعي يستخدم “متصفح عام يهدف إلى انتحال شخصية Google Chrome على MacOS” عندما تم حظر زاحف الويب نفسه. الرئيس التنفيذي لشركة Cloudflare ماثيو برينس نشر يتصرف البحث عن X ، الكتابة ، “من المفترض أن تكون بعض شركات الذكاء الاصطناعى ذات السمعة الطيبة مثل المتسللين الكوريين الشماليين. حان الوقت للتسمية ، والعار ، والغطي الصادق لهم.”

لكن الكثير من الناس لم يوافقوا على تقييم الأمير بأن هذا كان سلوكًا سيئًا فعليًا. أولئك الذين يدافعون عن الحيرة في المواقع مثل x و أخبار هاكر أشار إلى أن ما يبدو أن CloudFlare كان توثيقه هو الوصول إلى موقع ويب عام معين عندما سأل مستخدمها عن هذا الموقع المحدد.

“إذا طلبت كإنسانية موقع ويب ، فيجب أن أعرض المحتوى” ، شخص ما على أخبار هاكر كتب ، مضيفًا ، “لماذا سيكون الوصول إلى الموقع الإلكتروني للوصول إلى الموقع نيابة عني في فئة قانونية مختلفة مثل متصفح الويب Firefox الخاص بي؟”

نفى المتحدث باسم الحيرة من قبل TechCrunch أن الروبوتات كانت الشركة ودعا مدونة Cloudflare نشر الملعب مبيعات لـ CloudFlare. ثم يوم الثلاثاء ، الحيرة نشرت مدونة في دفاعها (ومهاجمة CloudFlare بشكل عام) ، مدعيا أن السلوك كان من خدمة الطرف الثالث الذي يستخدمه من حين لآخر.

لكن جوهر Perplexity Post قاموا بجاذبية مماثلة كما فعل المدافعون عبر الإنترنت.

وقال المنشور: “الفرق بين الزحف الآلي والجلب الذي يحركه المستخدم ليس مجرد تقني-إنه يتعلق بمن يمكنه الوصول إلى المعلومات على الويب المفتوح”. “يكشف هذا الجدل أن أنظمة CloudFlare غير كافية بشكل أساسي للتمييز بين مساعدي الذكاء الاصطناعى الشرعيين والتهديدات الفعلية.”

اتهامات peplexity ليست عادلة تماما ، أيضا. إحدى الحجة التي استخدمها Prince و CloudFlare لاستدعاء أساليب Perplexity هي أن Openai لا يتصرف بنفس الطريقة.

“Openai هو مثال على شركة AI الرائدة التي تتبع أفضل الممارسات. إنها تحترم Robots.txt ولا تحاول التهرب إما توجيه Robots.txt أو كتلة على مستوى الشبكة. ويقوم وكيل ChatGpt بتسجيل طلبات HTTP باستخدام مصادقة Bot Opt القياسية المفتوحة المقترحة حديثًا” ، ” كتب الأمير في منصبه.

مصادقة بوت الويب هو معيار مدعوم من CloudFlare التي يتم تطويرها من قبل فرقة عمل هندسة الإنترنت التي تأمل في إنشاء طريقة تشفير لتحديد طلبات الويب AI Agent.

يأتي النقاش في الوقت الذي يعيد فيه نشاط BOT الإنترنت. كما ذكرت TechCrunch من قبل ، أصبحت الروبوتات التي تسعى إلى كشط كميات هائلة من المحتوى لتدريب نماذج الذكاء الاصطناعى تهديدًا ، وخاصة للمواقع الأصغر.

لأول مرة في تاريخ الإنترنت ، نشاط الروبوت يتفوق حاليًا على النشاط البشري عبر الإنترنت، مع حساب حركة مرور AI لأكثر من 50 ٪ ، وفقًا لتقرير Bad Bot الخاص بـ Imperva الذي صدر الشهر الماضي. معظم هذا النشاط يأتي من LLMS. لكن التقرير وجد أيضًا أن الروبوتات الضارة تشكل الآن 37 ٪ من جميع حركة المرور على الإنترنت. هذا هو النشاط الذي يتضمن كل شيء بدءًا من التجريف المستمر إلى محاولات تسجيل الدخول غير المصرح به.

حتى LLMS ، قبلت الإنترنت عمومًا أن المواقع الإلكترونية يمكن أن تمنع معظم نشاط BOT نظرًا لعدد المرات التي كانت ضارة باستخدام Captchas وغيرها من الخدمات (مثل CloudFlare). كان لدى مواقع الويب أيضًا حافزًا واضحًا للعمل مع ممثلين جيدين محددين ، مثل GoogleBot ، وتوجيهه على ما لا يجب فهرسه من خلال RobotS.Txt. قامت Google بفهرسة الإنترنت ، والتي أرسلت حركة المرور إلى المواقع.

الآن ، تتناول LLMs كمية متزايدة من حركة المرور هذه. يتنبأ غارتنر حجم محرك البحث هذا سوف ينخفض بنسبة 25 ٪ بحلول عام 2026. يميل البشر الآن إلى النقر على روابط موقع الويب من LLMS عند النقطة التي تكون أكثر قيمة لموقع الويب ، وهو عندما يكونون مستعدين لإجراء معاملة.

ولكن إذا تبنى البشر وكلاء حيث تتوقع صناعة التكنولوجيا أنهم سيقومون – بترتيب سفرنا ، وحجز تحفظات العشاء لدينا ، وتسوقنا – هل ستؤذي مواقع الويب اهتماماتهم التجارية عن طريق منعهم؟ استحوذ النقاش على X على المعضلة تمامًا:

“أريد الحيرة لزيارة أي محتوى عام نيابة عني عندما أعطيه طلب/مهمة!” كتب شخص واحد استجابة ل cloudflare استدعاء الحيرة خارج.

“ماذا لو كان أصحاب الموقع لا يريدون ذلك؟ إنهم يريدون فقط (للزيارة مباشرة) المنزل ، انظر أغراضهم” جادل آخر، مشيرًا إلى أن مالك الموقع الذي أنشأ المحتوى يريد حركة المرور وإيرادات الإعلانات المحتملة ، وليس السماح للحيرة بأخذها.

“هذا هو السبب في أنني لا أستطيع أن أرى” التصفح الوكلاء “يعمل حقًا – مشكلة أصعب بكثير مما يعتقد الناس. سيحظر معظم مالكي المواقع فقط ،” الثلث تنبأ.