الحيرة المتهم بتهمة تجريد مواقع الويب التي منعت صراحة تجريف الذكاء الاصطناعي

يتم تزويد المحتوى الذي يزحف على المحتوى من مواقع الويب التي أشارت صراحةً إلى أنها لا تريد أن يتم كشطها ، وفقًا لمزود البنية التحتية للبنية التحتية على الإنترنت.

يوم الاثنين ، Cloudflare البحث المنشور قائلاً إنها لاحظت أن بدء تشغيل الذكاء الاصطناعي يتجاهل الكتل وإخفاء أنشطتها الزاحفة والتجشيد. وكتب باحثو CloudFlare أن عملاق البنية التحتية للشبكة اتهمت حيرة حجب هويتها عند محاولة كشط صفحات الويب “في محاولة للتحايل على تفضيلات موقع الويب”.

تعتمد منتجات الذكاء الاصطناعى مثل تلك التي تقدمها الحيرة على زيادة كميات كبيرة من البيانات من الإنترنت ، كما أن الشركات الناشئة من الذكاء الاصطناعي لها نصوص وصور ومقاطع فيديو طويلة من الإنترنت عدة مرات دون إذن لجعل منتجاتها تعمل. في الآونة الأخيرة ، حاولت المواقع الإلكترونية القتال باستخدام ملف Web Standard Robots.txt ، الذي يخبر محركات البحث وشركات الذكاء الاصطناعى التي يمكن فهرستها والتي لا ينبغي ، لا ينبغي ، الجهود التي شهدت نتائج مختلطة حتى الآن.

يبدو أن الحيرة تحايل عن طيب خاطر على هذه الكتل عن طريق تغيير “وكيل المستخدم” الروبوتات ، مما يعني إشارة تحدد زائر موقع الويب بواسطة أجهزتهم ونوع الإصدار ؛ بالإضافة إلى تغيير شبكات النظام المستقل ، أو ASN ، في الأساس رقم يحدد الشبكات الكبيرة على الإنترنت ، وفقًا لـ CloudFlare.

“لقد لوحظ هذا النشاط عبر عشرات الآلاف من المجالات وملايين الطلبات يوميًا. تمكنا من بصمات الأصابع هذا الزاحف باستخدام مجموعة من إشارات التعلم الآلي وإشارات الشبكة”.

ورفض المتحدث باسم Perplexity Jesse Dwyer منشور مدونة Cloudflare باعتباره “ملعب مبيعات” ، مضيفًا في رسالة بريد إلكتروني إلى TechCrunch أن لقطات الشاشة في المنشور “تظهر أنه لم يتم الوصول إلى محتوى”. في رسالة بريد إلكتروني للمتابعة ، ادعى Dwyer أن الروبوت المسمى في مدونة Cloudflare “ليس حتى لنا”.

قالت Cloudflare إنها لاحظت أولاً السلوك بعد أن اشتكى عملائها من أن الحيرة كانت تزحف وتجشيد مواقعهم ، حتى بعد أن أضافوا قواعد على ملف الروبوتات الخاص بهم ولحظر برامج الروبوت المعروفة على وجه التحديد. قال CloudFlare إنه قام بعد ذلك بإجراء اختبارات للتحقق وأكد أن الحيرة كانت تحايل على هذه الكتل.

“لاحظنا أن الحيرة لا تستخدم فقط وكيل المستخدم المعلن ، ولكن أيضًا متصفح عام يهدف إلى انتحال شخصية Google Chrome على MacOS عندما تم حظر الزاحف المعلن” ، وفقًا لـ CloudFlare.

وقالت الشركة أيضًا إنها أدت إلى إلغاء إدراج روبوتات الحيرة من قائمتها التي تم التحقق منها وأضفت تقنيات جديدة لمنعها.

اتخذت Cloudflare مؤخرًا موقفًا عامًا ضد زحف الذكاء الاصطناعي. في الشهر الماضي ، أعلنت CloudFlare عن إطلاق سوق يسمح لأصحاب المواقع والناشرين بفرض رسوم على كاشطات الذكاء الاصطناعى الذين يزورون مواقعهم. الرئيس التنفيذي لشركة Cloudflare ماثيو الأمير بدا المنبه في ذلك الوقت ، قول الذكاء الاصطناعى يكسر نموذج الأعمال للإنترنت ، وخاصة الناشرين. في العام الماضي ، أطلقت CloudFlare أيضًا أداة مجانية لمنع الروبوتات من تجريف المواقع الإلكترونية لتدريب الذكاء الاصطناعي.

ليست هذه هي المرة الأولى التي يتم فيها اتهام الحيرة بالتجريف دون إذن.

في العام الماضي ، وسائل إخبارية ، مثل السلكية، كان الحيرة المزعومة تنتحل محتواها. بعد أسابيع ، لم يتمكن Aravind Srinivas الرئيس التنفيذي لشركة Perplexity على الفور عندما يُطلب منه تقديم تعريف الشركة للانتحال خلال مقابلة مع Devin Coldewey من TechCrunch في مؤتمر Disrupt 2024.