الذكاء الذكاء والتقارير المزيفة قادمة لبرامج مكافأة الأخطاء الخاصة بك

ما يسمى بالذواق الذكاء ، مما يعني أن الصور ومقاطع الفيديو ذات الجودة المنخفضة التي يتم إنشاؤها LLM قد استحوذت على الإنترنت في العامين الماضيين ، ومواقع الويب الملوثة ، منصات التواصل الاجتماعي، على الأقل إحدى الصحف، وحتى الأحداث في العالم الحقيقي.

عالم الأمن السيبراني ليس محصنًا من هذه المشكلة أيضًا. في العام الماضي ، أثار الأشخاص في جميع أنحاء صناعة الأمن السيبراني مخاوف بشأن تقارير مكافأة الحشرات الذكرية من الذكاء الاصطناعي ، مما يعني أن التقارير التي تدعي أنها قد وجدت نقاط الضعف غير موجودة بالفعل ، لأنها تم إنشاؤها بنموذج لغة كبير يتكون ببساطة من الضعف ، ثم تعبئته في كتابة محترفة.

“يتلقى الناس تقارير تبدو معقولة ، وتبدو صحيحة من الناحية الفنية. ثم ينتهي بك الأمر إلى الحفر فيها ، في محاولة لمعرفة ،” أوه لا ، أين هذه الضعف؟ “،” Runsybil، وهي شركة ناشئة تقوم بتطوير صيادين الأخطاء التي تعمل من الذكاء الاصطناعى ، أخبر TechCrunch.

وقال إيونيسكو: “اتضح أنه كان مجرد هلوسة طوال الوقت. لقد تم تكوين التفاصيل الفنية من قبل LLM”.

أوضح Ionescu ، الذي اعتاد العمل في فريق Meta Red المكلف باختراق الشركة من الداخل ، أن إحدى المشكلات هي أن LLMs مصممة لتكون مفيدة وتقديم ردود إيجابية. وقال أيونسكو: “إذا طلبت منه الحصول على تقرير ، فسوف يعطيك تقريرًا. ومن ثم سيقوم الناس بنسخها ولصقها في منصات Bug Bounty وتغلب على المنصات نفسها ، وتغلب على العملاء ، وتدخل في هذا الوضع المحبط”.

وقال أيونيسكو: “هذه هي المشكلة التي يمر بها الناس ، هل نحصل على الكثير من الأشياء التي تبدو مثل الذهب ، لكنها في الواقع مجرد حماقة”.

فقط في العام الماضي ، كانت هناك أمثلة حقيقية لهذا. كشف هاري سينتونن ، باحث أمني ، أن مشروع أمن المصدر المفتوح تلقى تقريرًا مزيفًا. “لقد أخطأ المهاجم بشكل سيء” ، كتب سينتونين في منشور على Mastodon. “يمكن أن رائحة حليقة من AI من الأميال”.

استجابةً لمشاركة سينتونين ، بنيامين بيوفيل من Open Collective ، وهي منصة تقنية للمنظمات غير الربحية ، قال أن لديهم نفس المشكلة: أن صندوق الوارد الخاص بهم “غمرت بقمامة الذكاء الاصطناعي”.

مطور مفتوح المصدر ، الذي يحافظ على مشروع Cyclonedx على Github ، سحبوا علة فضحهم بالكامل في وقت سابق من هذا العام بعد استلام “تقارير الذكاء الاصطناعي تقريبًا”.

إن منصات Bug Bounty الرائدة ، التي تعمل بشكل أساسي كوسطاء بين المتسللين والشركات على استعداد للدفع ومكافأتها للعثور على العيوب في منتجاتهم وبرامجهم ، تشهد أيضًا ارتفاعًا في التقارير التي تم إنشاؤها من الذكاء الاصطناعي.

أخبرت ميشيل برينز ، المؤسس المشارك ومدير إدارة المنتجات في Hackerone ، TechCrunch أن الشركة واجهت بعض المنحدرات الذكاء.

“لقد رأينا أيضًا ارتفاعًا في إيجابيات كاذبة-نقاط الضعف التي تبدو حقيقية ولكن يتم إنشاؤها بواسطة LLMs وتفتقر إلى تأثير العالم الحقيقي” ، قال Prins. “يمكن أن تخلق عمليات التقديم المنخفضة الإشارة هذه ضوضاء تقوض كفاءة برامج الأمان.”

وأضافت Prins أن التقارير التي تحتوي على “نقاط الضعف الملموسة ، أو المحتوى الفني الغامض ، أو غيرها من أشكال الضوضاء ذات الجهد المنخفض يتم التعامل معها كرسائل غير مرغوب فيها.”

قال Casey Ellis ، مؤسس Bugcrowd ، إن هناك بالتأكيد باحثين يستخدمون الذكاء الاصطناعى للعثور على الأخطاء وكتابة التقارير التي يخضعونها إلى الشركة. وقال إليس إنهم يشهدون زيادة إجمالية بلغت 500 طلب في الأسبوع.

وقال إليس لـ TechCrunch: “يتم استخدام الذكاء الاصطناعى على نطاق واسع في معظم عمليات التقديم ، لكنه لم يسبب حتى الآن ارتفاعًا كبيرًا في تقارير” Slop “ذات الجودة المنخفضة”. “من المحتمل أن يتصاعد هذا في المستقبل ، لكنه ليس هنا بعد.”

قال إليس إن فريق BugCrowd الذي يحلل التقديمات يستعرض التقارير التي تستخدم يدويًا لرسومات اللعب وسير العمل ، وكذلك مع التعلم الآلي و “المساعدة”.

لمعرفة ما إذا كانت الشركات الأخرى ، بما في ذلك تلك التي تدير برامج Bub Bounty الخاصة بها ، تتلقى أيضًا زيادة في التقارير أو التقارير غير الصالحة التي تحتوي على نقاط الضعف غير موجودة للهلوسة بواسطة LLMS ، تم الاتصال بـ TechCrunch Google و Meta و Microsoft و Mozilla.

قال داميانو ديمونتي ، المتحدث الرسمي باسم موزيلا ، الذي يطور متصفح فايرفوكس ، إن الشركة “لم تشهد زيادة كبيرة في تقارير الأخطاء غير صالحة أو منخفضة الجودة والتي يبدو أنها تم إنشاؤها من الذكاء الاصطناعى ، أو أقل من 10 ٪ من جميع التقارير.

وقال ديمونت في رسالة بالبريد الإلكتروني: “لا يستخدم موظفو Mozilla الذين يراجعون تقارير الأخطاء عن Firefox AI لتصفية التقارير ، حيث من المحتمل أن يكون من الصعب القيام بذلك دون خطر رفض تقرير الأخطاء المشروعة”.

ورفضت Microsoft و Meta ، الشركات التي رهنت بشدة على الذكاء الاصطناعي ، التعليق. لم ترد Google على طلب للتعليق.

يتنبأ Ionescu بأن أحد حلول مشكلة ارتفاع الذكاء الاصطناعي هو الاستمرار في الاستثمار في الأنظمة التي تعمل بمواد الذكاء الاصطناعى والتي يمكنها على الأقل أداء مراجعة أولية للمراجعة وتصفية الدقة.

في الواقع ، يوم الثلاثاء ، Hackerone أطلقت Hai Triage ، نظام ثلاثي جديد يجمع بين البشر و AI. وفقًا لـ Hackerone ، يستفيد هذا النظام الجديد من “وكلاء أمان الذكاء الاصطناعي لتجاوز الضوضاء وتكرارات العلم وتحديد أولويات التهديدات الحقيقية.” ثم يخطو المحللون البشريون للتحقق من صحة تقارير الأخطاء والتصاعد حسب الحاجة.

بينما يستخدم المتسللون بشكل متزايد LLMS والشركات تعتمد على الذكاء الاصطناعى لتصوير تلك التقارير ، يبقى أن نرى أي من AIS سوف يسود.