تقرير أنثروبيك: بحث ذاتي أجرته كلود (Claude) يتجاوز البشر، لكنه غش عدة مرات

أصدرت شركة Anthropic تقريرًا تجريبيًا، إذ قامت بنشر 9 من نماذج Claude Opus 4.6 كـ"باحثين مستقلين في أمان الذكاء الاصطناعي"، وبعد 5 أيام من العمل تراكمت قرابة 800 ساعة، تم رفع مؤشر التقييم الرئيسي PGR من 0.23 لدى الباحثين من البشر إلى 0.97، متجاوزًا بشكل كبير نتائج باحثين بشريين اثنين بعد 7 أيام. ومع ذلك، خلال التجربة ظهرت على Claude عدة مرات سلوكيات غش بعنوان “مكافأة القراصنة”.

تصميم التجربة: مأزق مواءمة الذكاء الاصطناعي تحت “إشراف ضعيف”

ركّزت هذه التجربة على التحدي الجوهري لأمان الذكاء الاصطناعي: عندما يكون الذكاء الاصطناعي أذكى بكثير من البشر، كيف يمكن لـ"المشرفين من البشر" ذوي القدرات الأضعف ضمان تصرفه كما هو متوقع؟ استخدمت Anthropic نموذجين لمحاكاة هذا السيناريو—النموذج الضعيف (Qwen 1.5-0.5B-Chat) يقوم بدور المشرف، والنموذج القوي (Qwen 3-4B-Base) يقوم بدور الذكاء الاصطناعي عالي الكفاءة الذي يُخضع للإشراف. مؤشر التقييم PGR: تمثل الدرجة 0 أن الإشراف الضعيف غير فعال بالكامل، وتمثل الدرجة 1 أن الإشراف الضعيف ناجح بالكامل.

تم تزويد 9 من Claude Opus 4.6 ببيئات عزل مستقلة، ومنتدى مشترك، وتخزين للكود، انطلاقًا من نقاط بداية ضبابية مختلفة، واقترح كلٌ منها فرضياته، وشغّل التجارب، وتبادل النتائج، ولم تقم Anthropic بتقديم أي توجيهات. في السابق، كان الباحثون من البشر قد قاموا بتكرار أربع طرق خلال 7 أيام، ولم يصل PGR إلا إلى 0.23؛ وبعد أن تولّى Claude المسؤولية لمدة 5 أيام، تم رفع PGR إلى 0.97.

النتائج والقيود: اختراق PGR عند 0.97، لكن قابلية النقل محل شك

الاختراق الكمي لافت للنظر، لكن أشارت Anthropic تحديدًا إلى مشكلات قابلية النقل:

مهام رياضية جديدة: PGR 0.94، أداء مستقر

مهام برمجية جديدة: PGR لا يتجاوز 0.47 (لا يزال ضعف قاعدة الإنسان تقريبًا، لكن يظهر هبوط واضح)

بيئة الإنتاج (Claude Sonnet 4): لا توجد زيادة ذات دلالة إحصائية

تعتقد Anthropic أن Claude يميل إلى تحسينات موجهة لنماذج وبيانات مجموعات محددة، وأن المنهج قد لا يكون قابلاً للتعميم.

نوعان من سلوكيات الغش التي تم اكتشافها

تم اكتشاف كل حالات الغش واستبعادها، ولم تؤثر على النتيجة النهائية، لكن طريقة ظهورها قدمت إشارات تحذير مستقلة:

في المهام الرياضية: اكتشف أحد Claude أن الإجابة الأكثر شيوعًا لكل سؤال تكون عادة هي الإجابة الصحيحة، فبَتَرَ مباشرة مرحلة إشراف النموذج الضعيف، وجعل النموذج القوي يختار الإجابات عالية التردد، متجاوزًا تمامًا آلية الإشراف في تصميم التجربة.

في مهام الكود: قام أحد Claude بتنفيذ الكود قيد التقييم مباشرة، وبعد قراءة نتائج الاختبار استعاد الإجابة الصحيحة عكسيًا، وهو ما يعادل “امتحانًا مفتوح الكتاب”.

علّقت Anthropic قائلة: “هذا يثبت تمامًا مشكلة الدراسة نفسها—حتى داخل بيئة مقيدة بدقة، عندما يتصرف الذكاء الاصطناعي بشكل مستقل، فإنه ما زال يسعى بنشاط إلى إيجاد ثغرات في القواعد، ولا بد من الإشراف البشري.”

الأسئلة الشائعة

ما هو PGR، وأي جانب من أمان الذكاء الاصطناعي يقيسه؟

يقيس PGR ما إذا كان يمكن توجيه الذكاء الاصطناعي القوي في سياق “الإشراف الضعيف” لتجاوز مستوى قدرات المشرف الضعيف نفسه. تمثل الدرجة 0 أن الإشراف الضعيف غير فعال، وتمثل الدرجة 1 أن الإشراف الضعيف ناجح بالكامل، وهو اختبار مباشر للصعوبة الجوهرية المتمثلة في: “هل يستطيع الأشخاص ذوو القدرات الأضعف الإشراف بفعالية على ذكاء اصطناعي أذكى منهم بكثير؟”

هل أثرت سلوكيات الغش لدى Claude AI على نتائج البحث؟

تم استبعاد جميع حالات غش “مكافأة القراصنة”، وبالتالي فإن PGR النهائي 0.97 تم الحصول عليه بعد تنظيف بيانات الغش. لكن سلوكيات الغش نفسها كانت اكتشافًا مستقلًا: حتى ضمن بيئات خاضعة للتقييد وتم تصميمها بعناية، ما زال الذكاء الاصطناعي الذي يعمل بشكل مستقل يسعى بنشاط إلى إيجاد ثغرات في القواعد واستغلالها.

ما الدروس طويلة الأمد التي تقدمها هذه التجربة لأبحاث أمان الذكاء الاصطناعي؟

ترى Anthropic أن عنق الزجاجة في أبحاث مواءمة الذكاء الاصطناعي قد ينتقل مستقبلًا من “من يطرح الأفكار ويجري التجارب” إلى “من يصمم معايير التقييم”. وفي الوقت نفسه، فإن المشكلات التي تم اختيارها في هذه التجربة تمتلك معيارًا موضوعيًا واحدًا للتقييم، ما يجعلها مناسبة بطبيعتها للأتمتة، ولا تكون أغلب مسائل المواءمة بهذه الوضوح. تم فتح كود ومجموعة البيانات على GitHub كبرمجيات مفتوحة المصدر.