أصدر فريق من خبراء التكنولوجيا نداءً عالميًا يوم الاثنين بحثًا عن أصعب الأسئلة التي يمكن طرحها على أنظمة الذكاء الاصطناعي، والتي تتعامل بشكل متزايد مع اختبارات معيارية شائعة مثل لعب الأطفال.
ويهدف المشروع، الذي أطلق عليه اسم “آخر اختبار للبشرية”، إلى تحديد موعد وصول الذكاء الاصطناعي على مستوى الخبراء. ويهدف المشروع إلى البقاء ذا صلة حتى مع تقدم القدرات في السنوات القادمة، وفقًا للمنظمين، وهي مؤسسة غير ربحية تسمى مركز سلامة الذكاء الاصطناعي (CAIS) وشركة Scale AI الناشئة.
وتأتي هذه الدعوة بعد أيام من عرض صانع ChatGPT لنموذج جديد، يُعرف باسم OpenAI o1، والذي “دمر معايير التفكير الأكثر شعبية”، وفقًا لما قاله دان هندريكس، المدير التنفيذي لـ CAIS ومستشار شركة xAI الناشئة التابعة لإيلون ماسك.
شارك هندريكس في تأليف ورقتين بحثيتين في عام 2021 اقترحتا اختبارات لأنظمة الذكاء الاصطناعي التي تُستخدم الآن على نطاق واسع، حيث اختبرها أحدهما على مستوى المعرفة الجامعية بموضوعات مثل تاريخ الولايات المتحدة، بينما اختبر الآخر قدرة النماذج على التفكير من خلال الرياضيات على مستوى المنافسة. يحتوي الاختبار الجامعي على عدد أكبر من التنزيلات من مركز الذكاء الاصطناعي عبر الإنترنت Hugging Face مقارنة بأي مجموعة بيانات من هذا القبيل.
في وقت نشر هذه الأوراق البحثية، كانت الذكاء الاصطناعي تقدم إجابات عشوائية تقريبًا على أسئلة الامتحانات. وقال هندريكس لرويترز: “لقد سحقوا الآن”.
على سبيل المثال، انتقلت نماذج كلود من مختبر الذكاء الاصطناعي أنثروبيك من تسجيل حوالي 77% في اختبار المستوى الجامعي في عام 2023، إلى ما يقرب من 89% بعد عام، وفقًا لجدول المتصدرين البارزين للقدرات.
ونتيجة لهذا فإن هذه المعايير المشتركة أصبحت أقل أهمية.
وبحسب تقرير مؤشر الذكاء الاصطناعي لجامعة ستانفورد الصادر في أبريل/نيسان، يبدو أن الذكاء الاصطناعي يسجل نتائج ضعيفة في الاختبارات الأقل استخدامًا والتي تتضمن صياغة الخطط وألغاز التعرف على الأنماط البصرية. على سبيل المثال، قال منظمو اختبار ARC-AGI يوم الجمعة إن OpenAI o1 سجل حوالي 21 في المائة في نسخة واحدة من اختبار التعرف على الأنماط ARC-AGI.
يزعم بعض الباحثين في مجال الذكاء الاصطناعي أن نتائج مثل هذه تظهر أن التخطيط والتفكير المجرد هما مقياسان أفضل للذكاء، على الرغم من أن هندريكس قال إن الجانب البصري لـ ARC يجعله أقل ملاءمة لتقييم نماذج اللغة. وقال إن “الامتحان الأخير للبشرية” سيتطلب التفكير المجرد.
وقال مراقبو الصناعة إن الإجابات من معايير مشتركة ربما انتهت أيضًا إلى بيانات تستخدم لتدريب أنظمة الذكاء الاصطناعي. وقال هندريكس إن بعض الأسئلة في “الامتحان الأخير للبشرية” ستظل خاصة للتأكد من أن إجابات أنظمة الذكاء الاصطناعي ليست من الحفظ.
سيتضمن الاختبار ما لا يقل عن 1000 سؤال تم جمعها من الجمهور، ومن المقرر أن يتم تسليمها في الأول من نوفمبر/تشرين الثاني، والتي يصعب على غير الخبراء الإجابة عليها. وستخضع هذه الأسئلة لمراجعة الأقران، مع تقديم المشاركات الفائزة بالمشاركة في التأليف وجوائز تصل إلى 5000 دولار برعاية Scale AI.
قال ألكسندر وانج، الرئيس التنفيذي لشركة سكيل: “نحن بحاجة ماسة إلى اختبارات أكثر صرامة للنماذج على مستوى الخبراء لقياس التقدم السريع للذكاء الاصطناعي”.
هناك قيد واحد: لا يريد المنظمون طرح أي أسئلة حول الأسلحة، والتي يقول البعض إنها ستكون خطيرة للغاية بحيث لا يمكن للذكاء الاصطناعي دراستها.
