قد يساعد تدريس عدد أقل من الكلمات لنماذج اللغة الكبيرة في جعلها تبدو أكثر إنسانية
مات روتا / نيويورك تايمز
عندما يتعلق الأمر بمحادثات الذكاء الاصطناعي ، فعادةً ما يكون الأكبر هو الأفضل.
تتحسن نماذج اللغات الكبيرة مثل ChatGPT و Bard ، التي تنشئ نصًا تحاوريًا أصليًا ، حيث يتم تغذيتها بمزيد من البيانات. كل يوم ، ينتقل المدونون إلى الإنترنت لشرح كيف أن أحدث التطورات – التطبيق الذي يلخص المقالات ، والبودكاست الذي تم إنشاؤه بواسطة الذكاء الاصطناعي ، والنموذج الدقيق الذي يمكنه الإجابة على أي سؤال يتعلق بكرة السلة الاحترافية – سوف “يغير كل شيء”.
لكن جعل الذكاء الاصطناعي أكبر وأكثر قدرة يتطلب قوة معالجة تمتلكها القليل من الشركات ، وهناك قلق متزايد من أن مجموعة صغيرة ، بما في ذلك Google و Meta و OpenAI و Microsoft ، ستمارس سيطرة شبه كاملة على التكنولوجيا.
أيضًا ، يصعب فهم النماذج اللغوية الأكبر. غالبًا ما توصف بأنها “الصناديق السوداء” ، حتى من قبل الأشخاص الذين صمموها ، وقد أعربت الشخصيات البارزة في هذا المجال عن عدم ارتياحها لأن أهداف الذكاء الاصطناعي قد لا تتوافق في النهاية مع أهدافنا. إذا كان الحجم الأكبر هو الأفضل ، فهو أيضًا أكثر غموضًا وأكثر حصرية.
في يناير ، أصدرت مجموعة من الأكاديميين الشباب العاملين في معالجة اللغة الطبيعية – فرع الذكاء الاصطناعي الذي يركز على الفهم اللغوي – تحديًا لمحاولة قلب هذا النموذج رأساً على عقب.
دعت المجموعة الفرق إلى إنشاء نماذج لغة وظيفية باستخدام مجموعات بيانات أقل من واحد على عشرة آلاف من حجم تلك المستخدمة بواسطة نماذج اللغات الكبيرة الأكثر تقدمًا. سيكون النموذج المصغر الناجح قادرًا تقريبًا مثل النماذج المتطورة ولكنه أصغر بكثير ، ويمكن الوصول إليه أكثر وأكثر توافقًا مع البشر. يسمى المشروع تحدي BabyLM.
قال آرون مولر ، عالم الكمبيوتر في جامعة جونز هوبكنز ومنظم BabyLM: “نحن نتحدى الناس للتفكير بشكل صغير والتركيز أكثر على بناء أنظمة فعالة بهذه الطريقة يمكن لعدد أكبر من الناس استخدامها”.
أضاف أليكس وارستادت ، عالم الكمبيوتر في ETH Zurich ومنظم آخر للمشروع ، “يطرح التحدي أسئلة حول تعلم اللغة البشرية – بدلاً من” ما هو حجم نماذجنا؟ ” – في قلب المحادثة “.
نماذج اللغة الكبيرة عبارة عن شبكات عصبية مصممة للتنبؤ بالكلمة التالية في جملة أو عبارة معينة. يتم تدريبهم على هذه المهمة باستخدام مجموعة من الكلمات التي تم جمعها من النصوص والمواقع الإلكترونية والروايات والصحف. يقوم النموذج النموذجي بعمل التخمينات بناءً على أمثلة العبارات ثم يعدل نفسه بناءً على مدى قربه من الإجابة الصحيحة.
من خلال تكرار هذه العملية مرارًا وتكرارًا ، يشكل النموذج خرائط لكيفية ارتباط الكلمات ببعضها البعض. بشكل عام ، كلما زاد عدد الكلمات التي يتم تدريب النموذج عليها ، كان ذلك أفضل ؛ توفر كل عبارة للنموذج سياقًا ، والمزيد من السياق يُترجم إلى انطباع أكثر تفصيلاً عما تعنيه كل كلمة. تم تدريب GPT-3 من OpenAI ، الذي تم إصداره في عام 2020 ، على 200 مليار كلمة ؛ تم تدريب شينشيلا من DeepMind ، الذي صدر في عام 2022 ، على 1 تريليون.
بالنسبة لإيثان ويلكوكس ، عالم لغوي في ETH Zurich ، فإن حقيقة أن شيئًا غير بشري يمكن أن يولد لغة تقدم فرصة مثيرة: هل يمكن استخدام نماذج لغة الذكاء الاصطناعي لدراسة كيفية تعلم البشر للغة؟
على سبيل المثال ، فإن الأصلانية ، وهي نظرية مؤثرة تعود إلى أعمال نعوم تشومسكي المبكرة ، تدعي أن البشر يتعلمون اللغة بسرعة وكفاءة لأن لديهم فهمًا فطريًا لكيفية عمل اللغة.
لكن النماذج اللغوية تتعلم اللغة بسرعة أيضًا ، وعلى ما يبدو بدون فهم فطري لكيفية عمل اللغة – لذلك ربما لا يصمد المذهب الأبوي.
التحدي هو أن النماذج اللغوية تتعلم بشكل مختلف تمامًا عن البشر. البشر لديهم أجساد وحياة اجتماعية وأحاسيس غنية. يمكننا أن نشم رائحة النشارة ، ونشعر بريش الريش ، ونصطدم بالأبواب ونتذوق النعناع. في وقت مبكر ، نتعرض لكلمات منطوقة بسيطة وبناء جملة لا يتم تمثيلها في الغالب في الكتابة.
لذا ، خلص ويلكوكس إلى أن الكمبيوتر الذي ينتج اللغة بعد أن يتم تدريبه على أعداد هائلة من الكلمات المكتوبة يمكنه أن يخبرنا فقط بالكثير عن عمليتنا اللغوية.
ولكن إذا تعرض نموذج لغوي فقط للكلمات التي يصادفها شاب بشري ، فقد يتفاعل مع اللغة بطرق يمكن أن تعالج أسئلة معينة لدينا حول قدراتنا. لذلك ، جنبًا إلى جنب مع ستة من زملائهم ، تصور ويلكوكس ومولر ووارشتات تحدي BabyLM ، لمحاولة دفع النماذج اللغوية بشكل أقرب قليلاً إلى الفهم البشري.
في كانون الثاني (يناير) ، أرسلوا دعوة للفرق لتدريب نماذج لغوية على نفس عدد الكلمات التي يواجهها إنسان يبلغ من العمر 13 عامًا – حوالي 100 مليون. سيتم اختبار نماذج المرشحين لمعرفة مدى نجاحهم في توليد الفروق الدقيقة في اللغة والتقاطها ، وسيتم الإعلان عن الفائز.
واجهت إيفا بورتلانس ، عالمة اللغة في جامعة ماكجيل ، التحدي في اليوم الذي تم الإعلان عنه. يمتد بحثها على الخط الباهت غالبًا بين علوم الكمبيوتر واللغويات.
كانت الغزوات الأولى للذكاء الاصطناعي ، في الخمسينيات ، مدفوعة بالرغبة في نمذجة القدرات المعرفية البشرية في أجهزة الكمبيوتر. الوحدة الأساسية لمعالجة المعلومات في الذكاء الاصطناعي هي “الخلايا العصبية” ، ونماذج اللغة المبكرة في الثمانينيات والتسعينيات كانت مستوحاة مباشرة من الدماغ البشري.
ولكن مع ازدياد قوة المعالجات ، وبدأت الشركات في العمل نحو منتجات قابلة للتسويق ، أدرك علماء الكمبيوتر أنه غالبًا ما كان من الأسهل تدريب النماذج اللغوية على كميات هائلة من البيانات بدلاً من إجبارهم على تكوين هياكل مستنيرة نفسياً.
ونتيجة لذلك ، قال بورتلانس ، “إنهم يعطوننا نصًا يشبه البشر ، لكن لا يوجد اتصال بيننا وبين كيفية عملهم.”
للعلماء المهتمين بفهم كيفية عمل العقل البشري ، تقدم هذه النماذج الكبيرة رؤية محدودة. ولأنها تتطلب قوة معالجة هائلة ، يمكن لعدد قليل من الباحثين الوصول إليها.
قال ويلكوكس: “لا يستطيع سوى عدد قليل من مختبرات الصناعة ذات الموارد الضخمة تدريب النماذج التي تحتوي على مليارات من المعلمات على تريليونات الكلمات”.
وأضاف مولر “أو حتى تحميلها”. “لقد جعل هذا البحث في هذا المجال يبدو أقل ديمقراطية في الآونة الأخيرة.”
قال Portelance إن تحدي BabyLM يمكن اعتباره خطوة بعيدًا عن سباق التسلح لنماذج لغوية أكبر وخطوة نحو ذكاء اصطناعي أكثر سهولة ويسهل الوصول إليه.
لم تتجاهل مختبرات الصناعة الأكبر إمكانات مثل هذا البرنامج البحثي. قال سام التمان ، الرئيس التنفيذي لشركة OpenAI ، مؤخرًا إن زيادة حجم النماذج اللغوية لن يؤدي إلى نفس النوع من التحسينات التي شهدناها خلال السنوات القليلة الماضية.
تستثمر شركات مثل Google و Meta في البحث في نماذج لغوية أكثر كفاءة ، مستنيرة من الهياكل المعرفية البشرية. بعد كل شيء ، يمكن توسيع نطاق النموذج الذي يمكنه إنشاء لغة عند تدريبه على بيانات أقل.
مهما كانت الأرباح التي قد يجنيها BabyLM الناجح ، بالنسبة لأولئك الذين يقفون وراء التحدي ، فإن الأهداف أكثر أكاديمية وتجريدية. حتى الجائزة تفسد العملي.
قال ويلكوكس: “مجرد فخر”.
ظهر هذا المقال في الأصل في صحيفة نيويورك تايمز.
