دراسة من "أبل" تكشف قيود نماذج اللغة الكبيرة في التفكير الرياضي والاستدلال المنطقي
الأربعاء - 16 أكتوبر 2024 - 11:03 م
النهار
نشر باحثو شركة "أبل" دراسة تفصل القيود الرئيسية في نماذج اللغة الكبيرة من مختبرات الذكاء الاصطناعي الكبرى مثل "أوبن إيه آي" .
تكشف الدراسة، التي عمل عليها علماء من شركة التكنولوجيا العملاقة ونُشرت هذا الشهر، عن معيار جديد يستخدم لتقييم مهارات التفكير الرياضي لدى طلاب ماجستير القانون. وقد سلط هذا المعيار الضوء على القيود في بعض أفضل نماذج ماجستير القانون في العالم، بما في ذلك نماذج OpenAI 4o وo1.
وجدت الورقة،على وجه التحديد، أن تغيير صياغة الأسئلة أو إضافة عبارات غير ذات صلة يمكن أن يغير النتائج بشكل كبير. في بعض الحالات، انخفضت الدقة بنسبة تصل إلى 65%. وكلما كانت الأسئلة أكثر تعقيداً، كلما اتسع نطاق النتائج المحققة، ما أدى إلى انخفاض الدقة.
وعلى هذا النحو، خلص فريق شركة "أبل"، المكوّن من إيمان ميرزاده، وكيفان عليزاده، وهومان شهروخي، وأونسيل توزيل، وسامي بينجيو، ومهرداد فرجتابار، إلى أن بحثهم لا يظهر "دليلاً على التفكير الرسمي" في النماذج التي اختبرت. يزعمون أن السلوك هو على الأرجح مطابقة نمطية معقدة من العمليات الرياضية.
ما هي "LLMs"؟
النماذج اللغوية الكبيرة "LLMs" هي ما يدعم الكثير من الأدوات التي تعمل بالذكاء الاصطناعي في الوقت الحاضر. إنها نوع من الذكاء الاصطناعي يستخدم التعلم الآلي لفهم وتوليد اللغة البشرية، ما يجعلها مفيدة لتحليل النصوص، وفهم مطالبات النص، وما إلى ذلك. يتم تدريب "LLMs" عادةً على كميات كبيرة من البيانات، مثل الكتب والمقالات، لمعرفة كيفية عمل اللغة.
ومع ذلك، يبدو أن هذا البحث يدعم النظرية القائلة بأن "LLMs" لا يمكنها التفكير حقاً بعد. وهذا يترك بعض الشكوك حول ما إذا كان يمكن الوثوق بها في مهام أكثر تعقيداً، في وقت تستخدم فيه العديد من الشركات الذكاء الاصطناعي لأدوار متزايدة الأهمية.
على سبيل المثال، حدد الرئيس التنفيذي لشركة "أوبن إيه آي" سام ألتمان خططاً للذكاء الاصطناعي لتغذية كل جانب من جوانب الحياة تقريباً، من الرعاية الصحية والتعليم إلى المساعدين المنزليين ومساعدي مكان العمل. وأثار قادة التكنولوجيا الآخرون بالفعل مخاوف مما إذا كان الذكاء الاصطناعي فائق الذكاء قريباً حقاً كما يدّعي ألتمان، بما في ذلك رئيس الذكاء الاصطناعي في "ميتا" يان ليكون، الذي وصف مثل هذه الآمال بأنها "هراء كامل".
