لماذا يخترع الذكاء الاصطناعي أحيانًا معلومات غير صحيحة؟
الجواب المختصر
لأن النموذج اللغوي مصنوع ليكتب الجواب الأرجح، ولأن طريقة تدريب النماذج واختبارها تكافئ التخمين الواثق أكثر مما تكافئ قول «لا أعرف». ويسمي أهل المجال هذه الإجابات المخترعة «هلوسة» hallucination. وهي ناتجة عن طريقة عمل النموذج نفسها، فتتعامل معها بطريقة تصميم العمل، لا بانتظار نموذج جديد خالٍ منها.
ما الهلوسة
تعرّف شركة OpenAI، صاحبة ChatGPT، الهلوسة بأنها عبارات تبدو معقولة لكنها خاطئة، يكتبها النموذج اللغوي. والكلمة المهمة هنا: تبدو معقولة. فالجواب المخترع يشبه الجواب الصحيح تمامًا: النبرة الواثقة نفسها، والجمل المرتبة نفسها، وأحيانًا مرجع لا وجود له.
لماذا تحدث
النموذج اللغوي يكتب التكملة الأرجح للنص الذي أمامه. فإن كان يعرف الجواب، كانت التكملة الأرجح هي الجواب الصحيح. وإن لم يكن يعرفه، تظل التكملة الأرجح جوابًا، ويبدو واثقًا بالقدر نفسه.
ويضيف شرح OpenAI المنشور في 2025 سببًا ثانيًا. النماذج تُدرَّب وتُقيَّم بطريقة تكافئ التخمين أكثر مما تكافئ الاعتراف بعدم اليقين. تخيّل امتحانًا تأخذ فيه الإجابة المتروكة صفرًا دائمًا، بينما يأخذ التخمين درجة أحيانًا. الطالب الذي يريد أعلى درجة يتعلم أن يخمّن. وكذلك النموذج.
أين تحدث أكثر
يكون الخطر أعلى في الحقائق المحددة التي رآها النموذج قليلًا، أو لم يرها أبدًا: تاريخ بعينه، أو اسم شخص، أو رقم، أو رقم بند في عقد. وبيانات شركتك من هذا النوع. فالنموذج لم يرَ عقودك ولا أسعارك، وأي جواب يعطيه عنها من ذاكرته هو تخمين. وتشرح صفحة ما النموذج اللغوي، ولماذا لا يعرف شركتي؟ السبب.
ما الذي يقلّلها
- اجعل الوكيل يبحث قبل أن يجيب. أعطه وثائقك أنت في لحظة الجواب، وقل له أن يجيب منها فقط. ووجد بحث عن هذه الطريقة، واسمها التوليد المعزز بالاسترجاع retrieval-augmented generation، أنها تعطي إجابات أكثر صحة من نموذج يعمل من ذاكرته وحدها. وتشرحها صفحة هل أدرّب الذكاء الاصطناعي على بيانات شركتي، أم أعطيه البيانات حين يجيب؟
- اطلب المصدر مع كل جواب. الجواب الذي يذكر الوثيقة التي جاء منها يمكن التحقق منه في دقيقة.
- اجعل جواب «لم أجده» مقبولًا. اكتب ذلك في تعليمات الوكيل، واعتبره سلوكًا صحيحًا حين يحدث.
- راجع ما يهم. كل ما يذهب إلى عميل، أو يغيّر سجلًا، يراجعه وكيل ثانٍ أو شخص قبل أن يُستخدم.