ما نافذة السياق، ولماذا ينسى وكيلي؟
الجواب المختصر
نافذة السياق هي كل ما يستطيع النموذج أن يراه وهو يعمل على طلبك: تعليماته، والوثائق التي أُعطيت له، والمحادثة حتى الآن، وجوابه هو. إنها ذاكرة العمل عند النموذج. ولها حجم ثابت، وكلما امتلأت قلّ انتباه النموذج إلى ما فيها. وما يقع خارجها لا يعرفه النموذج.
ذاكرة العمل عند النموذج
تصف وثائق Anthropic نافذة السياق context window بأنها كل النص الذي يستطيع النموذج اللغوي أن يرجع إليه وهو يكتب جوابه، بما في ذلك الجواب نفسه. وهي غير الكمية الضخمة من النصوص التي تدرّب عليها النموذج. إنها ذاكرة العمل عند النموذج لهذه المهمة وحدها.
وكل ما يعرفه الوكيل عن طلبك يجب أن يكون داخل هذه النافذة: تعليماتك، والرسالة التي يرد عليها، والعقد الذي يقرؤه، وما قيل في المحادثة من قبل.
لها حجم ثابت
تُقاس النافذة بوحدات تسمى tokens. والوحدة قطعة صغيرة من النص، كثيرًا ما تكون جزءًا من كلمة. ولكل نموذج حد أقصى من هذه الوحدات يستطيع أن يحمله في وقت واحد.
وفي محادثة طويلة، أو مهمة طويلة، تمتلئ النافذة في النهاية. وكثير من برامج المحادثة تحذف عندها الأجزاء الأقدم من المحادثة، أو تستبدلها بملخص أقصر. وفي الحالتين، قد تختفي تفاصيل اتُّفق عليها في البداية. وهذا سبب شائع حين «ينسى» الوكيل ما اتفقتما عليه. ويشرح سؤال ماذا يحدث حين ينسى وكيل الذكاء الاصطناعي ما اتفقنا عليه؟ ما تفعله حيال ذلك.
الأكثر ليس الأفضل
من المغري أن تضع كل شيء في النافذة، احتياطًا. لكن هذا يجعل العمل أسوأ، لا أفضل.
تقول وثائق Anthropic إنه كلما زاد عدد الوحدات، تراجعت الدقة وتراجعت قدرة النموذج على استحضار ما في النافذة، وتسمي هذه المشكلة «تآكل السياق» context rot. ووجدت دراسة في 2023 النمط نفسه من زاوية أخرى: استفادت النماذج جيدًا من المعلومات الموجودة في بداية النص الطويل أو نهايته، وكان أداؤها أسوأ بكثير حين كانت المعلومة المطلوبة في وسطه.
ماذا يعني هذا لك
- أعطِ الوكيل ما تحتاجه هذه المهمة، لا كل ما عندك. اختيار ما يدخل النافذة مهم بقدر حجم النافذة.
- احفظ الاتفاقات خارج المحادثة. القرارات التي يجب أن تبقى مكانها ملاحظة أو ملف مكتوب، يقرؤه الوكيل من جديد في بداية كل مهمة. وتصف Anthropic هذه الطريقة، أن يحتفظ الوكيل بملاحظات مرتبة خارج نافذة السياق، بأنها وسيلة تحفظ العمل الطويل على مساره.
- ابدأ العمل الطويل في جلسات جديدة. حين تمتد المهمة أيامًا، أنهِ كل جلسة بملخص مكتوب قصير، وابدأ الجلسة التالية منه.