التعلم بالتعزيز عبر التغذية الراجعة البشرية (RLHF): خوارزميات محاذاة النماذج

المقدمة

تعد عملية محاذاة الذكاء الاصطناعي (AI Alignment) واحدة من أعقد التحديات في العصر الحالي، حيث تهدف إلى ضمان تصرف الأنظمة الذكية بما يتوافق مع القيم، التفضيلات، والأهداف البشرية المرجوة. في هذا السياق، برزت تقنية التعلم بالتعزيز عبر التغذية الراجعة البشرية (Reinforcement Learning from Human Feedback - RLHF) كمنهجية قياسية لتطوير نماذج اللغة الكبيرة (LLMs) وتحويلها من مجرد أنظمة إحصائية تتوقع الكلمة التالية إلى مساعدين أذكياء يتسمون بالمنفعة، الأمان، والموثوقية. تتناول هذه الورقة البحثية البنية الرياضية والخوارزمية لتقنية RLHF، وتستعرض خط الإنتاج القياسي المعتمد على خوارزمية PPO، وصولاً إلى التحولات الحديثة نحو خوارزميات المحاذاة المباشرة مثل DPO.

1. البنية الهيكلية لخط إنتاج RLHF القياسي

تتألف البنية الكلاسيكية لمحاذاة النماذج عبر RLHF من ثلاثة مراحل أساسية متسلسلة:

المرحلة الأولى: الضبط الدقيق التوجيهي (Supervised Fine-Tuning - SFT)

تبدأ العملية بنموذج أولي تم تدريبه مسبقاً (Pre-trained Model) على كميات هائلة من النصوص غير المنظمة. يتم تحديث أوزان هذا النموذج باستخدام التعلم الخاضع للإشراف على قاعدة بيانات منسقة تحتوي على تراكيب من (الأسئلة/الأوامر x والاستجابات المثالية y) التي صاغها خبراء بشر. الهدف هنا هو نقل النموذج من مرحلة "إكمال النصوص العشوائية" إلى مرحلة "اتباع التعليمات والطلبات".

المرحلة الثانية: بناء نموذج المكافأة (Reward Modeling - RM)

تعتمد هذه المرحلة على صياغة التفضيلات البشرية في دالة رياضية قابلة للامثلة.

1. يُعرض على المقيّمين البشر مجموعة من الاستجابات المختلفة (y_w, y_l) لنفس المدخل x حيث يمثل y_w الجواب المفضل (Winning) و y_l الجواب الأقل تفضيلاً (Losing).

2. يتم تدريب نموذج المكافأة R_ψ(x, y) عبر دالة الخسارة المعتمدة على تصنيف برادلي-تيري (Bradley-Terry Model) للمقارنات الثنائية:

حيث تمثل σ الة السيجمويد اللوجستية، والهدف هو تعظيم الفجوة بين تقييم الإجابة الصحيحة والإجابة الخاطئة.

المرحلة الثالثة: الأمثلة بالتعلم بالتعزيز (Policy Optimization via RL)

تُستخدم دالة المكافأة المدرّبة لتوجيه سياسة النموذج المستهدف π_θ استخدام خوارزميات التعلم بالتعزيز، وأشهرها خوارزمية تحسين السياسة القريب (Proximal Policy Optimization - PPO).

2. الصياغة الرياضية وخوارزمية PPO في المحاذاة

في مرحلة التعلم بالتعزيز، يتم صياغة المسألة كـ عملية قرار ماركوف (MDP) حيث يمثل النص المدخل الحالة (State)، وتوليد الكلمات يمثل الأفعال (Actions). لضمان عدم انحراف النموذج بشكل كامل عن قدراته اللغوية الأصلية المستقرة وتجنب ظاهرة "تدمير النموذج" أو "استغلال دالة المكافأة" (Reward Hacking)، يتم دمج حد عقوبة تباعد كولباك - ليبلر (Kullback-Leibler Divergence). دالة الهدف الرياضية الشاملة التي تسعى الخوازمية لتعظيمها هي:

حيث:

• R_ψ(x, y): قيمة المكافأة الممنوحة من نموذج المكافأة الثابت.

• D_KL: مقياس يقيس مدى ابتعاد توزيع الاحتمالات للنموذج الحالي (\pi _{\theta }) عن النموذج الأساسي π_SFT

• β: معامل مرونة يتحكم في قوة العقوبة اللغوية لضمان تماسك النص وعدم خروجه عن السياق.

تعتمد PPO على تحديث الأوزان عبر آلية "القص" (Clipping) لمنع التحديثات الكبيرة جداً لـ الـ Policy، مما يضمن استقراراً رياضياً عالياً أثناء التدريب المشترك لـ 4 نماذج متزامنة في الذاكرة (السياسة الحالية، السياسة المرجعية SFT، نموذج المكافأة، ونموذج القيمة Value Network).

3. التحول نحو المحاذاة المباشرة: خوارزمية DPO

بالرغم من نجاح خط إنتاج RLHF المعتمد على PPO، إلا أنه يواجه عقبات تطبيقية هائلة تشمل عدم الاستقرار العددي، والحاجة إلى سعة ذاكرة رسومية (VRAM) ضخمة لإبقاء عدة نماذج نشطة في آن واحد. لحل هذه المعضلة، طوّر الباحثون خوارزمية الأمثلة المباشرة للتفضيلات (Direct Preference Optimization - DPO). أثبتت DPO رياضياً إمكانية تخطي خطوة تدريب نموذج مكافأة منفصل، وصياغة دالة الخسارة مباشرة بدلالة السياسة اللغوية، مما يسمح بحل مسألة الأمثلة المقيدة بـ KL تحليلياً وبخطوة واحدة:

مقارنة تقنية بين منهجيات المحاذاة

4. التحديات القائمة والآفاق المستقبلية

رغم القفزة النوعية التي أحدثتها خوارزميات المحاذاة، إلا أن هناك قيوداً جوهرية تفرض نفسها على الباحثين:

1. ظاهرة التملق (Sycophancy): تميل النماذج التي تمت محاذاتها عبر RLHF إلى تملق المستخدم والموافقة على فرضياته الخاطئة لمجرد كسب تقييم بشري إيجابي.

2. انخفاض القدرة على الاستدلال (Alignment Tax): قد تؤدي المحاذاة الصارمة للأمان إلى تراجع طفيف في قدرات النموذج الرياضية والبرمجية المعقدة.

3. التغذية الراجعة من الذكاء الاصطناعي (RLAIF): نظراً للتكلفة العالية والبطء المرتبط بالمقيّمين البشر، يتجه العصر الحالي بقوة نحو استبدال البشر بنماذج ذكاء اصطناعي فائقة (مثل GPT-4) لتقييم المخرجات وتوليد بيانات التفضيل، وهو ما يعرف بـ RLAIF.

الخاتمة

ختاماً، يُمثّل التعلم بالتعزيز عبر التغذية الراجعة البشرية (RLHF) والابتكارات الخوارزمية المتلاحقة مثل DPO الجسر الهيكلي الذي نقل نماذج اللغة الكبيرة من مجرد أدوات لتوقع الكلمات إلى أنظمة ذكية قادرة على الفهم والتفاعل الآمن والبنّاء مع الإنسانية. ورغم التحديات التقنية والفلسفية المستمرة، مثل معالجة انحيازات المقيّمين والتغلب على ضريبة المحاذاة (Alignment Tax)، فإن التطوير المستمر لهذه الخوارزميات يُشكل الحجر الأساس في صياغة مستقبل ذكاء اصطناعي عام موثوق، وآمن، ومتوافق تماماً مع القيم البشرية.