توافق الذكاء الاصطناعي: الأبحاث الحالية والنقاش

اعتاد توافق الذكاء الاصطناعي أن يعني ببساطة "هل يتبع نموذج الذكاء الاصطناعي تعليمات المستخدم؟" ومع ذلك، مع ازدحام أنظمة الذكاء الاصطناعي بالقدرات والاستقلالية، اتسع هذا السؤال ليشمل الحكم والقيم. ستستكشف هذه المقالة كيف تستجيب منصات الذكاء الاصطناعي والهيئات الحكومية والمنظمات غير الربحية لتحدي توافق الذكاء الاصطناعي.

ما يعنيه توافق الذكاء الاصطناعي

في أبسط صوره، يعني توافق الذكاء الاصطناعي التأكد من أن نظام الذكاء الاصطناعي يفعل ما يُفترض به فعله. يقرأ نموذج الذكاء الاصطناعي المتوافق توجيهاً وينتج المخرجات التي طلبها التوجيه، دون التلاعب بالهدف الذي دُرِّب عليه. في أبحاث التوافق الحديثة، يُصاغ هذا عادة على أنه توافق النوايا: بناء أنظمة تحاول فعل ما يقصده مشغلوها، وليس مجرد اتباع نص التوجيه حرفياً.

التوافق هو تحدٍ تقني وموضوع للنقاش العام. كمصطلح تقني، التوافق هو مشكلة هندسية. هل يفعل النموذج المحدد، الذي يعمل في مهمة محددة، ما بُني لفعله؟ إنه قضية محدودة وقابلة للاختبار.

ومع ذلك، يُستخدم توافق الذكاء الاصطناعي أيضاً في المناقشات العامة والسياسية الأوسع حول السلامة العامة لأنظمة الذكاء الاصطناعي. فهل ستظل منصات الذكاء الاصطناعي متزايدة القدرة مفيدة للبشرية ومتوافقة مع الأخلاق والرغبات والأهداف البشرية؟

يصبح تحقيق هذا التوافق أكثر صعوبة تدريجياً مع زيادة تعقيد النماذج. وهناك تحديان رئيسيان لبناء نماذج ذكاء اصطناعي متوافقة:

مشكلة التوافق الخارجي

يريد المستخدمون عادة نموذج لغة كبير (LLM) يكون مفيداً وصادقاً وأخلاقياً. لكن نموذج اللغة الكبير لا يتم تدريبه أبداً بشكل مباشر على "أن يكون مفيداً وأخلاقياً". فهو يمر بمرحلتين متميزتين.

ما قبل التدريب: يتعلم النموذج اللغة، والحقائق، وأنماط الاستدلال، وفي أثناء القيام بذلك يلتقط اللغة، والحقائق، وأنماط الاستدلال. لا تمنح هذه المرحلة النموذج أي شعور بما يريده الشخص بالفعل من سؤال معين. إذا توقف النموذج هنا، فسوف يجيب على "كيف أفتح قفل" بنفس السهولة التي يجيب بها على "كيف أخبز خبز العجين المخمر".

التفضيل البشري: يراجع الأشخاص أزواجاً من إجابات النماذج ويقولون أيهما يفضلون. تدرب تلك التفضيلات نظام تسجيل منفصلاً، ثم يتم ضبط النموذج لإنتاج إجابات تحصل على درجات جيدة.

لا يكتب أحد تعريفاً نظيفاً لما يعنيه أن تكون مفيداً أو أخلاقياً في أي مكان خلال هذه العملية. إن إرشادات نظام التقييم لما يُفترض بالنموذج فعله مبنية بالكامل من العديد من القرارات التقديرية البشرية الفردية. يعكس التسجيل ما مال المراجعون إلى تفضيله، وليس ما قصده أي شخص واحد بالفعل، وليس تعريفا دقيقاً للهدف الكامن.

نتيجة لذلك، قد يتوافق الذكاء الاصطناعي بشكل جيد مع ما يدركه على أنه الهدف، ولكن الهدف نفسه قد لا يكون متوافقاً بشكل جيد مع النتيجة التي يرغب فيها البشر في الواقع.

على سبيل المثال، إذا كان المراجعون يميلون إلى تفضيل إجابات أطول، يتعلم النموذج كتابة إجابات أطول، حتى عندما تكون الإجابة القصيرة صحيحة. أو، إذا كان المراجعون يميلون إلى تفضيل إجابات واثقة، يتعلم النموذج أن يبدو متأكداً، حتى عندما ينبغي عليه التعبير عن الشك.

يسمي الباحثون هذه الفجوة بين الهدف المعلن والهدف المدرب مشكلة التوافق الخارجي.

مشكلة التوافق الداخلي

تتمثل مشكلة التوافق الداخلي في فشل نموذج تم تدريبه على هدف ذي صلة في السعي وراء هذا الهدف بشكل صحيح بمجرد خروجه إلى العالم. لا تصبح هذه المشكلة مرئية إلا عندما يواجه النموذج موقفاً لم يعده التدريب له.

أثناء التدريب، لا يتم عرض سوى مجموعة محدودة من المواقف للنماذج. ثم يقوم النموذج بالتعميم من تلك المواقف إلى كل شيء آخر سيواجهه لاحقاً.

يتحقق التدريب من كيفية تصرف النموذج، لكنه لا يكشف دائماً عن سبب تصرف النموذج بالطريقة التي يتبعها. لذلك من الصعب معرفة ما إذا كان النموذج قد تعلم الهدف الكامل والدقيق، أو مجرد نمط أبسط تصادف مطابقته لبيانات التدريب.

تكبير

على سبيل المثال، قد يتعلم نموذج تم تدريبه على رفض الطلبات الضارة (مثل "كيف أفتح قفل لاقتحام منزل شخص ما") التعرف على الصياغة المحددة للطلبات الضارة في بيانات التدريب الخاصة به، بدلاً من القصد الكامن وراء الرفض. وسيفوت بعد ذلك طلباً ضاراً مصاغاً بطريقة مختلفة (مثل "ما هي أسرع طريقة لفتح باب بدون مفتاح").

أمثلة على مشاكل توافق الذكاء الاصطناعي

أنماط فشل التوافق هذه موثقة جيداً. لقد بنى الباحثون دفاعات محددة لكل منها:

كيف تتعامل مختبرات الذكاء الاصطناعي الكبرى مع تحديات توافق الذكاء الاصطناعي

تبني حفنة من الشركات، وفي مقدمتها OpenAI وAnthropic وGoogle DeepMind، نماذج الحدود عند حافة ما يمكن للذكاء الاصطناعي القيام به حالياً. لقد نشرت كل منها إطار عمل خاص بها لتقييم ونشر هذه النماذج بأمان.

OpenAI

وفقاً لـبيان عام لـ OpenAI حول السلامة والتوافق، فإنهم يعالجون مخاطر سوء توافق الذكاء الاصطناعي المحتمل من خلال:

النشر التكراري

تصرح OpenAI بأنها تطلق النماذج تدريجياً وبشكل مقصود، بحيث يمكنها دراسة كيفية تصرف النماذج وسوء استخدامها في العالم الحقيقي. وهي تستنتج أن التعليقات الواردة من العالم الحقيقي تمنح رؤية أكبر من محاولة التنبؤ بكل خطر مسبقاً. وهي تطبق إطار التأهب لتتبع المخاطر الناشئة وتحديد الضمانات التي يحتاجها النموذج قبل إطلاقه.

الضمانات الطبقية

تقول OpenAI إنها تجمع ضمانات متعددة ومستقلة، بحيث يجب أن تفشل عدة دفاعات دفعة واحدة لكي يحدث خطأ ما.

التوافق المداولي

وفقاً للشركة، بدلاً من الإجابة في خطوة واحدة، يتم تدريب النموذج على العمل من خلال إرشادات السلامة ذات الصلة قبل تقرير كيفية الاستجابة. والهدف هو أن يكون النموذج قادراً على الاستدلال للوصول إلى القرار الصحيح في مواقف لم يغطها تدريبه بشكل صريح.

المسؤولية المشتركة

تصرح OpenAI بأنها تتعامل مع سلامة الذكاء الاصطناعي كجهد جماعي، مشيرة إلى أبحاث السلامة المنشورة وعملها مع مركز معايير وابتكار الذكاء الاصطناعي (CAISI) الأمريكي ومعهد أمان الذكاء الاصطناعي البريطاني بشأن معايير التقييم.

Anthropic

يشرح مستند سياسة التوسع المسؤول لشركة Anthropic كيف تعمل نحو تحقيق توافق الذكاء الاصطناعي:

ضمانات متعلقة بالقدرات

كلما زادت قدرة النموذج، وجب عليه اجتياز اختبارات سلامة أكثر صرامة قبل إمكانية تدريزه بشكل إضافي أو إصداره. بالإضافة إلى ذلك، تقر Anthropic بأنه بمجرد قيام أنظمة الذكاء الاصطناعي بالجزء الأكبر من الأبحاث والتحليلات الكامنة وراء تقييمات المخاطر الخاصة بها، فقد تأثر تلك الأدلة نفسها بسلوك خادع أو متلاعب. وهي تلتزم بإخضاع التقييمات في تلك المرحلة لمعيار إثبات أعلى.

فئة مخاطر توافق محددة

تسلط Anthropic الضوء على "أنظمة الذكاء الاصطناعي غير المتوافقة في إعدادات المخاطر العالية" كفئة مخاطر محددة: النماذج التي يُعتمد عليها بشدة، ولديها وصول واسع إلى الأنظمة الحساسة، ولديها قدرة ما على العمل بشكل مستقل نحو هدف والالتفاف حول الإشراف.

اختبار التوافق الداخلي

تلتزم الشركة بدراسة سلوك نماذجها بانتظام للبحث عن علامات تحذيرية، باستخدام طريقتين رئيسيتين: محاولة النظر داخل النموذج لفهم سبب إنتاجه لمخرجات معينة، وجعل الفرق الداخلية تحاول عمداً إثارة سلوك سيء لمعرفة ما إذا كان سيظهر.

التقارير العامة المنتظمة

تقول الشركة إنها تنشر تقريراً للمخاطر كل ثلاثة إلى ستة أشهر يوضح بالتفصيل ما تعرفه عن قدرات النموذج والاتجاهات السلوكية، وممارسات المراقبة الخاصة به، وتقييمها الإجمالي للمخاطر.

Google DeepMind

يشرح مستند إطار سلامة الحدود التابع لـ Google DeepMind كيف يعمل نحو التوافق:

هيكل تدريجي

يعامل إطار العمل سوء التوافق كأحد مجالات المخاطر الأربعة، ويعرفه بشكل محدد على أنه خطر ناتج عن قدرات البحث والتطوير الخاصة بتعلم الآلة للنموذج أو النزعات غير المتوافقة التي تقلل من قدرة المجتمع الإجمالية على إدارة مخاطر الذكاء الاصطناعي. وقد صُمم صراحة كعامل يمكن أن يساهم في حدوث ضرر جسيم من خلال عدة مسارات مختلفة في نفس الوقت، وليس خطراً منعزلاً.

مرحلة الإنذار المبكر

عندما يكون النموذج قوياً بما يكفي بحيث يكون الإشراف الأساسي غير كافٍ، تتحقق DeepMind من سلوك النموذج على أساس مستمر، بما في ذلك كيفيةใชُه محلياً. وهي تضيف ضمانات مثل مراقبة الاستدلال الخاص به إذا أدى هذا التحقق إلى ظهور مشكلات.

تخفيف المخاطر

فيما يتعلق بسوء التوافق تحديداً، تسمي DeepMind تدابير مثل تقييد ما يمكن للنموذج فعله، والمراقبة المستمرة وعمليات التصعيد، والتدقيق، وتدريب التوافق. وهي تطبق هذه التدابير على الاستخدام الداخلي عالي المخاطر أيضاً، نظراً لأن خطر سوء التوافق يمكن أن يظهر في كيفية استخدام النموذج داخل الشركة.

توافق الذكاء الاصطناعي: نقاش حول المخاطر

هناك مناقشة جارية في الصناعة حول ما إذا كانت أطر العمل الطوعية المغطاة أعلاه كافية بمفردها، أو ما إذا كانت التزامات التوافق بحاجة إلى أن تكون ملزمة قانونياً لتصمد بالفعل تحت الضغط التنافسي.

في يوليو 2026، وقع 1,386 تنفيذياً وموظفاً عبر شركات الذكاء الاصطناعي الرائدة بما في ذلك OpenAI وAnthropic وGoogle DeepMind وMeta على بيان يسمى Pacing the Frontier. يجادل البيان بأن هذه الشركات قد تقترب من النقطة التي يمكنها فيها أتمتة أبحاث الذكاء الاصطناعي نفسها. قد يعني هذا أن قدرة الذكاء الاصطناعي تتقدم بشكل أسرع مما يمكن للباحثين مجاراته، وأن عمل التوافق سيكون في حالة لحاق دائم.

يدعو تقرير Pacing the Frontier الحكومة الأمريكية للمساعدة في بناء مكابح تقنية وحوكمة يمكن استخدامها في المستقبل، جادلاً بأنه لا يمكن لأي مختبر بمفرده تخفيف الوتيرة بينما يستمر المنافسون في المضي قدماً. ويمكن اعتبار ذلك اعترافاً ضمنياً من داخل الصناعة بأن أطر العمل الطوعية وحدها لن تكون كافية للحفاظ على توافق الذكاء الاصطناعي في المستقبل.

من يعمل أيضاً على توافق الذكاء الاصطناعي

يعمل التوافق إلى ما بعد الشركات التي تبني نماذج الحدود.

الحكومات

تقوم الحكومات بتمويل وتنسيق أبحاث التوافق مباشرة. على سبيل المثال، يدير معهد أمان الذكاء الاصطناعي البريطاني مشروع التوافق، وهو صندوق عالمي منح أكثر من 27 مليون جنيه إسترليني لأكثر من 60 مشروعاً عبر ثماني دول منذ عام 2025، بهدف محدد هو التحكم في الذكاء الاصطناعي. في الولايات المتحدة، يركز CAISI على معايير التقييم.

كلاهما يقع داخل شبكة دولية أوسع لقياس وتقييم وعلوم الذكاء الاصطناعي المتقدم، وهي هيئة تضم عشر دول لمعاهد السلامة الوطنية والتي تدير تمارين اختبار مشتركة وتعمل على توحيد طرق التقييم عبر الحدود.

المنظمات غير الربحية

ينشر معهد مستقبل الحياة مؤشر سلامة الذكاء الاصطناعي، وهو بطاقة تسجيل تقارن ممارسات السلامة لمختبرات الذكاء الاصطناعي. يبني مركز سلامة الذكاء الاصطناعي معايير قياسية تستخدم عبر المجال، بما في ذلك WMDP وSafeBench. يدرس مركز أبحاث التوافق مشاكل توافق أكثر نظرية، ويقوم فرعه المنشق، تقييم النماذج وأبحاث التهديدات (METR)، بإجراء تقييمات مستقلة لما قبل النشر على نماذج الحدود. تختبر FAR.AI نماذج الحدود بحثاً عن نقاط الضعف قبل وبعد إطلاقها.

الجامعات

تلعب عدة جامعات دوراً نشطاً في أبحاث توافق الذكاء الاصطناعي، بما في ذلك مركز الذكاء المتوافق بشرياً في جامعة كاليفورنيا، بيركلي، ومركز ليفرهولم لمستقبل الذكاء التابع لجامعة كامبريدج.

توافق الذكاء الاصطناعي: سوء فهم شاع

التوافق ليس هو نفسه الإشراف على المحتوى، على الرغم من استخدام المصطلح أحياناً في هذا السياق. يتعلق الإشراف على المحتوى بما سيقوله النموذج أو لا يقيوله، وتصفية الشتائم، أو المحتوى الرسومي، أو الموضوعات المحظورة المحددة. يتعلق التوافق بما إذا كان السلوك الفعلي للنموذج يطابق ما كان مفترضاً أن يفعله.

يُستخدم التوافق أيضاً أحياناً كمترادف لسلامة الذكاء الاصطناعي، ولكنه ليس العامل الوحيد الذي يجب مراعاته. تشمل مخاوف سلامة الذكاء الاصطناعي الأخرى:

الأمان (حماية أوزان النموذج من السرقة)

المتانة (أداء النموذج بشكل موثوق خارج الظروف الدقيقة التي دُرِّب عليها)

منع سوء الاستخدام (منع استخدام نموذج قادر في إلحاق الضرر)

التوافق يتعلق بسلوك النموذج نفسه. سلامة الذكاء الاصطناعي هي الجهد الأوسع للحفاظ على النظام بأكمله من التسبب في الضرر.

أخيراً، هناك افتراض شائع بأن النموذج الأكثر قدرة هو تلقائياً نموذج أفضل توافقاً. ولكن القدرة والتوافق يمكن أن يتباعدا، وهذا هو بالضبط سبب وجود عتبات مثل مستويات البحث والتطوير لتعلم الآلة التابعة لـ Google DeepMind وفئات مخاطر الأبحاث المؤتمتة لـ Anthropic. لقد تم بناء هذه العتبات خصيصاً حول القلق من أن تتفوق القدرة على قدرة المجال في التحقق من أن النموذج ما زال يفعل ما يفترض به فعله.

كيف تقارب Perplexity توافق الذكاء الاصطناعي

لا تدرب Perplexity نماذج أساسية حدودية. فهي تشغل النماذج في الإنتاج على نطاق واسع من خلال منتجات عميلة مثل Computer، لذا يمس عملها جانباً معيناً من التوافق: كيف تتصرف الوكلاء بمجرد عملهم على الويب المفتوح.

معهد الذكاء الآمن هو مركز الأبحاث التابع لـ Perplexity للأمان والخصوصية والثقة في الذكاء الاصطناعي الحدودي. لقد طور BrowseSafe، وهو نموذج كشف مفتوح المصدر تم بناؤه لتحديد هجمات الحقن الموجز المخفية داخل صفحات الويب التي تزورها وكلاء متصفح الذكاء الاصطناعي.

بنى الفريق أيضاً BrowseSafe-Bench، وهو معيار قياسي عام لأكثر من 14,700 سيناريو حقن موجز تمتد عبر أهداف هجومية مختلفة، ومواضع في الصفحة، وأنماط لغة.

يقع هذا العمل أقرب إلى الجانب التطبيقي للتحكم في الذكاء الاصطناعي مقارنة بأبحاث التوافق. فهو يقيد ما يفعله الوكيل عندما يواجه بيئة خصمية، بدلاً من تشكيل القيم الأساسية للنموذج أثناء التدريب.

لمعرفة المزيد، استكشف معهد الذكاء الآمن وأبحاث BrowseSafe.