OpenAI توقف اختبار نموذج الذكاء الاصطناعي Astra بعد مخاوف حرجة متعلقة بالأمن السيبراني

علّقت منظمة الذكاء الاصطناعي OpenAI اختبار نموذج جديد يُدعى Astra في أعقاب تقييمات داخلية لم تتمكن من استبعاد ما إذا كان النظام يشكل مخاطر شديدة على الأمن السيبراني، وفقاً لتغطية أعدها Taylor Herzlich. ويمثل هذا القرار وقفة مهمة في مسار النشر بالشركة حيث تعمل فرق السلامة على تحديد ما إذا كان النموذج يتجاوز حد السلامة المحدد مسبقاً والذي من شأنه تصنيفه كتهديد خطير للبنية التحتية الرقمية.

## إيقاف التطوير بسبب المخاطر الأمنية

وجاء قرار إيقاف الاختبارات مؤقتاً بعد أن أثارت تقييمات السلامة الداخلية مخاوف بشأن قدرات البرمجية، وفقاً لما أفاد به Taylor Herzlich. وفرضت الشركة التي تتخذ من San Francisco مقراً لها، ويرأسها الرئيس التنفيذي Sam Altman، التوقف المؤقت لنموذج Astra بعد أن خلص المقيمون إلى أنهم لا يستطيعون الاستبعاد بشكل قاطع أن النظام قد وصل إلى مستوى خطر "حرج" بموجب إرشادات إدارة المخاطر في المنظمة.

وبموجب أطر المخاطر الداخلية لـ OpenAI، يتم تقييم النماذج الخاضعة للتطوير بشكل روتيني عبر أبعاد متعددة، بما في ذلك الأمن السيبراني، والتهديدات البيولوجية، وقدرات الإقناع، والتكرار الذاتي المستقل. وعندما يقترب نموذج ما من عتبات معينة ضمن هذه الفئات أو يتجاوزها، تنص بروتوكولات السلامة على التعليق الفوري للنشر العام والاختبار حتى يتم تطوير ضمانات إضافية أو تنفيذ تدابير تخفيف المخاطر بشكل موثوق.

ويسلط التوقف المؤقت لـ Astra الضوء على التحديات المستمرة التي تواجه كبار مطوري الذكاء الاصطناعي مع إظهار النماذج المتقدمة قدرات متزايدة التعقيد في الاستدلال وحل المشكلات الفنية. وفي حين تقدم هذه التطورات فوائد كبيرة لتطوير البرمجيات والأتمتة، فإنها تفرض أيضاً تحديات أمنية غير مسبوقة إذا أمكن إعادة توظيف التكنولوجيا الأساسية لتنفيذ برمجيات خبيثة أو استغلال البنية التحتية.

## تعريف الخطر الحرج

في إطار إدارة المخاطر الخاص بـ OpenAI، يمثل التوصيف "حرج" أعلى مستوى من القلق بشأن الضرر المحتمل. ووفقاً لتغطية Taylor Herzlich، فإن الوصول إلى هذه العتبة يعني أن نموذج Astra يمتلك قدرات قد تسمح له باستغلال أنظمة الكمبيوتر في العالم الحقيقي أو تنفيذ هجمات سيبرانية دون الحاجة إلى توجيه أو تدخل بشري.

ولطالما صنف خبراء أمن الكمبيوتر وصناع السياسات العمليات السيبرانية المستقلة كواحدة من أكثر القدرات خطورة التي يمكن لنظام الذكاء الاصطناعي اكتسابها. وبخلاف النصوص البرمجية المؤتمتة التقليدية أو البرامج الخبيثة، يمكن لنموذج توليدي متقدم قادر على التنفيذ الفني المستقل التكيف ديناميكياً مع التدابير الدفاعية، وتحديد الثغرات غير المعروفة سابقاً - والتي يُشار إليها عادةً باسم ثغرات اليوم الصفر (zero-day exploits) - والتنقل عبر شبكات الكمبيوتر المعقدة بمفرده تماماً.

وتشير عدم القدرة على استبعاد مثل هذه القدرات أثناء الاختبار إلى أن Astra أظهر سلوكيات أو مقاييس أداء خلال الاختبارات المرجعية تشبه إلى حد كبير تقنيات الاستغلال المستقل. وفي حين لم تنشر الشركة علناً سجلات فنية محددة أو تفاصيل توضيحية، فإن سياسة إدارة المخاطر تتطلب اتخاذ تدابير استباقية حتى في الحالات التي يُشتبه فيها بوجود خطر شديد دون تأكيده بالكامل.

## القدرات المستقلة ومسارات التهديد

لقد ركز تطوير نماذج الذكاء الاصطناعي المتقدمة بشكل متزايد على القدرات الوكيلة (agentic capabilities)، حيث يتم تصميم الأنظمة البرمجية للتخطيط والاستدلال وتنفيذ مهام متعددة الخطوات عبر بيئات رقمية معقدة. وبينما تهدف النماذج الوكيلة إلى مساعدة المستخدمين في البحث والبرمجة وأتمتة سير العمل، فإن طبيعة التكنولوجيا مزدوجة الاستخدام تعني إمكانية الاستفادة من القدرات ذاتها لأغراض الأمن السيبراني الدفاعية أو الهجومية.

وعندما يكتسب نظام الذكاء الاصطناعي القدرة على التفاعل مباشرة مع أدوات البرمجيات الخارجية، ويكتب الرمز البرمجي وينفذه ديناميكياً، فإن مساحة الهجوم المحتملة تتوسع بشكل كبير. وفي السيناريوهات الدفاعية، يمكن لمثل هذه الأدوات مساعدة مسؤولي الشبكات في اكتشاف عيوب البرمجة وإصلاح الثغرات البرمجية قبل أن يستغلها الفاعلون الخبثاء. وعلى العكس من ذلك، إذا اكتسب نموذج الذكاء الاصطناعي قدرات هجومية مستقلة، فبإمكانه فحص الشبكات المتصلة للبحث عن ثغرات أمنية، وكتابة شفرات استغلال مخصصة، ونشر حمولات خبيثة عبر أنظمة المؤسسات دون رقابة.

ويسلط التوقف المؤقت لـ Astra الضوء على الصعوبة الفنية لإرساء حواجز حماية فعالة للنماذج ذات الكفاءة الفنية العالية. وتتطلب حماية الوكلاء البرمجيين المتقدمين ضمان عدم قدرة النموذج على تجاوز موجهات النظام، أو عصيان تعليمات محاذاة السلامة المدمجة، أو اكتشاف مسارات جديدة لتنفيذ أوامر غير مصرح بها على الشبكات المستضيفة.

## أطر الجاهزية والتقييم للذكاء الاصطناعي

أنشأت شركات الذكاء الاصطناعي الكبرى، بما في ذلك OpenAI، أطر عمل رسمية للسلامة والجاهزية مصممة لرصد وتقييم المخاطر الناشئة المرتبطة بالنماذج المتقدمة (frontier models). وتضع هذه الأطر خطوط حوكمة واضحة، حيث تحدد حدوداً وعتبات تشغيلية معينة تملي متى يمكن للنموذج الانتقال إلى مراحل إضافية من التدريب، أو عملية المحاكاة الهجومية الداخلية (red-teaming)، أو الاختبار التجريبي الخارجي، أو النشر التجاري.

ويتضمن تقييم النماذج لمخاطر الأمن السيبراني عادةً عمليات محاكاة هجومية واسعة النطاق (red-teaming)، وهي عملية يحاول فيها الباحثون الأمنيون الداخليون وشركاء الاختبار الخارجيون عمداً توجيه النموذج لأداء مهام ضارة. ويختبر المقيمون ما إذا كان النظام سيساعد في كتابة برمجيات خبيثة، أو الهندسة العكسية للأنظمة البرمجية الآمنة، أو التفاعل بشكل مستقل مع بيئات الشبكة المحاكاة للوصول غير المصرح به.

وإذا أظهر النموذج معدل نجاح عالياً في تنفيذ هجمات سيبرانية معقدة ومستقلة متعددة المراحل خلال تمارين المحاكاة الهجومية، فإن أطر المخاطر تلزم المطورين بإيقاف الاختبار وتطبيق تدابير سلامة هيكلية. ويمكن أن تشمل هذه التدابير تعديل مجموعة بيانات التدريب، أو إعادة تدريب طبقات المحاذاة، أو تطبيق آليات تصفية صارمة على مستوى النظام، أو إعادة تصميم البنية الحالية للحد من وصول البرمجية إلى بيئات التنفيذ.

## التداعيات التنظيمية وعلى مستوى القطاع

يأتي تعليق الاختبارات على Astra وسط تدقيق عالمي متزايد من الهيئات التنظيمية ومسؤولي الأمن القومي وصناع سياسات التكنولوجيا بشأن سلامة أنظمة الذكاء الاصطناعي المتقدمة. وتراكز الحكومات في أمريكا الشمالية وأوروبا وآسيا بشكل متزايد على تداعيات الأمن السيبراني لنماذج التعلم الآلي المتقدمة، حيث تدفع باتجاه تقييمات سلامة موحدة، ومراجعات من أطراف ثالثة، وبروتوكولات إبلاغ إجبارية عن المخاطر.

وقد أدت المخاطر المتعلقة بالعمليات السيبرانية المدعومة بالذكاء الاصطناعي إلى مبادرات سياسية تهدف إلى إرساء متطلبات أمنية أساسية لمطوري النماذج التأسيسية. وتؤكد المقترحات التشريعية والإجراءات التنفيذية في العديد من القضائيات على حاجة المطورين للحفاظ على أنظمة قوية لرصد المخاطر وإبلاغ السلطات المعنية أو الجهات الفاعلة العامة عند الاقتراب من عتبات الثغرات الحرج.

وقد شهد قطاع التكنولوجيا العريض تحديات مماثلة مع دفع المطورين بقدرات النماذج المتقدمة إلى الأمام. ومع زيادة كفاءة النماذج في كتابة البرمجيات وتنفيذ الشفرات البرمجية، يصبح الحد الفاصل بين المساعدة العامة وإنشاء التهديدات المستقلة ضبابياً بشكل متزايد. ونتيجة لذلك، تستمر معايير الصناعة حول سلامة الذكاء الاصطناعي في التطور، حيث تتبنى الشركات نهجاً صارماً قائماً على البروتوكولات لإدارة المخاطر المحتملة قبل الإصدارات التجارية.

## الآفاق المستقبلية

يعكس إيقاف OpenAI لنموذج Astra تطبيقا تشغيلياً لإطار إدارة المخاطر الخاص بها، حيث تمنح الأولوية لتقييمات السلامة الداخلية على الجداول الزمنية للنشر. ووفقاً لتغطية Taylor Herzlich، ستُبقي الشركة الاختبارات متوقفة بينما يواصل باحثو السلامة تحليل الأنماط السلوكية للنموذج وتقييم ملف مخاطره مقابل العتبات الحرجة.

ولمعالجة المخاوف المحددة، يُتوقع أن يجري المطورون وفرق المحاذاة المزيد من الاختبارات التشخيصية لعزل السلوكيات المحددة التي أدت إلى تصنيف الخطر الحرج. وبناءً على النتائج، قد يخضع النموذج لتعديلات كبيرة في حواجز حماية السلامة أو معلمات التدريب الأساسية قبل السماح باستئناف أي اختبارات أو تقييمات أخرى.

ومع استمرار نماذج الذكاء الاصطناعي في التقدم في قدرات الاستدلال والاستقلالية، تشكل الحوادث التي تنطوي على حدود عتبات المخاطر دراسات حالة مهمة لآليات التنظيم الذاتي وهياكل حوكمة المخاطر في القطاع. وستعتمد التطورات المستقبلية بشأن Astra على ما إذا كانت التعديلات الفنية قادرة على التخفيف بنجاح من مخاطر الاستغلال المستقل للنموذج مع الحفاظ على فائدته الوظيفية المقصودة.

نُشرت هذه المادة في الأصل بواسطة Taylor Herzlich.