Standard Business تحذر مطوري الذكاء الاصطناعي في المؤسسات من ضرورة تقييد وصول الوكلاء والاحتفاظ بإمكانية التجاوز البشري

يواجه صُنّاع القرار ومطورو التكنولوجيا في المؤسسات دعوات متزايدة لفرض ضوابط تشغيلية صارمة على البرمجيات المستقلة، في أعقاب تحذير بشأن النشر غير المنضبط للذكاء الاصطناعي في البيئات التجارية. وفي تحليل للحوكمة نُشر في 30 سبتمبر 2026، حثت Standard Business المؤسسات على إدارة نماذج التعلم الآلي المتقدمة وفق الإطار نفسه المطبق على المتقدمين الخارجيين للوظائف ذوي الأداء العالي ممن يمتلكون مهارات تقنية استثنائية ولكنهم يفتقرون إلى سجل تشغيلي مثبت. وأكد التقييم أن الشركات التي تبني أو تدمج وكلاء برمجيات مستقلة يجب عليها تقييد صلاحيات النظام، وتطبيق إجراءات تسجيل تفصيلية للملاحظات والأنشطة، وضمان احتفاظ المشغلين البشر بالقدرة الفورية على إيقاف الأنظمة المستقلة متى دعت الحاجة.

## Key facts - أصدرت Standard Business تقريراً عن مخاطر المؤسسات في 30 سبتمبر 2026، يتناول بروتوكولات السلامة لأنظمة البرمجيات المستقلة. - يوصي التحليل بمعاملة وكلاء الذكاء الاصطناعي المتقدمين كعاملين مجهزين حديثاً بسجلات تشغيلية غير مثبتة. - تشمل عناصر التحكم الأمنية الأساسية المحددة في التقرير الوصول إلى الشبكة وفق حد أدنى من الصلاحيات، وتسجيل الأنشطة غير القابل للتعديل، ومفاتيح إيقاف التشغيل البشرية الإلزامية. - تتطلب التوجيهات التنظيمية مثل قانون الذكاء الاصطناعي للاتحاد الأوروبي، الذي دخل حيز التنفيذ في 1 أغسطس 2024، حوكمة المخاطر والإشراف البشري لنشر البرمجيات عالية المخاطر. - تمنح التوجيهات المعيارية الصادرة عن U.S. National Institute of Standards and Technology، والتي نُشرت في 26 يناير 2023، الأولوية للحوكمة والشفافية وإدارة المخاطر في بيئات الحوسبة المؤسسية.

## What happened يركز تقييم Standard Business على التوسع السريع للبرمجيات الوكيلية (agentic software)—وهي نماذج ذكاء اصطناعي لا تقتصر صلاحيتها على توليد النصوص أو تحليل البيانات فحسب، بل تمتد لتنفيذ مسارات عمل متعددة الخطوات، واستدعاء واجهات برمجة التطبيقات (APIs)، وتعديل قواعد البيانات المؤسسية، واتخاذ قرارات تشغيلية مستقلة. ووفقاً للتقرير، فإن رغبة الشركات العارمة في تحقيق مكاسب في الإنتاجية دفعت العديد من فرق التكنولوجيا في المؤسسات إلى منح الأدوات المستقلة وصولاً واسع النطاق إلى الأنظمة الداخلية دون تثبيت آليات حماية كافية.

ولمواجهة هذه الثغرات التشغيلية، يضع التقرير حوكمة الذكاء الاصطناعي في إطار تشبيه بإدارة القوى العاملة. يُنصح مطورو البرمجيات والتنفيذيون في الشركات بالنظر إلى النموذج المستقل كموظف جديد ذي كفاءة يصل بمؤهلات تقنية مثيرة للإعجاب ولكن بدون أي سجل مثبت داخل المؤسسة المحددة. ووفقاً لمبادئ الإدارة المؤسسية القياسية، لا يُمنح الموظف الذي لم تثبت كفاءته بعد وصولاً غير محدود إلى قواعد البيانات الأساسية، أو الأنظمة المالية، أو عناصر التحكم الإدارية التنفيذية في اليوم الأول. وبدلاً من ذلك، يُحدد وصولهم بدقة، وتُوثق أعمالهم للمراجعة، ويحتفظ المديرون الكبار بالإشراف للتدخل إذا انحرف الأداء عن المعايير المؤسسية.

ويحدد المنشور ثلاثة حدود هندسية وتشغيلية لا غنى عنها لعمليات النشر في المؤسسات:

أولاً، يجب على المؤسسات تقييد صلاحيات الوصول بشكل صارم. وبدلاً من منح بيانات اعتماد واسعة للوكيل الآلي، يجب على أقسام تكنولوجيا المعلومات تطبيق مبدأ الحد الأدنى من الصلاحيات، مما يضمن أن البرمجية لا يمكنها القراءة أو الكتابة أو التنفيذ إلا ضمن معاملات إدارية محددة بدقة.

ثانياً، يجب على الشركات إنشاء مسارات تدقيق شاملة من خلال تسجيل كل قرار، وطلب واجهة برمجة تطبيقات، واستعلام قاعدة بيانات، والتفاعل الخارجي الذي ينفذه نموذج الذكاء الاصطناعي. وتنشئ عملية التسجيل هذه سجلاً غير قابل للتعديل يتيح لفرق الأمن إجراء التحقيقات الجنائية بعد وقوع الأحداث والتحقق من الامتثال للقواعد الداخلية.

ثالثاً، يجب على مهندسي الأنظمة بناء عناصر تحكم موثوقة في الإنهاء. ويؤكد التحليل أنه يجب على المشغلين البشر الاحتفاظ بآلية وظيفية مستقلة لتعليق البرمجية أو إلغاء تنشيطها فوراً إذا بدأت في اتخاذ إجراءات غير مصرح بها أو دخلت في حلقة تنفيذ غير منضبطة.

## Why it matters تعالج توصيات الحوكمة التي سلطت Standard Business الضوء عليها الثغرات الحرجة في إدارة المخاطر المؤسسية، والأمن السيبراني، والامتثال التنظيمي. ومع انتقال المؤسسات من النماذج الحوارية السلبية إلى الوكلاء المستقلين النشطين، فإن التأثير المحتمل لفشل البرمجيات يتوسع بشكل كبير. فالنموذج الآلي الذي يعمل بدون حدود للصلاحيات قد يعدل بيانات ملكية خاصة، أو يطلق معاملات مالية غير مقصودة، أو يسرب معلومات حساسة للعملاء عبر الشبكات الخارجية في غضون أجزاء من الثانية.

وبدون بروتوكولات تسجيل دقيقة، يعجز موظفو تكنولوجيا المعلومات والأمن في المؤسسات عن إجراء تحقيقات فعالة بعد الحوادث. وفي بيئات الحوسبة السحابية المعقدة، يتطلب تحديد سبب تنفيذ وكيل مستقل لأمر خطير في قاعدة البيانات رؤية كاملة للمدخلات، والموجهات (prompts)، وسلاسل القرارات التي وجهت البرمجية. وبدون هذه السجلات، تخاطر المؤسسات بتكرار أخطاء تشغيلية مكلفة ومواجهة مسؤوليات قانونية صارمة.

علاوة على ذلك، فإن التركيز على آليات التجاوز البشري المباشرة—والتي يُشار إليها غالباً بعناصر التحكم البشري في الحلقة (human-in-the-loop)—يعد بمثابة خط دفاع ضد هلوسة البرمجيات وحلقات العمليات الجامحة. وفي الحوسبة المؤسسية، يمكن لنظام مستقل مكلف بإدارة المخزون، أو معالجة عمليات رد الأموال للعملاء، أو تحسين البنية التحتية للخوادم، أن يصعّد الأخطاء المنطقية البسيطة إلى اضطرابات تشغيلية رئيسية إذا تُرك دون رقابة. ويضمن مفتاح إيقاف التشغيل الإلزامي قدرة المديرين البشر على إيقاف الأنشطة الشاذة قبل حدوث أضرار نظامية.

ومن الناحية التنظيمية، فإن الفشل في إنفاذ هذه الضوابط يعرض الشركات لعقوبات قانونية. وتلزم قوانين الخصوصية الحديثة واللوائح التكنولوجية الناشئة الشركات بشكل متزايد بالمسؤولية عن الإجراءات التي تتخذها البرمجيات الآلية التي تعمل نيابة عنها، مما يجعل الحدود التشغيلية وآليات الإشراف عناصر أساسية في حوكمة الشركات.

## The background تكثف النقاش حول هياكل التحكم في الذكاء الاصطناعي مع تطور تطبيقات التعلم الآلي من واجهات استجابة للاستعلامات السلبية إلى أنظمة وكيلية. في التطبيقات المؤسسية المبكرة، كانت الأدوات تقتصر في المقام الأول على الإجابة عن الأسئلة باللغة الطبيعية أو إنشاء مسودات نصوص تحت إشراف بشري مباشر. ومع ذلك، فإن التطورات الأخيرة في قدرات النماذج دفعت الشركات إلى نشر وكلاء قادرين على كتابة البرامج وتنفيذها، وإدارة البنية التحتية السحابية، والتفاعل بشكل مستقل مع منصات البرمجيات الخاصة بأطراف خارجية.

وقد حاولت أطر الإشراف المؤسسي وضع إرشادات لهذه القدرات المتقدمة. ففي 26 يناير 2023، أصدر U.S. National Institute of Standards and Technology (NIST) إطار إدارة مخاطر الذكاء الاصطناعي (AI RMF 1.0)، مفرداً للمؤسسات إرشادات طوعية لإدارة المخاطر المرتبطة بأنظمة الذكاء الاصطناعي، مع التركيز على حوكمة نقاط الفشل المحتملة ورسم خرائطها وقياسها وإدارتها. وفي وقت لاحق من ذلك العام، في 30 أكتوبر 2023، أصدرت الحكومة الاتحادية الأمريكية Executive Order 14110، الذي يحدد معايير السلامة، والتقارير الإلزامية للنماذج الحسابية واسعة النطاق، وتوجيهات إدارة المخاطر عبر الهيئات الاتحادية.

وعلى النحو نفسه، قامت منظمات المعايير الدولية بتقنين متطلبات الإشراف على الشركات. ففي ديسمبر 2023، نشرت International Organization for Standardization وInternational Electrotechnical Commission المعيار ISO/IEC 42001، لتنشئ معياراً دولياً لأنظمة إدارة الذكاء الاصطناعي داخل بيئات الشركات.

وفي أوروبا، تكللت الجهود التشريعية بقانون الذكاء الاصطناعي للاتحاد الأوروبي (European Union Artificial Intelligence Act)، الذي دخل حيز التنفيذ رسمياً في 1 أغسطس 2024. ويوفر القانون إطاراً تنظيمياً متدرج المخاطر، ويفرض متطلبات امتثال صارمة على التطبيقات عالية المخاطر. ومن بين هذه المتطلبات: آليات الإشراف البشري الإلزامية، والتسجيل المستمر لعمليات النظام، ومعايير المتانة التقنية، وبروتوكولات واضحة للتخفيف من المخاطر—وهي متطلبات تتوافق تماماً مع الضمانات التشغيلية المفصلة في تقرير Standard Business.

## Reaction على الرغم من أن التقرير الصادر عن Standard Business لم ينقل تصريحات عن مسؤولي شركات محددين أو منظمين حكوميين، فإن قضية التحكم في وكلاء البرمجيات المستقلة تعد نقطة محورية للمناقشة في مجالس إدارات الشركات، وشركات الأمن السيبراني، وأقسام الامتثال التنظيمي.

ويقر رؤساء تنفيذيون لأمن المعلومات (CISOs) ومهندسو برمجيات المؤسسات مراراً بالصعوبات العملية لتقييد الأدوات المستقلة. ويلاحظ المتخصصون التقنيون أنه بينما يُقبل مبدأ الحد الأدنى من الصلاحيات على نطاق واسع في هندسة البرمجيات التقليدية، فإن تطبيقه على النماذج التوليدية يطرح تحديات فريدة لأن تعليمات اللغة الطبيعية متغيرة بطبيعتها مقارنة بالرموز الإجرائية الصارمة.

وقد رحب التنفيذيون المسؤولون عن الامتثال ومديرو المخاطر بشكل عام بالتشبيهات التشغيلية الواضحة، مثل مقارنة أدوات الذكاء الاصطناعي بالموظفين الجدد الذين لم تثبت كفاءتهم، كمعيار مفيد وسياسات الحوكمة الداخلية. ومع ذلك، أبدت مجموعات التجارة الصناعية مخاوف بشأن تعقيد هندسة مفاتيح إيقاف تشغيل مطلقة في الخدمات السحابية المصغرة الموزعة. ويوضح المطوّرون أن قطع الوصول فجأة عن عملية مستقلة نشطة يمكن أن يؤدي إلى اتصالات قاعدة بيانات مهجورة، أو كتابات بيانات غير مكتملة، أو انقطاعات ثانوية في الخدمة إذا لم تكن آلية الإنهاء مدمجة بعناية في بنية المؤسسة.

## What we don't know yet لا تزال هناك العديد من الشكوك التقنية والتشغيلية بشأن كيفية تطبيق المؤسسات للضمانات التي أوصت بها Standard Business. ولا يحدد التقرير معايير تقنية ملموسة لما يشكل آلية إنهاء طوارئ مقبولة في البيئات السحابية الحديثة ذات النشر المستمر. ويظل تطبيق مفتاح إيقاف تشغيل بشري موثوق دون التسبب في عدم استقرار ثانوي للنظام تحدياً هندسياً معقداً لمنصات البرمجيات متعددة المستأجرين.

بالإضافة إلى ذلك، توجد فجوة كبيرة بشأن كيفية توفيق المؤسسات بين التسجيل الشامل للأنشطة وقوانين حماية البيانات الصارمة. فتخزين سجلات تفصيلية لكل إجراء ومدخل واستجابة يولدها وكيل الذكاء الاصطناعي قد يؤدي ساهواً إلى تسجيل معلومات شخصية حساسة أو بيانات ملكية خاصة، مما يخلق تضارباً في الامتثال بموجب لوائح مثل General Data Protection Regulation (GDPR) التابعة للاتحاد الأوروبي.

كما يظل من غير الواضح عدد المؤسسات التي تشغل حالياً أنظمة وكيلية مستقلة دون حدود للصلاحيات أو بروتوكولات تسجيل، حيث إن إعداد التقارير الموحدة لاستخدام الأنظمة الآلية عبر القطاع المؤسسي ليس إلزامياً بعد.

## What to watch في الأشهر القادمة، سيراقب محللو التكنولوجيا ومدققو الشركات المحطات القانونية والتشغيلية الرئيسية التي ستحدد كيفية تطبيق مبادئ الحوكمة هذه عبر القطاعات المختلفة: - **Regulatory Deadlines**: سيتابع المراقبون المواعيد النهائية الممتدة للامتثال بموجب EU Artificial Intelligence Act، ولا سيما المتطلبات التي تدخل حيز التنفيذ للنظم عالية المخاطر والتي تنص على الإشراف البشري الصريح وتسجيل التدقيق. - **Enterprise Certification**: ستشكل معدلات اعتماد شهادة ISO/IEC 42001 بين شركات Fortune 500 مقياساً رئيسياً لمدى قيام قادة المؤسسات بضفي الصبغة الرسمية على هياكل إدارة الذكاء الاصطناعي. - **Technical Standards Updates**: من المتوقع أن تصدر هيئات وضع المعايير، بما في ذلك NIST والتحالفات الهندسية الدولية، إرشادات تقنية معدلة تتناول بالتحديد مسارات العمل الوكيلية وعناصر التحكم الآلية في الوصول. - **Security Tooling Development**: من المتوقع أن تطلق شركات التكنولوجيا منصات برمجية متخصصة تركز على مراقبة النشاط الوكيلي، وإنفاذ حدود الصلاحيات الآلية، وآليات التدخل في الوقت الفعلي المصممة لمهادنة العمليات الجامحة.

يعتمد هذا التقرير على التغطية الأصلية التي نشرتها Standard Business في 30 سبتمبر 2026.