فجوات اختبار أمن الذكاء الاصطناعي

كان فريق TPRM في إحدى المؤسسات يقيّم منتجًا لتحليل العقود يعمل بالذكاء الاصطناعي لدى أحد الموردين، وطلب أدلة على الاختبارات الأمنية. فقدم الفريق الأمني لدى المورد حزمة أدلة شاملة: تقرير SOC 2 من النوع II يؤكد الضوابط المحيطة ببنيته التحتية السحابية، وتقرير اختبار اختراق من شركة أمنية معروفة يغطي طبقة تطبيق الويب لديه، ووصفًا لدورة التطوير الآمن لديه بما فيها مراجعات الشيفرة والتحليل الثابت وفحص DAST ضمن مسار CI/CD. وراجع محلل TPRM في المؤسسة حزمة الأدلة واستعد لتسجيل الاختبارات الأمنية للذكاء الاصطناعي على أنها مؤكدة. لكن زميلًا أكثر خبرة راجع حزمة الأدلة طرح سؤالًا توضيحيًا: من بين عناصر الأدلة الثلاثة هذه، أيها اختبر نموذج الذكاء الاصطناعي نفسه، أي مقاومة النموذج للمدخلات العدائية، أو سلوكه في مواجهة حقن الموجّهات، أو سلامة بيانات تدريبه، أو دقة مخرجاته ومعدل اختلاقه؟ وكانت الإجابة: لا شيء منها. فقد قيّم تقرير SOC 2 الضوابط التشغيلية المحيطة بالبنية التحتية التي تستضيف نموذج الذكاء الاصطناعي، وقيّم اختبار الاختراق تطبيق الويب الذي يتيح الوصول إلى نموذج الذكاء الاصطناعي، وقيّمت مراجعات الشيفرة شيفرة التطبيق المغلّفة لنموذج الذكاء الاصطناعي. كانت الأنشطة الثلاثة جميعها أنشطة مشروعة وقيّمة للضمان الأمني، ولم يشكل أي منها اختبارًا أمنيًا خاصًا بالذكاء الاصطناعي، أي اختبار النموذج نفسه بوصفه سطحًا أمنيًا.

ما حقيقة فجوات الاختبارات الأمنية للذكاء الاصطناعي؟

فجوات الاختبارات الأمنية للذكاء الاصطناعي هي الإغفالات في برنامج الاختبارات الأمنية لدى المورد التي تترك نموذج الذكاء الاصطناعي نفسه، بخلاف البنية التحتية والتطبيق والضوابط التشغيلية المحيطة به، دون اختبار في مواجهة فئات الهجمات المحددة التي تتعرض لها أنظمة الذكاء الاصطناعي. فأطر الاختبارات الأمنية التقليدية، من اختبار الاختراق وSAST/DAST وتقييم ضوابط SOC 2، صُممت للتطبيقات البرمجية والبنية التحتية لا لأنظمة الذكاء الاصطناعي. وتطبيق هذه الأطر التقليدية على منتجات الذكاء الاصطناعي يُنتج أدلة على اختبارات أمنية تغطي كل شيء عدا نموذج الذكاء الاصطناعي نفسه.

سطح الهجوم الخاص بالذكاء الاصطناعي هو ما تغفله الاختبارات التقليدية. فنماذج الذكاء الاصطناعي تواجه مجموعة متمايزة من التحديات الأمنية لا يتناولها اختبار اختراق تطبيقات الويب أو تدقيق ضوابط البنية التحتية: هجمات المدخلات العدائية التي تجعل النموذج يُسيء تصنيف المدخلات، وهجمات حقن الموجّهات التي تجعل النموذج يتجاوز قيوده التشغيلية، وتسميم بيانات التدريب الذي يُفسد السلوك الذي تعلمه النموذج، وهجمات استخراج النموذج التي تسرق منطق القرار فيه، واختلاق المخرجات الذي يُدخل معلومات غير دقيقة في ردود النموذج. ولا تُقيَّم أي من فئات الهجمات هذه في اختبار اختراق تطبيق ويب أو تدقيق للبنية التحتية وفق SOC 2.

فجوة نضج أطر الاختبار هي السياق العام للقطاع. فأطر الاختبارات الأمنية الخاصة بالذكاء الاصطناعي أحدث كثيرًا وأقل توحيدًا من أطر الاختبارات الأمنية للبرمجيات التقليدية. فمنهجية اختبار الاختراق المطبقة على تطبيقات الويب وراءها ثلاثون عامًا من التطوير، أما منهجية اختبار ML العدائي المطبقة على نماذج الذكاء الاصطناعي فما زالت في طور التطوير. والفرق الأمنية لدى الموردين التي تملك برامج ناضجة للاختبارات الأمنية التقليدية قد تكون ممارساتها في الاختبارات الخاصة بالذكاء الاصطناعي غير ناضجة أو غائبة لمجرد أن المجال أحدث والمعايير أقل رسوخًا.

فجوة اختبار الاختلاق بُعد محدد من أبعاد الاختبارات الأمنية للذكاء الاصطناعي يغيب عن جميع برامج الاختبارات الأمنية لدى الموردين تقريبًا. فاختبار ما إذا كان نموذج الذكاء الاصطناعي يختلق، أي يُنتج مخرجات واثقة وسلسة وغير دقيقة، في المجال المحدد الذي تنشره المؤسسة فيه نشاطٌ لضمان جودة الذكاء الاصطناعي له آثار أمنية مباشرة. فالذكاء الاصطناعي الذي يختلق تحليلات قانونية أو معلومات طبية أو إرشادات مالية يُحدث أضرارًا لاحقة بصرف النظر عن جودة تطبيق أمن التطبيقات.

لماذا يهم هذا

تهم فجوات الاختبارات الأمنية للذكاء الاصطناعي TPRM لأن أدلة الضمان الأمني التي يقدمها الموردون لمنتجات الذكاء الاصطناعي كثيرًا ما تغطي الأبعاد الأمنية التقليدية تغطية شاملة بينما تترك الأبعاد الأمنية الخاصة بالذكاء الاصطناعي دون تقييم على الإطلاق. فحزمة الأدلة التي تؤكد SOC 2 واختبار الاختراق وأمن SDLC توفر ضمانًا حقيقيًا بشأن البنية التحتية والتطبيق، ولا توفر أي ضمان بشأن نموذج الذكاء الاصطناعي.

أين تخطئ معظم الفرق

يتمثل الإخفاق الأكثر تكرارًا في قبول أدلة الاختبارات الأمنية التقليدية، من SOC 2 واختبار الاختراق وSDLC، بوصفها مكافئة لأدلة الاختبارات الأمنية للذكاء الاصطناعي. فهذه الأطر تتناول أسطحًا أمنية مختلفة، وكلاهما لازم، ولا يغني أحدهما عن الآخر.

• قبول الأدلة الأمنية التقليدية بوصفها أدلة على أمن الذكاء الاصطناعي
• غياب اختبار المدخلات العدائية عن برنامج الاختبار لدى المورد
• عدم إجراء اختبار حقن الموجّهات أو عدم تضمينه في الأدلة
• عدم إجراء تقييم معدل الاختلاق
• عدم تضمين اختبار سلامة بيانات التدريب في برنامج أمن الذكاء الاصطناعي

كيف تبدو الممارسة الجيدة

تُجري البرامج الناضجة للاختبارات الأمنية للذكاء الاصطناعي الاختبارات الأمنية التقليدية (البنية التحتية والتطبيق وSDLC) والاختبارات الأمنية الخاصة بالذكاء الاصطناعي (المدخلات العدائية وحقن الموجّهات ومعدل الاختلاق وسلامة بيانات التدريب) معًا، ويمكنها تقديم أدلة على كل بُعد منهما منفصلًا استجابةً لطلبات TPRM.

• برنامج اختبارات خاص بالذكاء الاصطناعي إلى جانب الاختبارات الأمنية التقليدية
• اختبار المدخلات العدائية: مقاومة النموذج للمدخلات المصممة للتسبب في سوء التصنيف
• اختبار حقن الموجّهات: مقاومة النموذج لمحاولات تجاوز التعليمات
• تقييم معدل الاختلاق: التحقق من دقة المخرجات في مجال النشر
• اختبار سلامة بيانات التدريب: التحقق من مجموعة بيانات التدريب في مواجهة التسميم

الأدوات

الاختبارات الأمنية للذكاء الاصطناعي: Garak، وAdversarial Robustness Toolbox (IBM ART)، وMicrosoft PyRIT

تختبر أطر الاختبارات الأمنية للذكاء الاصطناعي المصممة خصيصًا للنماذج اللغوية الكبيرة ونماذج ML مقاومةَ المدخلات العدائية، وحقن الموجّهات، ومقاومة كسر القيود، وجودة المخرجات. ويغطي Garak تحديدًا الاختبارات الأمنية لـ LLM عبر مجموعة من فئات الهجمات. وبالنسبة إلى ممارسي TPRM، فإن السؤال عما إذا كانت الاختبارات الأمنية للذكاء الاصطناعي لدى المورد تستخدم إطار اختبار خاصًا بالذكاء الاصطناعي، متميزًا عن اختبارات أمن التطبيقات التقليدية، يوفر سؤالًا محددًا عن برنامج اختبار الذكاء الاصطناعي.

الفريق الأحمر: إطار MITRE ATLAS لـ ML العدائي، وتمارين مخصصة للفريق الأحمر للذكاء الاصطناعي

تختبر تمارين الفريق الأحمر للذكاء الاصطناعي التي تستهدف النموذج تحديدًا، لا غلاف التطبيق فقط، فئاتٍ عدائية قد تغفلها الأدوات الآلية. وبالنسبة إلى ممارسي TPRM، فإن السؤال عما إذا كان المورد قد أجرى تمرين فريق أحمر للذكاء الاصطناعي، يحاول فيه المختبرون تحديدًا شن هجمات عدائية على منطق القرار في النموذج لا على التطبيق فقط، يوفر سؤالًا محددًا عن الفريق الأحمر للذكاء الاصطناعي.

تحديات الحوكمة

يتمثل تحدي الحوكمة في الاختبارات الأمنية للذكاء الاصطناعي في فجوة المعرفة لدى الموردين. فكثير من الفرق الأمنية لدى الموردين تملك خبرة قوية في الاختبارات الأمنية التقليدية وخبرة محدودة في الاختبارات الأمنية الخاصة بالذكاء الاصطناعي. وقد يكشف طلب أدلة على الاختبارات الخاصة بالذكاء الاصطناعي أن البرنامج الأمني لدى المورد يحتاج إلى توسيع نطاقه، لا أنه قد فعل ذلك بالفعل. والحل الحوكمي هو تضمين متطلبات الاختبارات الخاصة بالذكاء الاصطناعي في عقود الموردين بوصفها التزامًا مستقبليًا.

• اشترط الاختبارات الأمنية الخاصة بالذكاء الاصطناعي بوصفها فئة أدلة منفصلة
• اطلب نتائج اختبار المدخلات العدائية لنموذج الذكاء الاصطناعي تحديدًا
• اطلب نتائج اختبار حقن الموجّهات بوصفها عنصر أدلة منفصلًا
• اطلب تقييم معدل الاختلاق في مجال النشر لدى المؤسسة
• ضمّن متطلبات الاختبارات الأمنية للذكاء الاصطناعي في عقود الموردين

إذا كنت فريقًا صغيرًا

عند مراجعة الأدلة الأمنية لمورد ذكاء اصطناعي، اطرح سؤالًا توضيحيًا واحدًا قبل قبول حزمة الأدلة: من بين أدلة الاختبارات الأمنية التي قدمتموها، أي اختبار محدد قيّم نموذج الذكاء الاصطناعي نفسه، باختبار مقاومة النموذج للمدخلات العدائية أو حقن الموجّهات أو دقة مخرجاته تحديدًا؟ فإن كانت الإجابة لا شيء، فقد حددت فجوة الاختبارات الأمنية للذكاء الاصطناعي. ثم اسأل عن الاختبارات الخاصة بالذكاء الاصطناعي التي يعتزم المورد إجراءها ووفق أي جدول زمني. فالسؤال يكشف الفجوة، والمتابعة تحدد ما إذا كانت تُعالج.

• اسأل عن عنصر الأدلة الذي اختبر نموذج الذكاء الاصطناعي تحديدًا لا التطبيق أو البنية التحتية
• اطلب نتائج اختبارات المدخلات العدائية وحقن الموجّهات بوصفها أدلة منفصلة
• اسأل عن تقييم معدل الاختلاق في مجال النشر لديك
• ضمّن متطلبات الاختبارات الأمنية للذكاء الاصطناعي في عقود الموردين

ما الذي ينبغي اشتراطه

اسأل مباشرةً:

«من بين أدلة الاختبارات الأمنية التي قدمتموها، من SOC 2 واختبار الاختراق وSDLC، أي اختبار محدد قيّم نموذج الذكاء الاصطناعي نفسه في مواجهة المدخلات العدائية وحقن الموجّهات ودقة المخرجات؟ هل يمكنكم تقديم أدلة منفصلة على الاختبارات الأمنية الخاصة بالذكاء الاصطناعي للنموذج؟»

ما تتوقعه دليلًا

• أدلة الاختبارات الأمنية الخاصة بالذكاء الاصطناعي: المدخلات العدائية وحقن الموجّهات
• نتائج تقييم معدل الاختلاق
• اختبار سلامة بيانات التدريب
• نتائج تمارين الفريق الأحمر للذكاء الاصطناعي

ينبغي أن يُطلب من المورد الذي يقدم أدلة SOC 2 واختبار الاختراق وSDLC تقديمُ أدلة على الاختبارات الخاصة بالذكاء الاصطناعي بوصفها فئة منفصلة. فالأدلة التقليدية تغطي الغلاف، واختبارات الذكاء الاصطناعي تغطي النموذج. وكلاهما لازم.

كيف تُثبت ذلك

• سجلات الاختبارات الأمنية الخاصة بالذكاء الاصطناعي
• نتائج اختبارات المدخلات العدائية وحقن الموجّهات
• تقييم معدل الاختلاق
• متطلبات الاختبارات الأمنية للذكاء الاصطناعي في عقود الموردين

الخلاصة الرئيسية

SOC 2: البنية التحتية مغطاة. اختبار الاختراق: تطبيق الويب مغطى. مراجعة الشيفرة: شيفرة التطبيق مغطاة. نموذج الذكاء الاصطناعي: لم يُختبر. كانت حزمة الأدلة حقيقية وشاملة فيما غطته، وما غطته هو الغلاف المحيط بالذكاء الاصطناعي. أما الذكاء الاصطناعي نفسه، أي مقاومته للمدخلات العدائية وسلوكه في مواجهة حقن الموجّهات ومعدل اختلاقه وسلامة بيانات تدريبه، فلم يكن ضمن أي من عناصر الأدلة الثلاثة. صُممت أطر الاختبارات الأمنية التقليدية للتطبيقات والبنية التحتية، وتتناول أطر الاختبارات الخاصة بالذكاء الاصطناعي النموذج. وكلاهما مطلوب، ولا يغني أحدهما عن الآخر. والسؤال التوضيحي، أيٌّ من هذه الاختبارات اختبر النموذج نفسه، يكشف الفجوة التي ستغفلها مراجعة حزمة الأدلة دون طرحه.