كان مسار الذكاء الاصطناعي الأساسي لدى أحد موردي البنية التحتية لتعلم الآلة مبنيًا على مزيج من المكتبات مفتوحة المصدر الراسخة ومكتبة أصغر متخصصة في المعالجة المسبقة للبيانات تُدعى dataprep، وهي أداة لتنظيف مدخلات بيانات التدريب وتوحيدها. كانت التبعيات الثلاث الأولى (scikit-learn وNumPy وpandas) من أكثر المشاريع مفتوحة المصدر خضوعًا للتدقيق في منظومة ML، مع برامج أمنية نشطة واستجابة سريعة للثغرات وتدقيق مجتمعي مستمر. أما dataprep فكانت مختلفة: يصونها مطور واحد، وآخر إيداع فيها قبل ثمانية أشهر، ولا توجد فيها عملية للإفصاح الأمني ولا سجل لتدقيق التبعيات. وعندما نشر باحث أمني إثباتًا للمفهوم يبيّن أن عنصر نموذج مصممًا بشكل خبيث تعالجه dataprep يمكن أن ينفذ شيفرة عشوائية خلال مرحلة تحميل البيانات، لم تكن لدى المورد أي مراقبة لرصد هذا الإفصاح. وظلت الثغرة في مسار الذكاء الاصطناعي الإنتاجي لدى المورد ستة أشهر. وعلم المورد بها حين نبّه الفريق الأمني لدى أحد العملاء إلى النشرة الاستشارية العامة. كان برنامج أمن الذكاء الاصطناعي لدى المورد قد قيّم عملية تدريب النموذج، وأمن API الاستنتاج، ومصدر بيانات التدريب، لكنه لم يقيّم الوضع الأمني للمكتبات التي تتوسط بين بيانات التدريب وعملية تدريب النموذج.
ما حقيقة تبعيات سلسلة توريد الذكاء الاصطناعي؟
تبعيات سلسلة توريد الذكاء الاصطناعي هي المكتبات مفتوحة المصدر، ومكونات النماذج المُدرّبة مسبقًا، وأدوات معالجة البيانات، وحزم أطر ML التي تشكل المكدس البرمجي الذي يُبنى عليه نظام الذكاء الاصطناعي، والتي يمكن من خلالها لهجمات سلسلة التوريد اختراق نظام الذكاء الاصطناعي دون مهاجمة النموذج نفسه. وكما يُقر أمن سلسلة توريد البرمجيات بأن أمن التطبيق يعتمد على كل مكتبة وتبعية يتضمنها، يُقر أمن سلسلة توريد الذكاء الاصطناعي بأن سلامة نظام الذكاء الاصطناعي تعتمد على كل مكون في المكدس يعالج بيانات تدريبه أو ينفذ استنتاجه أو يدير نشره.
يمتد بُعد مخاطر التبعيات الخاص بالذكاء الاصطناعي إلى ما وراء مخاطر سلسلة توريد البرمجيات المعيارية من عدة أوجه. أولًا، كثيرًا ما تُجمَّع مسارات الذكاء الاصطناعي من مزيج غير متجانس من الأطر الراسخة (TensorFlow وPyTorch وscikit-learn) والأدوات المتخصصة (أدوات المعالجة المسبقة للبيانات، ومكتبات هندسة الخصائص، وأدوات تسلسل النماذج)، وقد تكون الأوضاع الأمنية للأدوات المتخصصة أضعف كثيرًا من الأطر الرئيسية. والمؤسسة التي تركز برنامج أمن التبعيات لديها على الأطر الرئيسية قد تغفل المخاطر المتركزة في الأدوات المتخصصة الأصغر التي تخضع لتدقيق أقل وصيانة أقل نشاطًا.
ثغرة تسلسل النماذج خطر محدد وموثق جيدًا في تبعيات الذكاء الاصطناعي. فصيغة pickle في Python، المستخدمة افتراضيًا في كثير من أطر ML لحفظ النماذج وتحميلها، تتيح تنفيذ شيفرة عشوائية عند تحميل عنصر نموذج خبيث. والمكتبات التي تتولى تحميل النماذج دون ضوابط لإلغاء التسلسل الآمن تُنشئ مسارًا يستطيع من خلاله مهاجم سلسلة التوريد القادر على استبدال عنصر نموذج خبيث في سجل النماذج تنفيذ شيفرة في بيئة الاستنتاج عند تحميل النموذج. ولا يتطلب هذا الهجوم استغلال خوارزمية النموذج، بل مجرد القدرة على استبدال ملف النموذج المُسلسل بملف خبيث.
سطح الهجوم في مكتبات معالجة البيانات هو الخطر المحدد الثاني. فالمكتبات التي تتولى المعالجة المسبقة لبيانات التدريب، من قراءة البيانات المدخلة وتحليلها وتحويلها وتنظيفها، تعالج بيانات غير موثوقة من مصادر قد تكون غير موثوقة. والثغرة في مكتبة للمعالجة المسبقة للبيانات التي تُفعّلها بيانات مدخلة خبيثة تُنشئ مسارًا يستطيع من خلاله مهاجم سلسلة التوريد القادر على إدخال بيانات تدريب خبيثة تنفيذ شيفرة في بيئة التدريب عند معالجة تلك البيانات. فناقل الهجوم هو بيانات التدريب، لا النموذج ولا خوارزمية التدريب.
خطر حداثة التبعيات وصيانتها هو بُعد الحوكمة. فتبعيات منظومة ML تتفاوت تفاوتًا هائلًا في نشاط صيانتها وعمليات الإفصاح الأمني فيها والجداول الزمنية للاستجابة للثغرات. والتبعية التي يصونها مطور واحد دون عملية للإفصاح الأمني لا توفر في الواقع أي ضمان أمني، إذ قد تُكتشف الثغرات وتُستغل قبل أن يعلم بها المشرف بوقت طويل. وتُضخّم مشكلة التبعيات غير المباشرة ذلك: فالإطار الأساسي جيد الصيانة قد يتضمن تبعيات غير مباشرة على أدوات سيئة الصيانة، فيُنشئ مخاطر سلسلة توريد عبر سلسلة من التبعيات تمتد إلى ما وراء الوضع الأمني للإطار الأساسي.
لماذا يهم هذا
تهم تبعيات سلسلة توريد الذكاء الاصطناعي TPRM لأن أمن نظام الذكاء الاصطناعي لدى المورد محدود بأمن كل مكون في مكدس تبعياته، لا ببنية النموذج وعملية التدريب فقط. والمورد الذي يركز برنامج أمن الذكاء الاصطناعي لديه على طبقة النموذج ويترك طبقة التبعيات دون مراقبة يكون وضعه الأمني أقوى في الطبقات التي يقيّمها ومجهولًا في الطبقات التي لا يقيّمها.
أين تخطئ معظم الفرق
يتمثل الإخفاق الأكثر تكرارًا في تقييم أمن الذكاء الاصطناعي على مستوى طبقة النموذج، أي عملية التدريب وAPI الاستنتاج ومصدر البيانات، دون توسيع التقييم ليشمل مكدس التبعيات الذي بُني عليه مسار الذكاء الاصطناعي. فطبقة التبعيات هي الموضع الذي ستقع فيه كثير من هجمات سلسلة توريد الذكاء الاصطناعي.
- تقييم أمن الذكاء الاصطناعي على مستوى طبقة النموذج دون تقييم طبقة التبعيات
- عدم تقييم تبعيات الأدوات المتخصصة: التركيز على الأطر الرئيسية فقط
- عدم تقييم صيغة تسلسل النموذج من حيث إلغاء التسلسل الآمن
- غياب مراقبة التبعيات: عدم وجود عملية لتتبّع الإفصاحات عن الثغرات في تبعيات الذكاء الاصطناعي
- عدم تحديد التبعيات ذات المشرف الواحد على أنها مرتفعة المخاطر
كيف تبدو الممارسة الجيدة
تحتفظ البرامج الناضجة لأمن سلسلة توريد الذكاء الاصطناعي بجرد كامل لتبعيات الذكاء الاصطناعي، بما فيها الأدوات المتخصصة والتبعيات غير المباشرة، وتراقب الإفصاحات عن الثغرات في جميع التبعيات، وتقيّم صيغ تسلسل النماذج لضمان إلغاء التسلسل الآمن، وتطبق معايير صيانة متدرجة حسب المخاطر تصنّف التبعيات ذات المشرف الواحد أو غير النشطة على أنها مرتفعة المخاطر.
- جرد كامل لتبعيات الذكاء الاصطناعي: جميع المكتبات بما فيها الأدوات المتخصصة والتبعيات غير المباشرة
- المراقبة المستمرة للثغرات: إخضاع جميع تبعيات الذكاء الاصطناعي لمراقبة الإفصاحات عن الثغرات
- فرض إلغاء التسلسل الآمن: تحميل النماذج باستخدام صيغ آمنة بدلًا من pickle حيثما أمكن
- تقييم سلامة التبعيات: نشاط المشرفين، وعملية الإفصاح الأمني، وآخر إصدار
- SBOM آلية لمسارات الذكاء الاصطناعي: قائمة مكونات البرمجيات بما فيها تبعيات ML
الأدوات
أمن التبعيات: Snyk وDependabot وOWASP Dependency-Check لفحص مكتبات الذكاء الاصطناعي
يمكن تطبيق أدوات تحليل تركيب البرمجيات على تبعيات مسارات الذكاء الاصطناعي كما تُطبق على تبعيات التطبيقات. وبالنسبة إلى ممارسي TPRM، فإن السؤال عما إذا كانت تبعيات مسار الذكاء الاصطناعي لدى المورد مشمولة في برنامج فحص SCA لديه، وتحديدًا ما إذا كانت أدوات ML المتخصصة مشمولة إلى جانب الأطر الرئيسية، يوفر سؤالًا محددًا عن أمن تبعيات الذكاء الاصطناعي.
التحميل الآمن للنماذج: سجل النماذج في MLflow مع التحقق من السلامة، وModelScan لأمان pickle
تفحص ModelScan والأدوات المماثلة عناصر النماذج المُسلسلة بحثًا عن حمولات خبيثة قبل تحميلها. وبالنسبة إلى ممارسي TPRM، فإن السؤال عما إذا كانت عملية تحميل النماذج لدى المورد تستخدم إلغاء التسلسل الآمن أو تفحص عناصر النماذج قبل تحميلها يوفر سؤالًا محددًا عن أمن التسلسل.
تحديات الحوكمة
يتمثل تحدي الحوكمة في تبعيات سلسلة توريد الذكاء الاصطناعي في مشكلة عدم تجانس المنظومة. فمنظومة AI/ML مفتوحة المصدر تضم آلاف الحزم المتخصصة المتفاوتة تفاوتًا كبيرًا في جودة صيانتها. ويتطلب البرنامج الشامل لأمن التبعيات في مسارات الذكاء الاصطناعي أدوات تقييم تغطي المنظومة كاملة، لا الأطر الرئيسية فقط.
- ضمّن تبعيات مسار الذكاء الاصطناعي في فحص SCA
- قيّم صيغة تسلسل النموذج: تجنّب pickle حيثما توجد بدائل آمنة
- راقب سلامة التبعيات: نشاط المشرفين وعملية الإفصاح الأمني
- اطلب SBOM لمسار الذكاء الاصطناعي: جرد كامل للتبعيات
- صنّف التبعيات ذات المشرف الواحد على أنها تتطلب مراجعة إضافية
إذا كنت فريقًا صغيرًا
اطلب من مورد الذكاء الاصطناعي الأعلى مخاطر لديك SBOM لمسار الذكاء الاصطناعي لديه، أي القائمة الكاملة لحزم Python وإصداراتها في مكدس تبعيات ML لديه. ثم تحقق من أمرين: أولًا، هل تخضع جميع الحزم لمراقبة الإفصاحات عن الثغرات عبر أداة مثل Snyk أو Dependabot؟ ثانيًا، بالنسبة إلى أي حزمة لديها أقل من ثلاثة مساهمين نشطين أو لم تشهد أي إيداعات خلال ستة أشهر، ما عملية المورد لتقييم المخاطر الأمنية؟ يكشف هذان السؤالان ما إذا كانت طبقة التبعيات قد حظيت باهتمام أمني يعادل ما حظيت به طبقة النموذج.
- اطلب SBOM لمسار الذكاء الاصطناعي: قائمة كاملة بتبعيات ML
- اسأل عما إذا كانت جميع الحزم خاضعة لمراقبة الإفصاحات عن الثغرات
- صنّف الحزم ذات المشرف الواحد أو التي ظلت غير نشطة لفترة طويلة
- اسأل عن صيغة تسلسل النموذج الآمنة
ما الذي ينبغي اشتراطه
اسأل مباشرةً:
«هل يمكنكم تقديم قائمة مكونات البرمجيات لمسار الذكاء الاصطناعي لديكم، وتحديدًا جميع تبعيات مكتبات ML بما فيها الأدوات المتخصصة، وهل تخضع جميع تلك التبعيات لمراقبة الإفصاحات عن الثغرات عبر أداة SCA آلية؟»
ما تتوقعه دليلًا
- SBOM لمسار الذكاء الاصطناعي مع جميع تبعيات ML
- تغطية أداة SCA لجميع تبعيات الذكاء الاصطناعي
- تأكيد صيغة تسلسل النموذج والتحميل الآمن
- تقييم سلامة التبعيات للحزم عالية المخاطر
ينبغي أن يُطلب من المورد الذي يؤكد تغطية أمن الذكاء الاصطناعي تقديم SBOM لمسار الذكاء الاصطناعي. فأمن طبقة النموذج يغطي النموذج، وأمن طبقة التبعيات يغطي المكدس الذي يعمل عليه النموذج. وكلاهما مطلوب.
كيف تُثبت ذلك
- سجلات SBOM لمسار الذكاء الاصطناعي
- تغطية فحص SCA لتبعيات الذكاء الاصطناعي
- تقييم أمن تسلسل النماذج
- سجلات مراقبة سلامة التبعيات
الخلاصة الرئيسية
أربع مكتبات. ثلاث منها خضعت لتدقيق جيد. والرابعة: مشرف واحد، وثمانية أشهر من عدم النشاط، وتنفيذ شيفرة عشوائية عبر بيانات تدريب خبيثة. ستة أشهر في مسار الإنتاج قبل الاكتشاف. غطى برنامج أمن الذكاء الاصطناعي طبقة النموذج تغطية شاملة، أما طبقة التبعيات، أي المكدس الذي تعمل عليه عملية تدريب النموذج، فلم تكن ضمن النطاق. لا تتطلب هجمات سلسلة توريد الذكاء الاصطناعي اختراق خوارزمية النموذج، بل تتطلب العثور على الحلقة الأضعف في مكدس التبعيات الذي يعالج بيانات التدريب أو يحمّل عناصر النموذج. إن SBOM لمسار الذكاء الاصطناعي هو الجرد، وفحص SCA هو المراقبة، وإلغاء التسلسل الآمن هو الضابط المعماري. ومعًا تغطي طبقة التبعيات التي يغفلها تقييم طبقة النموذج.