كانت منصة دعم العملاء القائمة على الذكاء الاصطناعي لدى إحدى المؤسسات مُعدّة بإعدادات عدم الاحتفاظ، إذ كانت محادثات العملاء تُعالج عبر البنية التحتية للاستدلال لـ LLM لدى المورد، ولا يُحتفظ بأي بيانات للمحادثة بعد انتهاء كل جلسة. وقد تحققت المؤسسة من هذا الإعداد من خلال DPA المبرمة مع المورد وإعدادات لوحة الإدارة. أما ما لم تقيّمه المؤسسة فهو تعرّض البيانات داخل الجلسة أثناء عملية الاستدلال نفسها. فقد كانت منصة الذكاء الاصطناعي لدى المورد تُحمّل سياق العميل في بداية كل جلسة دعم، أي سجل حساب العميل وتذاكره المفتوحة وتفاصيل اشتراكه وتفاعلاته السابقة، وتُبقي هذا السياق في نافذة سياق النموذج طوال الجلسة. وأثبت باحث أمني اختبر المنصة أنه في ظروف معينة، يمكن لمدخلات مستخدم مصاغة بعناية أن تجعل النموذج يعيد إنتاج محتوى من سياق الجلسة نفسها لم يكن جزءًا من المحادثة الصريحة، وتحديدًا تفاصيل الحساب وسجل التذاكر التي حُمّلت كسياق للنظام عند بدء الجلسة دون أن تُعرض على المستخدم. وقد منع إعداد عدم الاحتفاظ بشكل صحيح بقاء البيانات بعد الجلسة، لكنه لم يمنع إمكانية الوصول إلى البيانات الموجودة في سياق الجلسة عبر التلاعب بالموجّهات داخل الجلسة. فكانت نافذة الجلسة هي نافذة تعرّض البيانات.
ما هو تسرب البيانات أثناء استدلال الذكاء الاصطناعي حقًا؟
تسرب البيانات أثناء استدلال الذكاء الاصطناعي هو تعرّض البيانات الموجودة في بيئة الاستدلال لنموذج الذكاء الاصطناعي، أي نافذة السياق، وموجّه النظام المعزز بالاسترجاع، ومصادر البيانات المتصلة المحمّلة كسياق، والحالات الوسيطة لمعالجة النموذج، للاستخراج عبر مدخلات المستخدم أو التلاعب بالموجّهات أو أساليب القنوات الجانبية أثناء جلسة الاستدلال. وخلافًا للاحتفاظ بالبيانات بعد الجلسة، الذي يُبقي البيانات بعد انتهائها، يحدث تسرب البيانات وقت الاستدلال أثناء الجلسة النشطة، وقد يكون قابلًا للاستغلال بغض النظر عن إعداد الاحتفاظ.
تمثل مشكلة تعرّض نافذة السياق الآلية الرئيسية. فمساعدو الذكاء الاصطناعي الحديثون وتطبيقات LLM الموجهة إلى العملاء تُحمّل قدرًا كبيرًا من السياق في نافذة سياق النموذج عند بدء الجلسة، مثل ملفات العملاء وسجلات الحسابات والصلاحيات ومحتوى قاعدة المعرفة وتعليمات النظام. ويستخدم النموذج هذا السياق لتوليد ردود مستنيرة ومخصصة. لكنه موجود أيضًا في بيئة المعالجة لدى النموذج، وقد يكون متاحًا لأساليب التلاعب بالموجّهات التي تجعل النموذج يشير إلى محتوى السياق أو يعيد إنتاجه دون أن يُسأل عنه صراحةً.
يمثل بُعد استخراج موجّه النظام سطح هجوم ذا صلة. فتطبيقات الذكاء الاصطناعي تتضمن عادةً موجّهات نظام، وهي تعليمات للنموذج تحدد دوره وقيوده وإمكانية وصوله إلى الموارد المتصلة. وقد تحتوي موجّهات النظام هذه على معلومات إعداد حساسة أو قيود أمنية أو إشارات إلى مصادر بيانات متصلة. وهجمات حقن الموجّهات التي تجعل النموذج يعيد إنتاج موجّه النظام أو يصفه تكشف معلومات إعداد كان يُقصد أن تبقى محجوبة عن المستخدمين النهائيين. وفي عمليات نشر الذكاء الاصطناعي متعددة المستأجرين، قد تحتوي موجّهات النظام على إعدادات خاصة بمستأجر لا ينبغي أن يتمكن مستأجر آخر من استخراجها.
ينطبق خطر التلوث بين الجلسات على عمليات نشر الذكاء الاصطناعي التي يُحتفظ فيها بسجل المحادثات عبر الجلسات، مثل أنظمة الذاكرة طويلة الأمد وتلخيص المحادثات وميزات السياق المستمر. ففي هذه الإعدادات، قد تكون بيانات جلسة ما موجودة في سياق الجلسات اللاحقة. ويحدث التلوث بين الجلسات عندما تصبح بيانات جلسة سابقة متاحة في جلسة لاحقة عبر آلية السياق المستمر، مما قد يكشف بيانات من جلسة مستخدم ما لمستخدم آخر يتفاعل مع النظام في جلسة لاحقة.
تمثل مشكلة العزل بين المستأجرين المتعددين الخطر المحدد على المؤسسات في نماذج النشر المشترك للذكاء الاصطناعي. فمنصات الذكاء الاصطناعي لدى الموردين التي تخدم عملاء مؤسسيين متعددين على بنية تحتية مشتركة تُنشئ مخاطر تسرب بيانات الاستدلال بين المستأجرين، وتحديدًا خطر أن يكون السياق المحمّل لجلسة مستأجر ما متاحًا لعمليات استدلال مستأجر آخر عبر حالة نموذج مشتركة، أو عزل غير كافٍ بين سياقات المستأجرين، أو حقن موجّهات يتخطى الحدود بين المستأجرين. وتماثل هذه المخاطر إخفاقات عزل قواعد البيانات بين المستأجرين، لكنها تنطبق على طبقة استدلال الذكاء الاصطناعي.
لماذا يهم هذا
يكتسب تسرب البيانات أثناء استدلال الذكاء الاصطناعي أهمية بالنسبة إلى TPRM لأن إعداد عدم الاحتفاظ، وإن كان ضروريًا، لا يكفي لحماية البيانات الحساسة التي تمر عبر بيئة استدلال الذكاء الاصطناعي. فبيانات العملاء المحمّلة كسياق للجلسة، وموجّهات النظام، ومحتوى قاعدة المعرفة المسترجع، كلها موجودة في بيئة الاستدلال أثناء الجلسة وتتطلب الحماية على مستوى طبقة الاستدلال وكذلك على مستوى طبقة الاحتفاظ.
أين تخطئ معظم الفرق
يتمثل الإخفاق الأكثر تكرارًا في التعامل مع إعداد عدم الاحتفاظ بوصفه الإجابة الكاملة عن حماية البيانات في عمليات نشر الذكاء الاصطناعي، دون تقييم مخاطر التعرض داخل الجلسة التي لا تعالجها ضوابط الاحتفاظ.
- مساواة عدم الاحتفاظ بالحماية الكاملة للبيانات
- عدم تقييم تعرّض نافذة السياق داخل الجلسة
- عدم تقييم سرية موجّه النظام
- عدم تقييم التلوث بين الجلسات في عمليات النشر ذات السياق المستمر
- عدم تقييم عزل الاستدلال بين المستأجرين المتعددين في عمليات النشر على المنصات المشتركة
كيف تبدو الممارسة الجيدة
تعالج برامج حماية البيانات أثناء استدلال الذكاء الاصطناعي الناضجة ضوابط الاحتفاظ وضوابط التعرض داخل الجلسة معًا، وتحديدًا تحديد نطاق نافذة السياق، واختبار سرية موجّه النظام، والتحقق من العزل بين المستأجرين المتعددين، إلى جانب إعداد الاحتفاظ القياسي.
- تقليص نطاق نافذة السياق: تحميل السياق اللازم فقط لكل جلسة
- اختبار سرية موجّه النظام: اختبار ما إذا كان يمكن استخراج الموجّهات تحديدًا
- التحقق من العزل بين المستأجرين المتعددين: تأكيد عزل السياق بين المستأجرين
- اختبار حقن الموجّهات داخل الجلسة: اختبار استخراج السياق عبر موجّهات داخل الجلسة
- تقييم التلوث بين الجلسات: لعمليات النشر ذات السياق المستمر
الأدوات
الاختبار الأمني لـ LLM: Garak وPromptBench لاختبار الاستخراج داخل الجلسة
توفر أدوات الاختبار الأمني لـ LLM التي تختبر تحديدًا استخراج السياق والإفصاح عن موجّه النظام تقييمًا أمنيًا داخل الجلسة لا توفره عمليات تدقيق الاحتفاظ. وبالنسبة إلى ممارسي TPRM، فإن السؤال عما إذا كان المورد قد أجرى اختبارات حقن الموجّهات داخل الجلسة تستهدف تحديدًا استخراج محتوى نافذة السياق يوفر سؤالًا محددًا عن الأمن وقت الاستدلال.
تحديات الحوكمة
يتمثل تحدي الحوكمة في تسرب البيانات أثناء استدلال الذكاء الاصطناعي في فجوة الرؤية وقت الاستدلال، إذ لا تستطيع المؤسسة أن ترى مباشرةً البيانات الموجودة في نافذة سياق النموذج أثناء الاستدلال. ويكمن حل الحوكمة في شفافية المورد بشأن ممارسات تحميل السياق، وفي اختبار أمني مستقل داخل الجلسة يتحقق من العزل بين طبقات السياق.
- اسأل عن البيانات التي تُحمَّل في نافذة السياق عند بدء الجلسة
- اطلب نتائج اختبار حقن الموجّهات داخل الجلسة لاستخراج السياق
- اسأل عن عزل الاستدلال بين المستأجرين المتعددين على البنية التحتية المشتركة
- تقييم سرية موجّه النظام: هل يستطيع المستخدمون استخراج الموجّهات؟
- تقييم ضوابط التلوث بين الجلسات لعمليات النشر ذات السياق المستمر
إذا كنت فريقًا صغيرًا
بالنسبة إلى أي منصة ذكاء اصطناعي لدى مورد تُحمَّل فيها بيانات العملاء الحساسة كسياق للجلسة، اطرحوا سؤالًا واحدًا لا يجيب عنه تقييم عدم الاحتفاظ: ما بيانات العملاء التي تُحمَّل في نافذة سياق النموذج عند بدء الجلسة؟ وهل اختُبرت المنصة تحديدًا للتأكد من أن التلاعب بالموجّهات داخل الجلسة لا يمكنه أن يجعل النموذج يعيد إنتاج محتوى السياق الذي لم يكن جزءًا صريحًا من المحادثة الظاهرة للمستخدم؟ فهذا السؤال يكشف ما إذا كان التعرض وقت الاستدلال قد قُيّم إلى جانب الاحتفاظ بعد الجلسة.
- اسأل عن بيانات العملاء التي تُحمَّل في نافذة السياق عند بدء الجلسة
- اسأل عما إذا كان قد أُجري اختبار حقن الموجّهات داخل الجلسة لاستخراج السياق
- اسأل عن عزل الاستدلال بين المستأجرين المتعددين على البنية التحتية المشتركة
- اسأل عن اختبار سرية موجّه النظام
ما الذي ينبغي اشتراطه
اسأل مباشرةً:
«ما بيانات العملاء التي تُحمَّل في نافذة سياق النموذج عند بدء الجلسة؟ وهل اختُبرت منصتكم تحديدًا للتأكد من أن التلاعب بالموجّهات داخل الجلسة لا يمكنه إعادة إنتاج محتوى السياق الذي لم يكن جزءًا من المحادثة الصريحة مع المستخدم؟»
ما تتوقعه دليلًا
- وصف محتوى نافذة السياق: ما يُحمَّل عند بدء الجلسة
- نتائج اختبار حقن الموجّهات داخل الجلسة لاستخراج السياق
- التحقق من عزل الاستدلال بين المستأجرين المتعددين
- نتائج اختبار سرية موجّه النظام
ينبغي أن يُسأل المورد الذي يؤكد إعداد عدم الاحتفاظ عن تعرّض السياق داخل الجلسة. فعدم الاحتفاظ يعالج بقاء البيانات بعد الجلسة، والاختبار داخل الجلسة يعالج نافذة التعرض أثناء الجلسة نفسها. وكلاهما مطلوب.
كيف تُثبت ذلك
- توثيق محتوى نافذة السياق
- سجلات الاختبار الأمني داخل الجلسة
- سجلات التحقق من العزل بين المستأجرين المتعددين
- تقييم سرية موجّه النظام
الخلاصة الرئيسية
عدم الاحتفاظ: مُعدّ. سياق حساب العميل في نافذة السياق: موجود طوال الجلسة. استخراج ذلك السياق بالتلاعب بالموجّهات داخل الجلسة: ممكن في ظروف محددة. عالج ضابط الاحتفاظ بشكل صحيح بقاء البيانات بعد الجلسة، أما التعرض وقت الاستدلال فكان خطرًا مختلفًا لم يشمله تقييم الاحتفاظ. عدم الاحتفاظ ضابط ضروري، لكنه غير كافٍ عندما تكون البيانات التي لا ينبغي أن تبقى موجودة في بيئة الاستدلال أثناء الجلسة ومتاحة للاستخراج داخلها. وتقليص نطاق نافذة السياق، واختبار سرية موجّه النظام، واختبار الحقن داخل الجلسة هي الضوابط التي تعالج ما لا تعالجه ضوابط الاحتفاظ.