تسميم بيانات التدريب

نشرت شركة خدمات مالية نموذجًا لكشف الاحتيال مدعومًا بالذكاء الاصطناعي من مورّد متخصص. وكان النموذج قد دُرّب على مجموعة كبيرة من بيانات المعاملات التاريخية، صُنّفت فيها كل معاملة على أنها احتيالية أو مشروعة بناءً على نتيجة عملية التحقيق في الاحتيال في حينه. وكانت مقاييس أداء النموذج قوية، بمعدل كشف مرتفع ومعدل إنذار كاذب منخفض، وكان المورّد قد تحقق من النموذج مقابل بيانات اختبار محجوزة قبل النشر. لكن ما لم يحلله المورّد ولا العميل هو تركيب بيانات التدريب عبر الزمن. فخلال فترة امتدت ثمانية عشر شهرًا قبل عامين من جمع بيانات التدريب، كانت عصابة احتيال متطورة تعمل في المجتمع الذي استُمدت منه بيانات التدريب، مستخدمةً نمط معاملات محددًا: معاملات صغيرة ومتكررة إلى عدة مستفيدين جدد، تُبدأ من أجهزة جديدة بأنماط توقيت متسقة. وخلال تلك الأشهر الثمانية عشر، لم تُكتشف العصابة، وصُنّفت معاملاتها على أنها مشروعة في سير عمل التحقيق. وتضمّنت مجموعة بيانات التدريب تلك الأشهر الثمانية عشر. فدُرّب النموذج على معاملة نمط العصابة على أنه مشروع، لأن تلك الأنماط بعينها صُنّفت مشروعة أثناء التدريب. وعندما نُشر النموذج، صنّف أنماط العصابة نفسها، التي استخدمت التقنية نفسها مع تعديلات طفيفة، على أنها مشروعة بثقة عالية. لم يكن النموذج معطّلًا، بل كان يعمل تمامًا كما وجّهه تدريبه. كان التسميم في التصنيفات، لا في أي تلاعب متعمد ببيانات التدريب.

ما حقيقة تسميم بيانات التدريب؟

تسميم بيانات التدريب هو تلويث مجموعة بيانات تدريب نموذج تعلّم الآلة بطرق تجعل النموذج يتعلم أنماطًا خاطئة أو متحيزة أو متلاعبًا بها عمدًا، فينتج نموذج يتصرف بشكل خاطئ بطرق متوقعة تخدم المهاجم أو تعكس الأخطاء الهيكلية في مجموعة بيانات التدريب. وقد يكون تسميم بيانات التدريب متعمدًا، حين يُدخل مهاجم يصل إلى مسار التدريب أمثلة خبيثة تجعل النموذج يخطئ في تصنيف مدخلات محددة، أو هيكليًا، ينشأ عن أخطاء التصنيف التاريخية، أو تحيزات أخذ العينات، أو فترات من نشاط عدائي غير مكتشف في البيانات التي استُمدت منها مجموعة التدريب.

مشكلة تسميم التصنيفات هي أكثر أشكال تلوث بيانات التدريب شيوعًا وأقلها فهمًا. فنماذج تعلّم الآلة تتعلم من أمثلة مصنّفة، إذ يرتبط كل مثال تدريبي بتصنيف حقيقة مرجعية يخبر النموذج بما ينبغي أن يكون عليه المخرج الصحيح. وعندما تكون تلك التصنيفات خاطئة، لأن عملية التصنيف ارتكبت أخطاء، أو لأن الحقيقة المرجعية لم تكن معروفة وقت التصنيف، أو لأن نشاطًا عدائيًا خلال فترة التصنيف لم يُكتشف، فإن النموذج يتعلم من التصنيفات الخاطئة، ويصبح بارعًا جدًا في إنتاج المخرجات الخاطئة للمدخلات المحددة التي كانت تصنيفاتها غير صحيحة. وليس هذا إخفاقًا للنموذج بالمعنى التقليدي، فالنموذج يفعل بالضبط ما وجّهه إليه تدريبه. لكن توجيه التدريب كان خاطئًا.

مشكلة التسميم الزمني هي البُعد الخاص بسلسلة التوريد. فنماذج الذكاء الاصطناعي المدرَّبة على بيانات تشغيلية تاريخية، كأنماط الاحتيال والأحداث الأمنية وسلوك الشبكة ونشاط العملاء، ترث أخطاء الفترة التاريخية ونقاطها العمياء. فإذا كان المهاجمون ينجحون في التهرب من الكشف خلال جزء من فترة التدريب، فإن بيانات التدريب تتضمن نشاطهم بوصفه أمثلة سلبية: نشاطًا مشروعًا في سياق الاحتيال، أو حميدًا في سياق الأمن. ويتعلم النموذج التعرف على هذه الأنماط بوصفها مشروعة لأنها صُنّفت كذلك أثناء التدريب، وسيُصنَّف أي نشاط مستقبلي يستخدم الأنماط نفسها بالطريقة نفسها.

هجوم التسميم المتعمد هو البُعد العدائي. فالجهة المهدِّدة التي تصل إلى مسار التدريب لدى المورّد، عبر مصدر بيانات مخترق، أو اختراق لسلسلة توريد أحد مزوّدي البيانات، أو وصول مباشر إلى البنية التحتية للتدريب، تستطيع أن تُدخل عمدًا أمثلة مصاغة تجعل النموذج يخطئ في تصنيف مدخلات محددة. فالمصنِّف المسموم ليخطئ في تصنيف أنماط معاملات محددة على أنها مشروعة سيفوّت تلك المعاملات عند نشره. والنموذج الأمني المسموم ليصنّف تواقيع برمجيات خبيثة محددة على أنها حميدة سيفشل في كشف تلك البرمجيات في بيئة الإنتاج. فالهجوم مُضمَّن في بيانات التدريب ويظهر في سلوك النموذج في بيئة الإنتاج.

مشكلة غموض تركيب مجموعة البيانات هي ما يجعل تقييم تسميم بيانات التدريب صعبًا بوجه خاص في منتجات الذكاء الاصطناعي لدى المورّدين. فمجموعة بيانات التدريب لمنتج ذكاء اصطناعي تجاري تكون عادةً مملوكة للمورّد، ولا يشارك المورّدون مجموعات بيانات تدريبهم الكاملة مع العملاء. فيتعين على العميل تقييم جودة بيانات التدريب من وثائق المورّد وأوصاف منهجية التدريب ومنهجية التحقق، لا من الفحص المباشر للمجموعة. وهذا يُنشئ فجوة في التقييم: لا يستطيع العميل التحقق من خلوّ بيانات التدريب من أنواع التلوث المحددة التي قد تتسبب في إخفاق النموذج في حالة استخدامه.

لماذا يهم هذا

يكتسب تسميم بيانات التدريب أهميته لـTPRM لأن منتجات الذكاء الاصطناعي التي تؤدي أداءً جيدًا في مقاييس الاختبار التي يقدّمها المورّد قد تظل تحتوي على نقاط عمياء منهجية ناجمة عن بيانات تدريب ملوثة. فنموذج الاحتيال الذي يفوّت نمط احتيال محددًا لأن ذلك النمط صُنّف خطأً خلال فترة تدريبه سيستمر في تفويته في بيئة الإنتاج، وبثقة عالية، بصرف النظر عن جودة أدائه في معيار التحقق.

أين تخطئ معظم الفرق

الإخفاق الأكثر تكرارًا هو قبول مقاييس التحقق من النموذج دليلًا على جودة بيانات التدريب. فأداء التحقق يقيس مدى جودة تعلّم النموذج من بيانات تدريبه. وإذا كانت بيانات التدريب مسمومة، فمن المرجح أن تكون بيانات التحقق المأخوذة من المجموعة نفسها مسمومة بالطريقة نفسها، فيكون أداء التحقق مرتفعًا على الأخطاء نفسها التي تعلّمها النموذج.

• قبول مقاييس التحقق دليلًا على جودة بيانات التدريب
• عدم إجراء تحليل زمني لمجموعة بيانات التدريب: أي فترات وأي أحداث
• عدم طلب تقييم جودة التصنيف
• عدم إجراء اختبار التسميم العدائي
• عدم إجراء اختبار النقاط العمياء في سياق الإنتاج

كيف تبدو الممارسة الجيدة

تشمل تقييمات منتجات الذكاء الاصطناعي الناضجة وثائق جودة بيانات التدريب، والتحليل الزمني لتركيب مجموعة بيانات التدريب، والتحقق المستقل مقابل بيانات من خارج فترة التدريب، واختبار التسميم العدائي الذي يتقصّى تحديدًا النقاط العمياء الأكثر صلة بحالة استخدام العميل.

• وثائق جودة بيانات التدريب: المصادر، وعملية التصنيف، والفجوات المعروفة
• تحليل التركيب الزمني: تغطية فترة التدريب والأحداث المعروفة
• التحقق خارج التوزيع: الاختبار مقابل بيانات من فترات ومصادر مختلفة
• اختبار النقاط العمياء العدائية: اختبار النموذج مقابل أنماط عدائية معروفة
• رصد مستمر للأداء: الأداء في بيئة الإنتاج مقارنةً بمعيار التحقق

الأدوات

سلامة الذكاء الاصطناعي واختبار الفريق الأحمر: Adversarial Robustness Toolbox من IBM، وCleanLab لجودة التصنيف

تحدد أدوات تقييم جودة التصنيف مثل CleanLab أخطاء التصنيف المرجّحة في مجموعات بيانات التدريب عبر كشف الأمثلة التي تتعارض فيها ثقة النموذج مع التصنيف المسند. وبالنسبة إلى ممارسي TPRM، فإن السؤال عمّا إذا كان المورّد قد استخدم أدوات تقييم جودة التصنيف لتحديد أخطاء التصنيف المرجّحة في مجموعة بيانات تدريبه ومعالجتها يمثّل سؤالًا محددًا عن جودة البيانات.

تحديات الحوكمة

يتمثل تحدي الحوكمة في تسميم بيانات التدريب في مشكلة التقييم بأثر رجعي. فبيانات التدريب المجمّعة من بيانات تشغيلية تاريخية لا يمكن التحقق بأثر رجعي من خلوّها من الأخطاء الهيكلية التي تضمّنتها العمليات التشغيلية التاريخية. ويكمن حل الحوكمة في الرصد المستمر للأداء في بيئة الإنتاج، أي كشف انحراف سلوك النموذج الذي يشير إلى أنه يواجه مدخلات لم يُعدّه تدريبه لها.

• طلب وثائق جودة بيانات التدريب ووصف عملية التصنيف
• السؤال عن التركيب الزمني لمجموعة بيانات التدريب: أي فترات، وما الأحداث التي وقعت
• السؤال عن منهجية تقييم جودة التصنيف
• السؤال عن اختبار التسميم العدائي
• اشتراط رصد الأداء في بيئة الإنتاج مع كشف الانحراف

إذا كنت فريقًا صغيرًا

بالنسبة إلى أي مورّد للذكاء الاصطناعي يتخذ منتجه قرارات تصنيف ذات عواقب جوهرية، في الاحتيال أو التنبيهات الأمنية أو الائتمان أو المجال الطبي، اطرح سؤالًا زمنيًا واحدًا: هل تتضمن مجموعة بيانات التدريب لديكم فترات كانت فيها الأنماط التي تسعون إلى كشفها تنجح في التهرب من الكشف؟ في نماذج الاحتيال، يعني ذلك فترات الاحتيال غير المكتشف، وفي النماذج الأمنية يعني فترات الهجمات غير المكتشفة. يكشف هذا السؤال ما إذا كانت بيانات التدريب ترث النقاط العمياء لعملية الكشف التاريخية التي أنتجت التصنيفات.

• السؤال عمّا إذا كانت مجموعة بيانات التدريب تشمل فترات من نشاط عدائي غير مكتشف
• السؤال عن منهجية تقييم جودة التصنيف
• السؤال عن اختبار النقاط العمياء العدائية
• اشتراط رصد الأداء في بيئة الإنتاج

ما الذي ينبغي اشتراطه

اسأل مباشرةً:

«هل تتضمن مجموعة بيانات التدريب لديكم فترات تاريخية كانت فيها الأنماط التي دُرّب النموذج على كشفها تنجح في التهرب من الكشف، وكيف قيّمتم جودة التصنيف في تلك الفترات وعالجتموها؟ وهل اختُبر النموذج تحديدًا للكشف عن النقاط العمياء الناجمة عن أخطاء التصنيف التاريخية؟»

ما تتوقعه دليلًا

• وثائق التركيب الزمني لمجموعة بيانات التدريب
• منهجية تقييم جودة التصنيف ونتائجه
• نتائج اختبار النقاط العمياء العدائية
• رصد الأداء في بيئة الإنتاج مع كشف الانحراف

ينبغي أن يُسأل المورّد الذي يقدّم مقاييس تحقق قوية عن تركيب مجموعة بيانات التدريب التي جرى التحقق من تلك المقاييس مقابلها وعن جودة تصنيفها. فالأداء القوي على بيانات مسمومة يُثبت الأداء على السمّ، لا الأداء على حقيقة مرجعية نظيفة.

كيف تُثبت ذلك

• سجلات تقييم جودة بيانات التدريب
• تحليل التركيب الزمني
• اختبار النقاط العمياء العدائية
• سجلات رصد الأداء في بيئة الإنتاج

الخلاصة الرئيسية

كان أداء نموذج الاحتيال جيدًا، وكانت مقاييس التحقق قوية. لكن بيانات التدريب تضمّنت ثمانية عشر شهرًا من معاملات مصنّفة على أنها مشروعة كانت في الحقيقة احتيالًا غير مكتشف. فتعلّم النموذج تصنيف ذلك الاحتيال على أنه مشروع بثقة عالية. وأكّد التحقق أن النموذج متسق مع تدريبه، وكان التدريب متسقًا مع عملية تصنيف فيها نقطة عمياء امتدت ثمانية عشر شهرًا. إن تسميم بيانات التدريب عبر أخطاء التصنيف التاريخية هو شكل التلوث الذي لا يمكن كشفه بأداء التحقق وحده، لأن بيانات التحقق تحمل الأخطاء نفسها التي تحملها بيانات التدريب. والتحليل الزمني وتقييم جودة التصنيف واختبار النقاط العمياء العدائية هي الأدوات التي تكشف الأخطاء التي يخفيها أداء التحقق.