أعلنت شركة مايكروسوفت عن إطلاق أداتين مفتوحتين المصدر تستهدفان تعزيز أمن الوكلاء الاصطناعيين أثناء مراحل التطوير، وهما RAMPART وClarity. هذه الخطوة تأتي في سياق تزايد المخاوف من المخاطر الأمنية المرتبطة بالذكاء الاصطناعي الوكيلي، حيث تسعى الشركة إلى تمكين المطورين من اختبار الأنظمة بشكل استباقي قبل أن تتحول إلى منتجات فعلية.
RAMPART: منصة اختبار أمني للوكلاء الاصطناعيين
أداة RAMPART، وهي اختصار لـ Risk Assessment and Measurement Platform for Agentic Red Teaming، تعمل كإطار اختبار أمني مبني على Pytest، يتيح للمطورين كتابة وتشغيل اختبارات أمان وسلامة للوكلاء الاصطناعيين.
تغطي الأداة سيناريوهات متعددة تشمل الهجمات العدائية والمشكلات غير المقصودة، مثل حقن الأوامر عبر البيانات غير الموثوقة (Cross-Prompt Injections)، أو تسرب البيانات، أو الانحرافات السلوكية غير المرغوبة.
تقوم RAMPART بتقييم نتائج هذه الاختبارات وتقديم تقارير دقيقة، معتمدة على بنية قابلة للتوصيل عبر “Adapter” يربط الوكيل الاصطناعي بحزمة الاختبار. وتُبنى هذه الأداة على خبرة سابقة من مشروع PyRIT الذي أطلقته مايكروسوفت قبل أكثر من عامين لاختبار أنظمة الذكاء الاصطناعي.
Clarity: شريك تفكير منظم للمطورين
أما أداة Clarity، فقد وُصفت بأنها “لوحة تفكير منظمة” تساعد المطورين على توضيح المشكلات واستكشاف الحلول قبل كتابة أي سطر برمجي. تعمل الأداة كـ “شريك تفكير اصطناعي” يطرح أسئلة مضادة، ويوجه الفرق عبر مراحل توضيح المشكلة، تحليل الفشل، واستكشاف القرارات.
الهدف الأساسي من Clarity هو دفع الفرق الهندسية إلى اختبار افتراضاتها مبكراً، حيث يكون تغيير المسار أقل تكلفة، ويمكن أن يوفر شهوراً من إعادة العمل لاحقاً.
أهمية الأدوات في دورة حياة التطوير
أوضحت مايكروسوفت أن الهدف من إطلاق هذه الأدوات هو جعل الحوادث الأمنية قابلة لإعادة الإنتاج، وجعل وسائل التخفيف قابلة للتحقق، وتحويل خبرات فرق “Red Teaming” إلى أصول هندسية قابلة للتشغيل.
بينما يُستخدم PyRIT عادةً بعد بناء النظام لاكتشاف الثغرات بطريقة “الصندوق الأسود”، فإن RAMPART مصمم ليكون أداة بيد المهندسين أثناء عملية البناء نفسها. أما Clarity، فهي تساعد الفرق على توضيح نوايا التصميم وتوثيق الافتراضات، لتتحول السلامة والأمن من مراجعة لمرة واحدة إلى “أصول حية” ترافق دورة حياة التطوير بالكامل.
