يجيب مساعد الذكاء الاصطناعي عن الأسئلة، ويسترجع المستندات، ويجهز رسائل العملاء بسرعة. لكن هذه القدرات تطرح سؤالًا تجاريًا: ما المعلومات التي قد يكشفها للشخص الخطأ؟ يحتاج الوكيل المتصل بالبريد الإلكتروني أو نظام إدارة علاقات العملاء أو قاعدة المعرفة الداخلية إلى مراجعة أعمق من روبوت يعرض إجابات عامة. يبدأ أمن وكلاء الذكاء الاصطناعي بتحديد مصادر المعلومات، والأشخاص المخولين بطلبها، والوجهات التي يمكن إرسالها إليها. اختبر هذه الحدود بنتائج موثقة قبل توسيع أي عملية مؤتمتة.
ابدأ بالبيانات التي يستطيع الوكيل الوصول إليها
احصر الأنظمة المتصلة والسجلات التي تتيحها كل وصلة. أدرج بيانات التواصل مع العملاء، والأسعار المتفق عليها، والعقود، ومحادثات الدعم، ومعلومات الموظفين، وبيانات الدخول. افصل المحتوى العام عن مستندات العمل الداخلية وسجلات العملاء المقيدة. تسمية مجلد بأنه خاص لا تثبت أن الوصول إليه محمي. راجع الحساب الذي تستخدمه أداة الربط، وصلاحياته الفعلية، وطريقة تطبيقها على كل طلب جديد.
تصنف OWASP كشف المعلومات الحساسة ضمن مخاطر تطبيقات النماذج اللغوية. حوّل هذا التصنيف إلى أسئلة تخص عملك: هل يستطيع عميل رؤية عرض سعر لعميل آخر؟ هل يمكن لموظف استرجاع مستندات الإدارة؟ هل قد تظهر كلمة مرور وردت في ملاحظة داخلية لمعالجة خطأ؟ دوّن النتيجة المتوقعة لكل حالة قبل بدء الاختبار، حتى تقارن السلوك الفعلي بحد واضح.
تعامل مع المحتوى الوارد بوصفه بيانات غير موثوقة
قد تصل محاولات حقن التعليمات عبر مستند أو رسالة أو صفحة يقرأها الوكيل. تصور مثالًا توضيحيًا في الدعم: تتضمن رسالة العميل طلبًا عاديًا، ثم نصًا يحاول دفع المساعد إلى كشف معلومات داخلية. ينبغي أن تساعد الرسالة في فهم مشكلة العميل، من دون أن تمنح صاحبها حق تغيير الصلاحيات أو الموافقة على إرسال بيانات سرية. يوضح هذا المثال ضرورة الفصل بين محتوى المصدر والسلطة التي تحدد ما يسمح للوكيل بفعله.
راجع الحد بين التعليمات المعتمدة والمعلومات المسترجعة. استخدم أمثلة آمنة ومحددة في بيئة تملكها أو لديك إذن صريح بفحصها، مع سجلات عملاء وهمية وعلامات اختبار غير حساسة. رفض النموذج لتعليمة مشبوهة مفيد، لكنه لا يثبت أن جميع الطرق الأخرى إلى البيانات نفسها مغلقة. سجل الاختبارات وما بقي خارج النطاق، وكرر الحالات بعد تغيير مصادر البيانات المتصلة.
تحقق من الصلاحيات قبل استرجاع المستندات
يبحث نظام التوليد المعزز بالاسترجاع، المعروف باسم RAG، في مجموعة مستندات قبل صياغة الإجابة. اسأل هل يراعي الاسترجاع صلاحيات المستخدم الذي أرسل الطلب، أم يتيح للنموذج قراءة كل شيء ثم يحاول إخفاء النتائج غير المناسبة؟ تكون الحدود أضعف عندما تدخل النصوص المقيدة بالفعل إلى سياق عمل الوكيل. يجب أن تشمل المراجعة مرحلة العثور على البيانات، وليس الإجابة النهائية وحدها فقط.
أنشئ حسابين تجريبيين بصلاحيات مختلفة وقدم لهما طلبات متشابهة. راجع معرفات المستندات المسترجعة، والإجابات، وروابط المصادر والتنزيل. أضف أسئلة التلخيص والمتابعة، ولا تكتف بطلب اسم ملف مباشر. إذا كان الوكيل يحتفظ بذاكرة المحادثة، أعد الاختبارات بعد تبديل المستخدم أو الجلسة. لا ينبغي أن تتحول معلومات استرجعها مستخدم سابق إلى طريق إضافي يصل من خلاله شخص آخر إلى مستندات لا يحق له الاطلاع عليها.
حدد صلاحيات الأدوات ووجهات الإرسال
تربط إرشادات OWASP بشأن الصلاحيات المفرطة الخطر بوظائف وصلاحيات واستقلالية تتجاوز حاجة المهمة. راجع كل أداة وفق العمل المطلوب منها. إعداد مسودة رسالة لا يعني الحاجة إلى إرسالها، والبحث عن مستند لا يستلزم القدرة على حذفه. أزل الوظائف غير المستخدمة وافصل صلاحية القراءة عن الإجراءات التي تغير سجلات العملاء أو تؤثر في العمليات التجارية. وثق هذه القرارات.
حدد المستلمين والوجهات المسموح بها للبريد والرفع وWebhooks وطلبات API خارج تعليمات النموذج. ضع موافقة بشرية مناسبة للإجراءات المؤثرة. عند استخدام بروتوكول سياق النموذج MCP، افحص كل خادم متصل وأدواته منفردًا؛ اسم البروتوكول لا يبين نطاق الوصول. وثق أيضًا من يوافق على الوصلات الجديدة ومن يستطيع إلغاءها فورًا، وراجع الصلاحيات عندما تتغير وظيفة الوكيل أو ينتقل تشغيله إلى فريق آخر لاحقًا.
افحص المسار كاملًا بما يشمل السجلات والأخطاء
راجع ما يحدث بعد إنشاء الإجابة. قد تصل البيانات الحساسة إلى سجلات التطبيق وتقارير الأخطاء وملفات تصدير المحادثات وخدمات المراقبة الخارجية. حدد الحقول التي يحتاجها فريق التشغيل فعلًا، واحذف الباقي أو أخفه. خصص للسجلات قيود وصول ومدد احتفاظ واضحة. غياب معلومة عن نافذة الدردشة لا يعني غيابها عن الأنظمة اللاحقة، لذلك اختبر الاستجابة ومسار تسجيلها وتصديرها بدل الاكتفاء بمشاهدة ما يظهر للمستخدم النهائي.
احتفظ بسجل اختبار مختصر يضم السيناريو، والحساب، والإجراء المطلوب، والنتيجة المتوقعة، والنتيجة الفعلية، وخطوة الإصلاح. اختبر الاستخدام الطبيعي، ورفض الوصول، وفشل الوصلات، ومحاولات تغيير المسار. بعد الإصلاح، أعد الحالة التي كشفت المشكلة ومهمة مشروعة قريبة منها. يؤكد الاختبار الأول أن الحد أصبح يعمل، ويؤكد الثاني أن العملية ما زالت تؤدي وظيفتها التجارية. احتفظ بالنتائج حتى تتمكن من المقارنة بعد تحديث الأدوات أو مصادر البيانات.
اطلب تقريرًا يساعد فريقك على التنفيذ
ينبغي أن يوضح تدقيق أمن وكيل الذكاء الاصطناعي نطاقه وحدوده، ويقدم أدلة يمكن إعادة التحقق منها، ويحدد مسؤولًا لكل ملاحظة. يشرح التقرير المفيد نوع المعلومات المعرضة للكشف، والطريق الذي أتاح الوصول إليها، والضابط المطلوب لإغلاقه. لا تمنح درجة منفردة فريقك خطة إصلاح واضحة. كذلك لا يعني نجاح فحص واحد أن الوكيل سيبقى آمنًا بعد إضافة بيانات أو أدوار أو أدوات جديدة لم يشملها الفحص.
حدد موعدًا لكل إجراء تصحيحي، والنتيجة التي ستعتمدها لإثبات نجاحه. إذا شاركت فرق متعددة، سمّ شخصًا يجمع الملاحظات المفتوحة ويتابع أصحابها. تبقى المشكلة مفتوحة حتى يثبت اختبار المتابعة أن الإصلاح يعمل. سجل الاستثناءات مع سببها وتاريخ انتهائها، وراجعها قبل تمديدها. بهذا لا تتحول صلاحيات مؤقتة أو حلول تشغيلية سريعة إلى قرارات دائمة لا يعرف أحد لماذا اتخذت أو متى يجب إلغاؤها.
ناقش مصادر البيانات وقدراته عبر خدمة أمن وكلاء الذكاء الاصطناعي. ولحماية المعلومات التي تظهر على الموقع العام، اقرأ دليل زواحف الذكاء الاصطناعي والبيانات الحساسة. تابع Blackcarrot Tech على فيسبوك لمقالات عملية إضافية. ابدأ بمسار عمل محدد وتقرير يبين حدود الوصول والتحسينات التي يستطيع فريقك اختبارها، ثم وسع المراجعة بناءً على ما تعلمته من النتائج الفعلية في شركتك.