يمكن التلاعب بميزة في برنامج الذكاء الاصطناعي من Nvidia لتجاهل قيود الأمان والكشف عن معلومات خاصة ، وفقًا لبحث جديد.
أنشأت Nvidia نظامًا يسمى “NeMo Framework” والذي يسمح للمطورين بالعمل مع مجموعة من نماذج اللغات الكبيرة – التكنولوجيا الأساسية التي تدعم منتجات الذكاء الاصطناعي التوليدية مثل روبوتات المحادثة.
تم تصميم إطار عمل صانع الرقائق ليتم اعتماده من قبل الشركات ، مثل استخدام بيانات ملكية الشركة جنبًا إلى جنب مع نماذج اللغة لتقديم إجابات للأسئلة – وهي ميزة يمكنها ، على سبيل المثال ، تكرار عمل ممثلي خدمة العملاء ، أو تقديم المشورة للأشخاص الذين يسعون للحصول على مشورة بسيطة للرعاية الصحية .
وجد الباحثون في شركة Robust Intelligence ومقرها سان فرانسيسكو أنه يمكنهم بسهولة اختراق ما يسمى بحواجز الحماية الموضوعة لضمان استخدام نظام الذكاء الاصطناعي بأمان.
بعد استخدام نظام Nvidia في مجموعات البيانات الخاصة بهم ، استغرق الأمر ساعات فقط لمحللي Robust Intelligence للحصول على نماذج لغوية للتغلب على القيود.
في أحد سيناريوهات الاختبار ، أمر الباحثون نظام Nvidia بتبديل الحرف “I” بالحرف “J”. دفعت هذه الخطوة التكنولوجيا إلى الإفراج عن معلومات التعريف الشخصية ، أو PII ، من قاعدة بيانات.
وجد الباحثون أن بإمكانهم القفز على ضوابط السلامة بطرق أخرى ، مثل جعل النموذج يتراجع بطرق لم يكن من المفترض أن يفعلها.
من خلال تكرار مثال Nvidia الخاص حول مناقشة ضيقة حول تقرير الوظائف ، يمكنهم إدخال النموذج في موضوعات مثل صحة نجم سينمائي في هوليوود والحرب الفرنسية البروسية – على الرغم من الحواجز المصممة لمنع الذكاء الاصطناعي من تجاوز موضوعات محددة.
إن السهولة التي هزم بها الباحثون الإجراءات الوقائية تسلط الضوء على التحديات التي تواجه شركات الذكاء الاصطناعي في محاولة تسويق واحدة من أكثر التقنيات الواعدة التي ظهرت من وادي السيليكون لسنوات.
قال يارون سينجر ، أستاذ علوم الكمبيوتر بجامعة هارفارد ، والرئيس التنفيذي لشركة “روبست إنتليجنس”: “إننا نرى أن هذه مشكلة صعبة تتطلب خبرة معرفية عميقة”. “تمثل هذه النتائج قصة تحذيرية حول المزالق الموجودة”.
في أعقاب نتائج الاختبار ، نصح الباحثون عملاءهم بتجنب منتج برنامج Nvidia. بعد أن طلبت صحيفة Financial Times من Nvidia التعليق على البحث في وقت سابق من هذا الأسبوع ، أبلغت شركة تصنيع الرقائق Robust Intelligence أنها قد أصلحت أحد الأسباب الجذرية وراء المشكلات التي أثارها المحللون.
ارتفع سعر سهم Nvidia منذ مايو عندما توقعت مبيعات بقيمة 11 مليار دولار للأشهر الثلاثة المنتهية في يوليو ، أي أكثر من 50 في المائة من تقديرات وول ستريت السابقة.
الزيادة مبنية على الطلب الهائل على رقائقها ، والتي تعتبر المعالجات الرائدة في السوق لبناء أنظمة ذكاء اصطناعي توليدية ، وهي أنظمة قادرة على إنشاء محتوى شبيه بالبشر.
قال جوناثان كوهين ، نائب رئيس الأبحاث التطبيقية في Nvidia ، إن إطار العمل الخاص به كان مجرد “نقطة انطلاق لبناء روبوتات محادثة للذكاء الاصطناعي تتوافق مع إرشادات المطورين الموضوعية والسلامة والأمن”.
قال: “تم إصداره كبرنامج مفتوح المصدر للمجتمع لاستكشاف قدراته ، وتقديم الملاحظات ، والمساهمة بأحدث التقنيات” ، مضيفًا أن عمل Robust Intelligence “حدد الخطوات الإضافية التي ستكون ضرورية لنشر الإنتاج. طلب”.
ورفض الكشف عن عدد الشركات التي تستخدم المنتج ، لكنه قال إن الشركة لم تتلق أي تقارير أخرى عن سوء التصرف.
أطلقت شركات الذكاء الاصطناعي الرائدة مثل Google و OpenAI المدعومة من Microsoft روبوتات محادثة مدعومة بنماذج لغتها الخاصة ، وأقامت حواجز حماية لضمان تجنب منتجات الذكاء الاصطناعي الخاصة بها استخدام خطاب عنصري أو تبني شخصية مستبدة.
وتبع البعض الآخر أنظمة ذكاء اصطناعي مفصل ، ولكن تجريبي ، يعلم التلاميذ الصغار ويقدمون نصائح طبية بسيطة ويترجمون بين اللغات ويكتبون كودًا. لقد عانى جميعهم تقريبًا من مشاكل تتعلق بالسلامة.
قالت بيا لونغورث ، رئيسة الشؤون الحكومية للشركة في أوروبا والشرق الأوسط وإفريقيا ، في مؤتمر نظمته مجموعة ضغط الصناعة TechUK هذا الأسبوع ، إن Nvidia وغيرها في صناعة الذكاء الاصطناعي بحاجة إلى “بناء ثقة الجمهور حقًا في التكنولوجيا”.
وأضاف لونغوورث أن عليهم أن يمنحوا الجمهور إحساسًا بأن “هذا شيء له إمكانات هائلة وليس مجرد تهديد ، أو شيء يخاف منه”.
