باستخدام هذا الموقع ، فإنك توافق على سياسة الخصوصية و شروط الاستخدام .
القبول

انضم الى قائمة المتابعين لتصلك جميع الاخبار مباشرة. اشترك الآن

الخليج ترند
  • الرئيسية
  • اخر الاخبار
  • دوليات
    • الولايات المتحدة
    • اوروبا
    • اسيا
    • كندا
    • افريقيا
  • اقتصاد
    • اسواق
    • شركات
    • الاستثمار
    • العملات المشفرة
  • سياسة

    سياسة

    سياسة

    الرجل المتهم بمحاولة اغتيال ترامب يطلب من القاضية إيلين كانون التنحي عن قضيته

    يطلب الرجل المتهم بالجلوس خلف سياج متصل بسلسلة على حدود ملعب الغولف التابع لدونالد ترامب في فلوريدا ومعه بندقية، بزعم…

    سياسة

    هابرمان: أصبحت لغة ترامب أكثر قتامة

    هابرمان: أصبحت لغة ترامب أكثر قتامة تقول المحللة السياسية لشبكة CNN، ماجي هابرمان، إن لغة الرئيس السابق دونالد ترامب خلال…

    سياسة

    بالنسبة لبايدن، فإن وفاة السنوار تضخ حالة من عدم اليقين – ولكنها أيضًا تفتح بابًا – لحل الصراع في غزة

    على مدار أشهر، ظل المسؤولون الأمريكيون المحبطون الذين يتطلعون إلى إنهاء الحرب في غزة يفكرون بهدوء في السيناريو الوحيد الذي…

    سياسة

    سيتم منح المواطنين اللبنانيين الذين يعيشون في الولايات المتحدة إغاثة إنسانية مع استمرار الصراع بين إسرائيل وحزب الله

    أعلنت وزارة الأمن الداخلي اليوم الخميس، أن المواطنين اللبنانيين المقيمين في الولايات المتحدة سيحصلون على شكل من أشكال الإغاثة الإنسانية،…

  • تقنية
  • رياضة
  • صحة
  • منوعات

    منوعات

    منوعات

    بعد غش الأطعمة بالبسلة.. ماذا يحدث عند تناولها يوميا

    تعد البسلة من الأطعمة الشهية التى يمكن استخدامها فى أكلات عديدة ولكن انتشر مؤخرا استخدامات غريبة لها من خلال غش…

    منوعات

    العتاولة.. لأول مرة مصطفى أبو سريع يكشف كواليس جملة “المال الحلال أهو”

    كشف الفنان مصطفى أبو سريع، نجم مسلسل العتاولة وصاحب مقولة "المال الحلال اهو" عن سر جملة "المال الحلال اهو". وأضاف أبو…

    منوعات

    اشترى عقارات وسيارات.. تاجر عملة يغسل 22 مليون جنيه

    اضطلعت الإدارة العامة لمكافحة جرائم الأموال العامة بقطاع مكافحة جرائم الأموال العامة والجريمة المنظمة بالتنسيق مع الأجهزة الأمنية المعنية باتخاذ…

    منوعات

    عضو التنسيقية: مشروع قانون الدعم النقدي يعبر عن حالة إنسانية تتبناها الدولة لأجل الأكثر احتياجا

    أكد حسام حفني عضو تنسيقية شباب الأحزاب عن حزب الريادة وعضو الهيئة العليا لحزب الريادة، أن مشروع قانون الضمان الاجتماعي…

  • المزيد
    • ثقافة وفنون
    • سياحة وسفر
اشترك معنا
Aa
الخليج ترند
  • اخر الاخبار
  • دوليات
  • سياسة
  • اقتصاد
  • صحة
  • تقنية
  • ثقافة وفنون
  • رياضة
  • سياحة وسفر
  • منوعات
البحث
  • الرئيسية
  • اخر الاخبار
  • دوليات
    • الولايات المتحدة
    • اوروبا
    • اسيا
    • كندا
    • افريقيا
  • اقتصاد
    • اسواق
    • شركات
    • الاستثمار
    • العملات المشفرة
  • سياسة
  • تقنية
  • رياضة
  • صحة
  • منوعات
  • المزيد
    • ثقافة وفنون
    • سياحة وسفر
banner
ابق على إطلاع دائم
اخر مستجدات العالم لحظة بلحظة من جميع المصادر الموثوقة، انضم الينا الآن ليصلك كل جديد الى بريدك الإلكتروني مباشرة.
اشترك الآن

اكتشف المزيد

  • صورة اليوم
  • مقالات رأي
  • اخر الاخبار
  • رائج اليوم
  • ألنشرة البريدية
2023 © المراقب. جميع الحقوق محفوظة.
الخليج ترند > تقنية > ثقب الأمان في قلب ChatGPT و Bing

ثقب الأمان في قلب ChatGPT و Bing

فريق التحرير كتب فريق التحرير منذ سنتين 5 دقيقة للقراءة
شارك

قالت مديرة الاتصالات في Microsoft ، كيتلين رولستون ، إن الشركة تحظر المواقع المشبوهة وتحسن أنظمتها لتصفية المطالبات قبل أن تدخل في نماذج الذكاء الاصطناعي الخاصة بها. ولم يذكر رولستون أي تفاصيل أخرى. على الرغم من ذلك ، يقول الباحثون الأمنيون إن هجمات الحقن الفوري غير المباشرة يجب أن تؤخذ على محمل الجد بينما تتسابق الشركات لتضمين الذكاء الاصطناعي التوليدي في خدماتها.

تقول سحر عبد النبي ، الباحثة في مركز CISPA هيلمهولتز لأمن المعلومات في ألمانيا: “الغالبية العظمى من الناس لا يدركون الآثار المترتبة على هذا التهديد”. عمل عبد النبي على بعض أولى أبحاث الحقن الفوري غير المباشرة ضد Bing ، حيث أظهر كيف يمكن استخدامه لخداع الناس. الهجمات سهلة التنفيذ للغاية وليست تهديدات نظرية. في الوقت الحالي ، أعتقد أن أي وظيفة يمكن أن يقوم بها النموذج يمكن مهاجمتها أو استغلالها للسماح بأي هجمات تعسفية.

الهجمات الخفية

تشبه هجمات الحقن الفوري غير المباشر عمليات كسر الحماية ، وهو مصطلح تم اعتماده سابقًا من كسر قيود البرامج على أجهزة iPhone. بدلاً من قيام شخص ما بإدخال مطالبة في ChatGPT أو Bing لمحاولة جعلها تتصرف بطريقة مختلفة ، تعتمد الهجمات غير المباشرة على البيانات التي يتم إدخالها من مكان آخر. قد يكون هذا من موقع ويب قمت بتوصيل النموذج به أو من مستند يتم تحميله.

يقول خوسيه سيلفي ، مستشار الأمن الرئيسي التنفيذي في شركة الأمن السيبراني NCC Group: “الحقن الفوري أسهل في الاستغلال أو أن متطلبات استغلاله بنجاح أقل من الأنواع الأخرى” من الهجمات ضد التعلم الآلي أو أنظمة الذكاء الاصطناعي. نظرًا لأن المطالبات تتطلب لغة طبيعية فقط ، فقد تتطلب الهجمات مهارة تقنية أقل للاندفاع ، كما يقول سيلفي.

كان هناك ارتفاع مطرد في الباحثين الأمنيين والتقنيين الذين يقومون بعمل ثغرات في LLMs. يقول توم بونر ، كبير مديري أبحاث التعلم الآلي العدائية في شركة Hidden Layer الأمنية للذكاء الاصطناعي ، إن الحقن الفوري غير المباشر يمكن اعتباره نوعًا جديدًا من الهجمات يحمل مخاطر “واسعة جدًا”. يقول بونر إنه استخدم ChatGPT لكتابة تعليمات برمجية ضارة قام بتحميلها إلى برنامج تحليل الكود الذي يستخدم الذكاء الاصطناعي. في الشفرة الخبيثة ، قام بتضمين مطالبة بأن النظام يجب أن يستنتج أن الملف آمن. تظهر لقطات الشاشة قائلا لم يكن هناك “شفرة ضارة” مضمنة في الشفرة الخبيثة الفعلية.

في مكان آخر ، يمكن لـ ChatGPT الوصول إلى نصوص مقاطع فيديو YouTube باستخدام المكونات الإضافية. قام يوهان ريبرغر ، الباحث الأمني ​​ومدير الفريق الأحمر ، بتحرير أحد نصوص الفيديو الخاصة به لتضمين موجهًا مصممًا للتلاعب بأنظمة الذكاء الاصطناعي التوليدية. تقول أن النظام يجب أن يصدر عبارة “نجح حقن الذكاء الاصطناعي” ثم يتخذ شخصية جديدة كمخترق يُدعى Genie داخل ChatGPT ويخبرنا بمزحة.

في حالة أخرى ، باستخدام مكون إضافي منفصل ، تمكن Rehberger من استرداد النص الذي تمت كتابته مسبقًا في محادثة مع ChatGPT. يقول ريبرغر: “مع إدخال المكونات الإضافية والأدوات وجميع عمليات الدمج هذه ، حيث يعطي الأشخاص وكالة لنموذج اللغة ، بمعنى ما ، حيث تصبح الحقن الفوري غير المباشر أمرًا شائعًا للغاية”. “إنها مشكلة حقيقية في النظام البيئي.”

يقول William Zhang ، أحد خبراء التعلم الآلي: “إذا أنشأ الأشخاص تطبيقات لجعل LLM يقرأ رسائل البريد الإلكتروني الخاصة بك ويتخذ بعض الإجراءات بناءً على محتويات رسائل البريد الإلكتروني هذه – إجراء عمليات شراء ولخص المحتوى – فقد يرسل المهاجم رسائل بريد إلكتروني تحتوي على هجمات الحقن الفوري” مهندس في شركة Robust Intelligence ، وهي شركة ذكاء اصطناعي تعمل على سلامة وأمن النماذج.

لا إصلاحات جيدة

يتسع السباق لتضمين الذكاء الاصطناعي التوليدي في المنتجات – من تطبيقات قائمة المهام إلى Snapchat – حيث يمكن أن تحدث الهجمات. يقول Zhang إنه رأى مطورين لم تكن لديهم خبرة في السابق في الذكاء الاصطناعي وهم يضعون الذكاء الاصطناعي التوليدي في تقنيتهم ​​الخاصة.

إذا تم إعداد روبوت محادثة للإجابة على أسئلة حول المعلومات المخزنة في قاعدة بيانات ، فقد يتسبب ذلك في حدوث مشكلات ، كما يقول. “يوفر الحقن الفوري وسيلة للمستخدمين لتجاوز تعليمات المطور.” قد يعني هذا ، من الناحية النظرية على الأقل ، أنه يمكن للمستخدم حذف المعلومات من قاعدة البيانات أو تغيير المعلومات المضمنة.

فريق التحرير مايو 25, 2023 مايو 25, 2023
شارك المقال
فيسبوك تويتر واتساب واتساب نسخ الرابط طباعة
شارك
المقال السابق واشنطن تعلن عن هجوم سيبراني “مدعوم” من الصين استهدف بنى تحتية حيوية
المقال التالي تنخفض الأسهم الآسيوية بعد أن وضعت وكالة فيتش التصنيف الائتماني للولايات المتحدة تحت المراقبة السلبية
اترك تعليقك اترك تعليقك

اترك تعليقاً إلغاء الرد

لن يتم نشر عنوان بريدك الإلكتروني. الحقول الإلزامية مشار إليها بـ *

تابع معنا اخر الاخبار لحظة بلحظة واطلع على ما يحدث في العالم من حولك

ابق على إطلاع

اخر مستجدات العالم لحظة بلحظة من جميع المصادر الموثوقة، انضم الينا الآن ليصلك كل جديد.

اشترك الآن

رائج اليوم

اكتشف المزيد

  • صورة اليوم
  • مقالات رأي
  • اخر الاخبار
  • رائج اليوم
  • النشرة البريدية

مقالات ذات صلة

تعطي وكالة حماية البيئة بعض المواد الكيميائية إلى الأبد تمريرة

تقنية

لا يمكن لـ Elon Musk's Grok Ai التوقف عن الحديث عن “الإبادة الجماعية البيضاء”

تقنية

السبب الذي يجعل نغمة Murderbot تشعر

تقنية

تقوم Microsoft بقطع الوصول إلى بيانات بحث Bing أثناء تحويل التركيز إلى chatbots

تقنية

تهديدات عنيفة ضد الولايات المتحدة تتجاوز عبر الإنترنت

تقنية

يحلم وكيل منظمة العفو الدولية من Google DeepMind خوارزميات بما يتجاوز الخبرة البشرية

تقنية

مراجعة: Jackrabbit OG2 Pro و XG Pro Ebikes

تقنية

مراجعة: eargo 8 أجهزة السمع

تقنية
مصدرك الأول لآخر الاخبار العالمية
Facebook Twitter Youtube Instagram Linkedin

2023 © المراقب. جميع الحقوق محفوظة.

روابط هامة

  • الرئيسية
  • من نحن
  • سياسة الخصوصية
  • اعلن معنا
  • اتصل بنا

أهم الأقسام

  • ثقافة وفنون
  • سياحة وسفر
  • سياسة
  • صحة
  • اقتصاد

نرشح لك

اخبار الوادي الجديد: خطة عاجلة لتعزيز خدمات الكهرباء بالفرافرة.. وإجراءات واشتراطات التغذية
صبي يبلغ من العمر 14 عامًا تم إلقاء القبض عليه بإطلاق النار المميت برونكس للمراهقين المراهقين
401 (ك) العملاق التمكين لإضافة استثمارات في السوق الخاصة إلى محافظ التقاعد

صحيفة المراقب هي صحيفة يومية عربية تهتم بآخر اخبار المملكة العربية السعودية والخليج العربي والشرق الأوسط والعالم. تابع معنا اخر اخبار الاقتصاد والرياضة والسياسة واهم القضايا التي تهم المواطن العربي.

Welcome Back!

Sign in to your account

نسيت كلمة المرور؟