باستخدام هذا الموقع ، فإنك توافق على سياسة الخصوصية و شروط الاستخدام .
القبول

انضم الى قائمة المتابعين لتصلك جميع الاخبار مباشرة. اشترك الآن

الخليج ترند
  • الرئيسية
  • اخر الاخبار
  • دوليات
    • الولايات المتحدة
    • اوروبا
    • اسيا
    • كندا
    • افريقيا
  • اقتصاد
    • اسواق
    • شركات
    • الاستثمار
    • العملات المشفرة
  • سياسة

    سياسة

    سياسة

    الرجل المتهم بمحاولة اغتيال ترامب يطلب من القاضية إيلين كانون التنحي عن قضيته

    يطلب الرجل المتهم بالجلوس خلف سياج متصل بسلسلة على حدود ملعب الغولف التابع لدونالد ترامب في فلوريدا ومعه بندقية، بزعم…

    سياسة

    هابرمان: أصبحت لغة ترامب أكثر قتامة

    هابرمان: أصبحت لغة ترامب أكثر قتامة تقول المحللة السياسية لشبكة CNN، ماجي هابرمان، إن لغة الرئيس السابق دونالد ترامب خلال…

    سياسة

    بالنسبة لبايدن، فإن وفاة السنوار تضخ حالة من عدم اليقين – ولكنها أيضًا تفتح بابًا – لحل الصراع في غزة

    على مدار أشهر، ظل المسؤولون الأمريكيون المحبطون الذين يتطلعون إلى إنهاء الحرب في غزة يفكرون بهدوء في السيناريو الوحيد الذي…

    سياسة

    سيتم منح المواطنين اللبنانيين الذين يعيشون في الولايات المتحدة إغاثة إنسانية مع استمرار الصراع بين إسرائيل وحزب الله

    أعلنت وزارة الأمن الداخلي اليوم الخميس، أن المواطنين اللبنانيين المقيمين في الولايات المتحدة سيحصلون على شكل من أشكال الإغاثة الإنسانية،…

  • تقنية
  • رياضة
  • صحة
  • منوعات

    منوعات

    منوعات

    موعد مباراة الأهلي ضد فيوتشر في الدوري

    يحل الفريق الأول لكرة القدم بالنادي الأهلي ضيفا ثقيلا علي منافسه فيوتشر اليوم علي ملعب استاد السلام ضمن منافسات مؤجلات…

    منوعات

    في مثل هذا اليوم من التاريخ ، 21 يوليو 1999 ، غواصو البحرية ينتشلون جثة جون إف كينيدي جونيور بعد تحطم طائرة

    في مثل هذا اليوم من التاريخ ، 21 يوليو 1999 ، استعاد غواصو البحرية جثث جون إف كينيدي جونيور ،…

    منوعات

    جامعة العريش تشارك بمؤتمر التميز في البحث العلمي بمصر

    شاركت جامعة العريش   شمال سيناء، في مؤتمر “التميز في البحث العلمي مستقبل الانتاج المعرفي في مصر” والذى قامت بتنظيمه…

    البرهان يزور جوبا لبحث العلاقات الثنائية والتطورات بالسودان

    توجه رئيس مجلس السيادة وقائد الجيش السوداني عبدالفتاح البرهان، اليوم الاثنين، إلى جوبا للقاء رئيس جنوب السودان سلفا كير ميارديت…

  • المزيد
    • ثقافة وفنون
    • سياحة وسفر
اشترك معنا
Aa
الخليج ترند
  • اخر الاخبار
  • دوليات
  • سياسة
  • اقتصاد
  • صحة
  • تقنية
  • ثقافة وفنون
  • رياضة
  • سياحة وسفر
  • منوعات
البحث
  • الرئيسية
  • اخر الاخبار
  • دوليات
    • الولايات المتحدة
    • اوروبا
    • اسيا
    • كندا
    • افريقيا
  • اقتصاد
    • اسواق
    • شركات
    • الاستثمار
    • العملات المشفرة
  • سياسة
  • تقنية
  • رياضة
  • صحة
  • منوعات
  • المزيد
    • ثقافة وفنون
    • سياحة وسفر
banner
ابق على إطلاع دائم
اخر مستجدات العالم لحظة بلحظة من جميع المصادر الموثوقة، انضم الينا الآن ليصلك كل جديد الى بريدك الإلكتروني مباشرة.
اشترك الآن

اكتشف المزيد

  • صورة اليوم
  • مقالات رأي
  • اخر الاخبار
  • رائج اليوم
  • ألنشرة البريدية
2023 © المراقب. جميع الحقوق محفوظة.
الخليج ترند > تقنية > ليس من السهل إصلاح أكبر خلل أمني في الذكاء الاصطناعي التوليدي

ليس من السهل إصلاح أكبر خلل أمني في الذكاء الاصطناعي التوليدي

فريق التحرير كتب فريق التحرير منذ سنتين 5 دقيقة للقراءة
شارك

من السهل أن خداع نماذج اللغات الكبيرة التي تشغل برامج الدردشة الآلية مثل ChatGPT من OpenAI وBard من Google. وفي إحدى التجارب التي أجريت في شهر فبراير، أجبر الباحثون الأمنيون برنامج Bing chatbot التابع لشركة Microsoft على التصرف مثل المحتال. تعليمات مخفية على صفحة ويب أنشأها الباحثون تطلب من برنامج الدردشة الآلي أن يطلب من الشخص الذي يستخدمه تسليم تفاصيل حسابه المصرفي. هذا النوع من الهجمات، حيث يمكن للمعلومات المخفية أن تجعل نظام الذكاء الاصطناعي يتصرف بطرق غير مقصودة، هو مجرد البداية.

وقد تم إنشاء مئات الأمثلة على هجمات “الحقن الفوري غير المباشر” منذ ذلك الحين. يعتبر هذا النوع من الهجوم الآن أحد أكثر الطرق المثيرة للقلق التي يمكن من خلالها إساءة استخدام نماذج اللغة من قبل المتسللين. مع تشغيل أنظمة الذكاء الاصطناعي التوليدية من قبل الشركات الكبرى والشركات الناشئة الصغيرة، تسعى صناعة الأمن السيبراني جاهدة لرفع مستوى الوعي بالمخاطر المحتملة. ومن خلال القيام بذلك، يأملون في الحفاظ على البيانات – سواء الشخصية أو الخاصة بالشركة – آمنة من الهجوم. في الوقت الحالي، لا يوجد حل سحري واحد، ولكن ممارسات الأمان الشائعة يمكن أن تقلل من المخاطر.

يقول فيجاي بولينا، كبير مسؤولي أمن المعلومات في وحدة الذكاء الاصطناعي DeepMind في جوجل: “إن الحقن الفوري غير المباشر يمثل بالتأكيد مصدر قلق بالنسبة لنا”، مضيفًا أن جوجل لديها العديد من المشاريع الجارية لفهم كيفية مهاجمة الذكاء الاصطناعي. تقول بولينا إن الحقن الفوري كان يعتبر في الماضي “مشكلة”، لكن الأمور تسارعت منذ أن بدأ الناس في ربط نماذج اللغات الكبيرة (LLMs) بالإنترنت والمكونات الإضافية، والتي يمكن أن تضيف بيانات جديدة إلى الأنظمة. نظرًا لأن المزيد من الشركات تستخدم LLMs، مما قد يزودها بالمزيد من البيانات الشخصية وبيانات الشركة، فسوف تصبح الأمور فوضوية. تقول بولينا: “نعتقد بالتأكيد أن هذا يمثل خطرًا، وهو يحد في الواقع من الاستخدامات المحتملة لدرجة الماجستير في القانون بالنسبة لنا كصناعة”.

تنقسم هجمات الحقن الفوري إلى فئتين: مباشرة وغير مباشرة. وهذا الأخير هو الذي يسبب القلق الأكبر بين خبراء الأمن. عند استخدام LLM، يطرح الأشخاص أسئلة أو يقدمون تعليمات في المطالبات التي يجيب عليها النظام بعد ذلك. يحدث الحقن الفوري المباشر عندما يحاول شخص ما تقديم إجابة ماجستير في القانون بطريقة غير مقصودة، مما يجعله ينطق بخطاب يحض على الكراهية أو إجابات ضارة، على سبيل المثال. إن الحقن السريعة غير المباشرة، وهي تلك المثيرة للقلق حقًا، ترفع الأمور إلى مستوى أعلى. وبدلاً من قيام المستخدم بإدخال مطالبة ضارة، تأتي التعليمات من جهة خارجية. يمكن أن يحتوي موقع الويب الذي يمكن لـ LLM قراءته، أو ملف PDF الذي يتم تحليله، على سبيل المثال، على تعليمات مخفية ليتبعها نظام الذكاء الاصطناعي.

يقول ريتش هارانج، مهندس الأمن الرئيسي الذي يركز على أنظمة الذكاء الاصطناعي في شركة Nvidia: “الخطر الأساسي الكامن وراء كل هذه الأمور، بالنسبة للتعليمات السريعة المباشرة وغير المباشرة، هو أن كل من يقدم مدخلات إلى LLM يتمتع بدرجة عالية من التأثير على المخرجات”. ، أكبر صانع لرقائق الذكاء الاصطناعي في العالم. ببساطة: إذا كان بإمكان شخص ما وضع البيانات في ماجستير إدارة الأعمال، فمن المحتمل أن يتمكن من التلاعب بما يبثه مرة أخرى.

لقد أظهر الباحثون الأمنيون كيف يمكن استخدام الحقن الفوري غير المباشر لسرقة البيانات، والتلاعب بالسيرة الذاتية لشخص ما، وتشغيل التعليمات البرمجية عن بعد على الجهاز. صنفت مجموعة من الباحثين الأمنيين الحقن الفوري على أنه أكبر ثغرة أمنية لأولئك الذين ينشرون ويديرون LLMs. وقد لفت المركز الوطني للأمن السيبراني، وهو فرع من وكالة الاستخبارات البريطانية GCHQ، الانتباه إلى خطر الهجمات السريعة، قائلاً إن هناك مئات الأمثلة حتى الآن. وحذر فرع GCHQ في منشور بالمدونة: “في حين أن البحث مستمر في الحقن الفوري، فقد يكون الأمر ببساطة مشكلة متأصلة في تكنولوجيا LLM”. “هناك بعض الاستراتيجيات التي يمكن أن تجعل الحقن الفوري أكثر صعوبة، ولكن حتى الآن لا توجد وسائل تخفيف مؤكدة.”

فريق التحرير سبتمبر 6, 2023 سبتمبر 6, 2023
شارك المقال
فيسبوك تويتر واتساب واتساب نسخ الرابط طباعة
شارك
المقال السابق وزير الخارجية المغربي: القضية الفلسطينية كانت ولازالت على رأس أولويات العمل العربي
المقال التالي أحمد سعد وروبي يجتمعان في حفل غنائي.. الخميس
اترك تعليقك اترك تعليقك

اترك تعليقاً إلغاء الرد

لن يتم نشر عنوان بريدك الإلكتروني. الحقول الإلزامية مشار إليها بـ *

تابع معنا اخر الاخبار لحظة بلحظة واطلع على ما يحدث في العالم من حولك

ابق على إطلاع

اخر مستجدات العالم لحظة بلحظة من جميع المصادر الموثوقة، انضم الينا الآن ليصلك كل جديد.

اشترك الآن

رائج اليوم

تلويح إيراني بانخراط حزب الله في المواجهة.. هل اقتربت الحرب الإقليمية؟

يبدو أن الحرب الدائرة منذ نحو أسبوع بين إسرائيل وإيران أصبحت قريبة جدا من التحول…

اخر الاخبار منذ يومين

الوكالة الدولية الذرية تؤكد تدمير إسرائيل لمنشآت نووية قرب طهران

18/6/2025-|آخر تحديث: 22:29 (توقيت مكة)أكدت الوكالة الدولية للطاقة الذرية اليوم الأربعاء أن الغارات الجوية الإسرائيلية…

اخر الاخبار منذ يومين

الاحتلال يقتل فلسطينيا في بيت لحم ويقتحم مخيم بلاطة

استشهد فلسطيني، اليوم الأربعاء، برصاص الجيش الإسرائيلي في بلدة الولجة ببيت لحم، جنوبي الضفة الغربية…

اخر الاخبار منذ 3 أيام

إسرائيل تعلن تدمير مقر الأمن الإيراني ودوي انفجارات شرق وغرب طهران

18/6/2025-|آخر تحديث: 19:35 (توقيت مكة)أعلنت إسرائيل الأربعاء، أنها دمرت مقر الأمن الداخلي الإيراني، بينما سمع…

اخر الاخبار منذ يومين

الحرس الثوري يستخدم صاروخ سجيل للمرة الأولى وإسرائيل تعلن اعتراض رشقة صاروخية

18/6/2025-|آخر تحديث: 22:45 (توقيت مكة)أعلن الحرس الثوري الإيراني اليوم الأربعاء أنه أطلق الموجة 12 من…

اخر الاخبار منذ يومين

اكتشف المزيد

  • صورة اليوم
  • مقالات رأي
  • اخر الاخبار
  • رائج اليوم
  • النشرة البريدية

مقالات ذات صلة

كيفية تحويل دراجة تمثيلية إلى دراجة كهربائية

تقنية

مطبعة. طية. يشارك. قم بتنزيل Wired's How to Win a Fight Zine هنا

تقنية

مراجعة: Concha Sol Aids Aids

تقنية

'Wall-e with a gun': Midjourney يولد مقاطع فيديو لشخصيات ديزني وسط دعوى حقوق الطبع والنشر الضخمة

تقنية

على محمل الجد ، ما هو “superintelligence”؟

تقنية

“الشذوذ الرئيسي” وراء آخر انفجار SPACEX Starship

تقنية

Gigabyte Radeon RX 9060 XT Windforce OC 3X Card

تقنية

ما ستفعله فرقة Big Tech's Execs في الجيش

تقنية
مصدرك الأول لآخر الاخبار العالمية
Facebook Twitter Youtube Instagram Linkedin

2023 © المراقب. جميع الحقوق محفوظة.

روابط هامة

  • الرئيسية
  • من نحن
  • سياسة الخصوصية
  • اعلن معنا
  • اتصل بنا

أهم الأقسام

  • ثقافة وفنون
  • سياحة وسفر
  • سياسة
  • صحة
  • اقتصاد

نرشح لك

جنون الذهب.. مفاجأة في سعر عيار 21 اليوم السبت
قاضٍ أمريكي يفرج عن الناشط الفلسطيني محمود خليل والبيت الأبيض يستنكر
خالد الغندور: الترجي يحقق أول انتصار للعرب ويفوز بدون صفقات كبيرة

صحيفة المراقب هي صحيفة يومية عربية تهتم بآخر اخبار المملكة العربية السعودية والخليج العربي والشرق الأوسط والعالم. تابع معنا اخر اخبار الاقتصاد والرياضة والسياسة واهم القضايا التي تهم المواطن العربي.

Welcome Back!

Sign in to your account

نسيت كلمة المرور؟