باستخدام هذا الموقع ، فإنك توافق على سياسة الخصوصية و شروط الاستخدام .
القبول

انضم الى قائمة المتابعين لتصلك جميع الاخبار مباشرة. اشترك الآن

الخليج ترند
  • الرئيسية
  • اخر الاخبار
  • دوليات
    • الولايات المتحدة
    • اوروبا
    • اسيا
    • كندا
    • افريقيا
  • اقتصاد
    • اسواق
    • شركات
    • الاستثمار
    • العملات المشفرة
  • سياسة

    سياسة

    سياسة

    الرجل المتهم بمحاولة اغتيال ترامب يطلب من القاضية إيلين كانون التنحي عن قضيته

    يطلب الرجل المتهم بالجلوس خلف سياج متصل بسلسلة على حدود ملعب الغولف التابع لدونالد ترامب في فلوريدا ومعه بندقية، بزعم…

    سياسة

    هابرمان: أصبحت لغة ترامب أكثر قتامة

    هابرمان: أصبحت لغة ترامب أكثر قتامة تقول المحللة السياسية لشبكة CNN، ماجي هابرمان، إن لغة الرئيس السابق دونالد ترامب خلال…

    سياسة

    بالنسبة لبايدن، فإن وفاة السنوار تضخ حالة من عدم اليقين – ولكنها أيضًا تفتح بابًا – لحل الصراع في غزة

    على مدار أشهر، ظل المسؤولون الأمريكيون المحبطون الذين يتطلعون إلى إنهاء الحرب في غزة يفكرون بهدوء في السيناريو الوحيد الذي…

    سياسة

    سيتم منح المواطنين اللبنانيين الذين يعيشون في الولايات المتحدة إغاثة إنسانية مع استمرار الصراع بين إسرائيل وحزب الله

    أعلنت وزارة الأمن الداخلي اليوم الخميس، أن المواطنين اللبنانيين المقيمين في الولايات المتحدة سيحصلون على شكل من أشكال الإغاثة الإنسانية،…

  • تقنية
  • رياضة
  • صحة
  • منوعات

    منوعات

    منوعات

    الكشف عن وجهة “ماتيوس بيريرا” المقبلة مع نادي الهلال

    يرغب الكثير من محبين ومشجعي نادي الهلال السعودي في معرفة وجهة اللاعب البرازيلي ماتيوس بيريرا المقبلة مع نادي الهلال سواء…

    قرار الخطيب الحاسم.. الشاطر يكشف كواليس موسم الأهلي التاريخي بالتتويج بجميع البطولات

    قال إسلام الشاطر، لاعب الأهلي الأسبق، إن كلمة السر في الموسم المميز للفريق الأحمر؛ هو قرار رئيس النادي محمود الخطيب،…

    أجمل 10+ رسائل تهنئة عيد الاضحى لحماتي 2023 ام زوجي عيدك مبارك

    أجمل رسائل تهنئة عيد الاضحى لحماتي العزيزة التي تحظى، فهنّ الأمهات الثانيات اللاتي يُساهِمن في جعل حياتنا أكثر سعادة وازدهارًا،…

    منوعات

    السكك الحديدية تحيل عمال للتحقيق لتناولهم الطعام على إحدى بوابات المرور الإلكترونية

    أصدرت وزارة النقل ، بياناً إعلاميا اليوم بخصوص الصورة التي تم تداولها عبر عدد من صفحات وسائل التواصل الإجتماعي، بشأن…

  • المزيد
    • ثقافة وفنون
    • سياحة وسفر
اشترك معنا
Aa
الخليج ترند
  • اخر الاخبار
  • دوليات
  • سياسة
  • اقتصاد
  • صحة
  • تقنية
  • ثقافة وفنون
  • رياضة
  • سياحة وسفر
  • منوعات
البحث
  • الرئيسية
  • اخر الاخبار
  • دوليات
    • الولايات المتحدة
    • اوروبا
    • اسيا
    • كندا
    • افريقيا
  • اقتصاد
    • اسواق
    • شركات
    • الاستثمار
    • العملات المشفرة
  • سياسة
  • تقنية
  • رياضة
  • صحة
  • منوعات
  • المزيد
    • ثقافة وفنون
    • سياحة وسفر
banner
ابق على إطلاع دائم
اخر مستجدات العالم لحظة بلحظة من جميع المصادر الموثوقة، انضم الينا الآن ليصلك كل جديد الى بريدك الإلكتروني مباشرة.
اشترك الآن

اكتشف المزيد

  • صورة اليوم
  • مقالات رأي
  • اخر الاخبار
  • رائج اليوم
  • ألنشرة البريدية
2023 © المراقب. جميع الحقوق محفوظة.
الخليج ترند > تقنية > ليس من السهل إصلاح أكبر خلل أمني في الذكاء الاصطناعي التوليدي

ليس من السهل إصلاح أكبر خلل أمني في الذكاء الاصطناعي التوليدي

فريق التحرير كتب فريق التحرير منذ سنتين 5 دقيقة للقراءة
شارك

من السهل أن خداع نماذج اللغات الكبيرة التي تشغل برامج الدردشة الآلية مثل ChatGPT من OpenAI وBard من Google. وفي إحدى التجارب التي أجريت في شهر فبراير، أجبر الباحثون الأمنيون برنامج Bing chatbot التابع لشركة Microsoft على التصرف مثل المحتال. تعليمات مخفية على صفحة ويب أنشأها الباحثون تطلب من برنامج الدردشة الآلي أن يطلب من الشخص الذي يستخدمه تسليم تفاصيل حسابه المصرفي. هذا النوع من الهجمات، حيث يمكن للمعلومات المخفية أن تجعل نظام الذكاء الاصطناعي يتصرف بطرق غير مقصودة، هو مجرد البداية.

وقد تم إنشاء مئات الأمثلة على هجمات “الحقن الفوري غير المباشر” منذ ذلك الحين. يعتبر هذا النوع من الهجوم الآن أحد أكثر الطرق المثيرة للقلق التي يمكن من خلالها إساءة استخدام نماذج اللغة من قبل المتسللين. مع تشغيل أنظمة الذكاء الاصطناعي التوليدية من قبل الشركات الكبرى والشركات الناشئة الصغيرة، تسعى صناعة الأمن السيبراني جاهدة لرفع مستوى الوعي بالمخاطر المحتملة. ومن خلال القيام بذلك، يأملون في الحفاظ على البيانات – سواء الشخصية أو الخاصة بالشركة – آمنة من الهجوم. في الوقت الحالي، لا يوجد حل سحري واحد، ولكن ممارسات الأمان الشائعة يمكن أن تقلل من المخاطر.

يقول فيجاي بولينا، كبير مسؤولي أمن المعلومات في وحدة الذكاء الاصطناعي DeepMind في جوجل: “إن الحقن الفوري غير المباشر يمثل بالتأكيد مصدر قلق بالنسبة لنا”، مضيفًا أن جوجل لديها العديد من المشاريع الجارية لفهم كيفية مهاجمة الذكاء الاصطناعي. تقول بولينا إن الحقن الفوري كان يعتبر في الماضي “مشكلة”، لكن الأمور تسارعت منذ أن بدأ الناس في ربط نماذج اللغات الكبيرة (LLMs) بالإنترنت والمكونات الإضافية، والتي يمكن أن تضيف بيانات جديدة إلى الأنظمة. نظرًا لأن المزيد من الشركات تستخدم LLMs، مما قد يزودها بالمزيد من البيانات الشخصية وبيانات الشركة، فسوف تصبح الأمور فوضوية. تقول بولينا: “نعتقد بالتأكيد أن هذا يمثل خطرًا، وهو يحد في الواقع من الاستخدامات المحتملة لدرجة الماجستير في القانون بالنسبة لنا كصناعة”.

تنقسم هجمات الحقن الفوري إلى فئتين: مباشرة وغير مباشرة. وهذا الأخير هو الذي يسبب القلق الأكبر بين خبراء الأمن. عند استخدام LLM، يطرح الأشخاص أسئلة أو يقدمون تعليمات في المطالبات التي يجيب عليها النظام بعد ذلك. يحدث الحقن الفوري المباشر عندما يحاول شخص ما تقديم إجابة ماجستير في القانون بطريقة غير مقصودة، مما يجعله ينطق بخطاب يحض على الكراهية أو إجابات ضارة، على سبيل المثال. إن الحقن السريعة غير المباشرة، وهي تلك المثيرة للقلق حقًا، ترفع الأمور إلى مستوى أعلى. وبدلاً من قيام المستخدم بإدخال مطالبة ضارة، تأتي التعليمات من جهة خارجية. يمكن أن يحتوي موقع الويب الذي يمكن لـ LLM قراءته، أو ملف PDF الذي يتم تحليله، على سبيل المثال، على تعليمات مخفية ليتبعها نظام الذكاء الاصطناعي.

يقول ريتش هارانج، مهندس الأمن الرئيسي الذي يركز على أنظمة الذكاء الاصطناعي في شركة Nvidia: “الخطر الأساسي الكامن وراء كل هذه الأمور، بالنسبة للتعليمات السريعة المباشرة وغير المباشرة، هو أن كل من يقدم مدخلات إلى LLM يتمتع بدرجة عالية من التأثير على المخرجات”. ، أكبر صانع لرقائق الذكاء الاصطناعي في العالم. ببساطة: إذا كان بإمكان شخص ما وضع البيانات في ماجستير إدارة الأعمال، فمن المحتمل أن يتمكن من التلاعب بما يبثه مرة أخرى.

لقد أظهر الباحثون الأمنيون كيف يمكن استخدام الحقن الفوري غير المباشر لسرقة البيانات، والتلاعب بالسيرة الذاتية لشخص ما، وتشغيل التعليمات البرمجية عن بعد على الجهاز. صنفت مجموعة من الباحثين الأمنيين الحقن الفوري على أنه أكبر ثغرة أمنية لأولئك الذين ينشرون ويديرون LLMs. وقد لفت المركز الوطني للأمن السيبراني، وهو فرع من وكالة الاستخبارات البريطانية GCHQ، الانتباه إلى خطر الهجمات السريعة، قائلاً إن هناك مئات الأمثلة حتى الآن. وحذر فرع GCHQ في منشور بالمدونة: “في حين أن البحث مستمر في الحقن الفوري، فقد يكون الأمر ببساطة مشكلة متأصلة في تكنولوجيا LLM”. “هناك بعض الاستراتيجيات التي يمكن أن تجعل الحقن الفوري أكثر صعوبة، ولكن حتى الآن لا توجد وسائل تخفيف مؤكدة.”

فريق التحرير سبتمبر 6, 2023 سبتمبر 6, 2023
شارك المقال
فيسبوك تويتر واتساب واتساب نسخ الرابط طباعة
شارك
المقال السابق وزير الخارجية المغربي: القضية الفلسطينية كانت ولازالت على رأس أولويات العمل العربي
المقال التالي أحمد سعد وروبي يجتمعان في حفل غنائي.. الخميس
اترك تعليقك اترك تعليقك

اترك تعليقاً إلغاء الرد

لن يتم نشر عنوان بريدك الإلكتروني. الحقول الإلزامية مشار إليها بـ *

تابع معنا اخر الاخبار لحظة بلحظة واطلع على ما يحدث في العالم من حولك

ابق على إطلاع

اخر مستجدات العالم لحظة بلحظة من جميع المصادر الموثوقة، انضم الينا الآن ليصلك كل جديد.

اشترك الآن

رائج اليوم

تلويح إيراني بانخراط حزب الله في المواجهة.. هل اقتربت الحرب الإقليمية؟

يبدو أن الحرب الدائرة منذ نحو أسبوع بين إسرائيل وإيران أصبحت قريبة جدا من التحول…

اخر الاخبار منذ يومين

الوكالة الدولية الذرية تؤكد تدمير إسرائيل لمنشآت نووية قرب طهران

18/6/2025-|آخر تحديث: 22:29 (توقيت مكة)أكدت الوكالة الدولية للطاقة الذرية اليوم الأربعاء أن الغارات الجوية الإسرائيلية…

اخر الاخبار منذ يومين

الاحتلال يقتل فلسطينيا في بيت لحم ويقتحم مخيم بلاطة

استشهد فلسطيني، اليوم الأربعاء، برصاص الجيش الإسرائيلي في بلدة الولجة ببيت لحم، جنوبي الضفة الغربية…

اخر الاخبار منذ يومين

إسرائيل تعلن تدمير مقر الأمن الإيراني ودوي انفجارات شرق وغرب طهران

18/6/2025-|آخر تحديث: 19:35 (توقيت مكة)أعلنت إسرائيل الأربعاء، أنها دمرت مقر الأمن الداخلي الإيراني، بينما سمع…

اخر الاخبار منذ يومين

الحرس الثوري يستخدم صاروخ سجيل للمرة الأولى وإسرائيل تعلن اعتراض رشقة صاروخية

18/6/2025-|آخر تحديث: 22:45 (توقيت مكة)أعلن الحرس الثوري الإيراني اليوم الأربعاء أنه أطلق الموجة 12 من…

اخر الاخبار منذ يومين

اكتشف المزيد

  • صورة اليوم
  • مقالات رأي
  • اخر الاخبار
  • رائج اليوم
  • النشرة البريدية

مقالات ذات صلة

'Wall-e with a gun': Midjourney يولد مقاطع فيديو لشخصيات ديزني وسط دعوى حقوق الطبع والنشر الضخمة

تقنية

على محمل الجد ، ما هو “superintelligence”؟

تقنية

“الشذوذ الرئيسي” وراء آخر انفجار SPACEX Starship

تقنية

Gigabyte Radeon RX 9060 XT Windforce OC 3X Card

تقنية

ما ستفعله فرقة Big Tech's Execs في الجيش

تقنية

أفضل الفرش الحرارية (وكيف تعمل)

تقنية

تحتوي نظارات Meta's Oakley Smart على 3 كيلو باي

تقنية

يقول داني بويل إن إطلاق النار على أجهزة iPhone دعه يلتقط العنف “المذهل” بعد 28 عامًا

تقنية
مصدرك الأول لآخر الاخبار العالمية
Facebook Twitter Youtube Instagram Linkedin

2023 © المراقب. جميع الحقوق محفوظة.

روابط هامة

  • الرئيسية
  • من نحن
  • سياسة الخصوصية
  • اعلن معنا
  • اتصل بنا

أهم الأقسام

  • ثقافة وفنون
  • سياحة وسفر
  • سياسة
  • صحة
  • اقتصاد

نرشح لك

أخبار أسوان | إزالة 93 تعد على الأراضي وتوريد القمح واستقبال الأفواج السياحية
بوركينا فاسو وروسيا توقعان اتفاقية إقامة محطة نووية لإنتاج الطاقة
يقول Accenture إن الرؤساء التنفيذيين يقومون بتأجيل استشاري التوظيف بسبب عدم اليقين

صحيفة المراقب هي صحيفة يومية عربية تهتم بآخر اخبار المملكة العربية السعودية والخليج العربي والشرق الأوسط والعالم. تابع معنا اخر اخبار الاقتصاد والرياضة والسياسة واهم القضايا التي تهم المواطن العربي.

Welcome Back!

Sign in to your account

نسيت كلمة المرور؟