يُظهر تقرير جديد من رابطة مكافحة التشويه (ADL) تحيزات معادية لليهود ومناهضة لإسرائيل بين نماذج اللغة الكبيرة من الذكاء الاصطناعي (LLM).
في دراستها ، طلبت ADL من GPT-4O (Openai) و Claude 3.5 Sonnet (Anthropic) و Gemini 1.5 Pro (Google) و Llama 3-8b (meta) الموافقة على سلسلة من العبارات. قاموا بتنوع المطالبات بوضع أسماء على البعض وترك الآخرين مجهولين – ورأوا فرقًا في إجابات LLMS بناءً على اسم المستخدم أو عدم وجوده.
في الدراسة ، طُلب كل من LLMs لتقييم البيانات 8600 مرة وأعطت ما مجموعه 34000 ردود ، وفقًا لـ ADL. وقالت المنظمة إنها استخدمت 86 بيانات ، كل منها سقطت في واحدة من ست فئات: التحيز ضد اليهود ، والتحيز ضد إسرائيل ، والحرب في غزة/إسرائيل ، وحماس ، ونظريات المؤامرة اليهودية والإسرائيلية والتآمرات غير اليهانية (باستثناء المحرقة).
تجد دراسة ADL أن الباحثين عن عمل اليهود يواجهون تمييزًا كبيرًا في سوق العمل في الولايات المتحدة قبل مشروع ترامب الجديد
قال ADL إنه على الرغم من أن جميع LLMs لديها “تحيز معادي لليهود ومناهض لإسرائيل ، إلا أن تحيزات لاما” الأكثر وضوحًا “. أعطت Llama's Meta ، وفقًا لـ ADL ، بعض الإجابات “الخاطئة الصريحة” على الأسئلة حول الشعب اليهودي وإسرائيل.
وقال جوناثان جرينبلات الرئيس التنفيذي لشركة ADL في بيان “الذكاء الاصطناعي يعيد تشكيل كيف يستهلك الناس المعلومات ، ولكن كما يظهر هذا البحث ، فإن نماذج الذكاء الاصطناعى ليست محصنة ضد التحيزات المجتمعية المتأصلة بعمق”. “عندما تضخّم LLMS المعلومات الخاطئة أو ترفض الاعتراف بحقائق معينة ، يمكنها تشويه الخطاب العام والمساهمة في معاداة السامية. هذا التقرير هو دعوة ملحة لمطوري الذكاء الاصطناعي لتحمل مسؤولية منتجاتهم وتنفيذ ضمانات أقوى ضد التحيز.”
عندما تم طرح أسئلة حول حرب إسرائيل-هاماس المستمرة ، تم العثور على GPT و كلود لإظهار تحيزات “مهمة”. بالإضافة إلى ذلك ، ذكرت ADL أن “LLMs رفضت الإجابة على أسئلة حول إسرائيل بشكل متكرر أكثر من المواضيع الأخرى.”
يعلن مجلس الإشراف الميتا مكالمة معادية لإسرائيل “من النهر إلى البحر” ليس خطاب الكراهية
حذرت ADL من أن LLMs المستخدمة في التقرير أظهرت “عجزًا عن عدم القدرة على رفض الدرجات المعادية للسامية ونظريات المؤامرة بدقة.” بالإضافة إلى ذلك ، وجدت ADL أن كل LLM ، باستثناء GPT ، أظهر المزيد من التحيز عند الإجابة على أسئلة حول نظريات المؤامرة اليهودية أكثر من تلك المتعلقة بغير اليهود ، وفقًا لـ ADL ، لكنهم أظهروا جميعًا تحيزًا أكبر ضد إسرائيل أكثر من اليهود.
أخبر متحدث باسم META FOX Business أن دراسة ADL لم تستخدم أحدث إصدار من Meta AI. قالت الشركة إنها اختبرت نفس المطالبات التي استخدمها ADL ، ووجدت أن الإجابات من الإصدار المحدث من Meta AI أعطت إجابات مختلفة عند طرح سؤال متعدد الخيارات مقابل سؤال مفتوح. يقول Meta إن المستخدمين هم أكثر عرضة لطرح أسئلة مفتوحة أكثر من تلك التي يتم تنسيقها مثل مطالبات ADL.
“عادة ما يستخدم الأشخاص أدوات الذكاء الاصطناعى لطرح الأسئلة المفتوحة التي تسمح باستجابات دقيقة ، وليس مطالبات تتطلب الاختيار من قائمة إجابات الخيارات المتعددة المحددة مسبقًا. إننا نتحسن باستمرار من نماذجنا للتأكد من أنها قائمة على الحقائق وغير متحيزة ، لكن هذا التقرير ببساطة لا يعكس كيفية استخدام أدوات AI عمومًا”.
أثارت Google مشكلات مماثلة عند التحدث مع Fox Business. قالت الشركة إن نسخة الجوزاء المستخدمة في التقرير كانت نموذج المطور وليس المنتج الذي يواجه المستهلك.
مثل Meta ، تواجه Google مشكلة مع كيفية طرح ADL على أسئلة الجوزاء. لم تكن العبارات تعكس كيفية طرح المستخدمين على الأسئلة والإجابات التي سيحصلون عليها سيكون لها المزيد من التفاصيل ، وفقًا لـ Google.
حذر الرئيس المؤقت لمركز ADL للتكنولوجيا والمجتمع دانييل كيلي من أن هذه أدوات الذكاء الاصطناعي موجودة بالفعل في المدارس والمكاتب ومنصات التواصل الاجتماعي.
وقال كيلي في بيان صحفي “يجب أن تتخذ شركات الذكاء الاصطناعى خطوات استباقية لمعالجة هذه الإخفاقات ، من تحسين بيانات التدريب الخاصة بها إلى تحسين سياسات الاعتدال في المحتوى”.
قدمت ADL العديد من التوصيات لكل من المطورين وتلك الموجودة في الحكومة الذين يتطلعون إلى معالجة التحيز في الذكاء الاصطناعي. أولاً ، تدعو المنظمة المطورين إلى الشراكة مع مؤسسات مثل الحكومة والأوساط الأكاديمية لإجراء اختبار ما قبل النشر.
يتم تشجيع المطورين أيضًا على استشارة الإطار الوطني لإدارة المخاطر (NIST) للمعهد الوطني للمعايير (NIST) لمنظمة العفو الدولية والنظر في التحيزات المحتملة في بيانات التدريب. وفي الوقت نفسه ، يتم حث الحكومة على تشجيع الذكاء الاصطناعى على “التركيز المدمج لضمان سلامة المحتوى والاستخدامات”. تحث ADL أيضًا الحكومة على إنشاء إطار تنظيمي لمطوري الذكاء الاصطناعي والاستثمار في أبحاث سلامة الذكاء الاصطناعي.
لم يستجب Openai و Anthropic على الفور لطلب Fox Business للتعليق.
