الذكاء الاصطناعي لديه مشكلة تمييز. في البنوك ، يمكن أن تكون العواقب وخيمة

أمستردام ـ يعاني الذكاء الاصطناعي من مشكلة تحيز عنصري.

من أنظمة تحديد الهوية بالمقاييس الحيوية التي تخطئ بشكل غير متناسب في التعرف على وجوه السود والأقليات ، إلى تطبيقات برامج التعرف على الصوت التي تفشل في التمييز بين الأصوات ذات اللهجات الإقليمية المتميزة ، فإن الذكاء الاصطناعي لديه الكثير للعمل عليه عندما يتعلق الأمر بالتمييز.

ويمكن أن تكون مشكلة تضخيم التحيزات الحالية أكثر حدة عندما يتعلق الأمر بالخدمات المصرفية والمالية.

تلاحظ Deloitte أن أنظمة الذكاء الاصطناعي هي في النهاية جيدة فقط مثل البيانات التي يتم تقديمها: مجموعات البيانات غير الكاملة أو غير التمثيلية يمكن أن تحد من موضوعية الذكاء الاصطناعي ، في حين أن التحيزات في فرق التطوير التي تدرب مثل هذه الأنظمة يمكن أن تديم دورة التحيز هذه.

قال نبيل منجي ، رئيس التشفير و Web3 في Worldpay by FIS ، إن الشيء الأساسي الذي يجب فهمه حول منتجات الذكاء الاصطناعي هو أن قوة التكنولوجيا تعتمد كثيرًا على مصدر المواد المستخدمة في تدريبها.

قال مانجي لشبكة CNBC في مقابلة: “الشيء المتعلق بمدى جودة منتج الذكاء الاصطناعي ، هناك نوعان من المتغيرين”. “أحدهما هو البيانات التي يمكنه الوصول إليها ، والثاني هو مدى جودة نموذج اللغة الكبير. ولهذا السبب فإن جانب البيانات ، ترى شركات مثل Reddit وغيرها ، لقد خرجوا علنًا وقالوا إننا لن نسمح شركات لكشط بياناتنا ، سيتعين عليك أن تدفع لنا مقابل ذلك “.

بالنسبة للخدمات المالية ، قال مانجي إن الكثير من أنظمة البيانات الخلفية مجزأة بلغات وأشكال مختلفة.

واضاف “لا شيء منها موحد او منسق”. “سيؤدي ذلك إلى أن تكون المنتجات التي تعتمد على الذكاء الاصطناعي أقل فاعلية في الخدمات المالية مما قد تكون عليه في القطاعات العمودية الأخرى أو الشركات الأخرى حيث تتمتع بالتوحيد وأنظمة أكثر حداثة أو الوصول إلى البيانات.”

مانجي اقترح أن blockchain ، أو تقنية دفتر الأستاذ الموزع ، يمكن أن تكون بمثابة وسيلة للحصول على رؤية أوضح للبيانات المتباينة المخبأة بعيدًا في الأنظمة المزدحمة للبنوك التقليدية.

ومع ذلك ، أضاف أن البنوك – كونها مؤسسات منظمة بشدة وبطيئة الحركة – من غير المرجح أن تتحرك بنفس السرعة التي تتحرك بها نظيراتها التقنية الأكثر ذكاءً في تبني أدوات الذكاء الاصطناعي الجديدة.

“عندك مايكروسوفت و جوجل، الذين أحبوا على مدى العقد أو العقدين الماضيين ، كان يُنظر إليهم على أنهم يقودون الابتكار. لا يمكنهم مواكبة هذه السرعة. ثم تفكر في الخدمات المالية. وقال مانجي “البنوك ليست معروفة بالسرعة”.

قال رومان شودري ، الرئيس السابق لأخلاقيات التعلم الآلي والشفافية والمساءلة في تويتر ، إن الإقراض هو مثال رئيسي لكيفية تحيز نظام الذكاء الاصطناعي ضد المجتمعات المهمشة.

قال شودري خلال جلسة في Money20 / 20 في أمستردام: “إن التمييز الخوارزمي في الواقع ملموس للغاية في الإقراض”. “شيكاغو لديها تاريخ في حرمان هذه (القروض) حرفيًا من الأحياء السوداء في المقام الأول.”

في الثلاثينيات من القرن الماضي ، اشتهرت شيكاغو بالممارسة التمييزية المتمثلة في “الخطوط الحمراء” ، حيث يتم تحديد الجدارة الائتمانية للممتلكات بشكل كبير من خلال التركيبة السكانية العرقية لحي معين.

وأضافت “ستكون هناك خريطة عملاقة على جدار جميع المقاطعات في شيكاغو ، وسوف يرسمون خطوطًا حمراء في جميع المناطق التي كانت في الأساس من الأمريكيين من أصل أفريقي ، ولن يمنحواهم قروضًا”.

“تقدم سريعًا بعد بضعة عقود ، وتقوم بتطوير خوارزميات لتحديد مدى خطورة المناطق والأفراد المختلفين. وعلى الرغم من أنك قد لا تقوم بتضمين نقطة البيانات الخاصة بسباق شخص ما ، إلا أنه يتم انتقاؤها ضمنيًا.”

في الواقع ، أنجل بوش ، مؤسسة Black Women in Artificial Intelligence ، وهي منظمة تهدف إلى تمكين النساء السود في قطاع الذكاء الاصطناعي ، أخبر CNBC أنه عند استخدام أنظمة الذكاء الاصطناعي على وجه التحديد لقرارات الموافقة على القروض ، وجدت أن هناك خطرًا من تكرار التحيزات الموجودة في البيانات التاريخية المستخدمة لتدريب الخوارزميات.

وأضاف بوش: “يمكن أن يؤدي ذلك إلى رفض منح القروض تلقائيًا للأفراد من المجتمعات المهمشة ، مما يعزز التفاوتات العرقية أو بين الجنسين”.

وقالت: “من الأهمية بمكان أن تعترف البنوك بأن تطبيق الذكاء الاصطناعي كحل قد يؤدي دون قصد إلى استمرار التمييز”.

قال Frost Li ، المطور الذي كان يعمل في مجال الذكاء الاصطناعي والتعلم الآلي لأكثر من عقد ، لشبكة CNBC أن بُعد “التخصيص” لتكامل الذكاء الاصطناعي يمكن أن يكون مشكلة أيضًا.

قال لي ، الذي أسس ويدير Loup ، وهي شركة تساعد تجار التجزئة عبر الإنترنت على دمج الذكاء الاصطناعي في منصاتهم: “المثير للاهتمام في الذكاء الاصطناعي هو كيفية اختيارنا” الميزات الأساسية “للتدريب. “في بعض الأحيان ، نحدد ميزات لا علاقة لها بالنتائج التي نريد توقعها.”

يقول لي إنه عندما يتم تطبيق الذكاء الاصطناعي على الخدمات المصرفية ، يكون من الصعب تحديد “الجاني” في التحيزات عندما يكون كل شيء معقدًا في الحساب.

“خير مثال على ذلك هو عدد الشركات الناشئة في مجال التكنولوجيا المالية المخصصة للأجانب بشكل خاص ، لأن خريج جامعة طوكيو لن يتمكن من الحصول على أي بطاقات ائتمان حتى لو كان يعمل في Google ؛ ومع ذلك يمكن لأي شخص الحصول بسهولة على واحدة من اتحاد ائتمان الكلية المجتمعية لأن المصرفيين تعرف على المدارس المحلية بشكل أفضل “.

لا يتم استخدام الذكاء الاصطناعي التوليدي عادةً لإنشاء درجات ائتمانية أو في تصنيف مخاطر المستهلكين.

قال نيكلاس جوسك ، رئيس العمليات في Taktile ، وهي شركة ناشئة تساعد شركات التكنولوجيا المالية على أتمتة عملية صنع القرار: “هذا ليس ما تم تصميم الأداة من أجله”.

بدلاً من ذلك ، قال جوسكي إن أقوى التطبيقات موجودة في المعالجة المسبقة للبيانات غير المهيكلة مثل الملفات النصية – مثل تصنيف المعاملات.

قال جوسكي: “يمكن بعد ذلك إدخال هذه الإشارات في نموذج اكتتاب أكثر تقليدية”. “لذلك ، سيحسن الذكاء الاصطناعي التوليدي جودة البيانات الأساسية لمثل هذه القرارات بدلاً من استبدال عمليات التسجيل الشائعة.”

لكن من الصعب أيضًا إثبات ذلك. تفاحة و Goldman Sachs ، على سبيل المثال ، اتهموا بمنح النساء حدودًا أقل لبطاقة Apple Card. لكن هذه المزاعم رفضت من قبل إدارة الخدمات المالية في نيويورك بعد أن لم تجد الهيئة التنظيمية أي دليل على التمييز على أساس الجنس.

المشكلة ، وفقًا لكيم سماوتر ، مدير مجموعة مناهضة العنصرية European Network Against Racism ، هي أنه قد يكون من الصعب إثبات ما إذا كان التمييز القائم على الذكاء الاصطناعي قد حدث بالفعل.

وقال: “إحدى الصعوبات في الانتشار الجماعي للذكاء الاصطناعي هي الغموض الذي يكتنف كيفية اتخاذ هذه القرارات وما هي آليات الانتصاف الموجودة هي أن الفرد الذي يعاني من العنصرية حتى يلاحظ وجود تمييز”.

وأضاف أن “الأفراد لديهم معرفة قليلة بكيفية عمل أنظمة الذكاء الاصطناعي وأن حالتهم الفردية قد تكون في الواقع قمة جبل جليدي على مستوى الأنظمة. وبالتالي ، من الصعب أيضًا اكتشاف حالات محددة حيث ساءت الأمور”.

واستشهد Smouter بمثال فضيحة رعاية الأطفال الهولندية ، حيث اتُهمت آلاف المطالبات المتعلقة بالمزايا خطأً بأنها احتيالية. أُجبرت الحكومة الهولندية على الاستقالة بعد أن وجد تقرير عام 2020 أن الضحايا “عوملوا بتحيز مؤسسي”.

وقال سموتر إن هذا يوضح مدى السرعة التي يمكن أن تنتشر بها مثل هذه الاضطرابات ومدى صعوبة إثباتها والحصول على تعويض بمجرد اكتشافها وفي هذه الأثناء يحدث ضرر كبير لا يمكن إصلاحه في كثير من الأحيان.

يقول شودري إن هناك حاجة إلى هيئة تنظيمية عالمية ، مثل الأمم المتحدة ، لمعالجة بعض المخاطر المحيطة بالذكاء الاصطناعي.

على الرغم من أن الذكاء الاصطناعي أثبت أنه أداة مبتكرة ، فقد أعرب بعض التقنيين وعلماء الأخلاق عن شكوكهم حول سلامة التكنولوجيا الأخلاقية والمعنوية. من بين أهم المخاوف التي أعرب عنها المطلعون في الصناعة المعلومات المضللة. التحيز العنصري والجنساني المضمن في خوارزميات الذكاء الاصطناعي ؛ و “الهلوسة” الناتجة عن أدوات شبيهة بـ ChatGPT.

“أشعر بالقلق الشديد من أننا ، بسبب الذكاء الاصطناعي التوليدي ، ندخل عالم ما بعد الحقيقة حيث لا يوجد شيء نراه على الإنترنت جدير بالثقة – ليس أيًا من النص ، ولا أيًا من الفيديو ، ولا أي مقطع صوتي ، ولكن كيف هل نحصل على معلوماتنا وكيف نضمن أن هذه المعلومات تتمتع بقدر كبير من النزاهة؟ ” قال شودري.

حان الوقت الآن لدخول تنظيم ذي مغزى للذكاء الاصطناعي حيز التنفيذ – ولكن مع معرفة مقدار الوقت الذي ستستغرقه المقترحات التنظيمية مثل قانون الذكاء الاصطناعي للاتحاد الأوروبي حيز التنفيذ ، يشعر البعض بالقلق من أن هذا لن يحدث بالسرعة الكافية.

“ندعو إلى مزيد من الشفافية والمساءلة في الخوارزميات وكيفية عملها وإعلان الشخص العادي الذي يسمح للأفراد الذين ليسوا خبراء في الذكاء الاصطناعي بالحكم بأنفسهم ، وإثبات اختبار ونشر النتائج ، وعملية الشكاوى المستقلة ، والتدقيق الدوري وإعداد التقارير ، ومشاركة المجتمعات العنصرية عندما يتم تصميم التكنولوجيا والنظر في نشرها “، قال سموتر.

ووفقًا لسموتر ، فإن قانون الذكاء الاصطناعي ، وهو أول إطار تنظيمي من نوعه ، قد تضمن نهجًا ومفاهيم الحقوق الأساسية مثل التعويض ، مضيفًا أن اللائحة ستنفذ في غضون عامين تقريبًا.

وقال “سيكون أمرا رائعا إذا أمكن تقصير هذه الفترة للتأكد من أن الشفافية والمساءلة في صميم الابتكار”.