أبلغت ISD عن هذا الحساب، إلى جانب 49 حسابًا آخر، في يونيو/حزيران لانتهاك سياسات TikTok بشأن خطاب الكراهية، وتشجيع العنف ضد المجموعات المحمية، والترويج للأيديولوجيات الكراهية، والاحتفاء بالمتطرفين العنيفين، وإنكار الهولوكوست. وفي جميع الحالات، لم يجد TikTok أي انتهاكات، وسُمح لجميع الحسابات في البداية بالبقاء نشطة.
وبعد شهر واحد، حظرت شركة تيك توك 23 حسابًا، مما يشير إلى أن المنصة تعمل على إزالة بعض المحتوى والقنوات المخالفة بمرور الوقت. وقبل حذفها، حققت الحسابات المحظورة البالغ عددها 23 مليون مشاهدة على الأقل.
كما أنشأ الباحثون حسابات جديدة على TikTok لفهم كيفية الترويج للمحتوى النازي للمستخدمين الجدد من خلال خوارزمية TikTok القوية.
وباستخدام حساب تم إنشاؤه في نهاية شهر مايو/أيار، شاهد الباحثون 10 مقاطع فيديو من شبكة المستخدمين المؤيدين للنازية، ونقروا أحيانًا على أقسام التعليقات لكنهم توقفوا قبل أي شكل من أشكال المشاركة الحقيقية مثل الإعجاب أو التعليق أو وضع إشارة مرجعية. كما شاهد الباحثون 10 حسابات مؤيدة للنازية. وعندما انتقل الباحثون بعد ذلك إلى موجز “من أجلك” داخل التطبيق، لم يستغرق الأمر سوى ثلاثة مقاطع فيديو حتى اقترحت الخوارزمية مقطع فيديو يظهر جنديًا نازيًا من حقبة الحرب العالمية الثانية متراكبًا مع مخطط لمعدلات القتل في الولايات المتحدة، مع تقسيم الجناة حسب العرق. وفي وقت لاحق، ظهر مقطع فيديو لخطاب مترجم بواسطة الذكاء الاصطناعي لهتلر متراكبًا مع ملصق تجنيد لمجموعة قومية بيضاء.
وشهد حساب آخر أنشأه باحثو معهد ISD المزيد من المحتوى المتطرف الذي تم الترويج له في موجزه الرئيسي، حيث كانت 70 بالمائة من مقاطع الفيديو صادرة عن نازيين يعرّفون أنفسهم أو تعرض دعاية نازية. وبعد أن تابع الحساب عددًا من الحسابات المؤيدة للنازية من أجل الوصول إلى المحتوى على القنوات المعينة على أنها خاصة، قامت خوارزمية TikTok أيضًا بترويج حسابات نازية أخرى لمتابعتها. استخدمت جميع الحسابات العشرة الأولى التي أوصى بها TikTok لهذا الحساب رموزًا نازية أو كلمات رئيسية في أسماء المستخدمين أو صور الملفات الشخصية الخاصة بهم، أو عرضت دعاية نازية في مقاطع الفيديو الخاصة بهم.
وتقول آبي ريتشاردز، الباحثة في مجال التضليل والمتخصصة في تيك توك: “لا يوجد أي مفاجأة في هذا الأمر. فهذه أشياء وجدناها مرارا وتكرارا. وقد وجدتها بالتأكيد في بحثي”.
وكتب ريتشاردز عن المحتوى العنصري الأبيض المتسارع والناشط على المنصة في عام 2022، بما في ذلك قضية النازي الجديد بول ميلر، الذي ظهر في مقطع فيديو على تيك توك أثناء قضائه عقوبة لمدة 41 شهرًا بتهمة حيازة أسلحة نارية، وحصد أكثر من 5 ملايين مشاهدة و700 ألف إعجاب خلال الأشهر الثلاثة التي قضاها على المنصة قبل إزالته.
يقول ماركوس بوش، الباحث في جامعة هامبورغ الذي يراقب تيك توك، لـ WIRED إن نتائج التقرير “لا تشكل مفاجأة كبيرة”، وهو لا يأمل في أن يكون هناك أي شيء يمكن أن يفعله تيك توك لإصلاح المشكلة.
يقول بوش: “لست متأكدًا من أين تكمن المشكلة بالضبط. تقول شركة تيك توك إنها تمتلك حوالي 40 ألف مشرف على المحتوى، ومن السهل فهم مثل هذه الانتهاكات الواضحة للسياسة. ومع ذلك، نظرًا للحجم الهائل (للمحتوى)، وقدرة الجهات الفاعلة السيئة على التكيف بسرعة، فأنا مقتنع بأن مشكلة التضليل بأكملها لا يمكن حلها نهائيًا، لا بالذكاء الاصطناعي ولا بمزيد من المشرفين”.
تقول شركة تيك توك إنها أكملت برنامجًا إرشاديًا مع Tech Against Terrorism، وهي مجموعة تسعى إلى تعطيل نشاط الإرهابيين عبر الإنترنت وتساعد تيك توك في تحديد التهديدات عبر الإنترنت.
يقول آدم هادلي، المدير التنفيذي لمنظمة Tech Against Terrorism، لمجلة WIRED: “على الرغم من الخطوات الاستباقية المتخذة، لا يزال تطبيق TikTok هدفًا للاستغلال من قبل الجماعات المتطرفة مع نمو شعبيته. وتُظهر دراسة ISD أن عددًا صغيرًا من المتطرفين العنيفين يمكن أن يتسببوا في دمار على منصات كبيرة بسبب عدم التماثل العدائي. وبالتالي، يؤكد هذا التقرير على الحاجة إلى استخبارات التهديدات عبر الأنظمة الأساسية المدعومة بتحسين إدارة المحتوى المدعوم بالذكاء الاصطناعي. ويذكرنا التقرير أيضًا أنه يجب محاسبة Telegram أيضًا على دورها في النظام البيئي المتطرف عبر الإنترنت”.
وكما أوضح هادلي، فإن نتائج التقرير تظهر وجود ثغرات كبيرة في السياسات الحالية للشركة.
“لقد وصفت تيك توك دائمًا، عندما يتعلق الأمر بالاستخدام اليميني المتطرف، بأنه منصة مراسلة”، قال ريتشاردز. “أكثر من أي شيء، يتعلق الأمر فقط بالتكرار. يتعلق الأمر بالتعرض لنفس الرواية البغيضة مرارًا وتكرارًا، لأنه في مرحلة معينة تبدأ في تصديق أشياء بعد أن تراها بما يكفي، وتبدأ حقًا في التأثير على نظرتك للعالم”.
