كان الأسبوعان الأخيران قبل الموعد النهائي محمومين. على الرغم من أن بعض أعضاء الفريق لا يزال لديهم مكاتب رسميًا في المبنى رقم 1945، إلا أنهم عملوا في الغالب في عام 1965 لأنه كان يحتوي على آلة إسبرسو أفضل في المطبخ الصغير. “لم يكن الناس نائمين”، كما يقول جوميز، الذي عاش، باعتباره متدربًا، في حالة من جنون تصحيح الأخطاء المستمر وأنتج أيضًا التصورات والرسوم البيانية للورقة البحثية. من الشائع في مثل هذه المشاريع إجراء عمليات الاستئصال، أي إخراج الأشياء لمعرفة ما إذا كان ما تبقى كافيًا لإنجاز المهمة.
«كانت هناك كل مجموعة ممكنة من الحيل والوحدات، أي منها يساعد وأيها لا يساعد. دعونا نمزقها. يقول جوميز: “دعونا نستبدله بهذا”. “لماذا يتصرف النموذج بهذه الطريقة غير البديهية؟ أوه، هذا لأننا لم نتذكر القيام بالإخفاء بشكل صحيح. هل يعمل بعد؟ حسنًا، انتقل إلى التالي. كل هذه المكونات التي نسميها الآن المحول كانت نتاج هذه التجربة والخطأ التكراري عالي الوتيرة. يقول جونز إن عمليات الاجتثاث، بمساعدة تطبيقات شازير، أنتجت “شيئًا بسيطًا”. “نعوم ساحر”.
يتذكر فاسواني أنه ارتطم على أريكة مكتبه ذات ليلة بينما كان الفريق يكتب الجريدة. وبينما كان يحدق في الستائر التي تفصل الأريكة عن بقية الغرفة، أذهله النمط الموجود على القماش، والذي بدا له مثل المشابك العصبية والخلايا العصبية. كان جوميز هناك، وأخبره فاسواني أن ما كانوا يعملون عليه سوف يتجاوز الترجمة الآلية. ويقول: “في النهاية، كما هو الحال مع الدماغ البشري، تحتاج إلى توحيد كل هذه الطرائق – الكلام والصوت والرؤية – في بنية واحدة”. “كان لدي حدس قوي بأننا كنا نتجه إلى شيء أكثر عمومية.”
ومع ذلك، في المستويات العليا في جوجل، كان يُنظر إلى هذا العمل على أنه مجرد مشروع آخر مثير للاهتمام للذكاء الاصطناعي. سألت العديد من العاملين في مجال المحولات عما إذا كان رؤسائهم قد استدعاهم للحصول على تحديثات حول المشروع. ليس كثيرا. يقول أوسزكوريت: “لقد فهمنا أن هذا من المحتمل أن يكون أمرًا كبيرًا للغاية”. “وقد جعلنا ذلك مهووسين بإحدى الجمل الواردة في الورقة قرب النهاية، حيث نعلق على العمل المستقبلي.”
توقعت هذه الجملة ما قد يأتي بعد ذلك، وهو تطبيق نماذج المحولات على جميع أشكال التعبير البشري بشكل أساسي. وكتبوا: “نحن متحمسون لمستقبل النماذج القائمة على الاهتمام”. “نحن نخطط لتوسيع نطاق المحول ليشمل المشكلات التي تتضمن طرق الإدخال والإخراج بخلاف النص” والتحقيق في “الصور والصوت والفيديو”.
قبل ليلتين من الموعد النهائي، أدرك Uszkoreit أنهم بحاجة إلى اللقب. وأشار جونز إلى أن الفريق توصل إلى رفض جذري لأفضل الممارسات المقبولة، وأبرزها LSTMs، فيما يتعلق بتقنية واحدة: الاهتمام. يتذكر جونز أن فرقة البيتلز أطلقت على أغنية “كل ما تحتاجه هو الحب”. لماذا لا نسمي الورقة “الانتباه هو كل ما تحتاجه”؟
البيتلز؟
يقول جونز: “أنا بريطاني”. “لقد استغرق الأمر حرفيًا خمس ثوانٍ من التفكير. لم أكن أعتقد أنهم سيستخدمونها.”
واستمروا في جمع النتائج من تجاربهم حتى الموعد النهائي. يقول بارمار: “جاءت الأرقام الإنجليزية والفرنسية قبل خمس دقائق من تقديمنا للورقة”. “كنت جالسا في المطبخ الصغير في عام 1965، وأدخل هذا الرقم الأخير.” ولم يتبق سوى دقيقتين فقط، أرسلوا الورقة.
