معركة الموديلات المائة في صناعة الذكاء الاصطناعي: من المشكلة الأكاديمية إلى المشكلة الهندسية
في الشهر الماضي، شهدت صناعة الذكاء الاصطناعي منافسة ذات طابع حيواني.
من جهة، هناك Llama الذي أطلقته Meta، والذي يحظى بشعبية كبيرة في مجتمع المطورين بسبب خصائصه مفتوحة المصدر. بعد دراسة ورقة Llama ومصدرها، طورت شركة NEC( بسرعة النسخة اليابانية من ChatGPT، مما ساعد اليابان في حل عقبات تطوير الذكاء الاصطناعي.
الطرف الآخر هو نموذج كبير يسمى Falcon. في مايو من هذا العام، ظهر Falcon-40B، متجاوزاً Llama ليحتل قمة "تصنيف LLM مفتوح المصدر". تم إعداد هذه القائمة من قبل مجتمع النماذج المفتوحة المصدر، وتوفر معايير لتقييم قدرات LLM. بشكل أساسي، تتناوب Llama وFalcon على احتلال القمة.
بعد إصدار Llama 2، تتصدر عائلة Llama مؤقتًا؛ لكن في أوائل سبتمبر، أطلق Falcon الإصدار 180B، ليحقق تصنيفًا أعلى مرة أخرى.
من المثير للاهتمام أن مطوري Falcon هم من معهد الابتكار التكنولوجي في أبوظبي، عاصمة الإمارات العربية المتحدة. وذكرت الحكومة الإماراتية أنهم يشاركون في هذا المجال لكسر النمط الحالي.
في اليوم التالي من إصدار النسخة 180B، تم اختيار وزير الذكاء الاصطناعي في الإمارات ضمن قائمة "أكثر 100 شخصية مؤثرة في مجال الذكاء الاصطناعي" التي أعدتها مجلة التايم؛ ومن بين الذين تم اختيارهم معه كان "أب الذكاء الاصطناعي" جيفري هينتون، وآلتمان من OpenAI وغيرهم.
اليوم، دخل مجال الذكاء الاصطناعي مرحلة ازدهار متعددة الأوجه: أي دولة أو شركة لديها بعض الموارد المالية، تعمل على دفع خطط النسخة المحلية من ChatGPT. فقط في منطقة الخليج، يوجد أكثر من مشارك واحد - في أغسطس، اشترت المملكة العربية السعودية للتو أكثر من 3000 شريحة H100 للجامعات المحلية، لاستخدامها في تدريب نماذج اللغة الكبيرة.
علق أحد المستثمرين قائلاً: "عندما نظرنا بازدراء إلى ابتكارات نماذج الأعمال في الإنترنت، شعرنا بعدم وجود حواجز؛ لم نتوقع أن ريادة الأعمال في التكنولوجيا المتقدمة والنماذج الكبيرة لا تزال تشهد تنافساً شديداً..."
لماذا تحول العلم الصعب الذي كان يجب أن يكون صعبًا إلى مسابقة يمكن للجميع المشاركة فيها؟
المحول: نقطة التحول الرئيسية في تطور الذكاء الاصطناعي
تعود قدرة الشركات الناشئة الأمريكية، والعملاق التكنولوجي الصيني، وأمراء النفط في الشرق الأوسط على السعي وراء حلم النماذج الكبيرة إلى تلك الورقة الشهيرة: "الانتباه هو كل ما تحتاجه".
في عام 2017، نشر ثمانية من علماء الحاسوب في جوجل خوارزمية Transformer في هذه الورقة. هذه الورقة هي حاليًا ثالث أكثر ورقة تم الاستشهاد بها في تاريخ الذكاء الاصطناعي، وظهور Transformer أدى إلى هذه الموجة الحالية من الذكاء الاصطناعي.
تستند النماذج الكبيرة الحالية، بما في ذلك سلسلة GPT التي أحدثت ضجة على مستوى العالم، إلى أساس ترانسفورمر.
قبل ذلك، كانت قدرة الآلات على فهم النصوص تُعتبر تحديًا كبيرًا في الأوساط الأكاديمية. على عكس التعرف على الصور، لا يركز الإنسان عند القراءة على الكلمات والجمل الحالية فقط، بل يأخذ في اعتباره السياق لفهم النص. كانت إدخالات الشبكات العصبية المبكرة مستقلة عن بعضها البعض، مما جعل من الصعب فهم النصوص الطويلة أو حتى المقالات بأكملها.
في عام 2014، حقق عالم جوجل إيليا اختراقًا لأول مرة. استخدم الشبكات العصبية التكرارية )RNN( لمعالجة اللغة الطبيعية، مما أدى إلى تحسين كبير في أداء ترجمة جوجل. قدمت RNN "تصميمًا دائريًا"، مما جعل الخلايا العصبية تتلقى كل من المدخلات الحالية ومدخلات اللحظة السابقة، وبالتالي اكتسبت القدرة على "دمج السياق".
أدى ظهور RNN إلى إثارة حماس البحث في الأوساط الأكاديمية. ومع ذلك، سرعان ما اكتشف المطورون أن RNN لديها عيوب خطيرة: تستخدم هذه الخوارزمية الحساب التتابعي، وعلى الرغم من أنها تحل مشكلة السياق، إلا أن كفاءتها التشغيلية منخفضة، مما يجعل من الصعب التعامل مع كميات كبيرة من المعلمات.
منذ عام 2015، بدأ شازيل وآخرون في تطوير بدائل لـ RNN، وكانت النتيجة النهائية هي Transformer. بالمقارنة مع RNN، يتمتع Transformer بابتكاريْن رئيسيّيْن: الأول هو استبدال التصميم الدائري بالترميز المكاني، مما يتيح حسابات متوازية ويزيد بشكل كبير من كفاءة التدريب؛ والثاني هو تعزيز القدرة على فهم السياق.
حَلَّ Transformer العديد من التحديات التقنية دفعة واحدة، وأصبح تدريجياً الحل السائد في معالجة اللغة الطبيعية. لقد حول نماذج كبيرة من البحث النظري إلى مشكلة هندسية بحتة.
في عام 2019، طورت OpenAI GPT-2 استنادًا إلى Transformer، مما أثار دهشة الأوساط الأكاديمية. ثم أطلقت Google AI أقوى - Meena. مقارنةً بـ GPT-2، لم تقدم Meena أي ابتكارات في الخوارزميات، بل زادت فقط من معلمات التدريب والقدرة الحاسوبية. تركت هذه الطريقة "البنائية العنيفة" انطباعًا عميقًا لدى مؤلف Transformer شازيل.
أدى ظهور Transformer إلى تباطؤ سرعة الابتكار في الخوارزميات الأساسية في الأوساط الأكاديمية. أصبحت عناصر الهندسة مثل هندسة البيانات، وحجم الحوسبة، وهيكل النموذج، تدريجياً هي العناصر الرئيسية في المنافسة في الذكاء الاصطناعي. أي شركة تمتلك مستوى معين من القوة التقنية يمكنها تطوير نموذج كبير.
أشار عالم الحاسوب أندرو نج خلال حديثه في جامعة ستانفورد إلى أن: "الذكاء الاصطناعي هو مجموعة من الأدوات، بما في ذلك التعلم تحت الإشراف، التعلم بدون إشراف، التعلم المعزز وكذلك الذكاء الاصطناعي التوليدي الحالي. كل هذه تقنيات عامة، مشابهة للطاقة الكهربائية والإنترنت."
رغم أن OpenAI لا تزال رائدة في مجال LLM، إلا أن وكالات تحليل أشباه الموصلات تعتقد أن مزايا GPT-4 تأتي بشكل رئيسي من الحلول الهندسية - إذا تم فتح المصدر، يمكن لأي منافس نسخها بسرعة. يتوقع المحلل أن تتمكن شركات التكنولوجيا الكبرى الأخرى من إنشاء نماذج كبيرة تعادل أداء GPT-4 في وقت قريب.
ضعف الخندق
اليوم، "معركة المئة نموذج" لم تعد مجرد مبالغة، بل هي واقع موضوعي.
أظهر التقرير أنه حتى يوليو من هذا العام، بلغ عدد النماذج الكبيرة في الصين 130 نموذجًا، متجاوزًا الولايات المتحدة التي لديها 114 نموذجًا. باستثناء الصين والولايات المتحدة، أطلقت دول غنية أخرى أيضًا نماذج كبيرة محلية: مثل Bhashini المدعوم من الحكومة الهندية، وHyperClova X التي طورتها شركة الإنترنت الكورية Naver.
يبدو أن هذا المشهد قد عاد إلى الأيام الأولى للإنترنت، حيث كانت هناك منافسة شديدة بين رأس المال والتكنولوجيا.
كما ذُكِرَ سابقًا، يجعل Transformer النماذج الكبيرة مشكلة هندسية بحتة، طالما أن هناك مواهب، وتمويل، وعتاد، يمكن تحقيق ذلك من خلال تجميع المعلمات. لكن انخفاض حاجز الدخول لا يعني أن الجميع يمكن أن يصبحوا عمالقة في عصر الذكاء الاصطناعي.
على سبيل المثال "حرب الحيوانات" المذكورة في بداية المقال: على الرغم من أن Falcon قد تفوقت على Llama في بعض الترتيبات، إلا أن تأثيرها الفعلي على Meta محدود.
من المعروف أن الشركات تفتح مصادر نتائج أبحاثها العلمية، ليس فقط لمشاركة التقدم التكنولوجي، ولكن أيضًا على أمل الاستفادة من حكمة الجماهير. مع استمرار الأكاديميين والصناعيين في استخدام وتحسين Llama، يمكن لـ Meta تطبيق هذه النتائج على منتجاتها الخاصة.
بالنسبة للنماذج الكبيرة مفتوحة المصدر، فإن مجتمع المطورين النشط هو القوة التنافسية الأساسية. تأسست ميتا مختبر الذكاء الاصطناعي في عام 2015 وأكدت على استراتيجيتها مفتوحة المصدر؛ زوكربيرغ الذي بدأ من وسائل التواصل الاجتماعي يعرف جيداً "كيفية الحفاظ على علاقات المستخدمين".
على سبيل المثال، في أكتوبر من هذا العام، نظمت ميتا فعالية "تحفيز المبدعين في مجال الذكاء الاصطناعي": المطورون الذين يستخدمون Llama 2 لحل القضايا الاجتماعية مثل التعليم والبيئة لديهم فرصة للحصول على تمويل قدره 500,000 دولار.
الآن، أصبحت سلسلة لاما من ميتا معيارًا للنماذج اللغوية المفتوحة المصدر. اعتبارًا من أوائل أكتوبر، كان 8 من بين أفضل 10 نماذج لغوية مفتوحة المصدر في تصنيف معين مبنية على لاما 2 وتستخدم بروتوكولها المفتوح المصدر. فقط على هذه المنصة، يوجد أكثر من 1500 نموذج لغوي مفتوح المصدر يستخدم بروتوكول لاما 2.
بالطبع، تحسين الأداء مثل Falcon هو أيضًا استراتيجية، لكن في الوقت الحالي لا يزال هناك فجوة واضحة بين معظم LLM وGPT-4.
على سبيل المثال، تصدرت GPT-4 الاختبار في AgentBench بمعدل 4.41. تم إطلاق AgentBench من قبل عدة جامعات مرموقة لتقييم قدرة LLM على الاستدلال واتخاذ القرارات في بيئات مفتوحة متعددة الأبعاد. تُظهر نتائج الاختبار أن المرتبة الثانية، Claude، حصلت على 2.77، مما يعكس فجوة كبيرة. وتدور درجات LLMs المعروفة الأخرى حول 1، أي أقل من ربع درجة GPT-4.
من الجدير بالذكر أن GPT-4 تم إصداره في مارس من هذا العام، وهذا هو نتيجة جهود زملاءه العالميين الذين حاولوا اللحاق به بعد أكثر من نصف عام. إن قدرة OpenAI على الحفاظ على موقعها الريادي ترجع إلى فريقها البحثي عالي المستوى والخبرة المتراكمة على مدى السنوات.
بعبارة أخرى، فإن الميزة الأساسية للنموذج الكبير ليست في حجم المعلمات، ولكن في بناء النظام البيئي (الطريق المفتوح) أو القدرة على الاستدلال البحتة (الطريق المغلق).
مع تزايد نشاط مجتمع المصادر المفتوحة، قد تتجه أداءات نماذج اللغة الكبيرة (LLM) نحو التماثل، حيث أن الجميع يستخدم هياكل نماذج ومجموعات بيانات مشابهة.
مشكلة أخرى أكثر وضوحًا هي: يبدو أنه لا يوجد نموذج كبير آخر يمكن أن يحقق أرباحًا بخلاف Midjourney.
تحديات ربط القيمة
في أغسطس من هذا العام، أثار مقال بعنوان "OpenAI قد تفلس بحلول نهاية عام 2024" الانتباه. يمكن تلخيص مضمون المقالة في: سرعة إنفاق OpenAI مفرطة.
يذكر في النص أنه منذ تطوير ChatGPT، توسعت خسائر OpenAI بسرعة، حيث بلغت خسائرها حوالي 540 مليون دولار في عام 2022، ولم يكن أمامها سوى الاعتماد على استثمارات مايكروسوفت للبقاء.
على الرغم من أن العنوان قد يبدو مبالغًا فيه، إلا أنه يعكس بالفعل الحالة العامة لمقدمي النماذج الكبيرة: هناك عدم توازن شديد بين التكاليف والإيرادات.
التكاليف المرتفعة أدت إلى أن المستفيدين الرئيسيين من ازدهار الذكاء الاصطناعي هم فقط شركات تصنيع الرقائق مثل إنفيديا.
تقدّر شركة الاستشارات Omdia أن شركة NVIDIA قد باعت أكثر من 300,000 شريحة H100 في الربع الثاني من هذا العام. هذه شريحة AI فعّالة، وتتنافس شركات التكنولوجيا العالمية والمؤسسات البحثية على شرائها. إذا تم تكديس هذه الـ 300,000 شريحة H100 فوق بعضها البعض، فإن وزنها يعادل وزن 4.5 طائرات بوينغ 747.
ارتفعت عائدات إنفيديا بشكل حاد، حيث زادت الإيرادات بنسبة 854% مقارنة بالعام السابق، مما صدم وول ستريت. في الوقت الحالي، تم رفع سعر H100 في السوق الثانوية إلى 40-50 ألف دولار، في حين أن تكلفة المواد الخاصة به تبلغ حوالي 3000 دولار.
تكاليف قوة الحوسبة المرتفعة تعيق تطوير الصناعة إلى حد ما. كانت شركة سيكويا كابيتال قد قدرت أن الشركات التكنولوجية العالمية ستستثمر حوالي 200 مليار دولار سنويًا في بناء بنية تحتية للنماذج الكبيرة؛ بالمقابل، يمكن أن تحقق النماذج الكبيرة ما يصل إلى 75 مليار دولار فقط من الإيرادات سنويًا، مما يترك فجوة لا تقل عن 125 مليار دولار.
علاوة على ذلك، باستثناء عدد قليل من الاستثناءات مثل Midjourney، لم تتمكن معظم شركات البرمجيات من العثور على نموذج ربح واضح بعد استثمار مبالغ ضخمة. حتى أعمال الذكاء الاصطناعي للشركات الرائدة في الصناعة مثل مايكروسوفت وأدوبي تواجه تحديات.
أداة توليد الشيفرة البرمجية AI GitHub Copilot التي طورتها مايكروسوفت بالتعاون مع OpenAI، رغم أنها تتقاضى رسوم اشتراك شهري قدرها 10 دولارات، إلا أن مايكروسوفت تتكبد خسائر شهرية تصل إلى 20 دولارًا بسبب تكاليف المرافق، وقد تؤدي الاستخدامات المتكررة إلى خسائر تصل إلى 80 دولارًا شهريًا. بناءً على ذلك، من المتوقع أن يتكبد Microsoft 365 Copilot، الذي يتم تسعيره بـ 30 دولارًا، خسائر أكبر.
وبالمثل، قامت شركة أدوبي التي أطلقت مؤخراً أداة Firefly AI بسرعة بإدخال نظام النقاط لمنع المستخدمين من الاستخدام المفرط مما يؤدي إلى خسائر للشركة. حالما يتجاوز المستخدم النقاط المخصصة له شهرياً، ستقوم أدوبي بتقليل سرعة الخدمة.
من الجدير بالذكر أن مايكروسوفت وأدوبي لديهما سيناريوهات عمل واضحة وعدد كبير من المستخدمين المدفوعين. بينما لا تزال السيناريوهات الرئيسية لاستخدام معظم النماذج الكبيرة ذات المعلمات الضخمة هي الدردشة.
لا يمكن إنكار أنه لولا ظهور OpenAI وChatGPT، ربما لم تكن هذه الثورة في الذكاء الاصطناعي ستحدث. لكن في المرحلة الحالية، لا يزال مناقشة القيمة التي تم إنشاؤها من تدريب النماذج الكبيرة قيد النظر.
مع تزايد المنافسة المتماثلة وظهور نماذج المصدر المفتوح بشكل مستمر، قد يواجه مزودو النماذج الكبيرة فقط ضغطًا أكبر من أجل البقاء.
تمامًا كما أن نجاح iPhone 4 لا يعتمد فقط على معالجه A4، بل لأنه يمكنه تشغيل مجموعة متنوعة من التطبيقات المثيرة، قد تتجلى القيمة الحقيقية للذكاء الاصطناعي بشكل أكبر في سيناريوهات تطبيقه المحددة.
قد تحتوي هذه الصفحة على محتوى من جهات خارجية، يتم تقديمه لأغراض إعلامية فقط (وليس كإقرارات/ضمانات)، ولا ينبغي اعتباره موافقة على آرائه من قبل Gate، ولا بمثابة نصيحة مالية أو مهنية. انظر إلى إخلاء المسؤولية للحصول على التفاصيل.
تسجيلات الإعجاب 16
أعجبني
16
6
مشاركة
تعليق
0/400
WalletManager
· 08-04 16:48
لا فائدة من الكلام الكثير، إنها مجرد مسألة من لديه معلمات نموذج أكبر.
شاهد النسخة الأصليةرد0
LuckyHashValue
· 08-02 08:00
الذكاء الاصطناعي في اليابان قوي حقًا!
شاهد النسخة الأصليةرد0
PaperHandSister
· 08-02 07:54
هذان يتشاجران من سيحقق الفوز، لكن لا يوجد أفضل من GPT4 ثور.
معركة نماذج الذكاء الاصطناعي: من التحديات الأكاديمية إلى مسابقات الهندسة
معركة الموديلات المائة في صناعة الذكاء الاصطناعي: من المشكلة الأكاديمية إلى المشكلة الهندسية
في الشهر الماضي، شهدت صناعة الذكاء الاصطناعي منافسة ذات طابع حيواني.
من جهة، هناك Llama الذي أطلقته Meta، والذي يحظى بشعبية كبيرة في مجتمع المطورين بسبب خصائصه مفتوحة المصدر. بعد دراسة ورقة Llama ومصدرها، طورت شركة NEC( بسرعة النسخة اليابانية من ChatGPT، مما ساعد اليابان في حل عقبات تطوير الذكاء الاصطناعي.
الطرف الآخر هو نموذج كبير يسمى Falcon. في مايو من هذا العام، ظهر Falcon-40B، متجاوزاً Llama ليحتل قمة "تصنيف LLM مفتوح المصدر". تم إعداد هذه القائمة من قبل مجتمع النماذج المفتوحة المصدر، وتوفر معايير لتقييم قدرات LLM. بشكل أساسي، تتناوب Llama وFalcon على احتلال القمة.
بعد إصدار Llama 2، تتصدر عائلة Llama مؤقتًا؛ لكن في أوائل سبتمبر، أطلق Falcon الإصدار 180B، ليحقق تصنيفًا أعلى مرة أخرى.
من المثير للاهتمام أن مطوري Falcon هم من معهد الابتكار التكنولوجي في أبوظبي، عاصمة الإمارات العربية المتحدة. وذكرت الحكومة الإماراتية أنهم يشاركون في هذا المجال لكسر النمط الحالي.
في اليوم التالي من إصدار النسخة 180B، تم اختيار وزير الذكاء الاصطناعي في الإمارات ضمن قائمة "أكثر 100 شخصية مؤثرة في مجال الذكاء الاصطناعي" التي أعدتها مجلة التايم؛ ومن بين الذين تم اختيارهم معه كان "أب الذكاء الاصطناعي" جيفري هينتون، وآلتمان من OpenAI وغيرهم.
اليوم، دخل مجال الذكاء الاصطناعي مرحلة ازدهار متعددة الأوجه: أي دولة أو شركة لديها بعض الموارد المالية، تعمل على دفع خطط النسخة المحلية من ChatGPT. فقط في منطقة الخليج، يوجد أكثر من مشارك واحد - في أغسطس، اشترت المملكة العربية السعودية للتو أكثر من 3000 شريحة H100 للجامعات المحلية، لاستخدامها في تدريب نماذج اللغة الكبيرة.
علق أحد المستثمرين قائلاً: "عندما نظرنا بازدراء إلى ابتكارات نماذج الأعمال في الإنترنت، شعرنا بعدم وجود حواجز؛ لم نتوقع أن ريادة الأعمال في التكنولوجيا المتقدمة والنماذج الكبيرة لا تزال تشهد تنافساً شديداً..."
لماذا تحول العلم الصعب الذي كان يجب أن يكون صعبًا إلى مسابقة يمكن للجميع المشاركة فيها؟
المحول: نقطة التحول الرئيسية في تطور الذكاء الاصطناعي
تعود قدرة الشركات الناشئة الأمريكية، والعملاق التكنولوجي الصيني، وأمراء النفط في الشرق الأوسط على السعي وراء حلم النماذج الكبيرة إلى تلك الورقة الشهيرة: "الانتباه هو كل ما تحتاجه".
في عام 2017، نشر ثمانية من علماء الحاسوب في جوجل خوارزمية Transformer في هذه الورقة. هذه الورقة هي حاليًا ثالث أكثر ورقة تم الاستشهاد بها في تاريخ الذكاء الاصطناعي، وظهور Transformer أدى إلى هذه الموجة الحالية من الذكاء الاصطناعي.
تستند النماذج الكبيرة الحالية، بما في ذلك سلسلة GPT التي أحدثت ضجة على مستوى العالم، إلى أساس ترانسفورمر.
قبل ذلك، كانت قدرة الآلات على فهم النصوص تُعتبر تحديًا كبيرًا في الأوساط الأكاديمية. على عكس التعرف على الصور، لا يركز الإنسان عند القراءة على الكلمات والجمل الحالية فقط، بل يأخذ في اعتباره السياق لفهم النص. كانت إدخالات الشبكات العصبية المبكرة مستقلة عن بعضها البعض، مما جعل من الصعب فهم النصوص الطويلة أو حتى المقالات بأكملها.
في عام 2014، حقق عالم جوجل إيليا اختراقًا لأول مرة. استخدم الشبكات العصبية التكرارية )RNN( لمعالجة اللغة الطبيعية، مما أدى إلى تحسين كبير في أداء ترجمة جوجل. قدمت RNN "تصميمًا دائريًا"، مما جعل الخلايا العصبية تتلقى كل من المدخلات الحالية ومدخلات اللحظة السابقة، وبالتالي اكتسبت القدرة على "دمج السياق".
أدى ظهور RNN إلى إثارة حماس البحث في الأوساط الأكاديمية. ومع ذلك، سرعان ما اكتشف المطورون أن RNN لديها عيوب خطيرة: تستخدم هذه الخوارزمية الحساب التتابعي، وعلى الرغم من أنها تحل مشكلة السياق، إلا أن كفاءتها التشغيلية منخفضة، مما يجعل من الصعب التعامل مع كميات كبيرة من المعلمات.
منذ عام 2015، بدأ شازيل وآخرون في تطوير بدائل لـ RNN، وكانت النتيجة النهائية هي Transformer. بالمقارنة مع RNN، يتمتع Transformer بابتكاريْن رئيسيّيْن: الأول هو استبدال التصميم الدائري بالترميز المكاني، مما يتيح حسابات متوازية ويزيد بشكل كبير من كفاءة التدريب؛ والثاني هو تعزيز القدرة على فهم السياق.
حَلَّ Transformer العديد من التحديات التقنية دفعة واحدة، وأصبح تدريجياً الحل السائد في معالجة اللغة الطبيعية. لقد حول نماذج كبيرة من البحث النظري إلى مشكلة هندسية بحتة.
في عام 2019، طورت OpenAI GPT-2 استنادًا إلى Transformer، مما أثار دهشة الأوساط الأكاديمية. ثم أطلقت Google AI أقوى - Meena. مقارنةً بـ GPT-2، لم تقدم Meena أي ابتكارات في الخوارزميات، بل زادت فقط من معلمات التدريب والقدرة الحاسوبية. تركت هذه الطريقة "البنائية العنيفة" انطباعًا عميقًا لدى مؤلف Transformer شازيل.
أدى ظهور Transformer إلى تباطؤ سرعة الابتكار في الخوارزميات الأساسية في الأوساط الأكاديمية. أصبحت عناصر الهندسة مثل هندسة البيانات، وحجم الحوسبة، وهيكل النموذج، تدريجياً هي العناصر الرئيسية في المنافسة في الذكاء الاصطناعي. أي شركة تمتلك مستوى معين من القوة التقنية يمكنها تطوير نموذج كبير.
أشار عالم الحاسوب أندرو نج خلال حديثه في جامعة ستانفورد إلى أن: "الذكاء الاصطناعي هو مجموعة من الأدوات، بما في ذلك التعلم تحت الإشراف، التعلم بدون إشراف، التعلم المعزز وكذلك الذكاء الاصطناعي التوليدي الحالي. كل هذه تقنيات عامة، مشابهة للطاقة الكهربائية والإنترنت."
رغم أن OpenAI لا تزال رائدة في مجال LLM، إلا أن وكالات تحليل أشباه الموصلات تعتقد أن مزايا GPT-4 تأتي بشكل رئيسي من الحلول الهندسية - إذا تم فتح المصدر، يمكن لأي منافس نسخها بسرعة. يتوقع المحلل أن تتمكن شركات التكنولوجيا الكبرى الأخرى من إنشاء نماذج كبيرة تعادل أداء GPT-4 في وقت قريب.
ضعف الخندق
اليوم، "معركة المئة نموذج" لم تعد مجرد مبالغة، بل هي واقع موضوعي.
أظهر التقرير أنه حتى يوليو من هذا العام، بلغ عدد النماذج الكبيرة في الصين 130 نموذجًا، متجاوزًا الولايات المتحدة التي لديها 114 نموذجًا. باستثناء الصين والولايات المتحدة، أطلقت دول غنية أخرى أيضًا نماذج كبيرة محلية: مثل Bhashini المدعوم من الحكومة الهندية، وHyperClova X التي طورتها شركة الإنترنت الكورية Naver.
يبدو أن هذا المشهد قد عاد إلى الأيام الأولى للإنترنت، حيث كانت هناك منافسة شديدة بين رأس المال والتكنولوجيا.
كما ذُكِرَ سابقًا، يجعل Transformer النماذج الكبيرة مشكلة هندسية بحتة، طالما أن هناك مواهب، وتمويل، وعتاد، يمكن تحقيق ذلك من خلال تجميع المعلمات. لكن انخفاض حاجز الدخول لا يعني أن الجميع يمكن أن يصبحوا عمالقة في عصر الذكاء الاصطناعي.
على سبيل المثال "حرب الحيوانات" المذكورة في بداية المقال: على الرغم من أن Falcon قد تفوقت على Llama في بعض الترتيبات، إلا أن تأثيرها الفعلي على Meta محدود.
من المعروف أن الشركات تفتح مصادر نتائج أبحاثها العلمية، ليس فقط لمشاركة التقدم التكنولوجي، ولكن أيضًا على أمل الاستفادة من حكمة الجماهير. مع استمرار الأكاديميين والصناعيين في استخدام وتحسين Llama، يمكن لـ Meta تطبيق هذه النتائج على منتجاتها الخاصة.
بالنسبة للنماذج الكبيرة مفتوحة المصدر، فإن مجتمع المطورين النشط هو القوة التنافسية الأساسية. تأسست ميتا مختبر الذكاء الاصطناعي في عام 2015 وأكدت على استراتيجيتها مفتوحة المصدر؛ زوكربيرغ الذي بدأ من وسائل التواصل الاجتماعي يعرف جيداً "كيفية الحفاظ على علاقات المستخدمين".
على سبيل المثال، في أكتوبر من هذا العام، نظمت ميتا فعالية "تحفيز المبدعين في مجال الذكاء الاصطناعي": المطورون الذين يستخدمون Llama 2 لحل القضايا الاجتماعية مثل التعليم والبيئة لديهم فرصة للحصول على تمويل قدره 500,000 دولار.
الآن، أصبحت سلسلة لاما من ميتا معيارًا للنماذج اللغوية المفتوحة المصدر. اعتبارًا من أوائل أكتوبر، كان 8 من بين أفضل 10 نماذج لغوية مفتوحة المصدر في تصنيف معين مبنية على لاما 2 وتستخدم بروتوكولها المفتوح المصدر. فقط على هذه المنصة، يوجد أكثر من 1500 نموذج لغوي مفتوح المصدر يستخدم بروتوكول لاما 2.
بالطبع، تحسين الأداء مثل Falcon هو أيضًا استراتيجية، لكن في الوقت الحالي لا يزال هناك فجوة واضحة بين معظم LLM وGPT-4.
على سبيل المثال، تصدرت GPT-4 الاختبار في AgentBench بمعدل 4.41. تم إطلاق AgentBench من قبل عدة جامعات مرموقة لتقييم قدرة LLM على الاستدلال واتخاذ القرارات في بيئات مفتوحة متعددة الأبعاد. تُظهر نتائج الاختبار أن المرتبة الثانية، Claude، حصلت على 2.77، مما يعكس فجوة كبيرة. وتدور درجات LLMs المعروفة الأخرى حول 1، أي أقل من ربع درجة GPT-4.
من الجدير بالذكر أن GPT-4 تم إصداره في مارس من هذا العام، وهذا هو نتيجة جهود زملاءه العالميين الذين حاولوا اللحاق به بعد أكثر من نصف عام. إن قدرة OpenAI على الحفاظ على موقعها الريادي ترجع إلى فريقها البحثي عالي المستوى والخبرة المتراكمة على مدى السنوات.
بعبارة أخرى، فإن الميزة الأساسية للنموذج الكبير ليست في حجم المعلمات، ولكن في بناء النظام البيئي (الطريق المفتوح) أو القدرة على الاستدلال البحتة (الطريق المغلق).
مع تزايد نشاط مجتمع المصادر المفتوحة، قد تتجه أداءات نماذج اللغة الكبيرة (LLM) نحو التماثل، حيث أن الجميع يستخدم هياكل نماذج ومجموعات بيانات مشابهة.
مشكلة أخرى أكثر وضوحًا هي: يبدو أنه لا يوجد نموذج كبير آخر يمكن أن يحقق أرباحًا بخلاف Midjourney.
تحديات ربط القيمة
في أغسطس من هذا العام، أثار مقال بعنوان "OpenAI قد تفلس بحلول نهاية عام 2024" الانتباه. يمكن تلخيص مضمون المقالة في: سرعة إنفاق OpenAI مفرطة.
يذكر في النص أنه منذ تطوير ChatGPT، توسعت خسائر OpenAI بسرعة، حيث بلغت خسائرها حوالي 540 مليون دولار في عام 2022، ولم يكن أمامها سوى الاعتماد على استثمارات مايكروسوفت للبقاء.
على الرغم من أن العنوان قد يبدو مبالغًا فيه، إلا أنه يعكس بالفعل الحالة العامة لمقدمي النماذج الكبيرة: هناك عدم توازن شديد بين التكاليف والإيرادات.
التكاليف المرتفعة أدت إلى أن المستفيدين الرئيسيين من ازدهار الذكاء الاصطناعي هم فقط شركات تصنيع الرقائق مثل إنفيديا.
تقدّر شركة الاستشارات Omdia أن شركة NVIDIA قد باعت أكثر من 300,000 شريحة H100 في الربع الثاني من هذا العام. هذه شريحة AI فعّالة، وتتنافس شركات التكنولوجيا العالمية والمؤسسات البحثية على شرائها. إذا تم تكديس هذه الـ 300,000 شريحة H100 فوق بعضها البعض، فإن وزنها يعادل وزن 4.5 طائرات بوينغ 747.
ارتفعت عائدات إنفيديا بشكل حاد، حيث زادت الإيرادات بنسبة 854% مقارنة بالعام السابق، مما صدم وول ستريت. في الوقت الحالي، تم رفع سعر H100 في السوق الثانوية إلى 40-50 ألف دولار، في حين أن تكلفة المواد الخاصة به تبلغ حوالي 3000 دولار.
تكاليف قوة الحوسبة المرتفعة تعيق تطوير الصناعة إلى حد ما. كانت شركة سيكويا كابيتال قد قدرت أن الشركات التكنولوجية العالمية ستستثمر حوالي 200 مليار دولار سنويًا في بناء بنية تحتية للنماذج الكبيرة؛ بالمقابل، يمكن أن تحقق النماذج الكبيرة ما يصل إلى 75 مليار دولار فقط من الإيرادات سنويًا، مما يترك فجوة لا تقل عن 125 مليار دولار.
علاوة على ذلك، باستثناء عدد قليل من الاستثناءات مثل Midjourney، لم تتمكن معظم شركات البرمجيات من العثور على نموذج ربح واضح بعد استثمار مبالغ ضخمة. حتى أعمال الذكاء الاصطناعي للشركات الرائدة في الصناعة مثل مايكروسوفت وأدوبي تواجه تحديات.
أداة توليد الشيفرة البرمجية AI GitHub Copilot التي طورتها مايكروسوفت بالتعاون مع OpenAI، رغم أنها تتقاضى رسوم اشتراك شهري قدرها 10 دولارات، إلا أن مايكروسوفت تتكبد خسائر شهرية تصل إلى 20 دولارًا بسبب تكاليف المرافق، وقد تؤدي الاستخدامات المتكررة إلى خسائر تصل إلى 80 دولارًا شهريًا. بناءً على ذلك، من المتوقع أن يتكبد Microsoft 365 Copilot، الذي يتم تسعيره بـ 30 دولارًا، خسائر أكبر.
وبالمثل، قامت شركة أدوبي التي أطلقت مؤخراً أداة Firefly AI بسرعة بإدخال نظام النقاط لمنع المستخدمين من الاستخدام المفرط مما يؤدي إلى خسائر للشركة. حالما يتجاوز المستخدم النقاط المخصصة له شهرياً، ستقوم أدوبي بتقليل سرعة الخدمة.
من الجدير بالذكر أن مايكروسوفت وأدوبي لديهما سيناريوهات عمل واضحة وعدد كبير من المستخدمين المدفوعين. بينما لا تزال السيناريوهات الرئيسية لاستخدام معظم النماذج الكبيرة ذات المعلمات الضخمة هي الدردشة.
لا يمكن إنكار أنه لولا ظهور OpenAI وChatGPT، ربما لم تكن هذه الثورة في الذكاء الاصطناعي ستحدث. لكن في المرحلة الحالية، لا يزال مناقشة القيمة التي تم إنشاؤها من تدريب النماذج الكبيرة قيد النظر.
مع تزايد المنافسة المتماثلة وظهور نماذج المصدر المفتوح بشكل مستمر، قد يواجه مزودو النماذج الكبيرة فقط ضغطًا أكبر من أجل البقاء.
تمامًا كما أن نجاح iPhone 4 لا يعتمد فقط على معالجه A4، بل لأنه يمكنه تشغيل مجموعة متنوعة من التطبيقات المثيرة، قد تتجلى القيمة الحقيقية للذكاء الاصطناعي بشكل أكبر في سيناريوهات تطبيقه المحددة.