تجاوزت النماذج الكبيرة 400,000 توكن للنصوص الطويلة ، وأصبحت الموازنة بين الطول والفعالية محور التركيز.

robot
إنشاء الملخص قيد التقدم

شركات النماذج الكبيرة تتنافس على تجاوز قدرات النصوص الطويلة 400,000 توكن قد تكون فقط البداية

تعمل النماذج الكبيرة على تعزيز قدرتها على معالجة النصوص الطويلة بسرعة مذهلة، حيث ارتفعت من 4000 توكن إلى 400000 توكن. أصبحت القدرة على التعامل مع النصوص الطويلة "المعيار الجديد" لمصنعي النماذج الكبرى.

وفقًا للإحصاءات، هناك حاليًا العديد من شركات النماذج الكبيرة الرائدة ومراكز البحث مثل OpenAI وAnthropic وMeta و月之暗面 التي تعمل على توسيع طول السياق كوجهة رئيسية للتطوير. معظم هذه الشركات هي موضوع اهتمام كبير في سوق رأس المال وقد حصلت على تمويل كبير.

لماذا تولي شركات النماذج الكبيرة اهتمامًا كبيرًا بتقنية النصوص الطويلة؟ ماذا يعني توسيع طول السياق بمقدار 100 مرة؟

من الناحية السطحية، يعني هذا أن النصوص التي يمكن أن يدخلها النموذج أصبحت أطول، وأن قدراته على القراءة أصبحت أقوى. على مستوى أعمق، فإن تقنيات النصوص الطويلة تدفع إلى تطبيقات النماذج الكبيرة في مجالات متخصصة مثل المالية، والقضاء، والبحث العلمي، مثل تحسين قدرات تلخيص الوثائق الطويلة، وفهم القراءة، والإجابة على الأسئلة.

ومع ذلك، تظهر الأبحاث أن دعم النموذج للسياقات الأطول لا يعني بالضرورة أن الأداء سيكون أفضل. استخدام النموذج لمحتوى السياق هو الأكثر أهمية. حتى الآن، لا يزال الاستكشاف المحلي والدولي لطول النصوص بعيداً عن "نقطة الحرج"، وقد تكون 400000 توكن مجرد البداية.

أشار مؤسس الجانب المظلم من القمر يانغ زهي لين إلى أن القيود على طول إدخال النماذج الكبيرة أدت إلى العديد من الصعوبات في تطبيقاتها. على طريق التطبيقات الأصلية للوكيل والذكاء الاصطناعي في المستقبل، تلعب النصوص الطويلة دورًا مهمًا.

يمكن لتقنية النصوص الطويلة معالجة بعض المشكلات المبكرة للنماذج الكبيرة، وهي أيضًا التقنية الرئيسية لدفع الصناعة نحو التنفيذ. وهذا يدل على أن تطور النماذج الكبيرة قد دخل مرحلة جديدة من LLM إلى Long LLM.

من خلال Kimi Chat في الجانب المظلم من القمر، يمكننا إلقاء نظرة على ميزات الترقية لنموذج LLM الكبير في مرحلة Long، مثل استخراج المعلومات من النصوص الطويلة جدًا، وتوليد التعليمات البرمجية، وتقمص الأدوار، وما إلى ذلك. يظهر هذا أن الروبوتات المحادثة تتجه نحو التخصص، والتخصيص، والتعمق، ومن المتوقع أن تصبح أداة فعالة لتحفيز تحقيق الصناعة.

ومع ذلك، تواجه تقنية النصوص الطويلة أزمة "مثلث المستحيل" المتعلقة بطول النص، والانتباه، والحوسبة. حيث إن كمية حساب آلية الانتباه تنمو بشكل مربع مع طول السياق، مما يؤدي إلى تشتت الانتباه مع السياقات الطويلة. في نفس الوقت، فإن نقص القدرة الحاسوبية يحد من تقدم تقنية النصوص الطويلة.

حاليًا، هناك ثلاث حلول رئيسية: استخدام أدوات خارجية للمساعدة في المعالجة، تحسين حساب آلية الانتباه الذاتي، واستخدام طرق تحسين النموذج. تبحث الشركات الكبرى عن أفضل نقطة توازن بين هذه الحلول الثلاثة، لمعالجة معلومات كافية مع مراعاة قيود حساب الانتباه وقدرة الحوسبة.

إن突破 تقنيات النصوص الطويلة يشير إلى أن النماذج الكبيرة تتجه نحو تطبيقات أكثر تخصصًا وعمقًا. في المستقبل، مع استمرار تطور التكنولوجيا، من المتوقع أن تلعب النماذج الكبيرة دورًا مهمًا في مجالات أوسع.

TOKEN-11.44%
شاهد النسخة الأصلية
قد تحتوي هذه الصفحة على محتوى من جهات خارجية، يتم تقديمه لأغراض إعلامية فقط (وليس كإقرارات/ضمانات)، ولا ينبغي اعتباره موافقة على آرائه من قبل Gate، ولا بمثابة نصيحة مالية أو مهنية. انظر إلى إخلاء المسؤولية للحصول على التفاصيل.
  • أعجبني
  • 8
  • مشاركة
تعليق
0/400
DegenRecoveryGroupvip
· 07-18 23:16
400000 توكن تساؤلات في كل مكان
شاهد النسخة الأصليةرد0
ApeWithAPlanvip
· 07-17 03:11
أربعمائة ألف توكن؟ تحمّل
شاهد النسخة الأصليةرد0
GasFeeBeggarvip
· 07-16 18:47
لا يكفي 40w لطريقة عد الأموال الخاصة بي
شاهد النسخة الأصليةرد0
HalfBuddhaMoneyvip
· 07-16 18:44
ما فائدة 400,000 توكن؟ لا يمكن شرب القهوة بها.
شاهد النسخة الأصليةرد0
GateUser-44a00d6cvip
· 07-16 18:36
لا يوجد مال لشراء بطاقة الرسوميات، أليس كذلك؟
شاهد النسخة الأصليةرد0
MEV_Whisperervip
· 07-16 18:32
قوة الحوسبة تحرق المال
شاهد النسخة الأصليةرد0
VirtualRichDreamvip
· 07-16 18:28
اللعب بكل شيء حتى المستوى الأعلى...
شاهد النسخة الأصليةرد0
AirdropGrandpavip
· 07-16 18:26
ما فائدة طول السياق إذا كنت مرهقًا؟
شاهد النسخة الأصليةرد0
  • تثبيت