大規模モデルのメーカーが長文能力の突破を競う 40万トークンは始まりに過ぎない

大規模モデルは驚異的な速度で長文処理能力を向上させており、最初の4000トークンから40万トークンに急増しています。長文能力は各大規模モデルベンダーの新しい"標準装備"となっています。

統計によると、現在国内外でOpenAI、Anthropic、Meta、月の暗い面などの多くのトップ大規模モデル企業や研究機関が文脈の長さの拡張を重点的なアップグレードの方向性としている。これらの企業はほとんどが資本市場で熱心に支持されており、大規模な資金調達を受けている。

大規模モデル企業はなぜ長文技術をこれほど重視するのか？コンテキストの長さが100倍に拡大することは何を意味するのか？

表面上から見ると、これはモデルが入力できるテキストがますます長くなり、読み取り能力が向上していることを意味します。より深い観点から見ると、長文技術は金融、司法、研究などの専門分野での大規模モデルの実用化を推進しており、長文書の要約、読解、質問応答などの能力の向上に寄与しています。

しかし、研究はモデルがより長いコンテキストをサポートすることと、より良い効果があることが直接的に等号で結ばれるわけではないことを示しています。モデルがコンテキストの内容を使用することがより重要です。現在、国内外のテキストの長さに関する探求はまだ「臨界点」に達しておらず、40万トークンはおそらく始まりに過ぎません。

月の暗い面の創設者である楊植麟は、大モデルの入力長が制限されているため、多くのアプリケーションの実現に困難が生じていると述べています。未来のエージェントやAIネイティブアプリケーションへの道のりにおいて、長文は重要な役割を果たします。

ロングテキスト技術は、大規模モデルの初期のいくつかの問題を解決できると同時に、産業の実現を推進するための重要な技術でもあります。これは、大規模モデルの発展がLLMからLong LLMへの新しい段階に入ったことを示しています。

月の裏側のKimi Chatを通じて、私たちはLong LLMフェーズの大規模モデルのアップグレード機能を垣間見ることができます。例えば、超長テキスト情報の抽出、コード生成、ロールプレイなどです。これは、対話型ロボットが専門化、個性化、深層化の方向に向かって進化していることを示しており、産業の実現を促進する手段となることが期待されています。

しかし、長いテキスト技術はテキストの長さ、注意力、計算能力の「不可能な三角形」というジレンマに直面しています。自己注意メカニズムの計算量は文脈の長さに対して平方的に増加し、長すぎる文脈は注意が散漫になる原因となります。同時に、計算能力の不足も長いテキスト技術の突破を制約しています。

現在、主に3つの解決策があります: 外部ツールを利用した支援処理、自注意機構計算の最適化、モデル最適化手法の利用。各大手企業は、十分な情報を処理しながら、注意計算と計算能力の制約を両立させるための最適なバランスを模索しています。

長文技術のブレークスルーは、大規模モデルがより専門的で、より深い応用シーンに進むことを示しています。未来において、技術が引き続き進化するにつれて、大規模モデルはより広範な分野で重要な役割を果たすことが期待されます。