Великі моделі все ще змагаються за параметри, але справжнім фактором, що починає обмежувати галузь, стала інша річ: збереження контексту.

Коли довжина висновків, ланцюги викликів агентів і довготривала пам’ять стають довшими, справжнім визначальним фактором досвіду та вартості є не лише обчислювальна потужність, а й «чи можна ефективно читати, писати, керувати та повторно використовувати контекст».
Саме тому останнім часом ринок почав звертати увагу на інфраструктуру, таку як Memory Context, KV Cache, багаторівневе збереження для висновків.
Наступний етап конкуренції в AI, можливо, не буде зосереджений на тому, хто генерує більше контенту, а на тому, хто може стабільно та з низькими витратами працювати в довгих задачах.
Якщо в епоху тренувань змагалися за GPU, то в епоху агентів змагаються за Memory.
Саме тому я в одному чаті обговорював із учасниками, чому варто гратися з лобстерами, і сказав, що Claude Code створений саме для лобстерів. Але вони сказали, що питання з повним контекстом мене залишило без слів, і я змушений був чесно і серйозно зайнятися вирощуванням лобстерів.