字节跳动与浙大联合推多模态大语言模型 Vista-LLaMA,可解读视频内容

巴比特讯 字节跳动与浙江大学合作推出了多模态大语言模型 Vista-LLaMA,该模型专为视频内容理解而设计,能够输出高质量视频描述。通过创新的视觉与语言 token 处理方式,Vista-LLaMA 解决了在视频内容中出现“幻觉”现象的问题。

Vista-LLaMA 在多个开放式视频问答基准测试中表现卓越,尤其在 NExT-QA 和 MSRVTT-QA 测试中取得了突破性成绩。其在零样本 NExT-QA 测试中实现了 60.7% 的准确率,在 MSRVTT-QA 测试中达到了 60.5% 的准确率,超过了目前所有的 SOTA 方法。这些结果证明了 Vista-LLaMA 在视频内容理解和描述生成方面的高效性和精准性。

TOKEN-5.32%
此页面可能包含第三方内容,仅供参考(非陈述/保证),不应被视为 Gate 认可其观点表述,也不得被视为财务或专业建议。详见声明
  • 赞赏
  • 1
  • 转发
  • 分享
评论
0/400
笑谈币生vip
· 2024-03-14 21:37
梭哈 All in 🙌
回复0
交易,随时随地
qrCode
扫码下载 Gate APP
社群列表
简体中文
  • 简体中文
  • English
  • Tiếng Việt
  • 繁體中文
  • Español
  • Русский
  • Français (Afrique)
  • Português (Portugal)
  • Bahasa Indonesia
  • 日本語
  • بالعربية
  • Українська
  • Português (Brasil)