DocPedia, мультимодальная модель документов, совместно разработанная ByteDance и Университетом науки и технологий Китая, успешно преодолела предел разрешения и достигла высокого разрешения 2560×2560, в то время как передовые мультимодальные большие модели, такие как LLaVA и MiniGPT-4, обрабатывают изображения с разрешением 336×336, которые не могут анализировать изображения документов с высоким разрешением. В результате исследовательская группа приняла новый подход к устранению недостатков существующих моделей при анализе изображений документов с высоким разрешением.
Говорят, что DocPedia может не только точно идентифицировать информацию об изображениях, но и вызывать базу знаний для ответов на вопросы, основанные на потребностях пользователя, демонстрируя способность понимать мультимодальные документы с высоким разрешением.
Посмотреть Оригинал
На этой странице может содержаться сторонний контент, который предоставляется исключительно в информационных целях (не в качестве заявлений/гарантий) и не должен рассматриваться как поддержка взглядов компании Gate или как финансовый или профессиональный совет. Подробности смотрите в разделе «Отказ от ответственности» .
ByteDance и USTC совместно предложили DocPedia, большую мультимодальную модель документов
DocPedia, мультимодальная модель документов, совместно разработанная ByteDance и Университетом науки и технологий Китая, успешно преодолела предел разрешения и достигла высокого разрешения 2560×2560, в то время как передовые мультимодальные большие модели, такие как LLaVA и MiniGPT-4, обрабатывают изображения с разрешением 336×336, которые не могут анализировать изображения документов с высоким разрешением. В результате исследовательская группа приняла новый подход к устранению недостатков существующих моделей при анализе изображений документов с высоким разрешением.
Говорят, что DocPedia может не только точно идентифицировать информацию об изображениях, но и вызывать базу знаний для ответов на вопросы, основанные на потребностях пользователя, демонстрируя способность понимать мультимодальные документы с высоким разрешением.