DocPedia, um modelo de documento multimodal desenvolvido em conjunto pela ByteDance e pela Universidade de Ciência e Tecnologia da China, ultrapassou com sucesso o limite de resolução e atingiu uma alta resolução de 2560×2560, enquanto os modelos multimodais avançados da indústria, como LLaVA e MiniGPT-4, processam imagens com uma resolução de 336×336, que não podem analisar imagens de documentos de alta resolução. O resultado é que a equipe de pesquisa adotou uma nova abordagem para abordar as deficiências dos modelos existentes na análise de imagens de documentos de alta resolução.
Diz-se que DocPedia não só pode identificar com precisão informações de imagem, mas também chamar a base de conhecimento para responder a perguntas com base nas necessidades do usuário, demonstrando a capacidade de entender documentos multimodais de alta resolução.
Ver original
Esta página pode conter conteúdos de terceiros, que são fornecidos apenas para fins informativos (sem representações/garantias) e não devem ser considerados como uma aprovação dos seus pontos de vista pela Gate, nem como aconselhamento financeiro ou profissional. Consulte a Declaração de exoneração de responsabilidade para obter mais informações.
A ByteDance e o USTC propuseram conjuntamente o DocPedia, um grande modelo de documento multimodal
DocPedia, um modelo de documento multimodal desenvolvido em conjunto pela ByteDance e pela Universidade de Ciência e Tecnologia da China, ultrapassou com sucesso o limite de resolução e atingiu uma alta resolução de 2560×2560, enquanto os modelos multimodais avançados da indústria, como LLaVA e MiniGPT-4, processam imagens com uma resolução de 336×336, que não podem analisar imagens de documentos de alta resolução. O resultado é que a equipe de pesquisa adotou uma nova abordagem para abordar as deficiências dos modelos existentes na análise de imagens de documentos de alta resolução.
Diz-se que DocPedia não só pode identificar com precisão informações de imagem, mas também chamar a base de conhecimento para responder a perguntas com base nas necessidades do usuário, demonstrando a capacidade de entender documentos multimodais de alta resolução.