DocPedia, um modelo de documento multimodal desenvolvido em conjunto pela ByteDance e pela Universidade de Ciência e Tecnologia da China, ultrapassou com sucesso o limite de resolução e atingiu uma alta resolução de 2560×2560, enquanto os modelos multimodais avançados da indústria, como LLaVA e MiniGPT-4, processam imagens com uma resolução de 336×336, que não podem analisar imagens de documentos de alta resolução. O resultado é que a equipe de pesquisa adotou uma nova abordagem para abordar as deficiências dos modelos existentes na análise de imagens de documentos de alta resolução.
Diz-se que DocPedia não só pode identificar com precisão informações de imagem, mas também chamar a base de conhecimento para responder a perguntas com base nas necessidades do usuário, demonstrando a capacidade de entender documentos multimodais de alta resolução.
Ver original
Esta página pode conter conteúdo de terceiros, que é fornecido apenas para fins informativos (não para representações/garantias) e não deve ser considerada como um endosso de suas opiniões pela Gate nem como aconselhamento financeiro ou profissional. Consulte a Isenção de responsabilidade para obter detalhes.
A ByteDance e o USTC propuseram conjuntamente o DocPedia, um grande modelo de documento multimodal
DocPedia, um modelo de documento multimodal desenvolvido em conjunto pela ByteDance e pela Universidade de Ciência e Tecnologia da China, ultrapassou com sucesso o limite de resolução e atingiu uma alta resolução de 2560×2560, enquanto os modelos multimodais avançados da indústria, como LLaVA e MiniGPT-4, processam imagens com uma resolução de 336×336, que não podem analisar imagens de documentos de alta resolução. O resultado é que a equipe de pesquisa adotou uma nova abordagem para abordar as deficiências dos modelos existentes na análise de imagens de documentos de alta resolução.
Diz-se que DocPedia não só pode identificar com precisão informações de imagem, mas também chamar a base de conhecimento para responder a perguntas com base nas necessidades do usuário, demonstrando a capacidade de entender documentos multimodais de alta resolução.