ByteDance ve Çin Bilim ve Teknoloji Üniversitesi tarafından ortaklaşa geliştirilen çok modlu bir belge modeli olan DocPedia, çözünürlük sınırını başarıyla aştı ve 2560×2560 gibi yüksek bir çözünürlüğe ulaşırken, endüstrinin LLaVA ve MiniGPT-4 gibi gelişmiş çok modlu büyük modelleri, yüksek çözünürlüklü belge görüntülerini ayrıştıramayan 336×336 çözünürlüğe sahip görüntüleri işliyor. Sonuç olarak, araştırma ekibi, yüksek çözünürlüklü belge görüntülerinin ayrıştırılmasında mevcut modellerin eksikliklerini gidermek için yeni bir yaklaşım benimsemiştir.
DocPedia'nın yalnızca görüntü bilgilerini doğru bir şekilde tanımlamakla kalmayıp, aynı zamanda kullanıcı ihtiyaçlarına göre soruları yanıtlamak için bilgi tabanını çağırdığı ve yüksek çözünürlüklü çok modlu belgeleri anlama yeteneğini gösterdiği söyleniyor.
View Original
This page may contain third-party content, which is provided for information purposes only (not representations/warranties) and should not be considered as an endorsement of its views by Gate, nor as financial or professional advice. See Disclaimer for details.
ByteDance ve USTC, büyük bir çok modlu belge modeli olan DocPedia'yı ortaklaşa önerdi
ByteDance ve Çin Bilim ve Teknoloji Üniversitesi tarafından ortaklaşa geliştirilen çok modlu bir belge modeli olan DocPedia, çözünürlük sınırını başarıyla aştı ve 2560×2560 gibi yüksek bir çözünürlüğe ulaşırken, endüstrinin LLaVA ve MiniGPT-4 gibi gelişmiş çok modlu büyük modelleri, yüksek çözünürlüklü belge görüntülerini ayrıştıramayan 336×336 çözünürlüğe sahip görüntüleri işliyor. Sonuç olarak, araştırma ekibi, yüksek çözünürlüklü belge görüntülerinin ayrıştırılmasında mevcut modellerin eksikliklerini gidermek için yeni bir yaklaşım benimsemiştir.
DocPedia'nın yalnızca görüntü bilgilerini doğru bir şekilde tanımlamakla kalmayıp, aynı zamanda kullanıcı ihtiyaçlarına göre soruları yanıtlamak için bilgi tabanını çağırdığı ve yüksek çözünürlüklü çok modlu belgeleri anlama yeteneğini gösterdiği söyleniyor.