2B多模态新SOTA，华科、华南理工发布Mini-Monkey，专治“切分增大分辨率”后遗症

来源：网络 作者：声远热闻

阅读：666

发布时间：2024-08-13 14:02:42

[摘要] 2B多模态新SOTA，华科、华南理工发布Mini-Monkey，专治“切分增大分辨率”后遗症近期，多模态大模型处理高分辨率图像的性能优化成为了研究热点。以往的多数方法集中于图像切分与融合策略，以增强模

近期，多模态大模型处理高分辨率图像的性能优化成为了研究热点。以往的多数方法集中于图像切分与融合策略，以增强模型对图像细节的理解，但这种做法可能导致目标和连续区域的割裂，尤其是在文档理解任务中，文字断裂的问题尤为突出。

针对这一难题，华中科技大学与华南理工大学合作推出了一款名为Mini-Monkey的轻量级多模态大模型。该模型创新性地采用了多尺度自适应切分策略（MSAC）和尺度压缩机制（SCM），有效解决了传统图像切分策略的弊端，显著提升了模型在高分辨率图像和文档理解任务上的性能。Mini-Monkey在多个基准测试中均取得了领先地位，充分展示了其在多模态理解与文档智能领域的潜力。

MSAC策略让Mini-Monkey能够自动生成多尺度的图像表示，确保模型能从不同尺度中识别完整的对象，避免了因切分造成的识别障碍。而SCM则是一种无参数的机制，用于在保持高效计算的同时，筛选出关键的视觉特征，进一步优化了模型的效率和性能。

实验结果显示，Mini-Monkey不仅在文档智能任务上取得了优异成绩，还在广泛的多模态理解任务中实现了性能提升，与更大参数量的模型相比，如GLM-4v-9B，Mini-Monkey在OCRBench测试中得分高达802，展现出其作为2B参数量模型的顶尖状态。

关键词： 切分模型图像尺度多模