本文目录一览：
- 1、大规模中文多模态评测基准MUGE发布
- 2、多模态LLM应该如何评估,MME是一个不错的评估基准
- 3、苹果发布第一个手机端UI多模态大模型——Ferret-UI,基本UI任务性能超越...
- 4、MLLM(多模态大模型)的综述
- 5、零一万物最新发布了Yi-VL-34B和Yi-VL-6B多模态大模型
- 6、Saleforce发布的多模态大模型InstructBLIP是新的SOTA么?
大规模中文多模态评测基准MUGE发布
内容：MUGE包含大规模的中文数据集，涉及图文描述、文本生成图像、跨模态检索等多种任务，覆盖电商等多个场景。首期开放的任务包括ECommerce IC、ECommerce T2I和多模态检索等，分别用于测试商品图片的描述生成、图像生成以及匹配能力。
MUGE，由达摩院智能计算实验室认知智能团队推出的中文多模态评测基准，旨在解决多模态领域中文数据集稀缺的问题，提供一个全面评估模型性能的平台。MUGE包含大规模的中文数据集，涉及图文描述、文本生成图像、跨模态检索等多种任务，覆盖电商等多个场景，帮助研究者检验模型在不同任务和场景下的表现。
考虑到中文多模态领域的蓬勃发展，达摩院智能计算实验室认知智能团队推出了大规模中文多模态评测基准MUGE，拥有当前最大规模的中文多模态评测数据集，覆盖多种类型的任务，包括图文描述、基于文本的图像生成、跨模态检索等，对模型展开了全方位的评测，帮助研究人员对自己的模型得到更好的理解。
MUGE的概述 全称：Multimodal Understanding and Generation Evaluation Benchmark。 目的：解决当前中文多模态领域下游任务数据集匮乏的问题，为研究者提供平台和评测基准去衡量算法模型的有效性。MUGE的特点 数据规模：拥有当前最大规模的中文多模态评测数据集。
多模态LLM应该如何评估,MME是一个不错的评估基准
多模态LLM的评估应该基于全面性、多样性和量化易读性等关键特性，而MME确实是一个不错的评估基准。以下是对MME评估基准的详细解析：全面性：MME设计了14个精心挑选的任务，这些任务涵盖了从电影海报识别到名人辨识等多个领域，能够全面考察多模态LLM的认知和感知能力。
MME评测基准包括感知和认知能力的评测，感知能力覆盖物体存在性、数量、位置和颜色等，认知能力包括常识推理、数值计算、文本翻译和代码推理。MME中所有的指令-答案对都是人工构建的，以减少数据泄露风险。指令设计尽量简洁，以避免模型陷入Prompt Engineering。
多模态专有基准MME表现优异：在37个视觉理解任务中，GeminiPro与GPT4V能力相当。在多模态专有基准MME上，GeminiPro获得1934的高分，超越了GPT4V的1926分。定量测试中的突出表现：GeminiPro在文本翻译、颜色/地标/人物识别、OCR等任务上表现突出。
评估方案侧重于平衡文本生成能力和多模态理解准确性，使用Open-VQA基准对模型进行全面评价。实验结果表明，Lynx模型在Open-VQA、OwlEval人工测评及Mme感知任务中表现出最佳性能。与现有模型相比，Lynx模型在多模态理解与生成能力上具有优势。
评估方案侧重于平衡文本生成能力和多模态理解准确性。使用OpenVQA基准对模型进行全面评价，该基准包括图像和视频任务，以全面评估模型的多模态能力。实验结果：实验结果表明，Lynx模型在OpenVQA、OwlEval人工测评及Mme感知任务中均表现出最佳性能。与现有模型相比，Lynx模型在多模态理解与生成能力上具有显著优势。
苹果发布第一个手机端UI多模态大模型——Ferret-UI,基本UI任务性能超越...
1、苹果发布的Ferret-UI是一个专为移动UI屏幕设计的多模态大模型，其基本UI任务性能超越了GPT-4V。Ferret-UI是苹果公司最新发布的一个多模态大型语言模型（MLLM），该模型的主要目标是提升对移动用户界面（UI）屏幕的理解能力。它具备指代、定位和推理能力，能够与UI屏幕进行有效的互动。
2、FerretUI是一个专门设计来提升移动用户界面理解的模型，它基于Ferret模型构建，并加入了“任意分辨率”技术以适应不同屏幕尺寸。技术创新：为了适应不同屏幕宽高比，FerretUI采用了“任意分辨率”技术，将图像分割成子图像，以便于同时适应竖屏和横屏。
3、Ferret-UI建立在Ferret的基础上，Ferret是一个MLLM，在不同的形状和细节水平的自然图像中实现空间参考和基础。Ferret-UI进行了两个扩展以开发：UI指代和定位任务的定义和构建，以及模型架构调整，以更好地处理屏幕数据。
MLLM(多模态大模型)的综述
1、MLLM综述：学习范式 传统范式：包括SFT/Pretrainfinetune、Prompting。Instruction tuning：通过让LLM学会遵循指令，提高了零样本性能，在未见任务上实现推理。MIT 数据和架构调整：调整基准或使用selfinstruct生成数据，将外部模态信息注入LLM。数据形式：采用三元组形式。
2、文章将最近的代表性MLLM（多模态大模型）分为四类：Multimodal Instruction Tuning（M-IT）、Multimodal In-Context Learning（M-ICL）、Multimodal Chain-of-Thought（M-CoT）以及LLM-Aided Visual Reasoning（LAVR），并对此进行了详细阐述。
3、多模态大语言模型（Multimodal Large Language Model，MLLM）作为新兴的研究热点，正逐步展现出其在人工智能领域的巨大潜力。以下通过一篇综述和一个仓库的介绍，帮助快速理解MLLM的核心概念、关键技术、应用以及未来挑战。
零一万物最新发布了Yi-VL-34B和Yi-VL-6B多模态大模型
1、领先企业：零一万物是AI0领域的领军企业，由李开复博士领军，致力于大模型技术研究与应用。创新架构：YiVL34B和YiVL6B基于创新的LLaVA架构，经过全面三阶段训练，为多学科多模态问题提供了卓越性能。性能表现：图文理解和对话生成：这两款模型在图文理解和对话生成方面表现出色。
2、零一万物，作为AI0领域的领军企业，由李开复博士领军，总部设在北京，致力于大模型技术研究与应用。其在大模型技术、人工智能算法等领域有所建树，如Yi-34B和Yi-6B模型均表现出全球领先水平。近期，公司发布了Yi-VL-34B和Yi-VL-6B两款多模态大模型，尤其在图文理解和对话生成方面表现出色。
3、智谱AI与清华KEG团队最新发布了更强大的多模态大模型——CogVLM-17B，该模型在魔搭社区直接开源，具备出色性能，在14项权威跨模态基准上取得最佳结果。
Saleforce发布的多模态大模型InstructBLIP是新的SOTA么?
是的，Salesforce发布的多模态大模型InstructBLIP是新的SOTA。以下是具体的原因和表现：性能卓越：InstructBLIP模型基于预训练的BLIP2模型，并通过指导微调流程显著提升了模型的零样本性能。在所有13个外部数据集上，InstructBLIP均达到了最先进的水平，优于BLIP2和更大的Flamingo模型。
本文来自作者[爱迪生]投稿，不代表巴拉号立场，如若转载，请注明出处：https://www.fbala.cn/yx/202508-17450.html
评论列表（3条）
我是巴拉号的签约作者“爱迪生”
本文概览：本文目录一览： 1、大规模中文多模态评测基准MUGE发布 2、...
文章不错《多模态大模型安全评估标准发布的简单介绍》内容很有帮助