评测基准 - AI 资讯

Kimi 发布 WorldVQA：首个聚焦原子级视觉世界知识的 MLLM 评测基准

Kimi 团队正式发布 WorldVQA，这是一个旨在衡量多模态大语言模型（MLLMs）原子级视觉世界知识事实正确性的全新基准。该数据集包含 3500 个高质量图文对，覆盖自然、地理、文化等 9 大类，并严格区分长尾知识。评测显示，即便是顶尖模型在长尾知识上的准确率也常低于 50%，且普遍存在过度自信（Overconfidence）问题。Kimi-K2.5 在该基准上表现最佳，ECE 为 37.9%，Slope 为 0.550，但仍需大幅提升自我认知能力。