LOKI是什么

LOKI是由中山大学和上海AI Lab联合提出的合成数据检测基准，旨在全面评估大型多模态模型（LMMs）在识别视频、图像、3D、文本和音频等多种模态合成数据的能力。包含18,000多个问题，覆盖26个子类别，采用多层次标注，支持细粒度异常注释。LOKI考验模型的感知和推理能力，通过自然语言解释增强了模型的可解释性。通过评估22个开源和6个闭源的LMMs，LOKI揭示了这些模型在合成数据检测任务中的潜力和局限性。