(资料图片)

近日，商汤科技发布了自研中文语言大模型“商量SenseChat 2.0”的测试成绩，数据显示在MMLU、AGIEval、C-Eval三个权威大语言模型评测基准中均超越了OpenAI的ChatGPT。在某些方面，商量SenseChat 2.0的表现已接近GPT4的水平，意味着我国语言大模型研究取得了重要突破。 这三个测试分别为：MMLU是美国加州大学伯克利分校等高校构建的多任务考试评测集；AGIEval是微软研究院推出的学科考试评测集，包括中国高考、司法考试及美国SAT、LSAT、GRE和GMAT等；C-Eval是由上海交通大学、清华大学和爱丁堡大学合作构建的面向中文语言模型的综合性考试评测集。在这三个测试中，商量SenseChat 2.0的表现均超越了ChatGPT以及国内外多款大模型，仅次于GPT-4。 在MMLU测试中，商量SenseChat 2.0的综合得分为68.6，位居第二，仅次于GPT-4（86.4分）；在AGIEval测试中，商量SenseChat 2.0以49.91分紧追GPT-4（56.4分）；在C-Eval测试中，商量SenseChat 2.0获得66.1分，仅次于GPT-4（68.7分）。 目前，已有近千家企业客户通过申请使用商量SenseChat 2.0，体验其长文本理解、逻辑推理、多轮对话、情感分析、内容创作、代码生成等综合能力。商汤科技表示，将持续对“商量SenseChat 2.0”进行快速迭代和提升，实现知识的实时更新。