(资料图)
.天津北方网讯:日前,天津大学和信创海河实验室举办“大模型技术与评测研讨会”,会上天津大学发布首份《大模型评测报告》,对国内外主流的14个大语言模型进行综合能力评测,结果显示,中美大模型正在形成两强领跑的格局。
.天津机器学习重点实验室负责人、天津大学胡清华教授表示,“基础智能模型有望重塑人工智能的发展模式,国内外大模型如雨后春笋般大量涌现。全面准确评价此类模型是推动和规范其健康发展的基础,为使用者在选择和应用大模型时提供参考。可以看到,百度文心一言在评测中展现了国产大模型的强大实力,中国的大语言模型在短期内取得巨大发展,正在逐步赶超国际类似的模型,甚至在某些指标上实现了局部超越。未来,期待国产大模型能够取得更大突破,可以赋能社会经济发展,助力我国科技高质量自立自强。”
.参与本次评测的大模型包括GPT-4、ChatGPT gpt-3.5-turbo、Claude-instant、Sage gpt-3.5-turbo等国外大模型,以及百度文心一言、阿里通义千问、讯飞星火认知大模型、ChatGLM-6B、360智脑、MOSS-16B、MiniMax、baichuan-7B等国产大模型。评测使用一套涵盖知识问答、语言表达、逻辑推理、常识问答、文本问答、机器翻译等不同领域知识、包含多种题型的综合性试题,通过多维度得分结果,清楚了解不同模型的擅长领域和综合能力优劣。
.天津大学方面发布,国产大模型以文心一言为代表,在知识问答、语言表达、逻辑推理、常识问答等方面表现出色。此外,本次评测中,文心一言在计算机、医学、法律和教育等领域的得分率高,为大语言模型在相关行业的落地提供了技术基础。(天津日报记者 岳付玉)