七款AI大模型“高考结果”公布 :前三名文科过一本,理科过二本郭晶晶裁判长造型曝光,气质干练又美又飒,霍震霆提起她满脸自豪(二本)ai的模型,
IT之家 7 月 18 日消息,上海人工智能实验室 17 日公布了针对 7 个 AI 大模型的高考全科目测试结果,据大模型开源开放评测体系“司南”相关负责人介绍,“当前大模型仍存在很大的局限性。组织 AI 大模型‘到场高考’,目的是评测当前大模型的真实水平,找准问题,连续推进技术进步。”
测试结果显示,书生・浦语 2.0 系列文曲星大模型(浦语文曲星)、阿里通义千问大模型 Qwen2-72B 以及 GPT-4o 再次包办文、理科前三甲;前三名 AI“考生”的文、理科结果分别凌驾了“一本”“二本”线(以今年高考人数最多的河南省的分数线为参考)。

从官方提供的图片来看,此次到场“高考”的大模型还包罗来自零一万物的 Yi-1.5-34B、来自通义千问的 Qwen2-57B、来自智谱的 GLM-4-9B 和法国 AI 初创公司 Mistral 旗下的 Mixtral 8×22B。
据介绍,此次评测具备如下特征:
全卷考试:进行全卷评分,而不但针对单一题型,且包罗带图的高考题
考前开源:评测覆盖的开源模型均为今年高考前开源的模型,排除泄题的可能性
老师打分:邀请有高考阅卷经验的老师打分,确保评分和高考尽量一致
完全公开:生成答案的代码、模型答卷、评分结果完全开源
在增加综合科目的基础上,Qwen2-72B、GPT-4o、浦语文曲星包办文、理科前三甲。阿里通义千问大模型 Qwen2-72B 以 546 分的结果荣获 AI 高考“文科状元”,浦语文曲星则以 468.5 分成为理科第一名,分别凌驾了“非开源国际插班生”GPT-4o(文科 531 分,理科 467 分)。同为国外机构发布的 Mixtral 8x22B 平均得分最少,弱于国内大模型的高考体现。


阅卷老师们一致认为,大模型与真人考生仍存在差距,虽然对于基础知识的掌握体现精彩,但在逻辑推理和知识灵活应用方面,大模型仍然差强人意。具体而言,在作答主观题时,大模型往往无法完整理解题干,不明白代词指向,结果导致答非所问;解答数学题时,解题过程机械且逻辑性差,对于几何题,常出现与空间逻辑相违背的推断;对物理、化学实验理解肤浅,无法准确识别并运用实验器材。
别的,大模型也会伪造虚构内容,编造看似合理但实际不存在的诗句,或在存在明显计算错误的情况下之后不反思,“硬着头皮蒙”一个答案,均给阅卷老师带来了困扰。
据IT之家此前报道,根据上海人工智能实验室上个月公布的 AI 高考全卷结果,Qwen2-72B、GPT-4o 及书生・浦语 2.0 文曲星(InternLM2-20B-WQX)成为本次大模型高考的前三甲,得分率均凌驾 70%。大部门模型“考生”语文、英语科目体现良好,但数学方面仍有很大提升空间。
公开评测细节:点此前往
相关阅读:
《上海人工智能实验室发布首个 AI 高考评测结果:语数英总分最高 303 分,数学全部不及格》
- 上一篇
江西一考生532分上省外二本院校,原本可上省内一本,原因曝光连续3天收视第1,连《新闻联播》都花20秒推荐,央视这新剧要爆了(二本)高考江西二本线,
2024年高考,有的人低分捡漏211、985大学,有的人考出了一本线以上的结果,却只能上二本院校,不得不说,高考上什么大学,非常很重要,但填报志愿同样很关键。 虽说比别人多一分,就胜过千军万马,但志愿填报不合理,也可能出
- 下一篇
2024 香港青年看祖国首都北京国情文化交流周举行,增进对国情和首都文化的了解与认同
中新网香港8月6日电(记者 魏华都)记者6日获悉,“2024香港青年看祖国首都北京国情文化交流周”于7月29日至8月4日举行,其间一众香港青年赴北京交流
相关文章
- 2024 香港青年看祖国首都北京国情文化交流周举行,增进对国情和首都文化的了解与认同
- 七款AI大模型“高考结果”公布 :前三名文科过一本,理科过二本郭晶晶裁判长造型曝光,气质干练又美又飒,霍震霆提起她满脸自豪(二本)ai的模型,
- AI高考状元:文科超一本,理科超二本又一新谍战片定档,影帝甘愿作配,导演实力惊人,男主竟是她(二本)2021年高考状元文理科,
- 抚州医学院火了:民办二本投档线大涨,607上抚医的原因很真实高伟光:从中戏之耻到全网夸,小模特逆袭成大明星(二本)抚州医学院现在是公办还是民办,
- “早知就少考3w名了”,女生627分被二本录取,网友无法同情曝36岁张雨绮新恋情,带孩子与男方约会不避讳,男方风评一言难尽(二本)早知道就不去了,
- 江西一考生532分上省外二本院校,原本可上省内一本,原因曝光连续3天收视第1,连《新闻联播》都花20秒推荐,央视这新剧要爆了(二本)高考江西二本线,