乐鱼体育网站入口評(píng)測(cè)發(fā)現(xiàn)，模型在綜合學(xué)科能力上與海淀學(xué)生平均水平仍有差距，普遍存在文強(qiáng)理弱的情況，并且對(duì)圖表的理解能力不足，大模型未來有很大的提升空間。

據(jù)介紹，本次用于評(píng)測(cè)的評(píng)測(cè)體系依托科技部“人工智能基礎(chǔ)模型支撐平臺(tái)與評(píng)測(cè)技術(shù)”和工信部“大模型公共服務(wù)平臺(tái)”項(xiàng)目，智源研究院與10余家高校和機(jī)構(gòu)聯(lián)合開展大模型評(píng)測(cè)方法與工具研發(fā)。

評(píng)測(cè)結(jié)果顯示，在中文語境下，國(guó)內(nèi)頭部語言模型的綜合表現(xiàn)已接近國(guó)際一流水平，但存在能力發(fā)展不均衡的情況。在多模態(tài)理解圖文問答任務(wù)上，開閉源模型平分秋色，國(guó)產(chǎn)模型表現(xiàn)突出。國(guó)產(chǎn)多模態(tài)模型在中文語境下的文生圖能力與國(guó)際一流水平差距較小。多模態(tài)模型的文生視頻能力上，對(duì)比各家公布的演示視頻長(zhǎng)度和質(zhì)量，Sora有明顯優(yōu)勢(shì)，其他開放評(píng)測(cè)的文生視頻模型中，國(guó)產(chǎn)模型PixVerse表現(xiàn)優(yōu)異。

北京市海淀區(qū)教師進(jìn)修學(xué)校校長(zhǎng)姚守梅解讀大模型K12學(xué)科測(cè)試結(jié)果時(shí)指出，在語文、歷史等人文學(xué)科的考試中，模型欠缺對(duì)文字背后的文化內(nèi)涵以及家國(guó)情懷的理解。面對(duì)歷史地理綜合題時(shí)，模型并不能像人類考生一樣有效識(shí)別學(xué)科屬性。相較于簡(jiǎn)單的英語題，模型反而更擅長(zhǎng)復(fù)雜的英語題。解理科題目時(shí)，模型會(huì)出現(xiàn)以超出年級(jí)知識(shí)范圍外的方法解題的情況。當(dāng)出現(xiàn)無法理解的考題時(shí)，模型依然存在明顯的“幻覺”。