就在不久之前也就是 OpenAI 的第十二天發布會上發布了全新的推理模型 o3 和 o3-mini,這個模型創造了記錄成為首個突破 ARC-AGI 基準測試的 AI 模型,得分高達 87.5%。
什么是 ARC-AGI 呢?ARC-AGI 是一個用于評估人工智能抽象推理能力的基準測試。其包含一系列的抽象視覺推理任務。每個任務都提供幾個輸入和對應的輸出網格,受測者需要根據這些范例推斷出規則,并產生正確的輸出網格。
ARC-AGI 的門檻設置為 85%,接近人類正常水平,OpenAI o1 模型得分僅 32%,由此可見 o3 模型的得分是多么大的突破了。對了 OpenAI 取名從 o1 直接到 o3,跳過 o2 的原因可能是怕和英國電信服務提供商 O2 可能產生版權沖突,所以直接跳過了這個版本。
除了 ARC-AGI 基準測試,o3 還在 SWE-bench Verified(一種軟件工程考試)中的得分為 71.7%,也就是編寫一個軟件需要快速準確沒有 Bug。在 Codeforces(編碼競賽平臺)中得分 2727,這個得分在榜單上位于 175 名,排名非常高。
在 AIME 2024(數學競賽)中的得分為 96.7,得分明顯高于 o1 的成績,在 GPQA Diamond(博士級科學考試)中的得分為 87.7。
EpochAI Frontier Math 基準測試中,OpenAI o3 的準確率為 25.2,之前的最佳分數僅為 2.0。
但是目前并不清楚 o3 模型將在什么時候發布,除了 o3 模型之外,OpenAI 還訓練了三個版本的小尺寸 AI 模型也就是 o3-mini,該模型預計將于明年一月份發布,但是可能會讓會員先使用。
以上就是有關 o3 模型的一些能力測試結果,從這些測試結果中看,o3 模型可以算是非常大的突破,期待這款模型正式發布。
本文編輯:@ 小小輝
?本文著作權歸電手所有,未經電手許可,不得轉載使用。