OpenAI：兩個 API 設定讓 GPT-5.6 Sol 的 ARC-AGI-3 分數翻近三倍，輸出 token 少六分之五

OpenAI：兩個 API 設定讓 GPT-5.6 Sol 的 ARC-AGI-3 分數翻近三倍，輸出 token 少六分之五。 OpenAI 針對 GPT-5.6 Sol 在 2D 拼圖遊戲基準 ARC-AGI-3 表現不佳的原因進行調查，發現模型的大部分困惑並非模型本身固有，而與 harness 設定有關。官方指出，標準 harness 會在每個動作後捨棄私有推理，並在上下文滿時捨棄早期動作，導致模型必須不斷重新開始。 API 設定影響 使用 Responses API 取代舊版 Chat Completions API。 啟用保留推理（retained reasoning）與內容壓縮（compaction）兩項設定。 在公開測試集上，GPT-5.6 Sol（max reasoning）的分數提升 188%（約 2.9 倍，從 13.3% 提升至 38.3%），同時輸出 token 消耗量減少為六分之一。分數採 RHAE（相對人類動作效率），官方估算人類測試者平均約 48%。 在 ARC-AGI-3 公開測試集中，GPT-5.6 Sol 的 retained reasoning 與 compaction harness（藍色實線）在較少 output tokens 下達到較高 Score；Official harness（綠色虛線）則需較多 output tokens，Score 上升較慢。 效能差異 依據效能評估顯示，AI 模型的表現深受 API 設定與 harness 設計等隱蔽因素影響（GPT-5.6 系列的定位見本站先前策展〈OpenAI 發表 GPT-5.6 系列模型〉）。 兩支對照影片顯示，Responses API Harness 能保留 reasoning 並壓縮舊訊息。 GPT-5.6 Sol (max) 在 Official ARC Harness 與 Responses API Harness 介面中的效能與 token 消耗對比測試過程。 GPT-5.6 Sol (max) 在 Official ARC Harness 與 Responses API Harness 兩種架構下的執行過程比較，展示 output token 增長、action 執行與 level 完成狀態。 GPT-5.6 Sol 在 ARC-AGI-3 公開集中，啟用 retained reasoning 與 compaction 的 harness 後，以顯著更少的 output tokens 達到 38.3% 的 Score，大幅超越 Official harness 的表現。 官方建議 API 開發者若想追求最佳效能，建議採用與 OpenAI 內部產品相同的設定： - 使用 Responses API - 保留推理 - 使用壓縮 有興趣挑戰前沿模型的開發者，可至 ARC Prize 官方網站 試玩公開遊戲。GPT-5.6 Sol (max) 在 Official ARC Harness 與 Responses API Harness 介面中的效能與 token 消耗對比測試過程。 影片中的 Prompt 與操作：操作步驟： 1. （00:04）點擊 left 2. （00:05）點擊 down 3. （00:06）點擊 up 與 down 4. （00:07）點擊 left、up、down 5. （00:08）點擊 reset、up、down、left、left、right、left 6. （00:09）點擊 right、left、up、down 7. （00:10）點擊 interact、right、left、up、down 8. （00:11）點擊 reset、interact、reset、up、right、reset、down、down、reset、up、reset、down 9. （00:12）點擊 right、down、down、left、reset、interact、right、down 10. （00:13）點擊 interact、left、down、down、right、reset、interact、right、down 11. （00:16）點擊 reset、interact、right、left、down 12. （00:19）點擊 left、reset、interact、right、left、up、down 13. （00:26）點擊 interact、left、down、down、right、left、reset、interact、down 14. （00:29）點擊 interact、click (35, 4)、click (27, 43)、right、down、down 15. （00:31）點擊 click (53, 4)、reset、right、interact、click (53, 4)、interact、click (27, 43)、click (35, 4)、click (46, 4) 16. （00:34）點擊 interact、left、left、up、down、right、right、up、up 17. （00:35）點擊 interact、click (35, 4)、interact、left、up、interact、down 18. （00:36）點擊 click (27, 34)、click (29, 4)、click (35, 4)、left、left、up、up、click (29, 4) 19. （00:37）點擊 click (27, 34)、click (29, 4)、interact、right、click (35, 4)、left、left、up、up、click (29, 4) 20. （00:38）點擊 click (36, 35)、click (46, 4)、click (63, 0)、interact、right、down、down、left、left 21. （00:42）點擊 left、click (36, 35)、click (46, 4)、click (63, 0)、interact、right、down、down、left 22. （00:43）點擊 click (47, 4)、down、right、interact、click (53, 4)、reset 23. （00:44）點擊 left、down、right、down、right、up、up 24. （00:45）點擊 click (35, 4)、click (29, 4)、interact、left、up、interact、click (47, 4)、down 25. （00:46）點擊 click (32, 21)、click (35, 4)、interact、left、down、left、click (29, 4)、click (47, 4) 26. （00:48）點擊 interact、click (35, 4)、up、right、interact、click (35, 4)、right 27. （00:49）點擊 interact、click (59, 4)、interact、click (59, 4)、left、interact、click (35, 4)、interact、down 28. （00:50）點擊 click (14, 38)、click (41, 4)、click (59, 4)、interact、left、left、interact、click (29, 4)、interact、click (35, 4)、interact、down 29. （00:51）點擊 click (29, 4)、interact、click (35, 4)、right、right、click (14, 38)、click (41, 4)、click (59, 4)、interact、left、left、interact、click (29, 4)、interact、down 30. （00:52）點擊 left、click (36, 35)、click (46, 4)、click (63, 0)、interact、down、right、down、left、down、up、click (14, 38) 31. （00:53）點擊 interact、click (35, 4)、left、left、down、right、right 32. （00:54）點擊 interact、click (35, 4)、left、click (35, 4)、left、down、right、down、right 33. （00:55）點擊 down、interact、click (35, 4)、left、left、up、interact、click (29, 4)、right 34. （00:56）點擊 down、down、int…