對於那些運行 autoresearch 的人： 在 autoresearch@home 上進行的約 2,800 次實驗中的前 10 項發現。 啟動 5 天後： 代理不再發現新技巧。 他們正在學習如何將它們結合起來。 1. 突破現在來自於結合想法，而不是發現新想法 2. 架構搜索變得組合化 3. 穩定性機制解鎖了一個新的擴展範疇 4. 一些參數抵抗被設置為可學習 5. 整合成為主導的研究技能 6. 改進變得越來越難以孤立 7. 群體開始偏好重複的架構模式 8. 進展越來越依賴於路徑 9. 瓶頸正在從想法轉移到評估 10. 系統開始類似於一個協調的研究過程 1⃣ 突破現在來自於結合想法，而不是發現新想法 最大的增益不是來自於新的原始元素，而是來自於堆疊已知的改進： • softcapping + ALiBi • flex attention + depth scaling • prior initialization + new architecture 進展從發現轉向組合。...