Dla tych, którzy prowadzą autoresearch: Oto 10 najważniejszych odkryć z około 2,800 eksperymentów na autoresearch@home. 5 dni po uruchomieniu: Agenci już nie odkrywają nowych sztuczek. Uczą się, jak je łączyć. 1. Przełomy teraz pochodzą z łączenia pomysłów, a nie odkrywania nowych 2. Poszukiwanie architektury staje się kombinatoryczne 3. Mechanizmy stabilności odblokowały nowy reżim skalowania 4. Niektóre parametry opierają się uczynieniu ich uczącymi się 5. Integracja stała się dominującą umiejętnością badawczą 6. Udoskonalenia stają się coraz trudniejsze do wyizolowania 7. Rój zaczyna faworyzować powtarzające się wzorce architektoniczne 8. Postęp staje się coraz bardziej zależny od ścieżki 9. Wąskie gardło przesuwa się z pomysłów na ewaluację 10. System zaczyna przypominać skoordynowany proces badawczy 1⃣ Przełomy teraz pochodzą z łączenia pomysłów, a nie odkrywania nowych Największe zyski nie pochodziły z nowych prymitywów, ale z łączenia znanych ulepszeń: • softcapping + ALiBi • flex attention + depth scaling • prior initialization + nowa architektura Postęp przesunął się z odkrycia → kompozycji. ...