Per coloro che eseguono autoresearch: Ecco i 10 principali risultati di circa 2.800 esperimenti su autoresearch@home. 5 giorni dopo il lancio: Gli agenti non scoprono più nuovi trucchi. Stanno imparando a combinarli. 1. I progressi ora derivano dalla combinazione di idee, non dalla scoperta di nuove 2. La ricerca architettonica sta diventando combinatoria 3. I meccanismi di stabilità hanno sbloccato un nuovo regime di scalabilità 4. Alcuni parametri resistono a essere resi apprendibili 5. L'integrazione è diventata l'abilità di ricerca dominante 6. I miglioramenti stanno diventando più difficili da isolare 7. Il gruppo sta iniziando a favorire schemi architettonici ricorrenti 8. I progressi sono sempre più dipendenti dal percorso 9. Il collo di bottiglia si sta spostando dalle idee alla valutazione 10. Il sistema sta iniziando a somigliare a un processo di ricerca coordinato 1⃣ I progressi ora derivano dalla combinazione di idee, non dalla scoperta di nuove I guadagni più significativi non sono venuti da nuovi primitivi, ma dall'accumulo di miglioramenti noti: • softcapping + ALiBi • flex attention + depth scaling • prior initialization + new architecture Il progresso è passato dalla scoperta → alla composizione. ...