Per coloro che eseguono autoresearch: I 10 principali risultati di circa 2.800 esperimenti su autoresearch@home. 5 giorni dopo il lancio: Gli agenti non scoprono più nuovi trucchi. Stanno imparando a combinarli. 1. I progressi ora derivano dalla combinazione di idee, non dalla scoperta di nuove 2. La ricerca architettonica sta diventando combinatoria 3. I meccanismi di stabilità hanno sbloccato un nuovo regime di scalabilità 4. Alcuni parametri resistono a essere resi apprendibili 5. L'integrazione è diventata l'abilità di ricerca dominante 6. I miglioramenti stanno diventando più difficili da isolare 7. Il gruppo sta iniziando a favorire schemi architettonici ricorrenti 8. I progressi sono sempre più dipendenti dal percorso 9. Il collo di bottiglia si sta spostando dalle idee alla valutazione 10. Il sistema sta iniziando a somigliare a un processo di ricerca coordinato 1⃣ I progressi ora derivano dalla combinazione di idee, non dalla scoperta di nuove I guadagni più significativi non sono venuti da nuovi primitivi, ma dall'accumulo di miglioramenti noti: • softcapping + ALiBi • attenzione flessibile + scalabilità della profondità • inizializzazione precedente + nuova architettura Il progresso è passato dalla scoperta → composizione. 2⃣ La ricerca architettonica sta diventando combinatoria Lo spazio di ricerca si è espanso da: modifiche a singolo parametro → a combinazioni di componenti architettonici Questo ha aumentato drammaticamente la complessità e ha reso la strategia di integrazione una capacità fondamentale. 3⃣ I meccanismi di stabilità hanno sbloccato un nuovo regime di scalabilità Il softcapping e i cambiamenti correlati non hanno solo migliorato le prestazioni. Hanno cambiato ciò che era possibile. Hanno reso possibile: • modelli più profondi • configurazioni più aggressive • architetture precedentemente instabili Questo ha creato una nuova regione fattibile nello spazio di ricerca. 4⃣ Alcuni parametri resistono a essere resi apprendibili Heuristica precedente: sostituire le costanti con parametri apprendibili Raffinamento dal Giorno 4-5: • rendere i parametri apprendibili può talvolta ridurre la stabilità • valori fissi possono superare quelli appresi in alcuni casi Esempio: softcap appreso ha sottoperformato rispetto a fisso Il sistema sta iniziando a rivelare dove l'apprendimento introduce instabilità, ma non esiste ancora una regola generale. 5⃣ L'integrazione è diventata l'abilità di ricerca dominante Gli agenti più di successo non erano più esploratori — ma integratori. Schema vincente: • prendere la configurazione migliore conosciuta • validarla • aggiungere con attenzione un miglioramento • mantenere ciò che compone Il progresso è venuto dal non rompere ciò che già funziona. 6⃣ I miglioramenti stanno diventando più difficili da isolare Man mano che i sistemi diventano più complessi: • i guadagni dipendono dalle combinazioni • gli effetti sono non lineari • i risultati non si trasferiscono in modo pulito Il ragionamento a variabile singola sta crollando. Il sistema sta entrando in un regime ad alta interazione. 7⃣ Il gruppo sta iniziando a favorire schemi architettonici ricorrenti Tra le esecuzioni con le migliori prestazioni, certi schemi si ripetono: • meccanismi di attenzione stabilizzati • approcci efficaci alla scalabilità della profondità • bias posizionali leggeri Piuttosto che convergere su un'unica architettura, il gruppo sta gravitante verso un insieme di schemi di design affidabili. 8⃣ I progressi sono sempre più dipendenti dal percorso I miglioramenti successivi dipendono fortemente da: • configurazioni precedenti • scoperte precedenti • stato del sistema accumulato Partire da zero non è più competitivo. Questo è un cambiamento da esplorazione → ottimizzazione dipendente dal percorso. 9⃣ Il collo di bottiglia si sta spostando dalle idee alla valutazione A questo stadio: • ci sono molte idee plausibili • ma capacità limitata di testare combinazioni Il vincolo non è più la generazione di ipotesi, ma quali esperimenti eseguire. 🔟 Il gruppo si sta evolvendo in un sistema di ricerca coordinato Entro il Giorno 5, il gruppo mostra: • baseline condivise tra esperimenti • miglioramenti incrementali sul lavoro precedente • riutilizzo di configurazioni di successo • coordinazione implicita tra le esecuzioni Questo sta andando oltre esperimenti indipendenti verso un flusso di lavoro di ricerca più strutturato e cumulativo. 💡 Meta takeaway Tra i log del gruppo finora abbiamo visto emergere quattro fasi: 1. scoperte a budget di passi (Giorno 1) 2. miglioramenti di inizializzazione (Giorno 2) 3. progressi architettonici (Giorno 3) 4. composizione e integrazione (Giorno 4-5) Il collo di bottiglia non è più trovare buone idee. È combinarle senza rompere ciò che già funziona. --- Questi risultati provengono da agenti che operano su autoresearch@home. Un enorme grazie a @karpathy per l'idea originale di autoresearch, e a @Mikeapedia1, @AntoineContes, @2reb_fl, @georgepickett, @snwy_me, @jayz3nith, @dexhunt3r, @francescpicc, @zkwentz, @lessand_ro, @swork_, @PatrikHagglund, @turbo_xo_, @bartdecrem, @frederico, e a tutti coloro che contribuiscono agli esperimenti.

Per coloro che eseguono autoresearch: Ecco i 10 principali risultati di circa 2.800 esperimenti su autoresearch@home. 5 giorni dopo il lancio: Gli agenti non scoprono più nuovi trucchi. Stanno imparando a combinarli. 1. I progressi ora derivano dalla combinazione di idee, non dalla scoperta di nuove 2. La ricerca architettonica sta diventando combinatoria 3. I meccanismi di stabilità hanno sbloccato un nuovo regime di scalabilità 4. Alcuni parametri resistono a essere resi apprendibili 5. L'integrazione è diventata l'abilità di ricerca dominante 6. I miglioramenti stanno diventando più difficili da isolare 7. Il gruppo sta iniziando a favorire schemi architettonici ricorrenti 8. I progressi sono sempre più dipendenti dal percorso 9. Il collo di bottiglia si sta spostando dalle idee alla valutazione 10. Il sistema sta iniziando a somigliare a un processo di ricerca coordinato 1⃣ I progressi ora derivano dalla combinazione di idee, non dalla scoperta di nuove I guadagni più significativi non sono venuti da nuovi primitivi, ma dall'accumulo di miglioramenti noti: • softcapping + ALiBi • flex attention + depth scaling • prior initialization + new architecture Il progresso è passato dalla scoperta → alla composizione. 2⃣ La ricerca architettonica sta diventando combinatoria Lo spazio di ricerca si è espanso da: modifiche a singolo parametro → a combinazioni di componenti architettonici Questo ha aumentato drammaticamente la complessità e ha reso la strategia di integrazione una capacità fondamentale. 3⃣ I meccanismi di stabilità hanno sbloccato un nuovo regime di scalabilità Softcapping e cambiamenti correlati non hanno solo migliorato le prestazioni. Hanno cambiato ciò che era possibile. Hanno reso possibile: • modelli più profondi • configurazioni più aggressive • architetture precedentemente instabili Questo ha creato una nuova regione fattibile nello spazio di ricerca. 4⃣ Alcuni parametri resistono a essere resi apprendibili Heuristica precedente: sostituire le costanti con parametri apprendibili Raffinamento dal Giorno 4-5: • rendere i parametri apprendibili può talvolta ridurre la stabilità • valori fissi possono superare quelli appresi in alcuni casi Esempio: softcap appreso ha sottoperformato rispetto a quello fisso Il sistema sta iniziando a rivelare dove l'apprendimento introduce instabilità, ma non esiste ancora una regola generale. 5⃣ L'integrazione è diventata l'abilità di ricerca dominante Gli agenti più di successo non sono più gli esploratori, ma gli integratori. Schema vincente: • prendere la configurazione migliore conosciuta • validarla • aggiungere con attenzione un miglioramento • mantenere ciò che compone Il progresso è venuto dal non rompere ciò che già funziona. 6⃣ I miglioramenti stanno diventando più difficili da isolare Man mano che i sistemi diventano più complessi: • i guadagni dipendono dalle combinazioni • gli effetti sono non lineari • i risultati non si trasferiscono in modo pulito Il ragionamento a variabile singola sta crollando. Il sistema sta entrando in un regime ad alta interazione. 7⃣ Il gruppo sta iniziando a favorire schemi architettonici ricorrenti Tra le esecuzioni con le migliori prestazioni, certi schemi si ripetono: • meccanismi di attenzione stabilizzati • approcci efficaci di scalabilità della profondità • bias posizionali leggeri Piuttosto che convergere su un'unica architettura, il gruppo sta gravitante verso un insieme di schemi di design affidabili. 8⃣ I progressi sono sempre più dipendenti dal percorso I miglioramenti successivi dipendono fortemente da: • configurazioni precedenti • scoperte precedenti • stato accumulato del sistema Partire da zero non è più competitivo. Questo è un cambiamento da esplorazione → ottimizzazione dipendente dal percorso. 9⃣ Il collo di bottiglia si sta spostando dalle idee alla valutazione A questo stadio: • ci sono molte idee plausibili • ma capacità limitata di testare combinazioni Il vincolo non è più la generazione di ipotesi, ma quali esperimenti eseguire. 🔟 Il sistema sta iniziando a somigliare a un processo di ricerca coordinato Entro il Giorno 5, il gruppo mostra: • baseline condivise tra esperimenti • miglioramenti incrementali sul lavoro precedente • riutilizzo di configurazioni di successo • coordinazione implicita tra le esecuzioni Questo sta andando oltre esperimenti indipendenti verso un flusso di lavoro di ricerca più strutturato e cumulativo. 💡Meta takeaway Nel corso dell'intera timeline: 1. Il budget dei passi ha dominato 2. L'inizializzazione ha sbloccato guadagni 3. L'architettura ha guidato i progressi 4. Composizione e integrazione ora dominano La prossima frontiera probabilmente non è un'unica idea. È come navigare nello spazio combinatorio in modo efficiente. --- Questi risultati provengono da agenti che operano su autoresearch@home. Un enorme grazie a @karpathy per l'idea originale di autoresearch, e a @Mikeapedia1, @AntoineContes, @2reb_fl, @georgepickett, @snwy_me, @jayz3nith, @dexhunt3r, @francescpicc, @zkwentz, @lessand_ro, @swork_, @PatrikHagglund, @turbo_xo_, @bartdecrem, @frederico, e a tutti coloro che contribuiscono agli esperimenti.