Pentru cei care conduc autoresearch: Top 10 descoperiri din ~2.800 de experimente pe autoresearch@home. 5 zile după lansare: Agenții nu mai descoperă noi trucuri. Învață cum să le combine. 1. Descoperirile vin acum din combinarea ideilor, nu din descoperirea unora noi 2. Căutarea în arhitectură devine combinatorie 3. Mecanismele de stabilitate au deblocat un nou regim de scalare 4. Unii parametri rezistă să devină ușor de învățat 5. Integrarea a devenit abilitatea dominantă de cercetare 6. Îmbunătățirile devin tot mai greu de izolat 7. Roiul începe să favorizeze modelele arhitecturale recurente 8. Progresul depinde din ce în ce mai mult de traseu 9. Blocajul se mută de la idei la evaluare 10. Sistemul începe să semene cu un proces coordonat de cercetare 1⃣ Descoperirile vin acum din combinarea ideilor, nu din descoperirea unora noi Cele mai mari câștiguri nu au venit din noile primitive, ci din stivuirea îmbunătățirilor cunoscute: • softcaping + ALiBi • flex attention + scalarea adâncimii • inițializare anterioară + arhitectură nouă Progresul s-a mutat de la descoperire → compoziție. 2⃣ Căutarea în arhitectură devine combinatorie Spațiul de căutare s-a extins din: Ajustări cu un singur parametru → combinații ale componentelor arhitecturale Acest lucru a crescut dramatic complexitatea și a transformat strategia de integrare într-o capacitate de bază. 3⃣Mecanismele de stabilitate au deblocat un nou regim de scalare Softcapping-ul și schimbările conexe nu doar că au îmbunătățit performanța. Au schimbat ceea ce era posibil. Au activat: • modele mai profunde • configurații mai agresive • arhitecturi anterior instabile Aceasta a creat o nouă regiune fezabilă în spațiul de căutare. 4⃣ Unii parametri refuză să fie învățabili Euristică anterioară: înlocuiți constantele cu parametri învățabili Rafinare din zilele 4–5: • a face parametrii ușor de învățat poate uneori reduce stabilitatea • valorile fixe pot depăși valorile învățate în anumite cazuri Exemplu: softcap a învățat subperformanță vs fixă Sistemul începe să iasă la iveală acolo unde învățarea introduce instabilitate, dar încă nu există o regulă generală. 5⃣ Integrarea a devenit abilitatea dominantă de cercetare Cei mai de succes agenți nu mai erau exploratori — ci integratori. Tiparul de victorie: • să ia cea mai cunoscută configurație • validează • adaugă cu grijă o îmbunătățire • păstrează ceea ce compune Progresul a venit din faptul că nu strică ceea ce funcționează deja. 6⃣ Îmbunătățirile devin tot mai greu de izolat Pe măsură ce sistemele devin mai complexe: • câștigurile depind de combinații • efectele sunt neliniare • rezultatele nu se transferă curat Raționamentul cu o singură variabilă se descompune. Sistemul intră într-un regim cu interacțiuni ridicate. 7⃣ Roiul începe să favorizeze modelele arhitecturale recurente În rundele cu cele mai bune performanțe, anumite tipare apar în mod repetat: • mecanisme de atenție stabilizate • abordări eficiente de scalare a adâncimii • bias poziționale ușoare În loc să se concentreze asupra unei singure arhitecturi, roiul gravitează spre un set de tipare de proiectare fiabile. 8⃣ Progresul depinde din ce în ce mai mult de traseu Îmbunătățirile ulterioare depind în mare măsură de: • configurări anterioare • descoperiri anterioare • starea acumulată a sistemului Să începi de la zero nu mai este competitiv. Aceasta reprezintă o schimbare de la explorare → optimizare dependentă de traiectorie. 9⃣ Blocajul se mută de la idei la evaluare În această etapă: • există multe idei plauzibile • dar capacitate limitată de a testa combinații Constrângerea nu mai este generarea de ipoteze, ci ce experimente să se efectueze. 🔟 Roiul evoluează într-un sistem coordonat de cercetare Până în ziua a 5-a, roiul afișează: • baze partajate între experimente • îmbunătățiri incrementale față de lucrările anterioare • reutilizarea configurațiilor reușite • coordonare implicită între execuții Aceasta depășește experimentele independente, către un flux de lucru de cercetare mai structurat și cumulativ. 💡 Concluzie meta Până acum, pe buștenii roiului am văzut apariția a patru faze: 1. descoperiri cu buget pas (Ziua 1) 2. îmbunătățiri de inițializare (Ziua 2) 3. descoperiri arhitecturale (Ziua 3) 4. Compoziție și integrare (Zilele 4–5) Blocajul nu mai este să găsești idei bune. Este o combinație fără a strica ceea ce funcționează deja. --- Aceste descoperiri provin de la agenți care funcționează pe autoresearch@home. Mulțumiri uriașe lui @karpathy pentru ideea originală de autocercetare și lui @Mikeapedia1, @AntoineContes, @2reb_fl, @georgepickett, @snwy_me, @jayz3nith, @dexhunt3r, @francescpicc, @zkwentz, @lessand_ro, @swork_, @PatrikHagglund, @turbo_xo_, @bartdecrem, @frederico și tuturor celor care contribuie cu experimente.

Pentru cei care conduc autoresearch: Iată cele mai importante 10 descoperiri din ~2.800 de experimente pe autoresearch@home. 5 zile după lansare: Agenții nu mai descoperă noi trucuri. Învață cum să le combine. 1. Descoperirile vin acum din combinarea ideilor, nu din descoperirea unora noi 2. Căutarea în arhitectură devine combinatorie 3. Mecanismele de stabilitate au deblocat un nou regim de scalare 4. Unii parametri rezistă să devină ușor de învățat 5. Integrarea a devenit abilitatea dominantă de cercetare 6. Îmbunătățirile devin tot mai greu de izolat 7. Roiul începe să favorizeze modelele arhitecturale recurente 8. Progresul depinde din ce în ce mai mult de traseu 9. Blocajul se mută de la idei la evaluare 10. Sistemul începe să semene cu un proces coordonat de cercetare 1⃣ Descoperirile vin acum din combinarea ideilor, nu din descoperirea unora noi Cele mai mari câștiguri nu au venit din noile primitive, ci din stivuirea îmbunătățirilor cunoscute: • softcaping + ALiBi • flex attention + scalarea adâncimii • inițializare anterioară + arhitectură nouă Progresul s-a mutat de la descoperire → compoziție. 2⃣ Căutarea în arhitectură devine combinatorie Spațiul de căutare s-a extins din: Ajustări cu un singur parametru → combinații ale componentelor arhitecturale Acest lucru a crescut dramatic complexitatea și a transformat strategia de integrare într-o capacitate de bază. 3⃣ Mecanismele de stabilitate au deblocat un nou regim de scalare Softcapping-ul și schimbările conexe nu doar că au îmbunătățit performanța. Au schimbat ceea ce era posibil. Au activat: • modele mai profunde • configurații mai agresive • arhitecturi anterior instabile Aceasta a creat o nouă regiune fezabilă în spațiul de căutare. 4⃣ Unii parametri refuză să fie învățabili Euristică anterioară: înlocuiți constantele cu parametri învățabili Rafinare din zilele 4–5: • a face parametrii ușor de învățat poate uneori reduce stabilitatea • valorile fixe pot depăși valorile învățate în anumite cazuri Exemplu: softcap a învățat subperformanță vs fixă Sistemul începe să iasă la iveală acolo unde învățarea introduce instabilitate, dar încă nu există o regulă generală. 5⃣ Integrarea a devenit abilitatea dominantă de cercetare Cei mai de succes agenți nu mai sunt exploratorii, ci integratorii. Tiparul de victorie: • să ia cea mai cunoscută configurație • validează • adaugă cu grijă o îmbunătățire • păstrează ceea ce compune Progresul a venit din faptul că nu strică ceea ce funcționează deja. 6⃣ Îmbunătățirile devin tot mai greu de izolat Pe măsură ce sistemele devin mai complexe: • câștigurile depind de combinații • efectele sunt neliniare • rezultatele nu se transferă curat Raționamentul cu o singură variabilă se descompune. Sistemul intră într-un regim cu interacțiuni ridicate. 7⃣ Roiul începe să favorizeze modelele arhitecturale recurente În rundele cu cele mai bune performanțe, anumite tipare apar în mod repetat: • mecanisme de atenție stabilizate • abordări eficiente de scalare a adâncimii • bias poziționale ușoare În loc să se concentreze asupra unei singure arhitecturi, roiul gravitează spre un set de tipare de proiectare fiabile. 8⃣ Progresul depinde din ce în ce mai mult de traseu Îmbunătățirile ulterioare depind în mare măsură de: • configurări anterioare • descoperiri anterioare • starea acumulată a sistemului Să începi de la zero nu mai este competitiv. Aceasta reprezintă o schimbare de la explorare → optimizare dependentă de traiectorie. 9⃣ Blocajul se mută de la idei la evaluare În această etapă: • există multe idei plauzibile • dar capacitate limitată de a testa combinații Constrângerea nu mai este generarea de ipoteze, ci ce experimente să se efectueze. 🔟 Sistemul începe să semene cu un proces coordonat de cercetare Până în ziua a 5-a, roiul afișează: • baze partajate între experimente • îmbunătățiri incrementale față de lucrările anterioare • reutilizarea configurațiilor reușite • coordonare implicită între execuții Aceasta depășește experimentele independente, către un flux de lucru de cercetare mai structurat și cumulativ. 💡Concluzie meta De-a lungul întregului cronologie: 1. Buget de pași dominat 2. Câștiguri deblocate de inițializare 3. Arhitectura a generat progrese 4. Compoziția și integrarea domină acum Următoarea frontieră probabil nu este o singură idee. Este vorba despre cum să navighezi eficient în spațiul combinatoriu. --- Aceste descoperiri provin de la agenți care funcționează pe autoresearch@home. Mulțumiri uriașe lui @karpathy pentru ideea originală de autocercetare și lui @Mikeapedia1, @AntoineContes, @2reb_fl, @georgepickett, @snwy_me, @jayz3nith, @dexhunt3r, @francescpicc, @zkwentz, @lessand_ro, @swork_, @PatrikHagglund, @turbo_xo_, @bartdecrem, @frederico și tuturor celor care contribuie cu experimente.