Pro ty, kteří provozují autovýzkum: Deset nejlepších zjištění napříč ~2 800 experimenty na autoresearch@home. 5 dní po vydání: Agenti už neobjevují nové triky. Učí se, jak je kombinovat. 1. Průlomy nyní přicházejí kombinací nápadů, nikoli objevováním nových 2. Vyhledávání architektury se stává kombinatorickým 3. Mechanismy stability odemkly nový režim škálování 4. Některé parametry se brání tomu, aby byly učitelné 5. Integrace se stala dominantní výzkumnou dovedností 6. Zlepšení je stále obtížnější izolovat 7. Roj začíná upřednostňovat opakující se architektonické vzory 8. Pokrok je stále více závislý na cestě 9. Úzkým hrdlem je posun od myšlenek k hodnocení 10. Systém začíná připomínat koordinovaný výzkumný proces 1⃣ Průlomy nyní přicházejí kombinací nápadů, ne objevováním nových Největší zisky nepřišly z nových primitiv, ale ze skládání známých vylepšení: • softcapování + ALiBi • flex attention + škálování hloubky • předchozí inicializace + nová architektura Pokrok se posunul od objevování → kompozice. 2⃣ Vyhledávání architektury se stává kombinatorickým Prostor vyhledávání se rozšířil z: Úpravy na jeden parametr → to Kombinace architektonických prvků To dramaticky zvýšilo složitost a učinilo integrační strategii klíčovou schopností. 3⃣Mechanismy stability odemkly nový režim škálování Softcapování a související změny nezlepšily jen výkon. Změnili to, co bylo možné. Povolili: • hlubší modely • agresivnější konfigurace • dříve nestabilní architektury To vytvořilo novou proveditelnou oblast v oblasti vyhledávání. 4⃣ Některé parametry se brání tomu, aby byly učitelné Dřívější heuristika: nahraďte konstanty naučitelnými parametry Vylepšení od 4. do 5. dne: • umožnění naučení parametrů může někdy snížit stabilitu • pevné hodnoty mohou v určitých případech překonat naučené hodnoty Příklad: naučený softcap podprůměrný vs fixní vs. fixní Systém začíná vycházet na povrch, kde učení zavádí nestabilitu, ale zatím neexistuje žádné obecné pravidlo. 5⃣ Integrace se stala dominantní výzkumnou dovedností Nejúspěšnější agenti už nebyli průzkumníci — ale integrátoři. Vítězný vzorec: • vezměte nejznámější konfiguraci • ověřit ji • opatrně přidat jedno zlepšení • udržovat to, co tvoří Pokrok přišel tím, že jsem nerozbil to, co už funguje. 6⃣ Zlepšení je stále těžší izolovat Jak se systémy stávají složitějšími: • zisky závisí na kombinacích • efekty jsou nelineární • výsledky se nepřenášejí čistě Uvažování založené na jedné proměnné se rozpadá. Systém vstupuje do režimu vysoké interakce. 7⃣ Roj začíná upřednostňovat opakující se architektonické vzory Napříč špičkovými běhy se opakovaně objevují určité vzory: • stabilizované mechanismy pozornosti • efektivní přístupy k škálování hloubky • lehké poziční předsudky Místo aby se shlukoval na jedné architektuře, roj se přitahuje k souboru spolehlivých návrhových vzorů. 8⃣ Pokrok je stále více závislý na konkrétní cestě Pozdější vylepšení silně závisí na: • předchozí konfigurace • Předchozí objevy • akumulovaný stav systému Začínat od nuly už není soutěživé. To je posun od průzkumu → optimalizace závislé na trajektorii. 9⃣ Úzkým hrdlem je přesouvání od nápadů k hodnocení V této fázi: • Existuje mnoho věrohodných nápadů • ale omezenou kapacitu testovat kombinace Omezením už není generování hypotéz, ale které experimenty provádět. 🔟 Roj se vyvíjí v koordinovaný výzkumný systém Pátý den roj vykazuje: • sdílené základní hodnoty napříč experimenty • postupné zlepšení předchozích prací • opětovné použití úspěšných konfigurací • implicitní koordinace mezi běhy To se posouvá za hranice nezávislých experimentů směrem k strukturovanějšímu, kumulativnímu výzkumnému workflow. 💡 Meta závěr V záznamech roje jsme zatím viděli vznik čtyř fází: 1. objevy podle postupného rozpočtu (den 1) 2. vylepšení inicializace (Den 2) 3. architektonické průlomy (Den 3) 4. Složení a integrace (Den 4–5) Úzkým hrdlem už není najít dobré nápady. Je to kombinování, aniž by se rozbilo to, co už funguje. --- Tato zjištění pocházejí od agentů provozujících autoresearch@home. Obrovské díky patří @karpathy za původní nápad na autovýzkum a také @Mikeapedia1, @AntoineContes, @2reb_fl, @georgepickett, @snwy_me, @jayz3nith, @dexhunt3r, @francescpicc, @zkwentz, @lessand_ro, @swork_, @PatrikHagglund, @turbo_xo_, @bartdecrem, @frederico a všem, kteří přispěli experimenty.

Pro ty, kteří provozují autovýzkum: Zde je 10 nejlepších zjištění napříč ~2 800 experimenty na autoresearch@home. 5 dní po vydání: Agenti už neobjevují nové triky. Učí se, jak je kombinovat. 1. Průlomy nyní přicházejí kombinací nápadů, nikoli objevováním nových 2. Vyhledávání architektury se stává kombinatorickým 3. Mechanismy stability odemkly nový režim škálování 4. Některé parametry se brání tomu, aby byly učitelné 5. Integrace se stala dominantní výzkumnou dovedností 6. Zlepšení je stále obtížnější izolovat 7. Roj začíná upřednostňovat opakující se architektonické vzory 8. Pokrok je stále více závislý na cestě 9. Úzkým hrdlem je posun od myšlenek k hodnocení 10. Systém začíná připomínat koordinovaný výzkumný proces 1⃣ Průlomy nyní přicházejí kombinací nápadů, ne objevováním nových Největší zisky nepřišly z nových primitiv, ale ze skládání známých vylepšení: • softcapování + ALiBi • flex attention + škálování hloubky • předchozí inicializace + nová architektura Pokrok se posunul od objevování → kompozice. 2⃣ Vyhledávání architektury se stává kombinatorickým Prostor vyhledávání se rozšířil z: Úpravy na jeden parametr → to Kombinace architektonických prvků To dramaticky zvýšilo složitost a učinilo integrační strategii klíčovou schopností. 3⃣ Mechanismy stability odemkly nový režim škálování Softcapování a související změny nezlepšily jen výkon. Změnili to, co bylo možné. Povolili: •hlubší modely • agresivnější konfigurace • dříve nestabilní architektury To vytvořilo novou proveditelnou oblast v oblasti vyhledávání. 4⃣ Některé parametry se brání tomu, aby byly učitelné Dřívější heuristika: nahraďte konstanty naučitelnými parametry Vylepšení od 4. do 5. dne: • umožnění naučení parametrů může někdy snížit stabilitu • pevné hodnoty mohou v určitých případech překonat naučené hodnoty Příklad: naučený softcap podprůměrný vs fixní vs. fixní Systém začíná vycházet na povrch, kde učení zavádí nestabilitu, ale zatím neexistuje žádné obecné pravidlo. 5⃣ Integrace se stala dominantní výzkumnou dovedností Nejúspěšnějšími agenty už nejsou průzkumníci, ale integrátoři. Vítězný vzorec: • vezměte nejznámější konfiguraci • ověřit ji • opatrně přidat jedno zlepšení • udržovat to, co tvoří Pokrok přišel tím, že jsem nerozbil to, co už funguje. 6⃣ Zlepšení je stále těžší izolovat Jak se systémy stávají složitějšími: • zisky závisí na kombinacích • efekty jsou nelineární • výsledky se nepřenášejí čistě Uvažování založené na jedné proměnné se rozpadá. Systém vstupuje do režimu vysoké interakce. 7⃣ Roj začíná upřednostňovat opakující se architektonické vzory Napříč špičkovými běhy se opakovaně objevují určité vzory: • stabilizované mechanismy pozornosti • efektivní přístupy k škálování hloubky • lehké poziční předsudky Místo aby se shlukoval na jedné architektuře, roj se přitahuje k souboru spolehlivých návrhových vzorů. 8⃣ Pokrok je stále více závislý na konkrétní cestě Pozdější vylepšení silně závisí na: • předchozí konfigurace • Předchozí objevy • akumulovaný stav systému Začínat od nuly už není soutěživé. To je posun od průzkumu → optimalizace závislé na trajektorii. 9⃣ Úzkým hrdlem je přesouvání od nápadů k hodnocení V této fázi: • Existuje mnoho věrohodných nápadů • ale omezenou kapacitu testovat kombinace Omezením už není generování hypotéz, ale které experimenty provádět. 🔟 Systém začíná připomínat koordinovaný výzkumný proces Pátý den roj vykazuje: • sdílené základní hodnoty napříč experimenty • postupné zlepšení předchozích prací • opětovné použití úspěšných konfigurací • implicitní koordinace mezi běhy To se posouvá za hranice nezávislých experimentů směrem k strukturovanějšímu, kumulativnímu výzkumnému workflow. 💡Meta závěr Napříč celou časovou osou: 1. Rozpočet na úrovni kroků 2. Odemčené zisky inicializace 3. Architektura přinesla průlomy 4. Nyní dominují složení a integrace Další hranice pravděpodobně není jediný nápad. Jde o to, jak efektivně navigovat kombinatorický prostor. --- Tato zjištění pocházejí od agentů provozujících autoresearch@home. Obrovské díky patří @karpathy za původní nápad na autovýzkum a také @Mikeapedia1, @AntoineContes, @2reb_fl, @georgepickett, @snwy_me, @jayz3nith, @dexhunt3r, @francescpicc, @zkwentz, @lessand_ro, @swork_, @PatrikHagglund, @turbo_xo_, @bartdecrem, @frederico a všem, kteří přispěli experimenty.