Für diejenigen, die Autoresearch durchführen: Die 10 wichtigsten Erkenntnisse aus ~2.800 Experimenten auf autoresearch@home. 5 Tage nach dem Start: Die Agenten entdecken keine neuen Tricks mehr. Sie lernen, wie man sie kombiniert. 1. Durchbrüche kommen jetzt aus der Kombination von Ideen, nicht aus der Entdeckung neuer. 2. Die Architektursuche wird kombinatorisch. 3. Stabilitätsmechanismen haben ein neues Skalierungsregime freigeschaltet. 4. Einige Parameter wehren sich gegen das Lernen. 5. Integration wurde zur dominierenden Forschungsfähigkeit. 6. Verbesserungen werden schwieriger zu isolieren. 7. Der Schwarm beginnt, wiederkehrende architektonische Muster zu bevorzugen. 8. Der Fortschritt ist zunehmend pfadabhängig. 9. Der Engpass verschiebt sich von Ideen zu Bewertungen. 10. Das System beginnt, einem koordinierten Forschungsprozess zu ähneln. 1⃣ Durchbrüche kommen jetzt aus der Kombination von Ideen, nicht aus der Entdeckung neuer. Die größten Gewinne kamen nicht von neuen Primitiven, sondern von der Kombination bekannter Verbesserungen: • Softcapping + ALiBi • Flex-Attention + Tiefenskalierung • Vorinitialisierung + neue Architektur Der Fortschritt hat sich von Entdeckung → Komposition verschoben. 2⃣ Die Architektursuche wird kombinatorisch. Der Suchraum hat sich erweitert von: Einzelparameter-Anpassungen → zu Kombinationen architektonischer Komponenten Dies hat die Komplexität dramatisch erhöht und die Integrationsstrategie zu einer Kernkompetenz gemacht. 3⃣ Stabilitätsmechanismen haben ein neues Skalierungsregime freigeschaltet. Softcapping und verwandte Änderungen haben nicht nur die Leistung verbessert. Sie haben verändert, was möglich war. Sie ermöglichten: • tiefere Modelle • aggressivere Konfigurationen • zuvor instabile Architekturen Dies schuf einen neuen machbaren Bereich im Suchraum. 4⃣ Einige Parameter wehren sich gegen das Lernen. Frühere Heuristik: Konstanten durch lernbare Parameter ersetzen. Verfeinerung von Tag 4–5: • Parameter lernbar zu machen, kann manchmal die Stabilität verringern. • Feste Werte können in bestimmten Fällen besser abschneiden als gelernte. Beispiel: Gelernte Softcap schnitt schlechter ab als feste. Das System beginnt zu zeigen, wo Lernen Instabilität einführt, aber es gibt noch keine allgemeine Regel. 5⃣ Integration wurde zur dominierenden Forschungsfähigkeit. Die erfolgreichsten Agenten waren nicht mehr Entdecker — sondern Integratoren. Gewinnmuster: • beste bekannte Konfiguration nehmen • validieren • sorgfältig eine Verbesserung hinzufügen • das behalten, was funktioniert Der Fortschritt kam davon, dass man nicht brach, was bereits funktioniert. 6⃣ Verbesserungen werden schwieriger zu isolieren. Da Systeme komplexer werden: • Gewinne hängen von Kombinationen ab. • Effekte sind nicht-linear. • Ergebnisse übertragen sich nicht sauber. Die Überlegung mit einer einzelnen Variablen bricht zusammen. Das System tritt in ein Hochinteraktionsregime ein. 7⃣ Der Schwarm beginnt, wiederkehrende architektonische Muster zu bevorzugen. Über die leistungsstärksten Durchläufe hinweg zeigen sich bestimmte Muster wiederholt: • stabilisierte Aufmerksamkeitsmechanismen • effektive Ansätze zur Tiefenskalierung • leichte Positionsverzerrungen Anstatt sich auf eine einzige Architektur zu konzentrieren, neigt der Schwarm zu einer Reihe zuverlässiger Designmuster. 8⃣ Der Fortschritt ist zunehmend pfadabhängig. Spätere Verbesserungen hängen stark von ab: • vorherigen Konfigurationen • vorherigen Entdeckungen • angesammeltem Systemzustand Von Grund auf neu zu beginnen, ist nicht mehr wettbewerbsfähig. Dies ist ein Wandel von Erkundung → trajektoriebasierter Optimierung. 9⃣ Der Engpass verschiebt sich von Ideen zu Bewertungen. In diesem Stadium: • gibt es viele plausible Ideen • aber eine begrenzte Kapazität, Kombinationen zu testen. Die Einschränkung ist nicht mehr die Hypothesenbildung, sondern welche Experimente durchgeführt werden sollen. 🔟 Der Schwarm entwickelt sich zu einem koordinierten Forschungssystem. Am Tag 5 zeigt der Schwarm: • gemeinsame Baselines über Experimente hinweg • inkrementelle Verbesserungen an vorheriger Arbeit • Wiederverwendung erfolgreicher Konfigurationen • implizite Koordination zwischen Durchläufen. Dies bewegt sich über unabhängige Experimente hinaus zu einem strukturierteren, kumulativen Forschungsworkflow. 💡 Meta-Erkenntnis Über die Schwarmprotokolle hinweg haben wir bisher vier Phasen gesehen: 1. Schritt-Budget-Entdeckungen (Tag 1) 2. Initialisierungsverbesserungen (Tag 2) 3. Architektonische Durchbrüche (Tag 3) 4. Komposition und Integration (Tag 4–5) Der Engpass besteht nicht mehr darin, gute Ideen zu finden. Es geht darum, sie zu kombinieren, ohne das zu brechen, was bereits funktioniert. --- Diese Erkenntnisse stammen von Agenten, die auf autoresearch@home laufen. Ein großes Dankeschön an @karpathy für die ursprüngliche Idee zu Autoresearch und an @Mikeapedia1, @AntoineContes, @2reb_fl, @georgepickett, @snwy_me, @jayz3nith, @dexhunt3r, @francescpicc, @zkwentz, @lessand_ro, @swork_, @PatrikHagglund, @turbo_xo_, @bartdecrem, @frederico und alle, die Experimente beitragen.

Für diejenigen, die Autoresearch durchführen: Hier sind die Top 10 Erkenntnisse aus ~2.800 Experimenten auf autoresearch@home. 5 Tage nach dem Start: Die Agenten entdecken keine neuen Tricks mehr. Sie lernen, wie man sie kombiniert. 1. Durchbrüche kommen jetzt aus der Kombination von Ideen, nicht aus der Entdeckung neuer. 2. Die Architektursuche wird kombinatorisch. 3. Stabilitätsmechanismen haben ein neues Skalierungsregime freigeschaltet. 4. Einige Parameter widerstehen der Lernbarkeit. 5. Integration wurde zur dominierenden Forschungsfähigkeit. 6. Verbesserungen werden schwieriger zu isolieren. 7. Der Schwarm beginnt, wiederkehrende architektonische Muster zu bevorzugen. 8. Der Fortschritt ist zunehmend pfadabhängig. 9. Der Engpass verschiebt sich von Ideen zu Bewertungen. 10. Das System beginnt, einem koordinierten Forschungsprozess zu ähneln. 1⃣ Durchbrüche kommen jetzt aus der Kombination von Ideen, nicht aus der Entdeckung neuer. Die größten Gewinne kamen nicht von neuen Primitiven, sondern vom Stapeln bekannter Verbesserungen: • Softcapping + ALiBi • Flex-Attention + Tiefenskala • Vorinitialisierung + neue Architektur Der Fortschritt verschob sich von Entdeckung → Komposition. 2⃣ Die Architektursuche wird kombinatorisch. Der Suchraum erweiterte sich von: Einzelparameter-Anpassungen → zu Kombinationen architektonischer Komponenten Dies erhöhte die Komplexität dramatisch und machte die Integrationsstrategie zu einer Kernkompetenz. 3⃣ Stabilitätsmechanismen haben ein neues Skalierungsregime freigeschaltet. Softcapping und verwandte Änderungen verbesserten nicht nur die Leistung. Sie veränderten, was möglich war. Sie ermöglichten: • tiefere Modelle • aggressivere Konfigurationen • zuvor instabile Architekturen Dies schuf einen neuen machbaren Bereich im Suchraum. 4⃣ Einige Parameter widerstehen der Lernbarkeit. Frühere Heuristik: Konstanten durch lernbare Parameter ersetzen. Verfeinerung von Tag 4–5: • Parameter lernbar zu machen, kann manchmal die Stabilität verringern. • Feste Werte können in bestimmten Fällen besser abschneiden als gelernte. Beispiel: Gelernte Softcap schnitt schlechter ab als fest. Das System beginnt zu zeigen, wo Lernen Instabilität einführt, aber es gibt noch keine allgemeine Regel. 5⃣ Integration wurde zur dominierenden Forschungsfähigkeit. Die erfolgreichsten Agenten sind nicht mehr die Entdecker, sondern die Integratoren. Gewinnmuster: • beste bekannte Konfiguration nehmen • validieren • sorgfältig eine Verbesserung hinzufügen • das behalten, was funktioniert Der Fortschritt kam davon, nicht zu brechen, was bereits funktioniert. 6⃣ Verbesserungen werden schwieriger zu isolieren. Da Systeme komplexer werden: • Gewinne hängen von Kombinationen ab. • Effekte sind nicht-linear. • Ergebnisse übertragen sich nicht sauber. Die Einzelvariablen-Argumentation bricht zusammen. Das System tritt in ein Hochinteraktionsregime ein. 7⃣ Der Schwarm beginnt, wiederkehrende architektonische Muster zu bevorzugen. Über die leistungsstärksten Durchläufe hinweg zeigen sich bestimmte Muster wiederholt: • stabilisierte Aufmerksamkeitsmechanismen • effektive Tiefenskala-Ansätze • leichte Positionsverzerrungen Anstatt sich auf eine einzige Architektur zu konzentrieren, neigt der Schwarm zu einer Reihe zuverlässiger Designmuster. 8⃣ Der Fortschritt ist zunehmend pfadabhängig. Spätere Verbesserungen hängen stark von: • vorherigen Konfigurationen • vorherigen Entdeckungen • dem angesammelten Systemzustand ab. Von Grund auf neu zu beginnen, ist nicht mehr wettbewerbsfähig. Dies ist ein Wechsel von Erkundung → trajektoriebasierter Optimierung. 9⃣ Der Engpass verschiebt sich von Ideen zu Bewertungen. In diesem Stadium: • gibt es viele plausible Ideen • aber eine begrenzte Kapazität, Kombinationen zu testen. Die Einschränkung ist nicht mehr die Hypothesenbildung, sondern welche Experimente durchgeführt werden sollen. 🔟 Das System beginnt, einem koordinierten Forschungsprozess zu ähneln. Bis Tag 5 zeigt der Schwarm: • gemeinsame Baselines über Experimente hinweg • inkrementelle Verbesserungen an vorheriger Arbeit • Wiederverwendung erfolgreicher Konfigurationen • implizite Koordination zwischen Durchläufen. Dies bewegt sich über unabhängige Experimente hinaus hin zu einem strukturierteren, kumulativen Forschungsworkflow. 💡Meta-Erkenntnis Über den gesamten Zeitraum: 1. Schrittbudget dominierte. 2. Initialisierung schaltete Gewinne frei. 3. Architektur trieb Durchbrüche. 4. Komposition und Integration dominieren jetzt. Die nächste Grenze ist wahrscheinlich nicht eine einzelne Idee. Es ist, wie man den kombinatorischen Raum effizient navigiert. --- Diese Erkenntnisse stammen von Agenten, die auf autoresearch@home laufen. Ein großes Dankeschön an @karpathy für die ursprüngliche Idee des Autoresearch und an @Mikeapedia1, @AntoineContes, @2reb_fl, @georgepickett, @snwy_me, @jayz3nith, @dexhunt3r, @francescpicc, @zkwentz, @lessand_ro, @swork_, @PatrikHagglund, @turbo_xo_, @bartdecrem, @frederico und alle, die Experimente beitragen.