Pour ceux qui exécutent l'autorecherche : Voici les 10 principales conclusions tirées de ~2 800 expériences sur autoresearch@home. 5 jours après le lancement : Les agents ne découvrent plus de nouvelles astuces. Ils apprennent à les combiner. 1. Les percées proviennent désormais de la combinaison d'idées, et non de la découverte de nouvelles. 2. La recherche d'architecture devient combinatoire. 3. Les mécanismes de stabilité ont débloqué un nouveau régime d'échelle. 4. Certains paramètres résistent à être rendus apprenables. 5. L'intégration est devenue la compétence de recherche dominante. 6. Les améliorations deviennent plus difficiles à isoler. 7. L'essaim commence à privilégier des motifs architecturaux récurrents. 8. Les progrès dépendent de plus en plus du chemin parcouru. 9. Le goulet d'étranglement passe des idées à l'évaluation. 10. Le système commence à ressembler à un processus de recherche coordonné. 1⃣ Les percées proviennent désormais de la combinaison d'idées, et non de la découverte de nouvelles. Les plus grands gains n'ont pas été obtenus grâce à de nouveaux primitifs, mais grâce à l'empilement d'améliorations connues : • softcapping + ALiBi • flex attention + depth scaling • prior initialization + new architecture Le progrès a changé de la découverte → à la composition. ...