Para aqueles que estão a executar autoresearch: Aqui estão as 10 principais descobertas em cerca de 2.800 experimentos no autoresearch@home. 5 dias após o lançamento: Os agentes já não descobrem novos truques. Eles estão a aprender como combiná-los. 1. As inovações agora vêm da combinação de ideias, não da descoberta de novas 2. A pesquisa de arquitetura está a tornar-se combinatória 3. Mecanismos de estabilidade desbloquearam um novo regime de escalabilidade 4. Alguns parâmetros resistem a serem tornados aprendíveis 5. A integração tornou-se a habilidade de pesquisa dominante 6. As melhorias estão a tornar-se mais difíceis de isolar 7. O enxame está a começar a favorecer padrões arquitetónicos recorrentes 8. O progresso é cada vez mais dependente do caminho 9. O gargalo está a mudar de ideias para avaliação 10. O sistema está a começar a assemelhar-se a um processo de pesquisa coordenado 1⃣ As inovações agora vêm da combinação de ideias, não da descoberta de novas Os maiores ganhos não vieram de novos primitivos, mas da empilhagem de melhorias conhecidas: • softcapping + ALiBi • flex attention + depth scaling • prior initialization + new architecture O progresso mudou de descoberta → composição. ...