Для тех, кто проводит автоисследования: Вот 10 основных выводов из ~2,800 экспериментов на autoresearch@home. 5 дней после запуска: Агенты больше не открывают новые трюки. Они учатся комбинировать их. 1. Прорывы теперь происходят от комбинации идей, а не от открытия новых 2. Поиск архитектуры становится комбинаторным 3. Механизмы стабильности открыли новый режим масштабирования 4. Некоторые параметры сопротивляются обучению 5. Интеграция стала доминирующим исследовательским навыком 6. Улучшения становятся труднее изолировать 7. Рой начинает предпочитать повторяющиеся архитектурные паттерны 8. Прогресс становится все более зависимым от пути 9. Узкое место смещается от идей к оценке 10. Система начинает напоминать координированный исследовательский процесс 1⃣ Прорывы теперь происходят от комбинации идей, а не от открытия новых Наибольшие достижения не пришли от новых примитивов, а от наложения известных улучшений: • софткаппинг + ALiBi • гибкое внимание + масштабирование глубины • предварительная инициализация + новая архитектура Прогресс сместился от открытия → композиции. ...