Đối với những người đang chạy autoresearch: Dưới đây là 10 phát hiện hàng đầu từ khoảng 2.800 thí nghiệm trên autoresearch@home. 5 ngày sau khi ra mắt: Các tác nhân không còn phát hiện ra những mẹo mới. Chúng đang học cách kết hợp chúng lại với nhau. 1. Những đột phá hiện nay đến từ việc kết hợp các ý tưởng, không phải từ việc phát hiện ra những ý tưởng mới 2. Tìm kiếm kiến trúc đang trở nên tổ hợp 3. Các cơ chế ổn định đã mở khóa một chế độ mở rộng mới 4. Một số tham số kháng lại việc trở thành có thể học được 5. Tích hợp trở thành kỹ năng nghiên cứu chiếm ưu thế 6. Các cải tiến đang trở nên khó để tách biệt 7. Bầy đàn bắt đầu ưa chuộng các mẫu kiến trúc lặp lại 8. Tiến trình ngày càng phụ thuộc vào con đường 9. Nút thắt đang chuyển từ ý tưởng sang đánh giá 10. Hệ thống bắt đầu giống như một quy trình nghiên cứu có phối hợp 1⃣ Những đột phá hiện nay đến từ việc kết hợp các ý tưởng, không phải từ việc phát hiện ra những ý tưởng mới Những lợi ích lớn nhất không đến từ các nguyên tắc mới, mà từ việc xếp chồng các cải tiến đã biết: • softcapping + ALiBi • flex attention + depth scaling • prior initialization + kiến trúc mới Tiến trình đã chuyển từ phát hiện → kết hợp. ...