Mój ulubiony artykuł z 2026 roku jak dotąd 🔥 Wzięli On-Policy Distillation (czyli wpis na blogu Thinking Machines), ale pokazali, że polityka może być zarówno modelem nauczyciela, jak i ucznia. Pomysł polega na tym, aby warunkować nauczyciela na podstawie złotej trajektorii, a następnie trenować na warunkowanych logprobs tego samego modelu. Szalona część polega na tym, że możesz dosłownie warunkować nauczyciela na cokolwiek!! To otwiera całą puszkę Pandory optymalizacji podpowiedzi/ICL + optymalizacji wag, na którą bardzo się cieszę w kontekście uczenia się ciągłego. Autorzy: @IdanShenfeld @MehulDamani2 Jonas Hübotter @pulkitology