كل نموذج أساس استخدمته على الإطلاق يعاني من نفس الخلل. تم إصلاحها للتو. منذ عام 2015، تم بناء كل شبكة عميقة بنفس الطريقة: كل طبقة تقوم ببعض العمليات الحسابية، وتضيف نتيجتها إلى الإجمالي المستمر، وتنقلها للأمام. بسيط. لكن هناك مشكلة، بحلول الطبقة 100، تكون الإشارة من أي طبقة واحدة مدفونة تحت مجموع كل شيء آخر. كل طبقة جديدة أقل أهمية يوما بعد يوم. لم يصلح أحد هذا لأنه كان يعمل بشكل جيد بما فيه الكفاية. Moonshot AI غير ذلك للتو. طريقتهم الجديدة، بقايا الانتباه، تتيح لكل طبقة النظر إلى جميع الطبقات السابقة واختيار أيها مهم فعلا الآن. بدلا من مجموع أعمى، تحصل على استرجاع انتقائي. التشبيه: تخيل كتابة مقال يتم فيه دمج كل مسودة تلقائيا في مستند واحد. بحلول المسودة 50، تكون تعديلاتك الأخيرة غير مرئية. يتيح لك AttnRes الاحتفاظ بكل مسودة منفصلة وسحب من أي مسودة تحتاجها. ما الذي يصلحه هذا: 1. الطبقات الأعمق لم تعد تغرق 2. يصبح التدريب أكثر استقرارا عبر الشبكة بأكملها 3. يستخدم النموذج عمقه الخاص بكفاءة أكبر لجعل الأمر عمليا على نطاق واسع، يقومون بتجميع الطبقات في كتل ويتابعون ملخصات الكتل بدلا من كل طبقة على حدة. التكاليف الزائدة عند الاستدلال: أقل من 2٪. النتيجة: 25٪ أقل من الحوسبة لتحقيق نفس الأداء. تم اختباره على نموذج بمعاملة 48B. ينطبق على مختلف الأحجام....