🚨 突發消息：騰訊已經終結了「下一個標記」的範式。 騰訊和清華大學發布了CALM（持續自回歸語言模型），這完全顛覆了下一個標記的範式。 目前的LLM在通過一個龐大的詞彙softmax層預測離散的單一標記時浪費了大量的計算資源。這既慢又擴展性差。 CALM完全繞過了詞彙。它使用高保真度的自編碼器將文本塊壓縮成一個連續的向量，重建準確率達到99.9%。 該模型現在在連續空間中預測「下一個向量」。 這些數字實在是瘋狂： - 每一步生成現在攜帶4倍的語義帶寬。 - 訓練計算量減少了44%。 - softmax瓶頸被完全消除。 我們實際上正在目睹語言模型從輸入離散符號演變為流式連續思維。 這改變了整個AI的發展軌跡。