LLM 能否成為可證明的計算機? Percepta 顯示變壓器可以成為計算機。編譯的權重、確定性執行、每秒 30k 令牌。 但沒有人問明顯的後續問題:你怎麼知道它計算正確? 所以我建立了驗證層。一個 STARK 來證明它 👇
Christos Tzamos
Christos Tzamos3月12日 05:30
1/4 LLMs 能解決研究級數學問題,但在基本計算上卻掙扎。我們通過將它們轉變為計算機來彌補這一差距。 我們在變壓器內部建造了一台計算機,可以在幾秒鐘內運行數百萬步的程序,甚至以 100% 的準確率解決最困難的數獨。
編譯計算的問題在於信任。 你信任編譯器。你信任執行時。你信任注意力機制。如果這些中的任何一個出錯,輸出就會錯誤。 這是計算機科學中最古老的問題。你要麼信任機器,要麼驗證輸出。 我們建立了三個驗證層級: 層級 1:程序在變壓器內運行(與 Percepta 相同) 層級 2:四個獨立引擎產生相同的結果(變壓器、原生、Burn、ONNX) 層級 3:STARK 證明在不重新運行的情況下驗證執行
70