Могут ли LLM быть ДОКАЗУЕМЫМИ компьютерами? Percepta показала, что трансформер может БЫТЬ компьютером. Скомпилированные веса, детерминированное выполнение, 30k токенов/сек. Но никто не задал очевидный вопрос: как вы знаете, что он вычислил правильно? Поэтому я создал слой верификации. STARK, который это доказывает 👇
Christos Tzamos
Christos Tzamos12 мар., 05:30
1/4 LLM решают математические задачи на уровне исследований, но испытывают трудности с базовыми вычислениями. Мы преодолеваем этот разрыв, превращая их в компьютеры. Мы построили компьютер ВНУТРИ трансформатора, который может выполнять программы на миллионы шагов за секунды, решая даже самые сложные судоку с 100% точностью.
Проблема с компилированными вычислениями заключается в доверии. Вы доверяете компилятору. Вы доверяете среде выполнения. Вы доверяете механизму внимания. Если что-то из этого неверно, вывод будет неверным. Это самая старая проблема в вычислениях. Вы либо доверяете машине, либо проверяете вывод. Мы создали три уровня проверки: Уровень 1: Программа выполняется внутри трансформера (так же, как и Percepta) Уровень 2: Четыре независимых движка выдают один и тот же результат (трансформер, нативный, Burn, ONNX) Уровень 3: Доказательство STARK подтверждает выполнение без повторного запуска
73