Incredibile. @nsthorat è uno dei migliori ingegneri che conosca ed è incredibile ciò che le persone talentuose possono fare con agenti che lavorano per loro. Stiamo per avere molte più cose interessanti nel mondo.
🏎️ gemma-webgpu: a zero-dependency, blazing fast Gemma 1B running entirely in your browser. Full vibe coded from my cell phone.
🔥 136.8 tok/s on M4 Mac (3.3x faster than transformers.js)
📱 101 tok/s on iPhone 17 (270M), 34 tok/s (1B)
What we built from scratch:
• 18 hand-written WGSL compute shaders with fused ops (fusedNormAdd saves 36 GPU dispatches per forward pass)
• Q8_0 dequantization directly on GPU — higher quality than q4 AND faster
• Range request streaming loads weights layer-by-layer (~44MB chunks), uploads to GPU, frees JS memory immediately. Peak heap: ~50MB even for the 1GB model
• That streaming trick is what makes 1B run on iPhone. it never holds the full model in RAM
12KB gzipped. Zero dependencies. npm install gemma-webgpu
È semplice: Anthropic, come qualsiasi azienda, ha il diritto di decidere cosa fare o meno. Anche il governo ha tutto il diritto di collaborare con loro o meno. Dove la situazione diventa brutta è quando il governo li minaccia per non aver realizzato qualcosa, e dove diventa folle è quando il governo porta a termine questa minaccia.
Immagina se il governo cercasse di costringere Apple ad aggiungere backdoor della NSA a tutti i loro dispositivi minacciando di rendere illegale per chiunque faccia affari con il governo utilizzare i Mac.