So unglaublich. @nsthorat ist einer der besten Ingenieure, die ich kenne, und es ist unglaublich, was talentierte Menschen mit Agenten, die in ihrem Namen arbeiten, erreichen können. Wir werden bald so viel mehr coole Dinge in der Welt haben.
🏎️ gemma-webgpu: a zero-dependency, blazing fast Gemma 1B running entirely in your browser. Full vibe coded from my cell phone.
🔥 136.8 tok/s on M4 Mac (3.3x faster than transformers.js)
📱 101 tok/s on iPhone 17 (270M), 34 tok/s (1B)
What we built from scratch:
• 18 hand-written WGSL compute shaders with fused ops (fusedNormAdd saves 36 GPU dispatches per forward pass)
• Q8_0 dequantization directly on GPU — higher quality than q4 AND faster
• Range request streaming loads weights layer-by-layer (~44MB chunks), uploads to GPU, frees JS memory immediately. Peak heap: ~50MB even for the 1GB model
• That streaming trick is what makes 1B run on iPhone. it never holds the full model in RAM
12KB gzipped. Zero dependencies. npm install gemma-webgpu
Es ist einfach: Anthropic hat wie jedes Unternehmen das Recht zu entscheiden, was sie herstellen oder nicht. Die Regierung hat ebenfalls das Recht, mit ihnen zusammenzuarbeiten oder nicht. Wo es problematisch wird, ist, wenn die Regierung sie bedroht, weil sie etwas nicht herstellen, und wo es verrückt wird, ist, wenn die Regierung dies tatsächlich umsetzt.
Stell dir vor, die Regierung würde versuchen, Apple zu zwingen, NSA-Hintertüren in all ihre Geräte einzufügen, indem sie droht, es illegal zu machen, dass jemand, der Geschäfte mit der Regierung macht, Macs verwendet.
Stell dir vor, Apple würde Computer oder iPads an das DOD verkaufen und versuchen, dem Pentagon zu sagen, welche Missionen auf ihren Computern geplant werden könnten.