读完就能用的 AI 知识文章

Karpathy 的本地 LLM 加速技巧，终于有了正解

详解本地 LLM 推理提速，以 Apple M5 验证。批大小为 1 的解码受内存带宽限制，设下单 token 约 29 上限；引擎 Uzu 在量化、投机解码、Hadamard 变换与免回滚树验证上联合优化，使 9B 模型从每秒约 22 token 升到 92 起；附一行命令与同一客户端对比三引擎的方法，可直接复现，适合本地模型推理优化。