共 2 篇文章
AI基础设施本地LLM模型加速投机解码量化Apple芯片
Karpathy 的本地 LLM 加速技巧，终于有了正解
详解本地 LLM 推理提速，以 Apple M5 验证。批大小为 1 的解码受内存带宽限制，设下单 token 约 29 上限；引擎 Uzu 在量化、投机解码、Hadamard 变换与免回滚树验证上联合优化，使 9B 模型从每秒约 22 token 升到 92 起；附一行命令与同一客户端对比三引擎的方法，可直接复现，适合本地模型推理优化。
2026-10-149000
训练与推理系统GPUDeepSeek成本优化模型推理开源
非算法工程师也能看懂，推理框架的来龙去脉
继 DeepSeek 开源 DeepInfer，阿里云云原生科普推理框架：它把模型加载到硬件、接收请求、组织计算，在快、多、省、稳、准五个目标间取舍。文中讲透 Prefill 吃算力、Decode 吃带宽，KV Cache 是最紧的显存资源，连续批处理、前缀缓存、PD 分离如何降本提速；梳理 vLLM、SGLang、llama.cpp 等项目，跟一个请求走完接入、调度、执行、缓存、集群、采样六站。
2026-10-221000