共 2 篇文章
训练与推理系统GPU大模型LLM模型推理技术原理
详解大语言模型中的静态、动态与连续批处理
详解大语言模型推理中静态、动态与连续批处理三种策略。先解释批处理为何存在（权重只读一次、吞吐量随批次大小上升），再说明LLM因自回归解码产生的挑战（一次前向传播只出一个token、行依赖自身历史、成本未知）。对比三策略在何时固定批次及其缺陷，重点阐述连续批处理（迭代级调度）如何支撑现代推理吞吐量，以及分块预填充如何缓解卡顿，并附vLLM/SGLang配置示例。
2026-09-109000
大模型LLMTransformerGPULLM
详解 大语言模型 的 KV 缓存工程
详解大语言模型KV缓存的工程优化。解释KV缓存为何随序列增长而占用GPU内存且被注意力反复读写，系统介绍12种减少/优化KV缓存的技术：GQA/MQA减KV头、跨层注意力、滑动窗口、MLA、量化、混合循环层、稀疏读取、驱逐、分页、前缀复用、Offloading等，按各技术减少的内容、适用场景与权衡逐一分析，适合推理工程师优化内存占用与吞吐。
2026-09-089000