共 7 篇文章
大模型LLM教程LLM模型推理技术原理开源
LLM 推理是如何工作的
图解LLM推理的两个核心阶段：Prefill计算密集型（TTFT）和Decode内存带宽瓶颈（TPOT），详解KV缓存、连续批处理、PagedAttention等优化技术，附开源学习资源。
2026-09-0159433
AI基础设施开源模型本地部署教程部署模型推理
大模型本地部署完整指南：搭建自己的 Agent 工作流，实现Token自由「新手友好」
一篇新手友好的大模型本地部署指南，以124B MoE模型Ling-3.0-flash为例，在DGX Spark上用官方vLLM分支完成下载、部署、启动与性能测试，含MTP投机解码、单路与并发吞吐压测。随后介绍TUI聊天、接入工具调用、DeepSeek Harness及多模型视频工作流，倡导数据可控、省Token的「Token自由」。
2026-09-1060000
训练与推理系统GPU大模型LLM模型推理技术原理
详解大语言模型中的静态、动态与连续批处理
详解大语言模型推理中静态、动态与连续批处理三种策略。先解释批处理为何存在（权重只读一次、吞吐量随批次大小上升），再说明LLM因自回归解码产生的挑战（一次前向传播只出一个token、行依赖自身历史、成本未知）。对比三策略在何时固定批次及其缺陷，重点阐述连续批处理（迭代级调度）如何支撑现代推理吞吐量，以及分块预填充如何缓解卡顿，并附vLLM/SGLang配置示例。
2026-09-1010000
模型评测推理模型大模型实测模型推理模型评测
Karpathy 刚发了一个帖子，怎么判断一个新模型到底行不行？
针对炫酷 Demo 越来越难以反映模型真实水平的痛点，梳理 Karpathy 的开放任务实验：将《指环王》第一段文字交给 Opus 5，以约 100 万 token 预算（约 10 美元）让它用 Three.js 构建三维世界，两小时写出 5500 行代码；考察长程工作、任务拆解、跨领域协调与工作耐力，指出模型自我验证能力落后于生成能力，提出更贴近真实工作的评测思路。
2026-09-0910000
大模型LLM推理模型DeepSeek大模型LLM模型推理
图解 KV Cache——DS V4.1-Flash的制胜秘密
一篇 KV Cache 图解长文，以 DeepSeek V4.1-Flash 为例，拆解"单 token KV 从 V1 的 380KB 压到 890 字节（437 倍）"是怎么做到的。
2026-09-148000