共 3 篇文章
Agent 框架与工作流DeepSeek多AgentToken成本Agent成本成本治理
5分钟烧掉1000块！Agent token成本如何治理
腾讯云开发者复盘一次“5 分钟烧掉 1000 块”的 Agent 成本事故：输入仅几十 token，后台却并行启动 12 个 subagent、重复检索、上下文反复携带，且 CacheRead 全程失效用户却毫无感知。作者指出 Agent 的自主性包含执行授权与消费授权两层，而市面产品多忽略了后者。据此提出事前控制、提前感知、过程可见、主动告警、随时可控、账单可解释六环节的成本闭环治理思路。
2026-09-1020000
大模型LLM推理模型大模型LLM上下文缓存
LLM 为什么缓存 K 和 V，却通常不缓存 Q？
一篇把 KV Cache 讲透的科普：为什么 Transformer 解码时要缓存 K 和 V，却通常不缓存 Q？核心在于注意力的工作方式——每个新 token 会生成自己的 Q 去查询历史，而历史各位置的 K/V 在生成后就已经固定、可被后续所有 token 复用；Q 是"当前这一刻的查询"，用完即弃，没有保留价值。
2026-09-1414000
训练与推理系统GPUDeepSeek成本优化模型推理开源
非算法工程师也能看懂，推理框架的来龙去脉
继 DeepSeek 开源 DeepInfer，阿里云云原生科普推理框架：它把模型加载到硬件、接收请求、组织计算，在快、多、省、稳、准五个目标间取舍。文中讲透 Prefill 吃算力、Decode 吃带宽，KV Cache 是最紧的显存资源，连续批处理、前缀缓存、PD 分离如何降本提速；梳理 vLLM、SGLang、llama.cpp 等项目，跟一个请求走完接入、调度、执行、缓存、集群、采样六站。
2026-10-221000