读完就能用的 AI 知识文章

“Token” 标签下的文档

共 3 篇文章

Agent 框架与工作流工作流成本优化工程化Multi-AgentToken

靠这 10 个优化点,我们把 Multi-Agent 工作流成本降了 50%以上

作者团队用AI Agent驱动前后端全流程开发(1个TL+6个子Agent),跑起来后钱烧得很快。先用AgentLens拆解成本,发现系统提示词、工具返回信息、历史消息是大头。围绕让AI只看到当前需要的上下文、减少无关与重复上下文三原则,逐一改造架构拆分、稳定前缀、渐进式披露、代码图谱、CLI替代MCP、长期记忆按需索引、工具调用并行化等方向,整体预估降本50%~65%。

2026-09-0913000
大模型LLMOpenAI官方指南成本优化GPT工具调用

GPT-6 Astra · 节省 Token 官方指南

GPT-6 Astra 官方省 Token 指南:低推理力度起步,复杂任务再切中高;长对话用 Compaction 压缩历史;固定内容前置稳定命中 Prompt Cache;工具 defer_loading 按需加载;明确限制输出长度;避免重复跑已通过测试;多轮任务用 previous_response_id 延续状态。最忌为省 token 乱删 System Prompt 破坏缓存前缀。

2026-09-1012000
训练与推理系统GPUDeepSeek成本优化模型推理开源

非算法工程师也能看懂,推理框架的来龙去脉

继 DeepSeek 开源 DeepInfer,阿里云云原生科普推理框架:它把模型加载到硬件、接收请求、组织计算,在快、多、省、稳、准五个目标间取舍。文中讲透 Prefill 吃算力、Decode 吃带宽,KV Cache 是最紧的显存资源,连续批处理、前缀缓存、PD 分离如何降本提速;梳理 vLLM、SGLang、llama.cpp 等项目,跟一个请求走完接入、调度、执行、缓存、集群、采样六站。

2026-10-221000
知识库 | 凡哥 AI 知识库