共 4 篇文章
大模型LLM预训练微调对齐学习方法大模型
如何从零构建自己的 LLM:GPT 和 Claude 背后的 5 阶段完整流程
拆解 GPT、Claude、Gemini 背后的统一五阶段流水线:数据清洗、预训练(预测下一个 token)、缩放定律、后训练(SFT/RLHF/DPO)、评测与系统,强调架构最不重要,真正决胜在数据、评测与工程系统,附学习路径。
2026-08-3115000
大模型LLM预训练微调对齐心智模型大模型
如何从零构建自己的 LLM:GPT 与 Claude 背后的五阶段全流程
以入门视角讲清前沿 LLM 共用的五阶段流水线:数据准备与分词、预训练涌现语言能力、监督微调教其有用、奖励建模对齐偏好等,强调建立心智模型比数学学位重要,并说明可在笔记本上动手训练迷你版以破除神秘感。
2026-08-3111000
微调与对齐微调开源模型本地部署开源模型微调
本地跑模型、做微调,现在可以用同一套工具完成:Unsloth
实测推荐开源工具Unsloth,把本地推理、LoRA/QLoRA微调、数据处理、效果对比与模型导出放进同一工作台,弥补Ollama、LM Studio、llama.cpp只专注推理的不足。核心是高效微调,官方称约2倍提速并减70%显存,支持GGUF、Safetensors,可接Claude Code、Codex等智能体,适合需行业微调的团队。
2026-09-105000
微调与对齐微调大模型本地部署教程模型微调
万字长文!读懂模型微调的基本概念和名词
万字教程详解模型微调的基本概念与名词。从预训练、基础模型、后训练讲起,覆盖SFT、指令微调、因果语言建模、PEFT/LoRA/QLoRA参数高效微调,数据相关概念(语料、数据集、去重、打包、过采样),训练参数(batch size、梯度累积、学习率、warmup、seed)及训练产物(loss、eval loss、过拟合、推理、vLLM、冒烟测试、评估),帮读者理解微调各环节。
2026-09-094000