第 10 章:模型微调实战:LoRA 与 SFT

核心观点:如果通用大模型是”大学毕业生”,微调(Fine-tuning)就是”岗前培训”。LoRA 技术的出现,让原本需要几百万美元的微调成本,降低到了几百块人民币。 1. 引言:通才 vs 专才 GPT-4 什么都懂,但在写你们公司的”内部公文格式”时,可能总是写不对。 Prompt 工程可以解决一部分问题,但当规则太复杂、或者需要学习大量私有知识(Domain Knowledge)时,Prompt 就塞不下了。 这时你需要 SFT (Supervised Fine-Tuning,有监督微调)。 你要给模型看 1000 份完美的内部公文,让它内化这种风格。 2. 核心概念:LoRA (低
Your browser is out-of-date!

Update your browser to view this website correctly. Update my browser now

×