https://pothos.dpdns.org/tags/nlp/Recent content in NLP on Ralph's BlogHugo -- 0.147.7zh-cnThu, 25 Dec 2025 00:00:00 +0000https://pothos.dpdns.org/posts/27.%E5%A4%A7%E6%A8%A1%E5%9E%8B%E6%8A%80%E6%9C%AF%E6%8C%87%E5%8D%97/Thu, 25 Dec 2025 00:00:00 +0000https://pothos.dpdns.org/posts/27.%E5%A4%A7%E6%A8%A1%E5%9E%8B%E6%8A%80%E6%9C%AF%E6%8C%87%E5%8D%97/<h1 id="大模型技术完整指南">大模型技术完整指南</h1> <h2 id="目录">目录</h2> <details> <summary>点击展开目录</summary> <ul> <li><a href="#%E5%A4%A7%E6%A8%A1%E5%9E%8B%E6%8A%80%E6%9C%AF%E5%AE%8C%E6%95%B4%E6%8C%87%E5%8D%97">大模型技术完整指南</a> <ul> <li><a href="#%E7%9B%AE%E5%BD%95">目录</a></li> <li><a href="#1-%E5%A4%A7%E6%A8%A1%E5%9E%8B%E6%A6%82%E8%BF%B0%E4%B8%8E%E5%8F%91%E5%B1%95%E5%8E%86%E7%A8%8B">1. 大模型概述与发展历程</a> <ul> <li><a href="#11-%E4%BB%80%E4%B9%88%E6%98%AF%E5%A4%A7%E6%A8%A1%E5%9E%8B">1.1 什么是大模型</a> <ul> <li><a href="#111-%E5%A4%A7%E6%A8%A1%E5%9E%8B%E5%AE%9A%E4%B9%89%E4%B8%8E%E7%89%B9%E5%BE%81">1.1.1 大模型定义与特征</a></li> <li><a href="#112-%E5%8F%91%E5%B1%95%E9%87%8C%E7%A8%8B%E7%A2%91">1.1.2 发展里程碑</a></li> </ul> </li> <li><a href="#12-%E5%A4%A7%E6%A8%A1%E5%9E%8B%E5%88%86%E7%B1%BB">1.2 大模型分类</a> <ul> <li><a href="#121-%E6%8C%89%E4%BB%BB%E5%8A%A1%E7%B1%BB%E5%9E%8B%E5%88%86%E7%B1%BB">1.2.1 按任务类型分类</a></li> <li><a href="#122-%E6%8C%89%E6%9E%B6%E6%9E%84%E7%B1%BB%E5%9E%8B%E5%88%86%E7%B1%BB">1.2.2 按架构类型分类</a></li> </ul> </li> <li><a href="#13-%E6%8A%80%E6%9C%AF%E6%BC%94%E8%BF%9B%E8%B7%AF%E5%BE%84">1.3 技术演进路径</a> <ul> <li><a href="#131-%E4%BB%8Ernn%E5%88%B0transformer">1.3.1 从RNN到Transformer</a></li> <li><a href="#132-%E8%A7%84%E6%A8%A1%E6%89%A9%E5%B1%95%E4%B8%8E%E6%B6%8C%E7%8E%B0%E8%83%BD%E5%8A%9B">1.3.2 规模扩展与涌现能力</a></li> </ul> </li> </ul> </li> <li><a href="#2-transformer%E6%9E%B6%E6%9E%84%E6%B7%B1%E5%BA%A6%E8%A7%A3%E6%9E%90">2. Transformer架构深度解析</a> <ul> <li><a href="#21-%E6%B3%A8%E6%84%8F%E5%8A%9B%E6%9C%BA%E5%88%B6%E5%8E%9F%E7%90%86">2.1 注意力机制原理</a> <ul> <li><a href="#211-%E4%BB%80%E4%B9%88%E6%98%AF%E6%B3%A8%E6%84%8F%E5%8A%9B%E6%9C%BA%E5%88%B6">2.1.1 什么是注意力机制</a></li> <li><a href="#212-%E8%87%AA%E6%B3%A8%E6%84%8F%E5%8A%9B%E6%9C%BA%E5%88%B6%E8%AF%A6%E8%A7%A3">2.1.2 自注意力机制详解</a></li> <li><a href="#213-%E6%B3%A8%E6%84%8F%E5%8A%9B%E6%9C%BA%E5%88%B6%E7%9A%84%E7%9B%B4%E8%A7%82%E7%90%86%E8%A7%A3">2.1.3 注意力机制的直观理解</a></li> <li><a href="#214-%E5%A4%9A%E5%A4%B4%E6%B3%A8%E6%84%8F%E5%8A%9B%E6%9C%BA%E5%88%B6">2.1.4 多头注意力机制</a></li> </ul> </li> <li><a href="#22-transformer%E6%A0%B8%E5%BF%83%E7%BB%84%E4%BB%B6%E8%AF%A6%E8%A7%A3">2.2 Transformer核心组件详解</a> <ul> <li><a href="#221-%E6%95%B4%E4%BD%93%E6%9E%B6%E6%9E%84%E6%A6%82%E8%A7%88">2.2.1 整体架构概览</a></li> <li><a href="#222-%E7%BC%96%E7%A0%81%E5%99%A8%E5%B1%82%E8%AF%A6%E7%BB%86%E7%BB%93%E6%9E%84">2.2.2 编码器层详细结构</a></li> <li><a href="#223-%E8%A7%A3%E7%A0%81%E5%99%A8%E5%B1%82%E8%AF%A6%E7%BB%86%E7%BB%93%E6%9E%84">2.2.3 解码器层详细结构</a></li> <li><a href="#224-%E4%BD%8D%E7%BD%AE%E7%BC%96%E7%A0%81%E8%AF%A6%E8%A7%A3">2.2.4 位置编码详解</a></li> <li><a href="#225-%E5%AE%8C%E6%95%B4transformer%E6%A8%A1%E5%9E%8B%E5%AE%9E%E7%8E%B0">2.2.5 完整Transformer模型实现</a></li> <li><a href="#226-%E6%AE%8B%E5%B7%AE%E8%BF%9E%E6%8E%A5%E4%B8%8E%E5%B1%82%E5%BD%92%E4%B8%80%E5%8C%96">2.2.6 残差连接与层归一化</a></li> <li><a href="#227-transformer%E7%9A%84%E5%85%B3%E9%94%AE%E5%88%9B%E6%96%B0%E6%80%BB%E7%BB%93">2.2.7 Transformer的关键创新总结</a></li> </ul> </li> <li><a href="#23-%E5%85%B3%E9%94%AE%E6%8A%80%E6%9C%AF%E4%BC%98%E5%8C%96">2.3 关键技术优化</a> <ul> <li><a href="#231-%E8%AE%A1%E7%AE%97%E6%95%88%E7%8E%87%E4%BC%98%E5%8C%96">2.3.1 计算效率优化</a></li> <li><a href="#232-%E5%86%85%E5%AD%98%E4%BC%98%E5%8C%96%E6%8A%80%E6%9C%AF">2.3.2 内存优化技术</a></li> <li><a href="#233-%E8%AE%AD%E7%BB%83%E7%A8%B3%E5%AE%9A%E6%80%A7%E4%BC%98%E5%8C%96">2.3.3 训练稳定性优化</a></li> </ul> </li> </ul> </li> <li><a href="#3-%E5%A4%A7%E6%A8%A1%E5%9E%8B%E8%AE%AD%E7%BB%83%E6%8A%80%E6%9C%AF">3. 大模型训练技术</a> <ul> <li><a href="#31-%E9%A2%84%E8%AE%AD%E7%BB%83%E6%8A%80%E6%9C%AF">3.1 预训练技术</a> <ul> <li><a href="#311-%E6%95%B0%E6%8D%AE%E5%87%86%E5%A4%87%E4%B8%8E%E5%A4%84%E7%90%86">3.1.1 数据准备与处理</a></li> <li><a href="#312-%E8%AE%AD%E7%BB%83%E7%9B%AE%E6%A0%87%E4%B8%8E%E6%8D%9F%E5%A4%B1%E5%87%BD%E6%95%B0">3.1.2 训练目标与损失函数</a></li> <li><a href="#313-%E5%88%86%E5%B8%83%E5%BC%8F%E8%AE%AD%E7%BB%83%E7%AD%96%E7%95%A5">3.1.3 分布式训练策略</a></li> </ul> </li> <li><a href="#32-%E5%BE%AE%E8%B0%83%E6%8A%80%E6%9C%AF">3.2 微调技术</a> <ul> <li><a href="#321-%E5%85%A8%E5%8F%82%E6%95%B0%E5%BE%AE%E8%B0%83">3.2.1 全参数微调</a></li> <li><a href="#322-%E5%8F%82%E6%95%B0%E9%AB%98%E6%95%88%E5%BE%AE%E8%B0%83">3.2.2 参数高效微调</a></li> <li><a href="#323-%E6%8F%90%E7%A4%BA%E5%AD%A6%E4%B9%A0">3.2.3 提示学习</a></li> </ul> </li> <li><a href="#33-%E5%AF%B9%E9%BD%90%E6%8A%80%E6%9C%AF">3.3 对齐技术</a> <ul> <li><a href="#331-%E6%9C%89%E7%9B%91%E7%9D%A3%E5%BE%AE%E8%B0%83sft">3.3.1 有监督微调(SFT)</a></li> <li><a href="#332-%E4%BA%BA%E7%B1%BB%E5%8F%8D%E9%A6%88%E5%BC%BA%E5%8C%96%E5%AD%A6%E4%B9%A0rlhf">3.3.2 人类反馈强化学习(RLHF)</a></li> <li><a href="#333-%E7%9B%B4%E6%8E%A5%E5%81%8F%E5%A5%BD%E4%BC%98%E5%8C%96dpo">3.3.3 直接偏好优化(DPO)</a></li> </ul> </li> </ul> </li> <li><a href="#4-%E4%B8%BB%E6%B5%81%E5%A4%A7%E6%A8%A1%E5%9E%8B%E8%AF%A6%E8%A7%A3">4. 主流大模型详解</a> <ul> <li><a href="#41-gpt%E7%B3%BB%E5%88%97%E5%8F%91%E5%B1%95">4.1 GPT系列发展</a></li> <li><a href="#42-%E5%BC%80%E6%BA%90%E6%A8%A1%E5%9E%8B%E7%94%9F%E6%80%81">4.2 开源模型生态</a></li> </ul> </li> <li><a href="#5-%E5%A4%A7%E6%A8%A1%E5%9E%8B%E5%BA%94%E7%94%A8%E4%B8%8E%E9%83%A8%E7%BD%B2">5. 大模型应用与部署</a> <ul> <li><a href="#51-%E6%8E%A8%E7%90%86%E4%BC%98%E5%8C%96%E6%8A%80%E6%9C%AF">5.1 推理优化技术</a> <ul> <li><a href="#511-%E6%A8%A1%E5%9E%8B%E9%87%8F%E5%8C%96">5.1.1 模型量化</a></li> <li><a href="#512-kv%E7%BC%93%E5%AD%98%E4%BC%98%E5%8C%96">5.1.2 KV缓存优化</a></li> </ul> </li> <li><a href="#52-%E5%BA%94%E7%94%A8%E5%BC%80%E5%8F%91%E6%A8%A1%E5%BC%8F">5.2 应用开发模式</a> <ul> <li><a href="#521-api%E8%B0%83%E7%94%A8%E6%A8%A1%E5%BC%8F">5.2.1 API调用模式</a> <ul> <li><a href="#5211-%E5%9B%BE%E7%89%87%E7%94%9F%E6%88%90%E6%8E%A5%E5%8F%A3%E5%B0%BA%E5%AF%B8%E5%AE%9E%E6%B5%8B">5.2.1.1 图片生成接口尺寸实测</a></li> </ul> </li> <li><a href="#522-%E6%9C%AC%E5%9C%B0%E9%83%A8%E7%BD%B2%E6%96%B9%E6%A1%88">5.2.2 本地部署方案</a></li> </ul> </li> <li><a href="#53-rag%E7%B3%BB%E7%BB%9F%E6%9E%84%E5%BB%BA">5.3 RAG系统构建</a></li> </ul> </li> <li><a href="#6-%E5%A4%A7%E6%A8%A1%E5%9E%8B%E5%AE%8C%E6%95%B4%E5%AE%9E%E6%88%98%E6%8C%87%E5%8D%97">6. 大模型完整实战指南</a> <ul> <li><a href="#61-%E7%8E%AF%E5%A2%83%E6%90%AD%E5%BB%BA%E4%B8%8E%E4%BE%9D%E8%B5%96%E5%AE%89%E8%A3%85">6.1 环境搭建与依赖安装</a> <ul> <li><a href="#611-%E5%9F%BA%E7%A1%80%E7%8E%AF%E5%A2%83%E5%87%86%E5%A4%87">6.1.1 基础环境准备</a></li> <li><a href="#612-%E6%A0%B8%E5%BF%83%E4%BE%9D%E8%B5%96%E5%AE%89%E8%A3%85">6.1.2 核心依赖安装</a></li> <li><a href="#613-%E7%8E%AF%E5%A2%83%E9%AA%8C%E8%AF%81%E8%84%9A%E6%9C%AC">6.1.3 环境验证脚本</a></li> </ul> </li> <li><a href="#62-%E6%A8%A1%E5%9E%8B%E4%B8%8B%E8%BD%BD%E4%B8%8E%E5%8A%A0%E8%BD%BD">6.2 模型下载与加载</a> <ul> <li><a href="#621-%E6%A8%A1%E5%9E%8B%E4%B8%8B%E8%BD%BD%E6%96%B9%E6%B3%95">6.2.1 模型下载方法</a></li> <li><a href="#622-%E6%9C%AC%E5%9C%B0%E6%A8%A1%E5%9E%8B%E5%8A%A0%E8%BD%BD">6.2.2 本地模型加载</a></li> </ul> </li> <li><a href="#63-%E5%9F%BA%E7%A1%80%E6%8E%A8%E7%90%86%E4%B8%8E%E5%AF%B9%E8%AF%9D">6.3 基础推理与对话</a> <ul> <li><a href="#631-%E7%AE%80%E5%8D%95%E6%96%87%E6%9C%AC%E7%94%9F%E6%88%90">6.3.1 简单文本生成</a></li> <li><a href="#632-%E5%AF%B9%E8%AF%9D%E7%B3%BB%E7%BB%9F%E5%AE%9E%E7%8E%B0">6.3.2 对话系统实现</a></li> </ul> </li> <li><a href="#64-%E6%A8%A1%E5%9E%8B%E5%BE%AE%E8%B0%83%E5%AE%9E%E6%88%98">6.4 模型微调实战</a> <ul> <li><a href="#641-%E6%95%B0%E6%8D%AE%E5%87%86%E5%A4%87%E4%B8%8E%E5%A4%84%E7%90%86">6.4.1 数据准备与处理</a></li> <li><a href="#642-lora%E5%BE%AE%E8%B0%83%E5%AE%9E%E7%8E%B0">6.4.2 LoRA微调实现</a></li> </ul> </li> <li><a href="#65-%E5%88%86%E5%B8%83%E5%BC%8F%E8%AE%AD%E7%BB%83%E9%83%A8%E7%BD%B2">6.5 分布式训练部署</a> <ul> <li><a href="#651-deepspeed%E5%88%86%E5%B8%83%E5%BC%8F%E8%AE%AD%E7%BB%83">6.5.1 DeepSpeed分布式训练</a></li> <li><a href="#652-%E5%A4%9Agpu%E8%AE%AD%E7%BB%83%E8%84%9A%E6%9C%AC">6.5.2 多GPU训练脚本</a></li> </ul> </li> <li><a href="#66-%E7%94%9F%E4%BA%A7%E7%8E%AF%E5%A2%83%E9%83%A8%E7%BD%B2">6.6 生产环境部署</a> <ul> <li><a href="#661-fastapi%E6%9C%8D%E5%8A%A1%E9%83%A8%E7%BD%B2">6.6.1 FastAPI服务部署</a></li> <li><a href="#662-docker%E5%AE%B9%E5%99%A8%E5%8C%96%E9%83%A8%E7%BD%B2">6.6.2 Docker容器化部署</a></li> <li><a href="#663-%E6%80%A7%E8%83%BD%E7%9B%91%E6%8E%A7%E4%B8%8E%E8%B4%9F%E8%BD%BD%E5%9D%87%E8%A1%A1">6.6.3 性能监控与负载均衡</a></li> </ul> </li> </ul> </li> <li><a href="#7-%E5%BC%80%E5%8F%91%E5%B7%A5%E5%85%B7%E4%B8%8E%E6%A1%86%E6%9E%B6">7. 开发工具与框架</a> <ul> <li><a href="#71-%E8%AE%AD%E7%BB%83%E6%A1%86%E6%9E%B6">7.1 训练框架</a></li> <li><a href="#72-%E5%BA%94%E7%94%A8%E5%BC%80%E5%8F%91%E6%A1%86%E6%9E%B6">7.2 应用开发框架</a> <ul> <li><a href="#721-langchain%E7%94%9F%E6%80%81">7.2.1 LangChain生态</a></li> <li><a href="#722-%E5%85%B6%E4%BB%96%E5%BC%80%E5%8F%91%E6%A1%86%E6%9E%B6">7.2.2 其他开发框架</a></li> </ul> </li> </ul> </li> <li><a href="#8-%E5%A4%A7%E6%A8%A1%E5%9E%8B%E5%89%8D%E6%B2%BF%E6%8A%80%E6%9C%AF">8. 大模型前沿技术</a> <ul> <li><a href="#81-agent%E6%99%BA%E8%83%BD%E4%BD%93">8.1 Agent智能体</a></li> <li><a href="#82-%E9%95%BF%E6%96%87%E6%9C%AC%E5%A4%84%E7%90%86">8.2 长文本处理</a></li> <li><a href="#83-%E6%96%B0%E5%85%B4%E6%9E%B6%E6%9E%84">8.3 新兴架构</a> <ul> <li><a href="#831-mamba%E7%8A%B6%E6%80%81%E7%A9%BA%E9%97%B4%E6%A8%A1%E5%9E%8B">8.3.1 Mamba状态空间模型</a></li> <li><a href="#832-%E6%B7%B7%E5%90%88%E4%B8%93%E5%AE%B6%E6%A8%A1%E5%9E%8Bmoe">8.3.2 混合专家模型(MoE)</a></li> </ul> </li> </ul> </li> <li><a href="#9-%E8%A1%8C%E4%B8%9A%E5%BA%94%E7%94%A8%E6%A1%88%E4%BE%8B">9. 行业应用案例</a> <ul> <li><a href="#91-%E6%99%BA%E8%83%BD%E5%AE%A2%E6%9C%8D%E4%B8%8E%E5%AF%B9%E8%AF%9D">9.1 智能客服与对话</a></li> <li><a href="#92-%E5%86%85%E5%AE%B9%E5%88%9B%E4%BD%9C%E4%B8%8E%E8%90%A5%E9%94%80">9.2 内容创作与营销</a></li> <li><a href="#93-%E4%BB%A3%E7%A0%81%E7%94%9F%E6%88%90%E4%B8%8E%E7%BC%96%E7%A8%8B">9.3 代码生成与编程</a></li> <li><a href="#94-%E6%95%99%E8%82%B2%E4%B8%8E%E5%9F%B9%E8%AE%AD">9.4 教育与培训</a></li> </ul> </li> <li><a href="#10-%E5%A4%A7%E6%A8%A1%E5%9E%8B%E9%9D%A2%E8%AF%95%E9%A2%98%E8%AF%A6%E8%A7%A3">10. 大模型面试题详解</a> <ul> <li><a href="#101-%E5%9F%BA%E7%A1%80%E6%A6%82%E5%BF%B5%E7%B1%BB">10.1 基础概念类</a> <ul> <li><a href="#q1-%E4%BB%80%E4%B9%88%E6%98%AF%E5%A4%A7%E6%A8%A1%E5%9E%8B%E5%A4%A7%E6%A8%A1%E5%9E%8B%E6%9C%89%E5%93%AA%E4%BA%9B%E7%89%B9%E5%BE%81">Q1: 什么是大模型？大模型有哪些特征？</a></li> <li><a href="#q2-transformer%E6%9E%B6%E6%9E%84%E7%9A%84%E6%A0%B8%E5%BF%83%E7%BB%84%E4%BB%B6%E6%9C%89%E5%93%AA%E4%BA%9B">Q2: Transformer架构的核心组件有哪些？</a></li> <li><a href="#q3-%E8%A7%A3%E9%87%8A%E4%BB%80%E4%B9%88%E6%98%AF%E6%B6%8C%E7%8E%B0%E8%83%BD%E5%8A%9B">Q3: 解释什么是涌现能力？</a></li> </ul> </li> <li><a href="#102-%E6%9E%B6%E6%9E%84%E6%8A%80%E6%9C%AF%E7%B1%BB">10.2 架构技术类</a> <ul> <li><a href="#q4-%E8%A7%A3%E9%87%8A%E6%B3%A8%E6%84%8F%E5%8A%9B%E6%9C%BA%E5%88%B6%E7%9A%84%E8%AE%A1%E7%AE%97%E8%BF%87%E7%A8%8B">Q4: 解释注意力机制的计算过程？</a></li> <li><a href="#q5-gpt%E5%92%8Cbert%E6%9E%B6%E6%9E%84%E6%9C%89%E4%BB%80%E4%B9%88%E5%8C%BA%E5%88%AB">Q5: GPT和BERT架构有什么区别？</a></li> <li><a href="#q6-%E4%BB%80%E4%B9%88%E6%98%AF%E4%BD%8D%E7%BD%AE%E7%BC%96%E7%A0%81%E4%B8%BA%E4%BB%80%E4%B9%88%E9%9C%80%E8%A6%81%E4%BD%8D%E7%BD%AE%E7%BC%96%E7%A0%81">Q6: 什么是位置编码？为什么需要位置编码？</a></li> </ul> </li> <li><a href="#103-%E8%AE%AD%E7%BB%83%E4%BC%98%E5%8C%96%E7%B1%BB">10.3 训练优化类</a> <ul> <li><a href="#q7-%E8%A7%A3%E9%87%8A%E4%BB%80%E4%B9%88%E6%98%AF%E6%A2%AF%E5%BA%A6%E6%B6%88%E5%A4%B1%E5%92%8C%E6%A2%AF%E5%BA%A6%E7%88%86%E7%82%B8%E5%A6%82%E4%BD%95%E8%A7%A3%E5%86%B3">Q7: 解释什么是梯度消失和梯度爆炸？如何解决？</a></li> <li><a href="#q8-%E4%BB%80%E4%B9%88%E6%98%AF%E5%AD%A6%E4%B9%A0%E7%8E%87%E8%B0%83%E5%BA%A6%E5%B8%B8%E8%A7%81%E7%9A%84%E8%B0%83%E5%BA%A6%E7%AD%96%E7%95%A5%E6%9C%89%E5%93%AA%E4%BA%9B">Q8: 什么是学习率调度？常见的调度策略有哪些？</a></li> <li><a href="#q9-%E8%A7%A3%E9%87%8A%E4%BB%80%E4%B9%88%E6%98%AF%E6%B7%B7%E5%90%88%E7%B2%BE%E5%BA%A6%E8%AE%AD%E7%BB%83%E6%9C%89%E4%BB%80%E4%B9%88%E4%BC%98%E5%8A%BF">Q9: 解释什么是混合精度训练？有什么优势？</a></li> </ul> </li> <li><a href="#104-%E5%BA%94%E7%94%A8%E5%AE%9E%E8%B7%B5%E7%B1%BB">10.4 应用实践类</a> <ul> <li><a href="#q10-%E5%A6%82%E4%BD%95%E8%AF%84%E4%BC%B0%E5%A4%A7%E6%A8%A1%E5%9E%8B%E7%9A%84%E6%80%A7%E8%83%BD%E6%9C%89%E5%93%AA%E4%BA%9B%E8%AF%84%E4%BC%B0%E6%8C%87%E6%A0%87">Q10: 如何评估大模型的性能？有哪些评估指标？</a></li> <li><a href="#q11-%E4%BB%80%E4%B9%88%E6%98%AFrag%E5%A6%82%E4%BD%95%E6%9E%84%E5%BB%BArag%E7%B3%BB%E7%BB%9F">Q11: 什么是RAG？如何构建RAG系统？</a></li> <li><a href="#q12-%E5%A6%82%E4%BD%95%E8%BF%9B%E8%A1%8C%E6%A8%A1%E5%9E%8B%E9%83%A8%E7%BD%B2%E5%92%8C%E6%8E%A8%E7%90%86%E4%BC%98%E5%8C%96">Q12: 如何进行模型部署和推理优化？</a></li> </ul> </li> <li><a href="#105-%E5%89%8D%E6%B2%BF%E5%8F%91%E5%B1%95%E7%B1%BB">10.5 前沿发展类</a> <ul> <li><a href="#q13-%E4%BB%80%E4%B9%88%E6%98%AFagentagent%E6%9C%89%E5%93%AA%E4%BA%9B%E6%A0%B8%E5%BF%83%E8%83%BD%E5%8A%9B">Q13: 什么是Agent？Agent有哪些核心能力？</a></li> <li><a href="#q14-%E8%A7%A3%E9%87%8A%E4%BB%80%E4%B9%88%E6%98%AF%E6%B6%8C%E7%8E%B0%E8%83%BD%E5%8A%9B%E7%9A%84scaling-law">Q14: 解释什么是涌现能力的scaling law？</a></li> <li><a href="#q15-%E5%BD%93%E5%89%8D%E5%A4%A7%E6%A8%A1%E5%9E%8B%E9%9D%A2%E4%B8%B4%E5%93%AA%E4%BA%9B%E6%8C%91%E6%88%98%E5%92%8C%E5%8F%91%E5%B1%95%E8%B6%8B%E5%8A%BF">Q15: 当前大模型面临哪些挑战和发展趋势？</a></li> </ul> </li> </ul> </li> <li><a href="#-%E5%AD%A6%E4%B9%A0%E5%BB%BA%E8%AE%AE">📚 学习建议</a> <ul> <li><a href="#%E5%85%A5%E9%97%A8%E8%B7%AF%E5%BE%84">入门路径</a></li> <li><a href="#%E8%BF%9B%E9%98%B6%E6%96%B9%E5%90%91">进阶方向</a></li> <li><a href="#%E5%AE%9E%E8%B7%B5%E8%B5%84%E6%BA%90">实践资源</a></li> </ul> </li> </ul> </li> </ul> </details> <h2 id="1-大模型概述与发展历程">1. 大模型概述与发展历程</h2> <h3 id="11-什么是大模型">1.1 什么是大模型</h3> <h4 id="111-大模型定义与特征">1.1.1 大模型定义与特征</h4> <p><strong>大模型(Large Language Model, LLM)</strong> 是指参数规模达到十亿级别以上的深度学习模型，特别是基于Transformer架构的语言模型。</p>