你每天用的对话模型，背后有一连串问题：文字怎样变成模型能处理的东西，模型从什么数据中学习，为什么换一种训练方式会改变回答，又怎样知道它真的做得更好。
大语言模型从文本中学习表示与生成规律，通过指令、示例和上下文处理问答、摘要、代码等任务。数据、模型结构与训练方法共同影响这些能力；到了使用阶段，上下文怎样组织、推理计算怎样分配，也成为研究的一部分。
- 数据与训练：数据配比、训练目标、模型规模与计算分配。
- 模型行为：指令、偏好、奖励与推理过程中的搜索。
- 结构与效率：上下文表示、网络设计及训练和推理开销。
- 01文字 → tokens
- 02表示与注意力
- 03下一个 token 的分布
- 04选择 token 并接回输入
发展路线与代表工作
- 2017
- 2018
- 2020
- 2022
关键概念
- Token / 分词单元
- 模型处理的离散片段，可以是一个词、一个字或词的一部分。相同文字在不同 tokenizer 下可能有不同长度。
- 自回归
- 每次根据已有上下文预测后续 token，再把新 token 接回上下文继续生成。训练时可以并行计算多个位置的预测。
- 预训练与后训练
- 预训练建立基础能力；后训练在此基础上调整任务能力或行为。指令微调和偏好学习是常见后训练方法。
- 上下文学习
- 把说明和示例放进输入来改变表现，这次使用不更新模型权重。它不同于用这些示例微调参数。
分词、表示与模型结构
文本经过 tokenizer 转成 token 序列，再映射成向量。Transformer 用 Attention 组织不同位置之间的信息，自回归语言模型根据已有上下文预测后续 token。BERT 则通过预测被遮住的内容学习双向表示。模型结构与训练目标的不同，带来了不同的语言表示和使用方式。
Hugging Face LLM Course 介绍模型、tokenizer、数据处理与微调；LLMs from Scratch 配合代码实现分词、Attention 和语言模型训练。CS224N 围绕自然语言处理讲解语言表示、神经网络与具体任务。相关数学与深度学习内容见学习基础知识。
预训练与 Scaling
预训练把大量数据转化为模型参数。数据的来源、质量和配比，模型规模、训练目标与计算预算，都影响模型学到什么。Scaling 研究这些因素与模型表现之间的关系，也涉及怎样用较小规模的实验判断更大规模训练的选择。
Stanford CS336（2025） 围绕语言模型的实现与训练，覆盖分词、模型、数据处理、Scaling 和训练系统，配有实现作业。pretrain 和 scaling 作为一种方法论和科学观讨论训练规模、数据、稳定性与问题选择；Scaling 相关笔记还包括实验组织与外推。
后训练与推理
后训练利用示范、偏好或奖励调整模型的行为。指令微调学习如何响应要求，偏好学习与强化学习进一步利用回答之间的比较或任务反馈。LoRA 从参数更新方式入手，减少适配模型时需要训练的参数量；奖励、策略梯度与优化方法则与强化学习相连。
推理阶段的研究涉及上下文、搜索、验证和计算分配。同一个模型可以产生多个候选、调用外部工具，或根据反馈修改答案；相应的时间和计算成本也会变化。工具交互见 Agent，图像与语言的结合见多模态。
计算与专题资料
长上下文、缓存、数值精度和硬件决定了训练与推理的开销，相关方法见效率与系统。位置编码与优化器的推导见科学空间选文；经典工作的讲解见李沐论文精读。更多课程与项目见LLM 资料目录。
模型家族与技术报告
模型的技术报告将架构、数据与训练选择放在同一项工作中讨论，系统卡还包含能力评测与模型行为分析。
腾讯 · 混元
- Hunyuan-Large ↗2024 · 技术报告
MoE 架构、数据合成和训练扩展。
小米 · MiMo
- MiMo ↗2025 · 技术报告
预训练与后训练怎样共同改善推理。
- MiMo-Audio ↗2025 · 技术报告
语音表示、音频语言建模与语音任务评测。
- MiMo-V2-Flash ↗2026 · 技术报告
模型架构、注意力设计与推理效率。
字节跳动 · Seed
- Seed1.5-Thinking ↗2025 · 技术报告
推理强化学习、训练稳定性与能力评测。
月之暗面 · Kimi
- Kimi K2 ↗2025 · 技术报告
MoE、优化器与大规模工具交互训练。
- Kimi K2.5 ↗2026 · 技术报告
视觉与语言训练、工具使用和并行 Agent。
DeepSeek
- DeepSeek-V3 ↗2024 · 技术报告
MoE、MLA、负载均衡与 FP8 训练。
- DeepSeek-R1 ↗2025 · 技术报告
推理强化学习、冷启动数据与蒸馏。
- DeepSeek-V3.2 ↗2025 · 技术报告
稀疏注意力、推理强化学习与 Agent 任务合成。
- DeepSeek-V4 ↗2026 · 技术报告
混合压缩注意力、长上下文与后训练流程。
阿里巴巴 · Qwen
- Qwen2.5 ↗2024 · 技术报告
预训练数据、指令微调与不同规模模型的能力。
- Qwen2.5-VL ↗2025 · 技术报告
动态分辨率、视频理解与视觉定位。
- Qwen3 ↗2025 · 技术报告
稠密与 MoE、思考模式、多语言和蒸馏。
- Qwen3-Omni ↗2025 · 技术报告
文本、图像、音频和视频的统一处理。
MiniMax
- MiniMax-01 ↗2025 · 技术报告
Lightning Attention、MoE 与长上下文。
- MiniMax-M1 ↗2025 · 技术报告
长上下文推理与测试时计算。
智谱 · GLM
Google DeepMind
- Gemini 1.5 ↗2024 · 技术报告
长上下文检索、跨模态理解与百万 token 评测。
- Gemini 2.5 ↗2025 · 技术报告
推理、多模态与 Agent 能力的训练和评测。
OpenAI
Anthropic
- Claude Sonnet 4.5 ↗2025 · 系统卡
编码与 Agent 评测、对齐及模型行为测试。
Meta AI
- Llama 3 ↗2024 · 技术报告
数据配比、预训练、后训练和大规模训练基础设施。