Inference

📖 什么是推理（Inference）？

Inference（推理）是指使用已训练好的AI模型进行预测或生成的过程。这是模型「上岗工作」的阶段。

简单说：训练 = 学习知识，推理 = 应用知识。当你在ChatGPT输入问题，它生成回答时，就是在进行推理。

💡 一句话理解

🆚 训练 vs 推理

⚙️ 推理过程详解

LLM推理的核心过程是自回归生成：

用户输入: "今天天气"
   ↓
模型预测下一个token: "很"
   ↓
当前序列: "今天天气很"
   ↓
模型预测下一个token: "好"
   ↓
最终输出: "今天天气很好"

每生成一个token，模型都要：

💻 代码示例：使用OpenAI API进行推理

import openai

# 推理请求
response = openai.chat.completions.create(
    model="gpt-4",  # 使用已训练好的模型
    messages=[
        {"role": "user", "content": "什么是量子计算？"}
    ],
    temperature=0.7,  # 控制推理的随机性
    max_tokens=500    # 限制推理输出长度
)

print(response.choices[0].message.content)

🚀 推理优化技术

🔗 相关术语

LLM（大语言模型） · 量化（Quantization） · Token（词元） · Temperature（温度） · KV Cache（键值缓存） · 投机解码 · Context Window（上下文窗口）