知是行之始，行是知之成。 ——王阳明
1.总纲
2. 按照步骤讲解
1、什么是提示词(prompt)
提示词是一段文字指令，用来引导大模型（如ChatGPT）理解需求。
2、什么是提示词工程
提示词工程是通过设计、优化输入指令（Prompt），引导大语言模型（LLM）生成更符合预期输出的技术。其核心在于：
-
控制输出：通过结构化指令减少模型的随机性。 -
激发能力：解锁模型在特定任务（如推理、创作、分析）中的潜在表现。 -
对齐意图：将人类需求转化为模型可理解的表达。
3、什么是token
在自然语言处理（NLP）中，token 是模型处理文本的最小单位。
1.token化
-
将输入文本拆分为模型可理解的离散单元（如单词、子词、符号） -
例如：句子 "ChatGPT is powerful!" 可能被拆分为 ["Chat", "G", "PT", " is", " powerful", "!"]（具体分词方式取决于模型的分词器）。
2.token意义
-
模型通过 Token 的序列理解上下文关系，并基于概率预测下一个 Token
3. token限制
-
模型对输入和输出的 Token 总数有上限（如 GPT-4 支持 8k/32k/128k Tokens）。 -
Token 数量直接影响模型的计算量和 API 调用费用 -
每个 Token 承载的语义信息不同（如标点符号 vs 专业术语）。
4、token与提示词关系
1. 提示词是 Token 的序列
-
提示词会被分词器（Tokenizer）转换为 Token 序列，模型基于这些 Token 生成输出 -
例如：提示词 “写一首关于秋天的五言绝句” → Token 序列 [写, 一首, 关于, 秋天, 的, 五言, 绝句]。
2. token 数量决定模型的“视野”
上下文窗口：
模型能处理的 Token 总数限制（如 4096 Tokens），超出部分会被截断。提示词越长，占用 Token 越多，留给输出的 Token 越少。
位置敏感：
模型对 Token 的位置编码敏感，关键指令应靠前放置（避免被截断）。
注意力权重：
自注意力机制中，不同 Token 的权重不同。示例：在提示词中重复关键 Token（如“代码、Python、高效”）可强化模型关注点。
5、什么是LLMs
1. 什么是大模型LLM
大模型是指参数量巨大（通常达到数十亿甚至数千亿）的语言模型，它们基于深度学习技术（尤其是Transformer架构），能够理解和生成人类语言。
典型代表：OpenAI的GPT系列（如GPT-3、GPT-4）、Google的PaLM、Meta的LLaMA、Anthropic的Claude等。
2. Transformer架构
-
自注意力机制使模型能够捕捉Token之间的长距离依赖关系 -
Transformer的并行计算能力使其能够高效处理大规模数据
3. 大规模预训练
-
大模型通过大规模无监督学习进行预训练(生成下一个token)
4. 参数规模
-
大模型的参数量通常在数十亿到数千亿之间
例如，GPT-3有1750亿参数，更大的参数量意味着模型能够存储更多的知识
5. 上下文窗口
-
大模型能够处理长文本序列，上下文窗口（Context Window）决定了模型能够同时处理的Token数量
例如，GPT-4的上下文窗口扩展到32K Token。 长上下文窗口使模型能够更好地理解复杂的任务和长文档
6. 微调与对齐
-
预训练后，大模型可以通过微调（Fine-tuning）或对齐（Alignment）适应特定任务或人类偏好 -
微调：在特定数据集上进行有监督学习，优化模型性能 -
对齐：通过人类反馈强化学习（RLHF），使模型输出更符合人类价值观
6、从prompt到输出经历哪些步骤
-
1、用户输入指令(prompt) -
2、指令预处理
文本清洗：去除乱码/敏感词
-
3、向量编码
分词：将句子拆解为token（如"深度学"+"习"）：向量化：每个token转为n维数学向量;位置编码：标记词语顺序
-
4、LLM计算
注意力机制： 1、找出关键词（类似人类阅读时高亮重点） 2、知识检索：激活相关记忆区块（如问「量子计算」则加载物理知识树） 3、逻辑推理：执行if-then判断（如检测到"对比"指令则启动比较模块）
-
5、内容生成层
文本解码：将数学向量转回文字
-
6、结果优化层
格式美化：自动添加Markdown
-
7、交付响应层
交互设计：添加操作按钮（如"精炼答案"/"展开案例"）
7、提示词工程技术
很强的提示词文档：https://www.promptingguide.ai/zh/techniques/cot
8、注意
1、提示词本身无记忆
每次输入都是独立事件
2、会话级短期记忆
连续对话时自动保留上下文（最长约4000字）
3、长期记忆需定制
通过「记忆库+向量检索」实现（需开发接口）
3. prompt实战总结
后期会出相关提示词与大模型工程的开发，敬请期待。
