大模型在推荐场景中的实践与探索 1.0 版本

5 月份受邀去参加 msup 人工智能创新峰会的分享，探讨主题是 AI 在企业内规模化落地，此次笛子分享的主题是「大模型在推荐场景中的实践与探索」，主要内容拆分为 4 部分：

• 大模型驱动的 AGI 时代
• 推荐业务传统方法论
• 推荐业务大模型实践与探索
• 拥抱 AGI 时代

第一部分想和大家一起先以观察者视角穿越人工智能时代观察发生了哪些变化？第二部分基于过去在 MAU 亿级内容推荐社区总结的业务方法论进行分享；第三部分总结下过去我们在大模型结合推荐业务方向的实践和探索进行交流，最后想留一个命题一起探索，AGI 时代下个体该如何演化？君子不器，一起学习如何借鉴大自然进化的智慧探索自己的人生命题。

另外，这里是「笛笛@搜推广&AI开源实验室」，我们期望通过「系统理论 + 实践反馈」将策略产品内在的「知行体系」从欠拟合 or 过拟合状态，向拟合态靠近，我们关注策略产品专业，更关注如何更好的生长，文末附笛子私信方式，感兴趣的朋友欢迎关注麦思博（msup）公众号和笛笛的频道一起交流 AI 落地相关的话题。

一、大模型驱动 AGI 时代

首先，我们先看下智能时代发生了哪些变化。在 1990~2020 期间，这二三十年期间，移动互联网高速发展，作为用户缺的不是信息，而是如何高效的筛选信息，以搜索、推荐为关键技术提升生产、消费双边匹配效率，创造市场经济增益；

最近几年我们频繁听到大语言模型快速崛起的信息，我们知道大模型具备规模法则，伴随大模型训练语料规模、模型参数规模、训练算力规模的增加，模型会呈现出以往小规模模型中不具备的能力，被称之为大模型的涌现，这种“智力涌现”对人类社会具备重要的意义，相当于“碳基生物”外装了“硅基生物”第二外脑，演化成为了新物种，有更高效的生产力去实现自己的创意和想法。

这里和大家分享人工智能经济学发展规律的观察，如果用一个公式抽象互联网时代经济学发展轨迹，前 AGI 时代可以总结为 F（供给总量，流动速率）-> 经济增益，也就是我们前文提到的，以搜索、推荐为关键技术，提升了用户需求和内容供给的匹配效率。而 AGI 时代，什么要素发生了变化？AI 极大降低了物料的生产成本，极大扩充了供给总量，在供给提升情况下，匹配效率、信息流动速率也会得到提升。

二、推荐业务传统方法论

先聊一聊内容推荐业务的传统方法论，这里先说一下内容平台运行的基本原理 「飞轮效应」。这里有 4 个核心要素，首要素是用户需求，我们需要先明确内容推荐平台满足的是哪部分用户的需求，如快手目标用户以三四线城市用户居多，用户更多集中在 25-34 年龄段，而抖音目标用户以一二线年轻用户 95、00 后居多；第二要素是生产供给，根据用户需求针对性生产内容，激励创作；在一定用户规模及内容沉淀的基础上后，平台需要找到商业变现模式（广告、会员等）创造营收；那最后一个要素是用户增长了，在一定营收规模之上，可以将资金投入市场引入目标用户，实现更快速的规模增长。

基于「飞轮效应」平台可以构建业务和团队体系。自顶向下来看包括产品战略、业务目标体系、策略方法论，包括宏观层供需匹配框架、资源 ROI 排序，微观层的假设驱动、数据建模等方法；在团队能力上，包含通用能力及专业能力构建。

在产品战略方法层，我们可以将内容推荐平台抽象为 3*2 的矩阵，这里 3 指的是用户、创作者、商家三个角色，2 代表体验、生态两个维度。

• 用户视角：平台需通过用户基础社会属性、行为挖掘，提升内容分发的准确性，提升用户消费体验；在用户生态视角，需要提升曝光分布多样性，保障低质内容曝光占比不超过一定比例，同时把控内容安全性；
• 创作者视角：在创作体验层，持续提升创作者问题解决效率，提升创作者留存和活跃度；在生态视角，避免流量倾斜集中在部分等级创作者上，影响整体创作者生产积极性；
• 商家视角：在体验层，不断通过引入客户、提升流量效率提升客户商业收入；在生态结构上，关注分行业客户结构，鼓励优质客户、商家成长；

在产品战略实践层，我们可以将产品阶段拆分为引入期、成长期、成熟期、衰退期。在引入期间，核心战略考量是用内容换用户，平台需要有足够的内容去满足用户需求，在市场上找到 PMF 定点；在成长期和成熟期，更多是用效率换增长和用数据换收入的阶段；在产品衰退期，核心是侧重在用户消费体验层，用时间探索业务发展的第二曲线。

在业务目标上，需要从战略层、战术层、执行层构建起完整的目标体系。如当前业务北极星目标是用户留存率，在过程指标上，需要制定能指向北极星指标提升的指标，如人均点击率、人均阅读时长等，这些指标通常和结果指标具备 ab 一致性、因果性，同时满足及时性、反作弊、相关性的原则，这一层为战术层考虑；在策略层及执行层，可以基于过程指标拆解业务可实现的动作，如提升人均阅读时长可以通过用户需求做分层，满足不同类别用户需求提升阅读时长，此外，也可以提升预估时长模型的准确性，这部分同时也拆分到和产品、运营、算法等团队的合作上，共同推进达成结果。

目标体系设计原则考量：

• 相关性（Relevant）：过程指标与结果指标具备强相关性 or 因果性
• 及时性（Timeliness）：能够快速反馈业务/项目的现状，即业务引领性目标
• 反作弊（Anti-cheat）：避免指标可以通过 Hack 的方式被快速拉升

在策略方法论宏观层，首先我们来看看供需匹配框架。从用户需求视角看，不同个体基于自身社会属性、认知基线以及所处的时空场景，用户需求集合也会存在差异，如用户在上午乘地铁去上班和下班后躺着沙发上有大片时间时，喜欢看的推荐内容也会有差异；在内容供给上，可以拆分内容领域、内容载体（文字、图文、视频等）、内容风格（表达方式、情感倾向等），平台可以基于用户需求匹配分发对应的内容供给，用户看到推荐内容后，更新对产品的价值认知，平台又可以基于用户行为反馈持续迭代产品策略。

在明确用户需求和内容供给匹配之后，还有还有一个重要问题，生产和消费目前的现状表现如何？是供不应求还是供过于求？这决定着我们的资源分配应该往哪个方向走。这里可以借鉴经济学供给价格弹性思路进行测算，如采用离线模拟、在线 AB 验证等方式，假设随机 Drop m% 内容产量，观测对消费端影响，假设抽样掉 m% 内容后用户需求数据不会产生任何变化，说明供过于求，这个时候需要引入更多用户，而不是把重心放在内容生产上；假设降低 m% 内容，用户需求数据降低，说明供不应求，且不同领域内容，假设同样降低 m%，对用户需求数据降低影响更多的领域，说明用户对此领域需求程度更强烈；

在资源 ROI 排序层，站在上帝视角，理论上会存在不同时空 ROI 排序的最优解，处于不同时空的策略最优解会不断变化。在人类视角，受限于很多生物因素，其实很难计算出最优解，但可以无限逼近。例如，在内容推荐平台上，我们可以将业务动作拆分为基本盘、探索盘，业务基本盘按照投入产出比排序即可，探索盘是基于业务发展阶段、技术发展趋势、环境政策趋势等，判断目前市场上的机会，类似德州扑克（老赌徒），判断目前的赔率和期望值，假设不做探索盘投入或者轻投入，在市场上的位置可能发生的变化，如果投入少，大概率会处于防御者、抗衡者的位置，那就会很被动，不如主动出击，博一博。

在策略方法论微观层面，首先是以假设驱动，服务于实际业务落地拿到结果。假设驱动核心思路可以总结为「事实输入」-> 「构建假设」-> 「假设验证」-> 「反馈迭代认知」，而这里有一个关键问题是如何提出一个“靠谱的假设”？提出一个“靠谱”假设的基础是「合理的产品推理逻辑链」，核心是从事实信息、子假设提炼业务判断的能力。在每一步假设中，通过数据分析、用户调研、用户 case 评估等方式验证假设成立的概率，保障假设成立的高确定性，可以提升业务判断的成功率。对于事实、假设可以从哪些视角寻找信息？

• 事实：可以来自行业的知识、过去产品实验的认知总结、产品数据分析、用户反馈、调研等信息；
• 假设：假设需要有依据和相关合作方的认可，可以基于当前业务上的数据分析、用户 case 案例主观评估以及结合行业的经验&趋势提炼对当前业务的假设，核心是通过各类渠道的信息输入保障假设成立的概率大‘

微观层方法另外部分是数据建模，核心思路是将待解问题抽象为输入和输出进行求解。例如小笛接到组织和领导的任务要提升小某书推荐双排流的在线时长，接到这个问题的时候很多同学可能会一脸懵，不知道应该怎么处理。这里我们可以借鉴数学建模的思路。将推荐双排流的 Input 抽象为：

• 内容维度：多样性、内容载体（文字、图片、视频等）、商业内容和自然内容占比
• 用户视角：兴趣匹配、兴趣探测

业务输出 Output 为推荐流的消费时长、总 CTR 等指标，剩下需要解决的问题是如何将业务输入因子进行排列组合，通过数据分析指向推荐流消费时长最大化，研究需要如何做业务组合。

在团队能力模型层，可以拆解为通用能力和专业能力层。在通用能力维度，主要包含行业研判力、商业平衡力、客户洞察力、产品专业力等，需要产品同学保持对行业竞品动态追踪、技术趋势的判断、对客户价值锚点的识别以及对利益相关协同者的沟通推进。在专业能力模型上主要包含数据分析、用户理解、系统认知、推动力 4 个维度：

• 数据分析：建立数据驱动决策的思维、数据分析的硬技能、数据归因的思路方法以及数据报告的解读；
• 用户理解：产品通过创造用户价值来实现商业价值，在这个过程中，用户是核心，产品需要掌握用户运营方法，以用户为中心，在用户使用产品遇到问题时，知道如何提升用户基础体验；
• 系统理解：对搜索、推荐底层运行机制、大模型原理及应用的了解；
• 沟通管理：理解不同决策相关人的立场，从而协调平衡不同人的诉求，从而尽可能保障产品迭代的正常推进；

​

​

三、推荐业务大模型实践与探索

在推荐结合大模型实践和探索方向，我们先看推荐系统背景，推荐系统的技术核心是基于用户行为的协同建模，基于用户与物品之间的行为关系进行预测。

大模型已经成为 AI 新范式，ChatGPT 发布以来，大模型成为人人熟知的名词，它为 NLP 带来了新范式，即预训练模型 + 微调 + Prompt 模式。这一模式取得了非常惊艳的效果。

推荐为什么要用大模型？从推荐角度看，核心是构建 User 和 Item 之间的匹配关系，User 个体行为丰富，与外界有很多关联，Item 在客观世界中也具备丰富特性，而传统推荐系统，模型训练的数据是封闭、结构化、经过筛选。难以学习到开放世界的外部知识，会导致对用户、物料的理解不到位，模型泛化能力差等问题。因此，概括来说，LLM 给推荐系统带来的机会主要围绕以下几方面：

• 表示：利用大模型的表示能力，完善物品理解、用户建模。传统的推荐系统都是基于 ID 的，也就是每个新来的 Item 都必须具备一个 ID，然后根据这个 ID 去学习 Item 的表征，最后通过学习到的表征去做推荐。但是如果存在一个通用模型能够把语言理解的非常好，可以考虑把 ID 去掉，然后直接通过语言去描述 Item，直接得到 Item 描述的文本表征作为 Item 的表征；
• 泛化：少/零样本推力、跨域泛化能力、世界知识… 目前这一领域开展的工作可以总结为两个方向：
• 使用文本统一标识，解决依赖 ID 的问题，这样就可以忽略 cross domian 和 costar 这样的问题，包括很多长尾问题也可以得到很多的解决。
• 使用 Prompt 统一任务，这样就可以做到 Open Ending Task，使用训练好的语言模型去做大跨域，最终得到一个 open ending task and domains 的基础模型。
• 生成：个性化内容生成、生成式推荐… 整合用户历史行为（如点击、购买、评论等）和 LLMs 生成用户偏好的物品；

展开来看，我们在大模型结合推荐方向上的实践主要围绕几个方面：

• 机会 1：用户交互范式的改革 —— 基于对话式的推荐。传统的推荐算法与用户的交互较为缺乏，难以及时有效把握用户兴趣。基于对话的推荐系统能够与用户深度互动来了解用户兴趣；

• 机会 2：LLM  扩展可推荐物料供给。

​

• 机会 3：基于 LLM 模拟推荐候选数据集。结合用户历史行为，通过 LLM 构建以用户历史消费为基础的「行为兴趣」拓展推荐数据集；

​

• 机会 4：基于 LLM 构建更精准的用户、内容理解体系。
• 机会 5：负责任的推荐系统，更智能、可解释性、公平性、多样性、可信性。

有关未来大模型时代推荐系统的展望，这里可以拆分为推荐前、中、后几个阶段：

• 推荐前：
• 推荐系统人机对话新范式
• 构建新场景下可靠的大规模数据集
• 推荐中：
• 加强用户画像，整合多源多模态数据支撑个性化
• 持续优化 LLM 自身，提升理解和生成能力
• 指令学习、端到端学习等模型学习范式研发
• 推荐与商业业务深度整合，提供定制个性化产品与服务
• 推荐系统公平性、可解释性优化
• 推荐后：
• 反馈学习、反思
• 扩展自动评价体系

​

四、拥抱 AGI 时代

有关人工智能经济学观察，这里分享几则 Sam 之前发布有关人工智能经济学的观察：

1）The intelligence of an AI model roughly equals the log of the resources used to train and run it

2）The cost to use a given level of AI falls about 10x every 12 months, and lower prices lead to much more use

3）The socioeconomic value of linearly increasing intelligence is super-exponential in nature

未来伴随着人工智能智力程度的提升以及使用成本的降低，会带来更多用户的使用，这部分增长带来的社会经济价值本质上是超指数的。

而有关产品、组织的范式我们也观察到一些变化。产品价值进入重构时代，一些关键词，人机协作的新范式、生产效率提升、生产关系、价值分配机制的重塑，这对我们个体/组织创造价值也带来很多启发，如果要从市场上找到一些定点切入，我们判断机会空间上，改变供给 > 需求扩展 > 塑造连接。

在组织形态上，借鉴詹森企业生产函数：Q = Fr(L,K,M,C:T) 进行研究。企业产量 Quantity 是变量 Rules 外部规则的函数，给定一组外部规则，存在一个约束的产出边界。外部规则是政治、法律、社会、地理等外部环境决定的游戏规则。在外部规则 r 给定前提下，企业产量 Q 主要是变量 T（technology，技术）函数，给定一种生产技术时，存在一个生产技术约束产出边界。而当前，大模型等 AI 新范式的出现，核心概念的是 T 这个要素，极大提升了生产效率，未来组织形态上，我们观察也会由过去的科层式组织进化为协作型组织。

在产品经理升级能力模型上，判断力、思考力的价值会被更大程度的放大，我们需要投入更多时间研究如何进化为“人机共生”物种，将更多的精力投入在发现、提出问题上，构建产品系统解决方案，将更多执行层工作交给 AI 来做，未来畅想下，AI 可能会像晶体管等底层基础建设，而 AI Agent 则像各个领域的专家，当我们有很多想法、创意需要实现时，我们可以协同这些 Agent 同事一起组队，快速验证想法，这样可以极大提升生产力。

​

最后一部分夹带点私货，一起探讨下个体在 AGI 时代下应该如何进化？我个体的答案在目前阶段总结为一个关键词：君子不器。我们能随时再把自己再捏回成一团泥，根据环境的需求变成有所需要的形态，快速实现自我迭代，改变自己的思维模式。就像自界进化从不是追求“最优解”，而是探索“可能性”那样，我们个体的出路或许是效仿生命最初的智慧，保持开放、创造联结。所以，期待也欢迎大家一起多交流~

这里是笛笛@搜推AI实验室，欢迎链接到我，一起交流探索。

附录

有关于笛子，老研发背景出身、4 年商业化、推荐策略产品经验，1 年组长管理经验。负责 MAU 亿级内容社区消费增长｜千万级商业 项目变现，专注在搜推&AI 方向理论体系搭建及企业应用实践，日常喜欢人工智能、骑行和阅读~

主打体验&经历  大家有策略产品职业发展问题期待多交流~（WeChat：Hudidi02）

​

​

​