目录

一、摘要

关键词

二、介绍

一、摘要

随着在线购物、视频观看等网站内容页面和交互按钮的增多，工业级推荐系统面临多领域多任务推荐的挑战。多任务多领域推荐的核心在于基于多元用户行为，精准捕捉用户在多场景下的兴趣。本文提出一种即插即用的参数与嵌入个性化网络（PEPNet），用于多领域多任务推荐。PEPNet以个性化先验信息为输入，通过门控机制动态调整底层的嵌入层和顶层的DNN隐藏单元。

嵌入个性化网络（EPNet）对嵌入层进行个性化选择，融合多领域中针对不同用户具有不同重要性的特征。参数个性化网络（PPNet）对DNN参数执行个性化调整，平衡多任务中面向不同用户的稀疏目标差异。结合快手训练框架与线上部署环境，该方案进行了一系列专项工程优化。

通过注入嵌入层的个性化选择和DNN参数的个性化调整，PEPNet针对每个用户的兴趣定制模型，在多个领域的多任务指标上实现显著性能提升，线上效果涨幅超1%。目前该模型已部署于快手应用，每日服务超3亿用户。

关键词

Multi-Domain Learning → 多领域学习
Multi-Task Learning → 多任务学习
Personalization → 个性化
Recommender System → 推荐系统

二、介绍

传统推荐模型通常聚焦于单一领域（如点击率预测）的单一任务预测，其训练数据来自单一领域，且仅服务于单一任务的预测需求。然而实际应用中，推荐需求分散在不同场景下。随着内容页面数量增长，推荐系统面临数据碎片化分布于多领域的核心问题。例如淘宝平台包含"猜你喜欢"（预购阶段）、"再选一次"（购买中）、"购后猜你喜欢"（售后阶段）等场景；快手平台则存在"精选视频页"、"双列发现页"、"单列滑动页"等多样化场景。

平台页面通常设计多种交互按钮以获取用户反馈，为提升体验，推荐系统需捕捉用户多样化的行为偏好，建模用户在多任务中对不同目标的交互概率。例如快手平台提供的交互目标包括点赞、关注、转发、收藏、评论等多种行为类型。这种多领域多任务的特性要求推荐系统突破传统单领域单任务的局限，实现跨场景的协同建模与预测。

由于不同场景中存在用户和商品的重叠，多领域之间存在共性。而不同目标在功能上相互关联，因此多任务间存在依赖关系。为每个领域的每个任务单独训练模型不仅在部署成本和迭代效率上不可接受，且未能充分利用全部数据，忽视数据间的共性会导致次优性能。然而直接混合所有数据并用统一模型训练又会忽略领域与任务间的差异。无法对不同语义和重要性的特征进行对齐与融合，会因多场景下用户行为和候选商品的不同分布导致"领域跷跷板效应"[25]。由于不同目标具有显著稀疏性且相互影响，无法平衡多任务中相互依赖的目标会导致"任务跷跷板效应"[27]。

当前，多领域学习和多任务学习在推荐系统中已取得重大进展[5,23,30-32]。但在实际应用中，不能简单地将多领域或多任务学习方法直接复用于多领域多任务联合场景。多领域方法关注不同领域下特征语义的对齐，却忽视了多任务设置中标签空间的目标依赖关系；多任务方法关注不同任务的目标分布拟合，却忽略了多领域设置中特征空间的语义差异。如图2所示，相比单独的多任务学习或多领域学习，实际应用中多任务学习与多领域学习同时发生且更为复杂：一方面，同一任务不同领域与同一领域不同任务间的特征语义及重要性存在差距；另一方面，同一领域不同任务与同一任务不同领域间的目标稀疏性和相互依赖程度各异。区别于任务跷跷板和领域跷跷板现象，这种双重不完美跷跷板现象会随领域和任务数量增加在工业级推荐系统中愈发严重。

由于实际工业应用对高效率和低成本的要求，亟需即插即用网络来解决多领域多任务的挑战。个性化建模是推荐系统的核心，增强模型个性化有助于捕捉用户在不同情境下对商品的偏好程度。多领域多任务设置可视为用户在不同情境下与商品的互动，因此更精确的个性化估计能缓解双重不完美跷跷板问题。但若仅将个性化先验信息作为底层输入，其信号经过深层网络传递至顶层后效果会大幅衰减。如何在正确位置以恰当方式将个性化先验注入模型至关重要，尤其对于多领域多任务场景更值得探索。

针对多任务和多领域推荐问题，提出了一种参数与嵌入个性化网络（PEPNet），通过增强个性化机制充分挖掘任务间关联并消除领域偏差。相较于现有多任务学习[18,27]和多领域学习[13,25]方案，PEPNet采用即插即用设计，通过门控机制动态调节模型底层嵌入层和顶层DNN隐藏单元，分别对应领域特定的嵌入个性化网络（EPNet）和任务特定的参数个性化网络（PPNet）。

嵌入个性化网络（EPNet）在底层注入领域特异性个性化信息生成个性化嵌入门控，对跨领域原始嵌入实施个性化筛选获得定制化嵌入表示。参数个性化网络（PPNet）将用户与物品的个性化特征与各任务塔DNN输入拼接，通过门控分数与DNN隐藏单元进行逐元素乘积，实现模型参数的个性化调整。通过将个性化先验映射至0-2的缩放权重，EPNet为多领域用户动态分配特征重要性，PPNet则为多任务用户平衡稀疏目标差异。

本工作的创新点可归纳为：

• 提出端到端个性化网络PEPNet，具备高效、低部署成本与即插即用特性，可嵌入任意推荐模型。在工业级短视频数据集上的实验表明，该方法能有效缓解"双重跷跷板"效应。

• 在快手推荐系统实现规模化部署，服务超3亿日活用户。线上AB测试显示观看时长提升超1%，多项交互指标增长约2%。该方案具有普适性，其工程实践经验可为业界提供参考。

本篇论文摘要和介绍部分就先到这里，下篇文章会详细介绍网络架构。

传送门：推荐系统分享系列-PEPNet(Parameter and Embedding Personalized Network)(二)