Lukan's Blog

今天继续分享一篇大模型在推荐系统中的落地应用工作，是快手今年5月份发表的论文《Knowledge Adaptation from Large Language Model to Recommendation for Practical Industrial Application》。
太长不看版：
这篇文章主要做了两个工作：

今天分享一篇小红书今年3月的论文，介绍了大语言模型在小红书笔记推荐场景下的落地应用，主要是围绕如何利用LLM的表征能力来生成更适用于i2i召回的文本embedding，思路简单，落地也容易，个人觉得实践价值非常高，值得学习。

作为一个0基础的小白，在过去的一年我也参加了若干场nlp相关的比赛，期间也学习了很多的trick，这些trick其实都有很多单独的文章介绍了，这里的话我主要做一个整合工作，结合自己比赛时的使用经验分享给大家，希望能够对大家的比赛或工作能够有帮助，这些trick并不局限于文本分类任务，对于一些更广泛的nlp场景，或者多模态和cv任务有的也都能够有不错的效果。

transformer自诞生以来，基本上在每个领域都取得了非常大的成功，如nlp领域的Bert、GPT，cv领域的ViT，swin transformer，推荐系统领域的autoint，behavior sequence transformer，还有时序里面的tft、informer，以及强化学习也搞了个Decision Transformer，而这些都源自于谷歌团队在2017年提出的这篇文章《Attention is All you Need》，本着阅读经典，顺便复习面经的精神，这次我们就来阅读transformer这篇论文，深入到每一个细节之中，确保对这个模型知根知底，当然，具体在写的时候不会严格按照原文来，而是按照我自己的想法来进行组织的。

最近Otto的比赛完结了，总结学习一下奖金区的方案，顺便在文末放自己一份单模在榜单上能排大概22名的代码