推荐算法的“前世今生”

算法分发、编纂分发、社交分发……在信息时代，人们经常商议信息分发问题，相关概念也成为大热名词。

但事实上，信息资源一向在人类的进化和成长中占有着主要位置。社交分发是最陈旧的分发体式，编纂分发也比我们想象得更早。

而当我们把算法分发置于人类社会信息分发的汗青长河中，便能清楚地看到它的“前”与“后”——从这个角度来看，新颖的算法介绍，其实也不新颖。

亘古的信息分发问题

信息分发，是一个亘古问题。

不妨从一个有趣的联想起头：在人类文明早期，群居的祖先们依靠采集和狩猎生存。因为狩猎是一个非常危险的手艺活，人们需要交流狩猎作战的信息和经验，来提高成功率。

好比，猎物显现时用什么旌旗召集伙伴？从什么位置伏击猛兽结果更好？他们经由手势和发声，把这些主要信息分发给伙伴——这就是“社交分发”，人类社会最原始的信息分发体式。

“知”（甲骨文）：

甲骨文的“知”就透露谈论和教授行猎、作战的经验。

社交分发的意思是基于社交关系的直接和天然的分发。《人类简史》用“八卦”来描述这种信息交流，指出八卦对人类进化的主要感化。

另一种自古就有的信息分发形式，则是编纂分发。固然英文“edit”一词的显现和报纸相关，可这种分发形式早已有之。

在口传时代，由古希腊盲诗人荷马汇集、整顿而成的“荷马史诗”（《伊利亚特》和《奥德赛》）就是典型例子。汉语将“编纂”注释为“收集资料，整顿成书”。去其形，取其义，这种信息分发的基本特征是：信息经由整顿后分发至接管者，有加工和把关的意涵。

无论社交分发，照样编纂分发，它们都已履历史悠长。只是承载这些分发体式的具体序言在络续更新和转变，也给这些分发体式带来了新的或者。

好比，互联网经由对社交关系的限制（地区、血缘等）冲破，在某种水平上实现了跨区域的社交联络，也让社交分发的局限从家庭、线下社区，转向更广的乐趣群体。

进入互联网时代，科学家和工程师都在起劲解决信息过载情况下的分发问题，早期两种代表性的解决方案是分类目录和搜刮引擎——前者，经由人工编纂把知名网站分门别类，让用户凭据类别来查找网站，典型如雅虎、Hao123等；后者，让用户经由搜刮要害词找到所需信息，解决了分类目录的有限笼盖问题，典型如谷歌、百度等。

实际上，这两种解决方案的思路并不新颖，很大水平上能够离别对应藏书楼的分类馆藏和百科全书的条目索引。

纵观整个汗青长河，我们不难发现：信息情况是转变的，解决方案是具体的，但信息分发的需乞降体式倒是类似的。它们都在回覆一个问题——若何有效地保持人和信息。

介绍算法：熟悉的新同伙

算法分发的显现和遍及应用，意味着人类起头运用机械大规模地解决信息分发问题，人类社会信息分发的动力从人力转向了部门主动化——从“人找信息”，到“信息找人”。

站在人类社会信息分发的长河中看，算法分发固然是一个新颖事物，但它的使命和根本倒是熟悉的。从这个瘦语去思虑，不难回覆为什么这个时代降生了介绍算法：

第一，新的信息情况和人类的信息需求动力，召唤一种新的信息分发解决方案。

面临信息过载的情况和碎片化的信息消费场景，若何从大量信息中找到本身感乐趣的信息，是一件非常难题的事情。作为主要对象的搜刮引擎，能够部门知足人们的需求，但最适用于需求明确的场景。若是用户无法正确描述本身的信息搜刮需求，甚至对本身的需求都不充裕认识呢？

这意味着，我们需要一个可以自动凭据我们的乐趣和需求来分发信息的方案。早在1995年出书的《数字化生存》（Being Digital）中，尼古拉·尼葛洛庞帝便提出“我的日报”（The Daily Me），认为在线新闻将使受众自动选择本身感乐趣的内容，预言将来信息的小我化。

在其时，这种设想或者被认为是“白日做梦”。因为个别之间天然有差别，而为了社会的总体效率，人们老是尽或者寻找信息的“公约数”。

跟着手艺的成长，介绍系统的显现给人类的信息分发带来了一种或者：人们不消每次都供应明确的需求，而是经由为分歧个别的信息需求建模，从而自动介绍可以知足他们乐趣和需求的信息。

第二，信息手艺的成长，为个性化介绍系统的显现供应了物质前提。

一方面，移动互联网成长，每小我都是一个终端，这使得信息的分发可以低成本定位到分歧的个别用户。

另一方面，AI手艺的成熟和硬件资源的进化，为个性化介绍供应了手艺实现路径：机械进修模型的应用，深度进修的快速成长等，供应了有力的算法对象；而大规模分布式机械进修框架的显现、GPU对深度进修的加快能力获得遍及验证、专用深度进修芯片的显现（TPU、寒武纪），又供应了另一层保障。

1994 年美国明尼苏达大学GroupLens研究组推出第一个主动化介绍系统 GroupLens（1），提出了将协同过滤作为介绍系统的主要手艺，也是最早的主动化协同过滤介绍系统之一。

1998年亚马逊（Amazon.com）上线了基于物品的协同过滤算法，将介绍系统推向办事万万级用户和处理百万级商品的规模，并能发生质量精巧的介绍。

2006 年10月，北美在线视频办事供应商 Netflix 起头举办有名的Netflix Prize介绍系统竞赛。参赛者如能将其介绍算法的展望正确度提拔10%，可获得100万美元奖金。参赛的研究人员提出了多数介绍算法，大大提高介绍正确度，极大地鞭策了介绍系统的成长。

2016年，YouTube揭橥论文（2），将深度神经收集应用介绍系统中，实现了从大规模可选的介绍内容中找到最有或者的介绍究竟。

自第一个介绍系统降生，至今已有二十多年。如今，算法介绍的思路和应用，已经深入到好多互联网应用中。

好比，内容分发..的个性化阅读（今日头条、抖音等）、搜刮引擎的究竟排序（谷歌、百度等）、电商的个性化介绍（亚马逊、淘宝等）、音视频网站的内容介绍（如Netflix、YouTube等）、社交网站的（Facebook、微博、豆瓣等），等等。

凭据第三方监测机构“易观”发布的《2016中国移动资讯信息分发市场研究专题申报》：2016年，在资讯信息分发市场上，算法推送的内容将跨越50%。到本年，这个比重想必更大。

现在，人们商量算法分发的价格，最常提到的是提高了信息分发的效率，它示意在：解放了部门人力，同时冲破了人力对信息分发造成的限制，实现长尾内容的有效分发，从而更高效地完成人和信息的成家。

然而，还有一层意义较少有人触及：经由算法实现的个性化介绍，真正存眷和懂得个别。每一个个别都是一个意义分歧的“终端”，而不是永远将个别置于群体中去总体懂得。也即尼葛洛庞帝所言的“在数字化生存的情形下，我就是‘我’，不再是生齿统计学中的一个‘子集’。”——这也是“personal”（个性化）中“person”的意涵地点。

人道眼前，算法有更多或者

算法为人智能地成家信息，但它介绍的依据照样在于人。

尽量介绍算法成长得加倍成熟，人们在和算法的平常相处中，也不免会有一些疑心：有时，进展算法再“伶俐”、更懂得本身一些；有时，并不想老存眷本身感乐趣的内容，也想看看民众热点；还有时，会猜想本身除了这些需求之外，会不会也有其他的潜在乐趣？……

今天，对内容介绍的指摘声音中，包罗让视野窄化、信息低俗化、人的边缘化等——这些声音从基本上折射出人类永恒存眷的问题：信息的宽度和高度，以及人的主体性。面临这些追问，或许转而用一种整体的和成长的视角，更有利于我们去懂得问题。

首先，算法介绍是主要的，但它并非悉数。人类有多种信息需求场景，分歧的信息分发体式和对象在互相合营来知足用户的需求。这些分发体式的具体对象，或许在分歧阶段此消彼长，但素质上并没有完全庖代对方。

举个简洁的例子：假设一个初级片子喜爱者想在周末看一部片子，会有几种或者？若是他今天想看库布里克的作品，他或者直接打开搜刮框，搜刮“库布里克”导演，看看他导演的作品还有哪些本身没看过；若是他本身没有特定的设法，便或者打开个性化介绍的APP，在熟悉本身喜欢的信息流中，刷一刷看有没有感乐趣的片子；当然，若是他运气好，微信加了一个片子发烧友，也能够直接请对方介绍几部。

从这个例子中，能够看到：搜刮引擎知足了用户有明确目的时的自动查找需求；而介绍系统可以在用户没有明确目的的时候，匡助他们发现感乐趣的新内容——从这个意义上看，“介绍”和“搜刮”实际上是知足人们分歧需求的两个互补的对象。

当个性化介绍应用成长敏捷的时候，人们或者会不由自立地假设它占有本身的悉数信息场景；然而，在实际情形里，一小我在平常生活中接触信息的渠道，远比我们想象得要加倍雄厚——2016年Seth Flaxman等学者进行的一项实验，也证实了这个结论（3）。

该研究请5万名介入者，自立申报本身比来获守信息的新闻媒体起原，同时经由电子手段直接监测和记录他们的实际新闻消费行为，包罗网页浏览汗青等。两项数据的对比后，研究最终发现人们实际的媒体消费比他们所想象的更具有多样性。

再者，从基本上来说，算法是运用智能来解决信息分发问题的思路，而非一个绝对的和定型的把持手段，它自己也在络续成长。算法与编纂、社交并纰谬立，将三者有机连系能够匡助实现更有效的信息成家。

《内容算法》一书中，作者把算法比方为“是个筐，什么都能往里装”：算法是基于我们对实际世界的懂得进行的抽象和建模，所有我们关心的身分（编纂分发、社交分发）都能够转化为算法介绍的参考身分。

实际应用的介绍系统平日都邑使用多种介绍算法，来提高介绍系统的个性化、多样性、坚固性（即鲁棒性）。好比：运用基于内容的介绍算法，解决用户和内容的冷启动问题；在拥有了必然的用户行为数据后，凭据买卖场景的需要综合使用基于用户的协同过滤（UserCF）、基于物品的协同过滤（ItemCF）、矩阵分化或其他介绍算法进行离线较量和模型练习，并综合考虑用户的社交收集数据、时间相关和地舆数据等进行介绍。

与此同时，人工编纂也在要害的时候施展感化。好比在今日头条..，由人工审核和机械算法配合对内容进行把关。一个拥有精巧介绍机制和划定的..，可以助力高质量内容的流传，从而促进内容生态的成长。新手艺情况中，专业内容生产和编纂团队的价格不光不会褪色，还会越来越主要。

最后，从人们环绕算法分发的商量中，能够看到人们面临信息时的两对永恒需求——小我向和民众向、已知的和未知的。人类永远进展二者能够达到动态的均衡，而这个均衡点又往往因人而异。这给算法的成长和完美供应了动力，也带来了难题。

对于个别来说，一个趋于幻想态的信息生态，或者需要具备社会性、群体性、个别性，兼顾信息的高度和宽度——有些问题，算法能够解决，也正在测验解决；但有些问题，或者人类本身也无法很好地解题，最终照样要络续回来到人道自己。信息分发手艺成长和完美的背后动力，照样在于人，在于人对信息分发幻想模式的永恒追寻。在这过程中，人始终具有其奇特的价格和能动性，苦守“手艺为人”。

结尾

算法分发是将来之物，它是信息过载时代智能分发的产品；算法分发或也终将成为曩昔之物，因为下一代手艺的成长永远能够冲破现代人的想象，就像宋朝人无法想象移动互联网。但无论若何，人类追寻信息的脚步是不会住手的，这种追寻就是信息分发长河奔流的动力。

追问了介绍算法的“宿世”与“此生”，那么在手艺成长的将来，算法的“下世”会是若何？