2006年,一家通过租用传统DVD影片发迹的网站netflix宣布了一个消息:他们将举办一次大赛,第一个能够将该网站推荐效果提升10%的团队将会获得100万美元的奖金。消息甫一公布,世界各地的团队无不踊跃参与,纷至沓来。最终,历经三年时间,前后一百八十多个团队的较量,一支名叫"BPC"的团队率先突破障碍,以10.06%的改进效果获得了这份百万大奖。他们算法是怎么做到的呢,让我们留个悬念,文章结尾再做说明。 而通过这次百万大奖赛,netflix升级了自家网站的算法,在工程师中塑造了财大气粗的大公司形象,发掘了无数优秀算法人才,可谓一举多得。更重要的是,它向用户普及了"推荐"这个概念,并在用户心目中将推荐这个概念与netflix网站划上了等号,从此用户使用netflix时对它的推荐系统有了更直观的价值参照物——一百万美金,天然产生信任感和参与感,不可不谓高明之至。 下面,就让我们看看,netflix耗时三年开发、花费百万、吸引无数业界精英关注的推荐系统都有哪些特性。 为每个用户建立画像 打开netflix,首先弹出的是角色选择窗口,通过一句亲切的询问"who’s watching",netflix迅速定位到用户的年龄、性别、过去看过的视频,甚至好友信息,并据此产生一个瀑布流主页,结合获取到的信息为用户推荐符合口味的影片和电视剧。 让用户知道为什么而推荐 Netflix推荐系统中一个非常重要的特性就是"推荐理由",在每个推荐板块中,用户能够清楚地知道为什么获得这些推荐结果。这些理由都是些口语化的句式,比如:"因为你看过**","我们猜你喜欢**"等等。这个举措不但会给用户带来信任感,还会鼓励他们更积极地参与到推荐互动中来,给予更多有效反馈。 注重多样性 如果认为netflix的推荐就是一行一行视频海报组成的瀑布流,那你就错了,它的推荐综合了多种形式,并且很注重多样性。同一个首页中,不仅会根据用户曾经看过什么、也许会有的喜好推荐,netflix还专门开辟区域,为用户推荐当天或当周最热的视频-即topN为用户推荐。这些举措在最大限度满足用户喜好的同时,为发现更多用户喜爱影片提供了可能。 利用好友链 Netflix鼓励使用facebook登陆,因为一个Facebook账号在带来用户身份特征的同时,还有一项非常重要的作用,那就是它所关联的好友圈,这个圈就是用户的互联网社交圈,所谓物以类聚人以群分,通过好友们正在观看的视频,能更准确地推算用户喜好。 Genre系统 这是netflix最强大,也是最核心的推荐理念之一。这些"基因"可以广泛如"喜剧"、"正剧"这些包括成千上万的分类概念,也可以细分如"80年代的时间旅行科幻电影"这种主题。每个基因下限制一个影片集合,再按照影片本身属性与该基因吻合程度排序。 一个用户会看到什么样的基因内容呢?这个就要结合前面所有特征:用户角色、浏览历史、多样性、好友信息等等,再糅合保证让用户有足够新鲜感的更新特征,最终选择合适的genre展现在用户面前。在用户浏览每个基因下的影片时,netflix还会采取手段吸引用户为基因的合理性打分。 相似度系统 Netflix除了top N和genre系统外,还有一个重要的推荐形式,被netflix穿插在推荐系统中,那就是相似度推荐。这个相似度推荐可以是两个影片的相似度,也可以是两个用户的相似度,它可以出现在播放页里,也会出现在搜索结果中,甚至首页timeline中,作为一个genre出现。 推荐系统发展到现在,已经是一个拥有无数工程师、众多分支共同发展的成熟体系,它在大部分网站中也均有应用。以上提到的种种特性,可以说是凡有推荐网站都会或多或少采用的推荐措施。 但是Netfilx推荐系统的强大之处在于它的将这些特性完美地综合在了一起,在主页上你会看到topN型的推荐,也会看到genre型推荐,还会看到根据历史的相关推荐,但它同时保持了界面的简洁,每个推荐都有适当的理由,让你一眼就知道它为什么会出现在timeline里。这正符合了推荐的作用:让用户最快最简便地找到所需信息。 结语 最后,让我们揭开悬念,看看价值百万美金的算法究竟是什么样子:获胜团队 BPC 的算法的高明之处在于考察了用户评级数据中的时间和"频率",用户在为影片打分时往往带有情绪影响,而情绪是与时间有关的。 另外,用户的口味也许随着时间的变化而变化;对比一位用户五年之前的打分和他最近的打分,肯定他最近的打分更为准确地反映了他当前的好恶标准,在决定他明天可能喜好哪些电影时所起的作用更大。于是 BPC 团队就研究用户评分的结果与他们打分的时间以及频率之间的关系,建立了相关性模型。 比如用户在周一和周五在打分时所用的标准有差异,有些用户在周日的情绪最好,这时所打的分数比平时偏高。通过这样的分析,他们能更精确地发现用户对电影的喜好口味,进而对他们打分的规律预测得更为准确。 据我所知,netflix已经发布了第二次百万大奖赛的悬赏。这一次,这个以传统DVD租赁开始,却以先进推荐技术笑傲群雄的网站,又会给我们带来什么惊喜呢,让我们拭目以待。