在对抗黑产的风控中,如何找到行之有效的风控方法一向是个难题。笔者结合自己的经验为我们提供了两个切入点:一是基于业务流程去思考风控方法,二是基于治理流程去思考风控方法。 这篇文章将会从产品和运营视角,针对风控的方法和手段进行阐述,目的就是将多年与黑产对抗的经验总结和分享出来。 一方面让大众了解一般互联网行业在业务安全上付出的努力,和我们这群站在产品背后的安全人。另一方面也想与各行业的安全从业者共享我们在对抗过程中积累出的行之有效的风控方法,希望对大家产生帮助。最后也希望借助这篇文章去搭建起安全行业内大家沟通的桥梁,一起为互联网安全贡献一份力,为"天下无贼"的愿景而前进。 一、黑产行业与特点介绍 1. 黑产行业规模与产值 据统计,截止至2017年,中国黑灰产业从业人员已超150万,年产值达千亿级别。从业者分布前三为广东、江苏和浙江。 2. 黑产特点:有利益存在的地方就有黑产存在 黑产遍布在互联网的各个领域,无论一个平台提供的是什么样的产品,只要这个产品可以带来收益转化的可能性,这个平台就会成为黑产的攻击目标。 如果平台做流量分发,那么黑产就会攫取流量进行多次转化,可能是进行线下欺诈,也可能是流量二次分发转化成直接利益。 如果平台做的是交易,那么黑产就会变成羊毛党将原本给予用户的优惠转化成自己的利益。 如果平台上存在着有价值的数据,黑产就会通过各种手段获取数据进行倒卖。 总之对于黑产来说,产品是什么不重要,利益才是唯一的思考方式。 3. 黑产组织的分工 为了攫取更多的利益,黑产会不断优化他们的攻击模式和团队分工。每个团队专攻一个垂直方向是效率最优解,效率的提升就代表着成本的降低间接影响着最终收益。所以黑产会分化成很多个小团伙,每个小团伙会专门攻击一个方向,最大可能的榨取这部分的所有价值。 以通常的业务场景举例,黑产主要分化以下几种: 通过贩卖数据获利:这部分黑产会通过抓取手段不断的去获取web端的信息,通过数据贩卖来获利。这里面存在竞争对手也存在着专业黑产团队 通过贩卖账号获利:这部分黑产团队会着重攻击全站的注册和登录环节,不间断的通过各种手段注册账号,盗取账号。再将账号转卖给下游黑产进行获利。 通过认证进行获利:这部分黑产通过一些不法手段获取公民隐私数据,通过攻击个人认证和企业认证的环节完成白号到认证账号的转变。因为大部分业务都有前置认证的条件,所以完成认证的账号价值可能是白号的100到500倍以上。 通过发布信息获利:这部分会利用QQ群或者一些黑产论坛社区承接需求,通过信息发布服务收取服务费用。一般发布的内容都是违规或欺诈内容。这部分也是黑产对抗最激烈的部分。 通过线下欺诈获利:这部分黑产群体就是黑产链条中最底层的组成部分,同时也是数量最庞大的群体。他们通过虚假信息进行站内到微信或者QQ或者线下的转化,由此完成欺诈行为获取直接金钱收益。 上面是跟业务安全对抗的黑产群体的一个简要画像,其实真实的情况要比描述的复杂很多,很多分工是有交叉或重合的部分,或者存在着更细的分工。同时也存在着一群不直接攻击网站,但是为这些黑产从业者提供所需资源的群体,比如一些卡商,隐私数据的二道贩子等。 4. 只要有获利的可能,对抗就不会停止 只要平台存在着价值,就一定有产生利益的可能性,有可能性对抗就会永远进行下去。与黑产的对抗是一场战争,只有当黑产的收益没法覆盖成本的时候,对抗才会逐渐减少。这个时候黑产会向另外的平台或产品进行转移。 二、业务风控的治理经验 1. 风控的核心点 上文提到,只有当黑产的收益无法覆盖成本的时候,对抗才会减弱和转移。那分析黑产的成本组成就是一个比较重要的事情。 黑产的成本按照比较粗的粒度可以分为两类: 第一类是人力成本,一切黑产技术的研发,欺诈的实施等等环节都离不开人的参与。 第二类是资源成本,黑产想要完成攻击要准备很多的资源,比如IP、手机号、设备、身份证信息、银行卡、企业信息等等。每一步的黑产攻击都绝对离不开资源的支持。 所以我们看到,如果想要让黑产的成本不断攀升,我们只需要去提升黑产的人力成本或者资源成本就好。两者对比起来,对人力成本的控制效果难以预估,难度颇大,受影响因素大。而对资源成本的控制对于企业来讲简单可行并且行之有效。 所以通过上面的分析,我们可以得出一个结论——风控的核心在于对黑产资源的打击。 另外补充一点,资源之所以称之为资源,需要具有稳定的唯一性和不可再生的特征,一旦一个资源被打击,这个资源在业务中就再也不会为黑产带来利益。 2. 风控治理的切入点 当遇到需要解决的风控问题时,基于我们一直以来的经验,我们会推荐从以下两个方向去分别思考和解决。第一个是基于业务流程去思考风控方法,第二个是基于治理流程去思考风控方法。 1. 基于业务流程的风控治理方法 在介绍这种方法之前,需要普及两个前提: 1)如果一个用户是黑用户,那么他在所有的业务流程中产生某种行为的目的极大概率上是为了提升最终获利转化,那么他在每一个业务节点上产生的行为都大概率是异常的。 2)我们无法指望在一个业务节点上解决所有的安全问题。 所以基于业务流程去思考风控治理的时候,我们首先要绘制出来完整的用户行为路径。绘制用户行为路径的目的是摸清每一个可能产生异常行为的业务位置,并且通过每一个位置的分析去逐步打击最终实现治理效果。 以信息的发布为例,我们可以绘制出这样路径: 根据这个路径我们一般会产生这样的解决方案: 1)当用户只产生流量没有实际UserID产生时,分析流量分布和浏览行为,提取异常数据流入注册环节作为辅助数据。 2)当用户注册时,分析这次注册是否为正常注册,如果产生批量注册、养号等异常行为,针对账户或相关资源进行高危标记。如果判断不了,数据留存转入登录环节进行判断。 3)当用户登录时,判断登录行为是否异常,是否是撞库、爆破、异常环境等。如果是,核验账号身份,并且做出标记流转至发布环节判断。 4)当用户发布时,判断发布行为和内容两部分是否异常。如果异常则阻止发布或者进行挑战。并且将数据同步至全部环节作为辅助。 5)当产生申诉投诉时,回归策略准召率进行相应优化并且妥善处理相关异议。将确认的数据同步至全部环节作为辅助。 可以看到按照这种方法去思考,我们没有在一个业务环节中去解决所有的安全问题,而是将用户的行为进行拆分,在每一个业务节点都努力将问题率控制在最低,这样就达到了各个击破的效果。这种方法在黑产每一个动作上都产生了影响,因为黑产追求高效,有不同的团队分工,所以黑产在行为上不是连贯的而是分离的,所以黑产想完全消除掉这种影响成本非常巨大。这样也就能产生比较好的风控效果。 基于这个方法的总结和核心注意事项: 1)每一个关键的业务节点,都应尽可能有效的完成风险控制,不能将所有的风控问题寄托在一个业务节点的风控治理中。 2)每个业务节点的数据串联是重中之重,当前业务节点产生的所有有效结论,都应该流入下一个业务节点作为辅助特征。下游节点产生的确切结论,也应反哺上游判断。 3)关于异常行为的处理方法: ① 离获利转化越远的业务节点,越不应该做直接阻断和强对抗。比如在注册环节直接拦截注册行为,我们就相当于为黑产提供了试错机制,只要一个账户注册能突破现有策略,那么这个业务节点的风控就相当于完全沦陷。针对这样的业务风控,我们需要做的是做出有效的标记并完成流转。让阻断、封禁、删帖这种类似的处理方法在最后的转化关键节点中完成,这样会给将黑产作弊或攻击的成本提升N倍。 ② 各种挑战方式,比如验证码等,如不能明确得出风险结论,则用来采集数据作为后续的风控辅助数据。 ③ 因为黑产分工在行为路径上分离的特点,不定时的确认用户在各个业务环节中的身份一致性是一个好方法。 ④ 处理方法应该有轻有重去适用各种策略准召率的情况,处理要尽量做到可以限制每一个关键业务环节的权限。 4)尽量做到有限资源被明确定性之后,一切业务环节都参照相关定性去完善识别能力。 如果说,上面提到的基于业务流程的风控治理是在确保风控的效果,那么下面介绍的基于治理流程的风控方法就是进入到每一个风控节点去确保效率。 2. 基于治理流程的风控思考方法 当我们基于治理流程去思考的时候,我们需要介绍下在任何一个需要风控的业务场景中,面对风险我们的一般的治理流程: 如果当我们只考虑某一个具体的风控业务场景时,我们最好的方法是——通过去不断提升每一个治理环节的效率去提升整体风控的效率,风控的效率提升了,我们就可以在有限的时间内做出更多有效的决策用于黑产对抗,频率越快给黑产带来的成本增加越高。 所以基于这种思考方法,我们要做的就是针对每一个风控环节制定产品解决方案,将效率做到极致。下面就是在通常的业务中关于这个流程的一些整理: 1. 风险发现环节:发现什么、怎么发现、怎么快速发现是核心痛点。 (1)发现什么:什么是我们要解决的安全或风控问题,就发现什么。 安全漏洞 垃圾信息 重大舆情 黑产资源 (2)怎么发现:通过什么样的手段来发现风险 SRC、漏洞扫描器(漏洞) 聚类分析、信息巡检抽检(垃圾信息) 舆情抓取分析(重大舆情) IP画像、手机号画像(黑产资源) 一些第三方提供的威胁感知能力 (3)怎么快速发现:整个监测预警机制的搭建 2. 风险分析环节:如何快速分析产生决策是核心痛点。 对应着一些核心能力:智能分析平台、风控引擎、算法孵化平台。 3. 风险处置环节 如何处置: 我们将用户所有的权益进行总结。以电商网站为例,用户可以拥有:发布的权益、浏览的权益、账户使用的权益、推广的权益等,在每一个关键的权益上都需要有着灵活的处理方法。 处置哪些: 所有资源类的唯一性数据都是处置的范围,处置的时间范围应该覆盖过去和未来,当一个资源被定性成黑产,那么相关的所有资源都会被处理,最大程度的提升黑产对抗成本。 一些核心能力:聚类处理、社区挖掘、策略回溯。 4. 效果回归 通过对已产生效果的策略生命周期进行监控,随时关注在业务中的准召率,并及时作出优化。 以上就是在风控业务中常用的两个切入点,不同的思考方法适合不同的风控阶段。 比如对于风控初期的业务,到处救火是常态,可能基于业务流程的思考方法更加适合,这样就可以从整体上去思考快速建立起一套比较有效的风控体系。 如果对于风控稳定期的业务,可能更加追求稳定和可控,基于治理流程的思考方法可以帮助业务进一步的提升风控能力,让每一步产品动作都会产生价值沉淀,每一步的沉淀都会让风控这件事情变得更加得心应手。 写在最后 以上是我在风控这个领域中积累出的一些比较行之有效的方法论,但是因为时间原因很多风控执行的细节、一些核心技术的架构和实现方法都没有做具体的介绍,后续如果有时间,可能会分别针对某一个细节方向相关的风控经验和产品架构做一些分享。