本文基于自己工作中对策略的理解、网上公开的一些资料以及与业内同行的交流讨论,花了一点时间整理出这篇介绍风控策略框架的文章,文章内容如有不妥之处,欢迎与我讨论。
目录
一、策略框架
1.1 策略框架简介
二、策略分析
2.1 策略制定
2.2 策略调优
2.3 AB测试
2.4 策略下线
三、策略思维
四、总结
一、策略框架
策略框架是一个比较大的概念,不同的公司也会有不同的搭建方法,这个涉及的情况比较复杂,比如和业务流程的设计、业务目标也有关。常见的审批策略框架应包含个人信息验证、准入、欺诈、黑名单、信用风险、人工审核这些模块。以某培训机构课程中的流程架构为例:

上面的策略流程是比较常见的一种,这里有几个问题是值得思考的:
1.欺诈策略和信用策略的先后顺序有什么区别?
2.策略之间串行和并行是怎么处理?
3.策略各节点顺序设计的原因?
第一个问题,黄姐姐的一篇文章中提及过。"传统银行往往先过信用,再过反欺诈,理由是欺诈后需要人工核验,而人工成本高,所以把这个过程后置。而互金公司更喜欢把反欺诈前置,他们的理由也很合理:我们希望进入到信用模型中的数据尽可能都是真实的,否则就会欺骗评分卡,产生错误的决策。其实,这取决于数据在系统中是如何流转的。如果反欺诈和信用是串行的,且不做单独授信决策,那么顺序其实无所谓"。(也就是上面这种流程)。而对于信用可以单独做授信决策的流程,比如:先经过简单的黑名单筛查和硬规则筛查,然后过信用评分,对于信用评分判定为“优质”的用户,立即授信放款。对于边际用户(说不清楚是好是坏),则过一下人工审核。在这种信用可以单独决策的情况,把反欺诈前置就变得很有必要了。本人还有一点除此之外的理解,从成本的角度来看,命中欺诈策略的用户会直接拒绝,从而就不会流转到信用节点,因此也不会查征信和三方数据,也就节省了数据成本。
第二个问题,除了上面说的策略集之间并行外(这种不常见),常见的是策略集之间串行,策略集内的各条策略并行。在上面的流程图中即表现为,一个用户如果被黑名单拒,就不会再流转到信用的策略集;而这个用户可能命中了黑名单策略集中的多条策略,只要有一条命中就拒绝。这里就会涉及到策略的拒绝率问题,每一条策略会有一个整体的拒绝率和单独的拒绝率,这个下面分析时再提。
第三个问题,策略流程设计时应遵循三个原则:1.无费用在前,有费用在后 2.强高风险在前,弱风险在后 3.尽可能留存信息。
下面是《信贷业务风控策略简介》这篇文章中提到的几种框架:

将成本低的借贷意向验证放在成本高的团伙欺诈识别前面,达到节省成本的作用。结合人行拒绝规则、人行数据以及第三方数据建模,其优点是结合双方数据优势,模型效果会较好。但数据不稳定时,模型二次迭代工作量较大。

相较于案例1,案例2较为保守,没有将人行数据和三方数据结合起来做来模型,对于拒绝的用户再次做人工审核,将符合的用户再次捞起来。这样做数据成本低,但是有人行客户模型效果下降,误杀率增加。

同案例1的区别:将各个数据构建子模型,然后整合为一个综合模型,如收入数据、支出数据建模。差异在于客群建模的差异,将不同的客群用户分开做模型。这样在评分二次迭代时,模型变量调整较少,主要调整各变量权重即可。但是在极端情况下,会出现某个评分变量不显著的情况。
综合上述三个案例,风控策略并不是完全依赖于成本,还要依赖于实际业务情况和业务目标。很多时候,风控流程是根据业务情况来进行的。
二、策略分析
本文以第一部分中介绍的策略集之间串行、策略集内各策略并行的框架,简要介绍下策略分析的整体流程和思路。
2.1 策略制定
本文只介绍策略分析的思路,不作具体的方法介绍。
首先,制定一条策略需要选定样本,样本选取时需要考虑两个方面:
1.策略应用的场景。是贷前/贷中/贷后环节,对应的是哪一类客群(有/无征信、有/无房产等)。实际情况中客户分群不一定要各群之间风险差异大,但是分群一定要稳定。
2.时间窗口的选取。策略样本的选取和目标变量Y的选取有关。以当前时间2021年12月为例,如果Y选FPD1,那么样本可以选9、10、11月份的进件;如果Y选mob5_M2+,那么样本就需要选有5期表现的,5月、6月、7月。一般Y的选取会有FPD1、FPD15、FPD30、FSTQPD30、MOB5_30+等,选定Y之后再选取有表现的近3个月的数据。
样本选取时还有一点需要注意的,策略分析的过程中所选取的样本需要与线上样本尽可能一致。这个问题就和评分卡中的拒绝推断一样,制定策略时也需要对样本进行回溯打标,先来看下面这个例子:

10月和11月新上了两条策略,12月制定新策略时,Y选取mob5_30+,需要用到6月、7月的样本进行分析。而此时6-7月份的样本和12月之后的线上样本已经产生了差异,所以需要对6-7月的样本进行回溯打标,如果其命中了10月和11月的两条策略,就会从分析的样本中剔除,这样做的目的是为了保证策略分析用的样本和上线后的样本是一致的,否则策略制定和上线后会出现较大偏差。
继续深入思考这个问题,如果C001是用到的A数据源,现在准备对新接入的B数据源制定策略,但是A和B的重合度很高(或者说相关性很大)。如果做了策略回溯剔除的话,A数据源拒绝后的样本在B数据源上的效果会被稀释,而如果不做回溯剔除则在B数据源的效果就会虚高,但实际上线之后效果会完全不一样。所以这也一定程度上避免了数据源重复度高导致的策略冗余的问题。
其次,选好样本后,策略制定需要观察一些指标,比如IV、Lift、PSI以及命中率、召回率等。策略制定可以分为以下几步:
1.将所有可能做成策略的变量都挑出来,看下各分位点的lift情况。主要看分位两端(0.1以下和0.9以上)的lift,一般如果有大于2的,把这些变量挑出来。假设这里从100个变量中挑出了50个变量。
除了lift外,也可以看IV,挑IV大的先分析。但是IV受分箱影响较大,极端情况下会出现IV低但是单箱lift高的情况,也就是变量预测能力不强但是抓黑能力强。所以需要看下IV对应的分箱情况,判断下各箱的坏样本率是否单调以及分布情况,这里就基本可以确定Lift值的上限(是否有大于2的可能,根据实际业务情况来定)。如果有可能再对分箱进行手动调整,或者再穷举lift情况。
2.看变量之间是否有相关性,也就是上面说的AB数据源的问题。有两种方法:一是看各变量在真实样本上的拒绝率,看单独拒绝和组合拒绝,如果单独拒绝率低说明这条策略可以被其它策略所替代。二是根据人工的一些经验。比如有3个规则都是多头类,分别的近3天、近15天、近30天,那么一般会留下lift大且时间窗口较长的。这一步从50个变量中挑出20个变量。
然后会对这20个变量进行组合分析,跑下决策树看下是否有较好的组合规则,一般用得也不会很多,组合变量一般两两组合,最多不超过3个。评分类变量为特殊变量,一般单独作策略,两两之间的评分通过“画格子”法来寻找最优决策。
3.看分月表现的稳定性和覆盖率。覆盖率至少要大于1%,稳定性是指lift表现要连续几个月都保持2(数值需结合具体有业务)以上。还有一点,如果有一条规则lift高但不是很稳定,这种情况下可能会将规则与评分组合,因为规则可能在模型的低分段稳定,这种方法是用评分来加强规则的稳定性。一般用不太着,慎用。
然后,是策略上线后效果的测算,对通过率、坏账的改善程度。是在通过率不变的情况下压降了坏账还是在坏账可控的情况下提升了通过率。一般公司会有一个较为确定的风险容忍度,策略上线后的样本的风险指标应在这个风险容忍度之下,留一点空间。
最后,策略制定完成之后需要线上空跑一段时间,对上线后的策略,在一定时间内对于有表现的数据进行策略回顾,看策略调整后的进件量、通过率及贷后表现。若是想及时的查看策略上线后的贷后表现可以针对FPD指标分不同的天数去观测,FPD4,FPD10,FPD30等。最后如果策略实际有效再进行全量切换。
2.2 策略调优
策略调优分为A类调优和D类调优。A类调优就是在拒绝用户中找好用户,提高通过率;D类调优在通过用户中找差客户拒绝,降逾期率。策略调优首先要确定的一个问题是哪些策略可以进行调整。像多头类、信用评分类属于可以调整的策略,政策准入类、黑名单类等强规则属于不可调整的策略。其次是查看规则的命中情况,从上到下依次分析,优先调整命中率高的规则。然后是观察策略对应的特征分布,评估表现。
D类调优以收紧策略为目的,通过分析命中策略情况下各分段的坏账的浓度占比情况进行收紧。比如对一条策略是近7天多头数>6拒绝,对这条策略进行收紧,需要分析近7天多头数在6、5...分段的坏账浓度是否大于总体的3倍,是否具有排序性且分月表现稳定,如果符合上述特征则可以进行收紧,评估对通过率和坏账的表现,上线后及时进行监控。
A类调优以放松策略为目的,通过在决策引擎标记豁免部分样本并进行分析。还是以近7天多头数>6这条策略为例,现在需要对这条策略进行放松,那么需要知道近7天多头数为7、8...时的坏账浓度,如果坏账不高且分月表现稳定,则可以放开。这里有一点需要注意,打上豁免标签的样本在整个风控流程中都不会拒绝,即使命中了其它策略标签也需要通过。比如一个样本近7天多头数为8,豁免,在下一决策节点又命中最大逾期天数>90天的策略,这种情况下依然不能进行拒绝,否则会造成豁免样本的表现失真。
2.3 AB测试
AB测试是验证策略有效性的重要步骤。在策略调优的环节需要通过AB测试来逐步进行策略调整。下面是《金融风控-策略部署逻辑》文章中介绍AB测试的一些内容:
AB测试包含两个方面,一个是整套策略模型的挑战者方案,一个是针对单条策略的实验。
整套挑战者方案,区别于正常策略的一整套策略模型集,一般挑战者的策略模型集相对于正常策略模型集要激进一些,目的是为了进行更加宽松政策的尝试和实验;
针对单条策略的实验,由于不同阶段公司目标政策导向不同且用户的一些属性也会发生一些变化,因此单条策略的阈值存在需要调整的情况,调整时,就需要进行一些灰度测试随机放过原本拒绝的一些用户。
2.3.1 D类调优的AB测试

上图中信用策略集A中都是多头策略。A03是近7天多头数,现在想用近3天多头数A04对A03进行替换(一般不会直接替换),A05是新加的近1天多头策略。以6:2:2(需要测算)的比例进行分流,再观察各自的拒绝率和风险表现,对表现较好的实验组再逐步调大比例,最终直至100%替换。至于上面AB测试的比例,需要评估测试组坏账风险上升多少,由此带来的大盘风险上升多少,以及大盘上升的百分比对应了多少的量来进行测算。
有一点需要注意,在策略节点串行、策略集内部并行的情况下,A01、A02、A03会出现交叉拒绝的情况,即一个样本同时命中3条多头策略。比如A01拒绝10%,A02拒绝10%,A03拒绝10%,整个信用策略集A拒绝15%,说明规则之间存在交叉拒绝的情况。分析拒绝率时需要分析A01、A02、A03的单独拒绝率,对单独拒绝率较低的规则应进行下线,以减少规则冗余(后面会提)。

2.3.2 A类调优的AB测试

A类调优时的AB测试,即对豁免后的规则进行小规模线上测试(如上图)。假设有一种极端情况,多头数在7和8之间的样本真实风险表现不高,但是这部分豁免的样本在黑名单和反欺诈策略节点中被全部拒绝,导致对照组B放松的效果不明显。所以豁免的样本应不仅针对此条规则,应是全流程的豁免。实际情况中一般策略集豁免的样本与其它节点无关,可能会被其它节点拒绝。全流程的豁免用的是另外一种方法,对极小部分(例如1%)的样本进行盲测,即正常跑所有风控策略,不进行拒绝,作为所有规则的AB测试(这部分样本在决策引擎中不调取任何拒绝函数)。
如果需要放松策略,一条条进行豁免分析的话,需要针对每条规则进行豁免对照,工作量较大。因此一般在策略初上线时即可留一条口子以便后续调整。比如要上线一条近7天多头数>6的策略,会留出一小部分样本不作拒绝,以观察近7天多头数在7-8时的风险表现。还有一种设置AB测试的方法:

上图中对样本和策略都分成了严、中、松三级,通过控制样本的比例来控制对照组的比例。比如近7天多头数>6这条策略,如果设置为"松",则有20%的样本会豁免;如果设置为"中",则有10%的样本会豁免;如果设置为"严"则不会有样本豁免。这种框架下可以将需要进行豁免观察的规则都放入"中"或者"松"的规则集中,定期对豁免的样本进行分析以进行策略调整。
2.4 策略下线
通过策略规则的组合可以实现精细化的风险管理,就会不断地增加策略规则,最终导致策略规则的复杂和冗余。因此,策略的优化、下线可以在保证通过率地稳定不断降低坏账率。先还是以上面策略制定中的图为例:

在策略制定的过程中,首先需要对已有策略做回溯剔除,保证线上样本与分析样本的一致性,如上图分析制定了一条近15天多头>10的策略,假设lift为3。但实际情况是分析样本已经被前面的两条策略切过一刀,真实情况这条策略命中的lift会更高。如果这条策略命中的样本全部包含了前面两条策略且三条策略并行,那上线后前面两条策略的效果就会被稀释,单独的拒绝率会降低。因此可以再进行一次回溯:剔除近15天多头>10拒绝的样本后,前面两条策略的浓度情况。但是这个工作量比较大,因为线上的策略可能会有很多,所以这类分析会放在策略的日常维护中。如果某条策略的单拒、浓度降低较多则可以对该策略进行下线。整体的思路就是剔除AB策略分析制定出C策略,再分析C策略上线对AB有什么影响。
三、策略思维
都说策略是风控食物链的顶层,这一点我虽然并不完全赞成,但是这也说明做策略需要一个更宏观的视角、更高的层次去思考业务。一套完整的风控策略,不应该只关注通过率、不良率、回款率这些风控层面指标,还应该关注市容量、行业趋势、市场转化率、竞争优势等,这也是策略的精髓所在。策略思维这个东西说起来比较飘忽,我大概举几个实际工作中可能会有的例子:
1.受国家政策影响,今年房地产、教培行业大幅度裁员。那如果业务中有职业在两个行业的人员,则需要观察其逾期表现,对这类群体适当收紧策略。
2.受疫情及宏观经济影响,市场资金紧张,金融机构普遍缩减放贷规模。此时那些以贷养贷的人群可能会因不再能轻易借到钱而产生逾期。因此策略人员应适当收紧风控策略,以控制风险敞口。
四、参考文章
本文主要阐述风控策略分析的思路和方法,沉淀一下分析框架,并没有涉及具体的实操方法。感谢几位小伙伴对此文提出的一些参考建议。实际工作中策略分析会更为复杂,文中仍有理解不到位之处,在此抛砖引玉。网上介绍策略制定的文章并不多,在此整理一些本人觉得值得一读的文章:
https://zhuanlan.zhihu.com/p/126499574
https://zhuanlan.zhihu.com/p/141287611
https://zhuanlan.zhihu.com/p/363545025
https://zhuanlan.zhihu.com/p/410022072