从P2P到现金贷“714高炮”，依赖爬虫技术爬得的大数据，互联网在线贷款业务蓬勃发展，但也踩上了数据来源违法、滥用的红线。

最近数月来，数据行业迎来又一轮强监管风暴，曾经的创业风口，如今不少从业者却直接被监管带走调查……

一个爬虫引发的案件

2019年的某个工作日，在一家大数据公司工作的程序员张明，接到了技术部领导的需求，要求写一段爬虫批量从一家互联网公司网站的一个接口抓取数据，爬虫开发完并测试没有问题后，张明就将程序上传到了公司服务器。

程序运行了一段时间，张明打算对爬虫程序进行进一步优化，他将爬虫的线程数调大。完善后的程序上传到服务器，张明跟踪了下爬虫的进展，发现运行平稳并且速度快了很多。提交之后像往常一样，张明就把这件事情忘了。

数天之后，张明所在的公司突然闯入一大群警察，公司全体上下200多人包括张明无差别地全部被抓。原来张明之前调大的爬虫抓取数值，直接导致被爬取数据的互联网公司服务器崩溃不能访问，被爬取公司面对这种“非法入侵”的数据窃取行为，果断决定报案处理。

在去警察局的路上，张明一直在想：这是不是搞错了?自己只是一名技术人员，怎么也会怎么被抓起来……

上述是公众号“纯洁的微笑”整理的，关于简历大数据公司巧达科技今年3月被警方一锅端的一段故事，而随着公安部门今年以来对爬虫公司打击力度的加强，大数据行业也迎来了规模空前的整治风暴。

巧达数据公司被查，图片来自于网络

自2019年9月以来，多家涉及大数据风控业务和爬虫技术应用的知名大数据公司相关人员被抓或被调查，包括魔蝎科技、新颜科技高管相继被警方带走，公信宝运营公司被杭州警方查封，贷款超市头部机构“信用管家”办公室被警方清查。此外，还有多家大数据风控公司人士“协助调查”，包括同盾科技、百融云创等多家机构。与此同时，白骑士、天机数据、立木征信、聚信立等纷纷宣布暂停爬虫业务。

“2019年捕获独角兽最多的机构：红杉、阿里、腾讯、警方。”这是流传在大数据行业微信群的一个段子，或可形容目前公安部门打击爬虫公司违规爬取网络个人信息的力度。

随着大数据公司人员被抓捕、被调查的消息不断传出，行业也掀起了一波离职潮。据了解，一些大数据公司的爬虫团队被解散、裁员，大量人员主动离职，其中技术人员占一多半。

“要么死掉;如果能躲过这一波强监管、没有出大事，也得被迫转向其他业务。”一位大数据风控公司高管曾向媒体表示。

“今年这么难，这个行业目前的现状，我也是没想到的。”曾经在一家头部大数据公司就职的李成健对消金社感慨道。

黄金时代

时间倒回到2013年9月，彼时蒋韬还是阿里巴巴集团安全部的技术总监，是阿里风险控制和反欺诈基础平台和众多基础产品创立者。但是，是继续服务阿里还是离职创业，这个问题他反复斟酌。

一个月之后，蒋韬做出了决定，随后同盾科技成立，并拉上了一帮阿里的前同事加入团队。头顶阿里系离职员工创业光环，公司开业不到一个月，便获得了千万级的融资。当年，余额宝的发布引发了互联网金融热潮，同盾刚成立便站上了风口。

数据显示，从2013年到2015年，中国市场上P2P网贷平台数量就从800家增长至2595家，累计交易规模超过1.4万亿。

最初，P2P平台的主流风控模式为担保型风控，包括设立风险保证金、第三方提供担保、实物抵押、平台代偿等方式，但这些方式缺点明显：一方面效率低，需要很高的人力物力成本，另一方面这种风控方式也不符合监管后来对网贷平台“借贷信息中介”的定位。

“在互联网金融行业兴起时，互金平台缺少数据源，因此十分需要第三方数据公司的帮助来构建基于大数据应用的线上风控体系，而那几年也堪称数据行业的‘黄金时代’”，作为大数据行业兴起的亲历者，李成建对消金社介绍道。

在P2P监管政策出台后，行业增速有所放缓，但现金贷平台汹涌，到2016年，国内现金贷平台数量飞速增长到数千家，放贷规模达万亿量级。

在我国征信体系并不完善的背景下，P2P和现金贷平台，包括银行、消费金融公司等持牌金融机构，从获客到风控，再到催收都需要数据的支持和辅助，而频繁的数据调取、使用，庞大的市场需求也让同盾科技这样的大数据公司赚得盆满钵满。

新流财经曾披露的一份文件显示，同盾科技在2016年的付费调用量已经达到4.99亿次，这一数据在2017年攀升至18.08亿次，到2018年进一步增长至惊人的22.87亿次。与此同时，单次调用的价格也水涨船高，从2016年的0.09元/次增长至2018年的0.21元/次。

堕落之路

据了解，大数据公司的一般数据的来源主要有两个：一类是通过合规渠道获取，如对接政府部门、征信公司拿到数据，或得到用户授权进行数据查询。

据了解，2017年，当时市场上一些知名第三方数据公司，其爬虫接口已经做到了可授权爬取上千家网站，覆盖了几乎所有的电商平台、90%以上的公积金网站、主流保险网站、社保网站，同时涵盖央行征信、运营商数据、学历学籍、信用卡账单、电商数据等多种信息，俨然成为了互联网贷款市场中隐形的“征信中心”和“信息共享中心”，而这也极大降低了线上放贷的门槛。

数据源的另一类，则是从非法渠道接入，包括爬取、买入、交换、撞库等，这是一条低成本获取数据的捷径，当然这种方式也更没有底线。

2016年5月曾曝出一家新兴科技公司“通付盾”起诉同盾通过不正当手段剽窃通付盾“设备指纹”技术。此外，据媒体报道，知名大数据公司摩羯科技曾开发出一种“同业爬虫”产品，可以直接将其他现金贷平台的放款额和风控数据爬出来，相当于野蛮窃取了别家的风控成果。

“不管是网站还是APP，只要有账号密码就可以爬，连央行的征信报告都能爬”，某数据负责人在接受媒体采访时声称，“技术好，就没有爬不到的数据”。

看到做大数据爬虫业务赚钱，越来越多人和公司开始涌入，而这个技术本来就门槛不高，一时间渠道商、代理商也层出不穷，大家为抢夺客户，开始打价格战。

“这其实不是一个很暴利的行业。”李成健对消金社表示。

激烈的市场竞争，也导致一部分大数据公司开始“独辟蹊径”。

现金贷早期，客户资质都比较好，后期骗贷和欺诈的都来了，只靠简单的爬虫技术，很难挡住他们。后来，有数据公司不仅爬取用户通话记录、芝麻信用、社保、黑名单等常见的信息维度，甚至连个人支付宝和微信的一些隐私信息也一并爬取。而部分大数据公司则更疯狂，直接将非法获取的数据进行交易和售卖。

近日被调查的考拉征信，被曝光其非法缓存倒卖了上亿公民的个人信息，公司从上游公司获取接口后，又将查询接口出售，供下游公司查询牟利。

不仅如此，部分大数据上下游的公司在通过贩卖信息获利的同时，还经营现金贷平台，利用手上掌握的个人信息进行贷款推销、软暴力催收等。

据财新报道，这轮针对大数据风控公司的强监管主要是由于公安机关在打击“套路贷”时，发现爬虫为套路贷爬取通讯录、地址定位等个人敏感信息，引发命案及相关刑事调查。有接近公安部的人士认为，在此类案件中，“套路贷是主犯，而爬虫公司是从犯”。

在大数据整治风暴下，有不少金融平台表示，它们合作的数据接口，大部分都被切断，尤其是各种数据来源不合规的爬虫产品。“目前银行已有明确要求，不允许使用来源不明的第三方公司产品，数据源头必须合规合法。”某大数据公司业务负责人樊彬告诉消金社。

草莽时代落幕

“我从来没借过高利贷，借的都是超利贷。”撸贷老哥袁梦调侃道，他有着数十家现金贷平台的“成功”撸贷经验，基本上是一下款就卸载APP，再换一个手机号。袁梦告诉消金社，那种利息越高的他越愿意借，因为这种平台本身就不合规，而且反正也不上征信。

“现在情况变了，不太好撸了。”袁梦表示，一方面平台数量少了，许多现金贷平台经过这一轮的行业清洗消失了。另一方面，平台的风控普遍变得更加严厉了。“之前不少借了不用还的，就凭身份证号和手机号，再填写两个紧急联系人能立刻下款，现在不仅要身份证照片，而且有的平台还要进行刷脸认证，尤其最近一段时间，下款更是不容易。”袁梦表示。

知名网贷系统供应商帝友公司的一位客户经理告诉消金社，现在找他们购买系统，不再是给钱就发货，而需要买家提供互联网小贷牌照等合规资质。

“现在这种严打的环境下，那些714高炮如果还敢顶风作案，等着它们的就是被判定为‘套路贷’，然后被抓被判。”李成健对消金社表示。

一位业内人士表示，受爬虫风波影响，部分第三方数据公司的数据“断供”，目前有不少现金贷平台的业务开始收缩，有的只能针对之前还款记录良好的老客户放款，不再新增。而且部分银行也暂时停止了线上放贷业务。

作为一家年营业额约一亿元的大数据公司，在此轮的行业整治过程中，樊彬他们公司以及客户受到的影响不大，因为他们的主要客户群一直是银行等持牌金融机构，而且在数据的获取方式上，他们不采用非法的爬虫技术手段，而是通过接入与工商局、税务局等能提供数据源的合作平台来取得。

“明显的变化是，之前那些十分在意价格的客户，现在对数据的合规性更看重了。”据樊彬介绍，“感觉客户越来越愿意从数据源头拿东西，不愿跟渠道商、代理商合作，因为这样能清晰地知道对接的数据是否合法合规，而这正好也是我们这类正规数据公司的机会。”

从相关政策来看，大数据行业的“紧箍咒”也越来越严。

2017年6月1日，《中华人民共和国网络安全法》开始施行，其特别加强和明确了个人信息保护方面的要求。《网络安全法》中明确规定，网络产品、服务具有收集用户信息功能的，其提供者应当向用户明示并取得同意。未经被收集者同意，不得向他人提供个人信息。

今年年中，国家互联网信息办公室发布《数据安全管理办法(征求意见稿)》，文件系统地规定了网络运营者数据收集、数据处理使用等合规要求，以及强制捆绑授权、网络爬虫等新型数据安全问题。

消金社在一个爬虫技术交流群发现，虽政策愈加严厉，但目前仍有不少人企图通过违规爬取借贷平台数据获利，一位正在招聘爬虫技术人员的群友表示：“爬虫技术过硬的，而且有反爬经验的，月薪3万起。”

爬虫技术QQ交流群截图

在樊彬看来，不论目前市场上还存在哪些牛鬼蛇神，之前靠野路子猛冲猛打的草莽时代已经结束，参与者只有脚踏实地，才能走得稳、走得远。樊彬透露，他们公司明年的业绩指标会设置得更高。“在消费金融繁荣的大背景下，市场足够大，而且经过这轮整治风暴，合规、持牌，成为行业主旋律，相信以后就是有真实数据公司‘正规军’的天下。”

李成建对消金社表示，严监管推动“良币驱逐劣币”的行业洗牌，“这让从业者深刻地认识到了做事的界限在哪里，整治后的行业发展到了一个新的关口，而这也许并非坏事。”