爬虫技术 爬虫技术到底犯了什么错？

最近，一些通过爬虫技术进行大数据信用风险控制的公司受到了调查。短短几天，“爬虫”技术被推到了风口浪尖，大数据风险控制行业也迎来了前所未有的“冲击”。据业内人士透露，这些被调查的大数据公司基本上都涉嫌利用网络爬虫技术侵犯个人隐私，将这些数据信息转卖给其他机构牟利。

“爬虫”变成了“害虫”？

什么是爬行动物？百度百科给出的定义是，网络爬虫是按照一定规则自动抓取万维网上信息的程序或脚本。

据了解，爬虫的发展历史可以追溯到20年前，搜索引擎、聚合导航、数据分析、人工智能等服务都需要基于爬虫技术。随着互联网的发展，网络资源拥有大量的信息载体。如何更好更有效地提取和利用它，爬虫技术起着关键的作用。爬虫技术在信息定位上也更加精准，能够抓取最合适的数据，并根据客户的搜索需求推出。而现在，在大数据处理方面，爬虫技术可以对抓取的数据进行分析，得到更准确的数据。

爬虫技术的优势不言而喻。技术是中立的，是无辜的，但是被用心良苦的人误用就会有问题。最近的事件是最大的警告。

事实上，自2016年以来，大数据风险控制、智能风险控制和智能采集逐渐成熟，并开始在互联网金融领域应用。从金融发展的角度来看，这是好事，大大降低了行业成本。而随着大数据的出现和兴起，第三方大数据风险管控平台也迎来了一波发展高潮。

而提供信用评估服务的第三方风险控制提供者，可以解决小额信贷的长期放款、诈骗等风险问题，同时可以虚拟掌握用户贷前贷后等各种信息数据。

“风险来自于过度获取用户数据，并利用这些数据做一些‘无法描述的’事情。”著名金融技术分析师毕告诉记者。

根据毕的分析，其实很多数据公司最基础的业务，从一开始就是“爬虫业务”，后来演变成为金融机构或者互金平台做风险控制系统，或者帮助平台开发设计“网贷系统”。做系统不赚钱，还是卖数据赚钱。然而，这一举动却把“爬行动物”变成了“害虫”。非法获取和出售个人隐私数据必须涉及非法犯罪。

据了解，爬虫技术的数据采集主要包括:开放第三方数据；抓取用户主动授权的个人基本信息、联系方式、银行卡信息等数据；授权采集数据，如设备号、IP地址、运营商/电商等用户授权后采集数据；授权平台数据，如用户在平台上的历史贷款和还款，用户在注册协议或隐私协议中授权业务方进行分析。

爬虫技术在数据采集过程中是否经过用户授权，是否存在信息过度爬行，被爬行信息的使用情况未知等。也成为了目前人们关注的焦点。

对此，中国社会科学院金融研究所法律与金融研究室副主任尹振涛表示，一方面，公开数据的爬行不允许用于商业用途，但并不意味着互联网上的数据可以随便爬行。另一方面，一些客户提供淘宝号，甚至用密码授权爬行，爬行时入侵对方电脑。这其实是一种犯罪行为，叫做计算机入侵罪。

基于“爬虫”的大数据公司，不能称为金融科技公司

不可否认，目前的大数据风险控制行业缺乏对个人隐私的保护，存在广泛的数据滥用问题。对此，业界普遍呼吁加强监管。

这两年很多互联网金融平台都转型了，也有一些做数据的平台。他们都强调自己做的是金融技术。是真技术还是假技术？贷款援助和网上小额信贷业务转型合规还是不合规？

在毕看来，互联网金融和金融技术还处于一个相对“混乱的时期”。相信随着政策的不断明确，行业监管的不断深入，会逐渐明朗。专注于“爬虫”的大数据公司不是金融科技公司。

事实上，从今年开始，监管逐渐变得更加严格。5月28日，国家互联网信息办发布的《数据安全管理办法》明确规定，网络经营者应当通过网站、应用等产品收集和使用个人信息，并另行制定和公开收集和使用规则；网络经营者为商业目的收集重要数据或者敏感个人信息的，应当向当地网络信息主管部门报告收集使用规则、使用目的和保存期限。

近日，浙江下发了《中国银行业监督管理委员会浙江监管局办公室关于进一步规范个人消费贷款的通知》，明确提出信贷审查、风险控制等核心业务不得外包。

9月16日，国家发展改革委发布《关于推广应用市场主体公共信用综合评价结果的通知》。通知称，国家发展改革委组织全国公共信用信息中心和相关大数据机构，在全国范围内开展首次3300万市场主体公共信用综合评价，现推送评价结果，充分应用公共信用综合评价结果，推动实施新的信用监管机制。

“一系列监管政策的出台，对行业的长远发展起到了积极作用。”蒋韬说:“目前，监管部门没有采取所谓的一刀切的态度和做法，对不依法经营、侵犯个人隐私的企业进行了查处，这对加快劣势企业的退出、保护用户权益、促进优质企业的发展具有重要意义。"

蒋韬认为，从长远来看，随着金融机构的第一方数据积累和第三方数据源壁垒的减少，输出数据分析能力将成为风险控制公司更好的商业模式，提供标准记分卡产品+数据科学家的咨询能力将成为更具竞争力的商业模式。