数据建模 浅谈数据分析和数据建模

51CTO网络+首届中国APP创新评选大赛>；

大数据应用有几个方面，一是效率提升，帮助企业提高数据处理效率，降低数据存储成本。二是对业务给予指导，如精准营销、反欺诈、风险管理、业务提升等。以前企业都是通过线下渠道联系客户，客户数据不完整，只能用财务数据进行业务运营分析，缺少客户身边的个人数据。数据分析的应用领域主要集中在企业内部经营和财务分析。

一般情况下，如果IV值大于0.3，说明该变量具有较强的预测能力，可以采用。

三个数据分析过程

调查业务部门，了解业务需要解决的问题，将业务问题映射到数据分析工作和任务中，调查企业的内部和外部数据，找到分析所需的数据，收集特定区域、数据集市或数据仓库中的数据，并进行探索性的分析数据清理，包括检查数据的一致性、处理异常值和缺失值、删除重复数据以及其他数据转换，如数据宁滨。将字符变量转换为数字变量，根据所需的数据维度进行总结和建模，根据业务需求构建不同的模型(如客户流失预警、欺诈检测、购物篮分析、营销响应等)。)，并解释和评估模型结果，而业务专家则解释和评估业务结果

四种数据分析场景和模型应用

数据分析建模需要先明确业务需求，然后选择描述性分析或者预测性分析。如果分析的目的是描述客户行为模式，则采用描述性数据分析，描述性分析考虑关联规则、序列规则、聚类等模型。

预测性数据分析是对未来某一事件发生的概率进行量化。有两种预测分析模型，分类预测和回归预测。在常见的分类预测模型中，目标变量通常是欺诈、损失、信用等二元分类变量。在回归预测模型中，目标变量通常是连续变量，如股价预测、违约损失预测等。

生存分析侧重于分析事件的结局和出现的时间，起源于医学领域，研究患者治疗后的生存时间。生存分析还可以用来预测客户流失时间、客户下次购买时间、客户违约时间、客户提前还贷时间、客户下次访问网站等。

常见的数据分析应用场景如下:

1营销

营销响应分析建模(logistic回归、决策树)网络推广分析建模(关联规则)客户保留分析建模(Kaplan Meier分析、神经网络)购物蓝分析(关联分析Apriori)自动推荐系统(协同过滤推荐、基于内容的推荐、人口统计推荐、基于知识的推荐、组合推荐、关联规则)客户细分(聚类)损失预测(logistic回归)

2风险管理

客户信用风险评分(SVM、决策树、神经网络)市场风险评分建模(逻辑回归和决策树)运营风险评分建模(SVM)欺诈检测(决策树、聚类、社交网络)

数据模型评估的五种方法

1 AUC值判别法

AUC小于0.7，识别能力弱，AUC在0.7-0.8之间，识别能力尚可，AUC在0.8-0.9之间，识别能力优秀，AUC大于0.9的模型发生事故

2 KS判别法

KS值大于0.2意味着更好的可预测性

[编辑推荐]

[负责编辑:赵利婧电话:(010) 68476606]

比如0