sklearn 带你了解sklearn中特征工程的几个使用方法

fromsklearn . feature _ selection importSelectKBest

fromsklearn . feature _ selection importchi 2

#选择k个最佳特征并返回所选数据

SelectKBest(chi2，k= 2)。fit_transform(iris.data，iris.target)[: 10]

输出

第三和第四特征是花瓣长度花瓣宽度

互信息法

经典互信息也评价定性自变量和定性因变量之间的相关性。相关系数法、卡方检验法、互信息法原理相似，但相关系数法通常只适用于连续特征选择。

import numpy as NP from sklearn . feature _ selection importSelectKBest

fromsklearn importmetrics

mic = metrics.mutual_info_score

g =λx，y: NP。数组(list (map (lambda x: mic (x，y)，x.t))。t #选择k个最佳特征，并在特征选择后返回数据

SelectKBest(g，k= 2)。fit_transform(iris.data，iris.target)[: 10]

输出

第三和第四特征是花瓣长度花瓣宽度

包装方法

递归特征消除方法使用基础模型进行多轮训练。每轮训练后，剔除几个权重系数的特征，然后基于新的特征集进行下一轮训练。

递归特征消除(RFE)

fromsklearn . feature _ selection importRFE

fromsklearn . linear _ model importlogisticreduction

#递归特征消除法，特征选择后返回数据

#参数估计器是基础模型

#参数n_features_ to_select是所选要素的数量

RFE(估计量=物流出口，n _特征_至_选择= 2)。fit_transform(iris.data，iris.target)[: 10]

输出:

第二和第四特征萼片宽度花瓣宽度

嵌入式嵌入方法

基于惩罚项的特征选择法

利用带有惩罚项的基本模型，不仅筛选出特征，而且降低了维数。将特征选择库的SelectFromModel类与具有L1惩罚的逻辑回归模型相结合，

fromsklearn . feature _ selection importselectfrommel

fromsklearn . linear _ model importlogisticreduction

#惩罚项作为基础模型特征选择的逻辑回归

selectFromMoDEL(logisticRegression(pencil = " L1 "，C= 0.1))。fit_transform(iris.data，iris.target)[: 10]

输出

第一，第二和第三特征是萼片长度，萼片宽度和花瓣长度

基于树模型的特征选择法

树模型中的GBDT也可以用作特征选择的基础模型。使用特征选择库的SelectFromModel结合GBDT模型选择特征的代码如下:

fromsklearn . feature _ selection import select from model

fromsklearn . ensembleimportgradientboostingclassifier

#GBDT作为基础模型的特征选择

selectFromMoDEL(GradientBoostingCollector)。fit_transform( iris.data，iris.target) [:10]

输出

第三个和第四个特点是第十个