特征工程
数据科学最有创造力的方面。
要像其他任何有创造力的尝试一样对待它,就想写一个喜剧的秀。
坚持头脑风暴
创建模板或公式
检查/重新审视以前的工作
特征分类
一些预处理似乎永远都是必要的
很高的基数(即包含大量不同的值)会带来很稀疏的数据
填补缺失值是一个难点
Onehot 编码
One-of-K 给一个长度为 K 的数组编码
基本方法:大多使用一些线性的算法
去掉第一列避免共线性
稀疏格式是记忆友好的(便于存储)
目前对待缺失值的大部分实现方法都不够优雅,没有考虑变量。
哈希编码
对固定长度的数组进行 Onehot 编码
避免极度稀疏的数据
可能会引发冲突性
可用不同的哈希函数重复操作并 bagging 小凹凸精度的结果
冲突性可能会降低结果的准确度,也可能提升结果的准确度
优雅的处理新的变量(比如 new user-agents)
标签编码
给每个类一个独一无二的数字化 ID
对于非线性的基于树模型的算法很有用
不增加维度
完全打乱 cat_var --num_id 的映射并重新训练,平均小凹凸精度。
Count 编码
用训练集里的 count 替换对应的变量
对线性或非线性的算法都适用
对异常值敏感
可以加入对数变换,和 counts 一起使用时效果良好
用‘1’代替没有考虑的变量
可以主动给一些冲突性:相同的编码,不同的变量
LabelCount 编码
按训练集中的 counts 等级给变量分类
对线性或非线性算法都适用
对异常值不敏感
不会对不同的变量进行相同的编码
两全其美
目标编码
用目标的比例对类别变量编码(二元分类或回归)
注意避免过拟合
Stacking 的形式:输出目标的平均值的单变量模型
记得做交叉验证
加入平滑性避免出现编码为 0 的情况
加入随机噪声避免过拟合
当被正确的应用时,是最好的线性或非线性编码
嵌入类别
用神经网络来创建类别变量的稠密层
在函数近似问题中将类别变量映射到欧式空间
模型训练更快
更少的存储开销
比 Onehot 编码更精准
NaN 编码
给 NAN 值一个明确的值来代替其被忽略的情况
NAN 值可以保存信息
注意避免过拟合
仅当 NAN 值在训练集和测试集中一致或在本地验证了其独立性时方
可使用
多项式编码
为类别变量间的交互进行编码
没有交互的线性算法不能解决 XOR 问题(逻辑运算)
一个拥有多项式的内核可以解决 XOR 问题
探索特征空间,用:FS,Hashing and/or VW
扩张编码
从一个单变量创建多个类别变量
一些高基数的特征,比如 user-agents,里面有非常多的信息:
is_mobile?
Is_latest_version?
Operation_system
Browser_build
Etc
整合编码
将不同的类别变量映射到同一个变量中
拼写错误,稍有不同的工作描述,全名 vs 缩写
真实的数据是散乱的,自由文本尤其如此
找出特征是很难的,费时,需要专业的知识。应用机器学习基本上就
等于特征工程。
--------------Andrew Ng
数字化特征
使数据进入算法更容易
可由 floats,counts,numbers 组成
更易估算缺失值
凑整
数字化变量的凑整
有损耗的压缩方式:保存数据中大部分重要的特征
有时候太过精准反而会带来噪声
被凑整的变量可以当做类别变量
在凑整前可进行对数变换
装箱
把数字化变量放入箱中,并用 bin-ID 编码
用分位数装箱是很实用的,甚至可以用模型找出可选的箱
可以优雅的找到训练集范围外的变量
缩放
将数字化变量缩放到一个确定的范围内
标准化缩放
最大最小缩放
根缩放
对数缩放
填补
填补缺失值
用缺失值组合硬编码
求平均:相当基础
求中位数:应对离群点时更健壮
直接忽略:只是推迟问题
使用模型:可以暴露算法偏差
交互
数字化变量间具体的交互编码
尝试:减,加,乘法,除法
使用:通过统计检验进行特征选择,或通过训练集对特征重要性排序
易忽略:人的直觉;有时一些诡异的交互会带来出其不意的效果
机器学习项目众多,有点成功了,有的失败了。到底是什么造成了它
们 的 区 别 ? 简 单 来 说 最 重 要 的 就 是 对 特 征 的 使 用 。
------------Predro Domingos
线性算法的非线性编码
用非线性硬编码来改进线性算法
多项式内核
叶编码(嵌入随机森林)
遗传算法
局部线性嵌入,谱嵌入,t-SNE
行统计
NAN 值数
零值数
负值数
平均值,最大值,最小值,偏度,等
时间变量
时间变量,比如日期,需要更好的本地验证方案(比如回溯测试)
这里很容易犯错
有很多机会获得重大突破
投影到圆内
将单个的特征,比如 day_of_week,投影到一个圆的两个坐标上
确保 max 和 min 间的距离等于 min 和 min+1 间的距离
使用 day_of_week,day_of_month,hour_of_day
趋势线
代替编码:总花费,对某件事编码要像:上周的花费,上个月的花费,
上一年的花费
给出一个算法趋势:两个顾客花费相当,但却有截然不同的表现方式
-------一个顾客可能开始花的更多,而另一个接下来可能会减少花费
重大事件的临近
硬编码类别特征,如:data_3_days_before_holidays:1
Try:国庆节,重大体育事件,周末,每个月的第一个星期六,等
这些因素可能会对花费行为产生重大影响
空间变量
空间变量是对本地空间编码的变量
示例:GPS,城市,国家,地址
将位置归类
克里金插值
K-means 分类
原经纬度
将城市转换为经纬度
给街名添加邮政编码
与中心的接近程度
确定当前位置与中心点的接近程度
小城镇传承了周边的大城市的文化和语言
手机的位置可映射到最近的商业中心或超市
空间的欺骗行为
本地事件的数据可以作为可疑行为的指示
不可能的旅行速度:在多个国家同时出现交易
在不同城镇的花费多过在家或送货地址
从不在同一地点花费
探索
数据探索可以发现数据的健壮程度,离群点,噪声,特征工程的想法,
以及特征清洗的想法
可用的有:控制台,pandas,notebook
试试简单的统计:min,max
合并目标,一遍找到项目间的相关性
迭代/调试
特征工程是一个迭代的过程:合理的规划以便快速迭代
使用次线性调试:输出过程中的信息,要做伪日志
使用工具进行快速实验
许多的想法会失败,更多的想法就会成功
标签工程
把标签/目标/依赖性变量当做数据的特征,反之亦然
对数变换:y---> log(y+1) | exp(y_pred)-1
平方变换
箱行变换
创建一个 score,来当做最初的回归目标函数
训练回归来预测测试集里没有的特征
自然语言处理
关于类别特征的所有想法都能用
深度学习(自动化特征工程)在这个领域越来越越来越吃香,但浅度
的学习和精细化特征设计仍然很有竞争力。
高度稀疏的数据可能会带来维数灾难
这部分有许多机会来做特征工程:
清洗:
大写变小写
解码
去掉符号
修复
标志法
编码标点来标记:硬编码“!”和“?”
标志:将句子切分成单词
N-Grams:连续的记号编码:“I like the Beatles”--->[“I like”,”like the”,”the
Beatles”]
Char-grams: 和 N-Grams 一 样 , 但 是 是 字 母 级 的 :“ Beatles ”
--->[“Bea”,”eat”,”atl”,”tle”,”les”]
词缀:和 char-grams 一样,但是只针对后缀和前缀
去除
停止词:去掉出现在停止词列表中的词/标记
特殊词:去掉只在训练集中出现过几次的单词。
常见词:去掉可能不在停止词列表中但却及其常见的词
根
拼写校正:改变正确拼写的标志
切分:只拿出一个单词中的前 8 个字母
词干:去掉单词/标记的词根 cars-->car
把文中的词按屈折变化形式进行归类:never be late--->never are late
相似性
标记相似性:两个文本中出现的标记个数
压缩距离:寻找比当前文本更好的压缩距离的另一个文本
编辑/汉明/杰卡德距离:检查两个字符串间的相似性
Word2Vec/Glove:检查两个平均向量间的余弦相似性
词频-逆文档词频
词频:减少长文本的偏好
逆文档词频:减少常见标记的偏好
词频-逆文档词频:用于识别文档中最重要的标记,来去除不重要的
标记,或预处理降维
降维
PCA:将文本的维度降到 50-100
SVD:将文本的维度降到 50-100
LDA: TF-IDF followed by SVD
LSA: 创建主题向量
外部模型
情绪分析:得出一个反应文本中积极或消极情绪的向量
主题模型:用另一个数据集来创建一个新数据集的主题向量
神经网络&深度学习
神经网络号称 end-to-end 的自动化特征工程
特征工程垂死的领域?
不!继续专注在建筑工程领域
尽管许下了承诺:计算机视觉像这样使用特征:HOG,SIFT,美白,
摄动,图像金字塔,旋转,缩放 z 缩放,日志,架克,外部语义数据,
等。
原文地址:http://blog.51cto.com/yixianwei/2142523