机器学习入门-数据预处理-数字映射和one-hot编码 1.LabelEncoder(进行数据自编码) 2.map(进行字典的数字编码映射) 3.OnehotEncoder(进行one-hot编码) 4.pd.get_dummies(直接对特征进行one-hot编码)

1.LabelEncoder() # 用于构建数字编码

2 .map(dict_map)  根据dict_map字典进行数字编码的映射

3.OnehotEncoder()  # 进行one-hot编码,输入的参数必须是二维的,因此需要做reshape,同时使用toarray() 转换为列表形式

3  pd.get_dummies(feature,drop_first=False) 如果填单个特征的话,只对一个特征做one-hot编码映射, drop_first表示去除one-hot编码后的第一列数据

对于一些离散的文本标签,通常我们可以使用两种编码方式

比如存在[‘小明‘, ‘小红’, ‘小花‘, ‘小明‘]

数字编码:

对于数字映射的编码方式,存在一个编码映射表:比如{‘小明’: 0, ‘小红‘: 1, ‘小花‘: 2}

那么上述的特征可以通过数字编码映射为[0, 1, 2, 1]

one-hot编码:

对于one-hot编码而言:通常使用特征作为列名,如果存在该特征,对应的列名为1, 其他列名为0

即上述的one-hot编码的结果为

小明   小红   小花

0     1          0        0

1     0         1         0

2     0         0         1

3     1         0         0

代码:

数字编码:

第一种方法: 导入LabelEncoder() 进行编码:

第二种方式: 构建数字映射字典,使用.map完成映射

one-hot编码:

第一种方法:使用OnehotEncoder(), 对某列样本特征进行编码,使用toarray()获得列表的格式,构建字典,变换为DataFrame格式,通过pd.concat([], axis=1) 完成DataFrame格式的拼接

第二种方法:导入pd.get_dummies(feature, drop_first=False) 对某一列文本特征进行onehot编码的映射,使用pd.concat完成DataFrame格式的拼接,如果不填参单个特征,将对所有的文本特征都进行onehot编码操作

import numpy as np
import pandas as pd

vg_df = pd.read_csv(‘datasets/vgsales.csv‘, encoding = "ISO-8859-1")

# print(vg_df[[‘Name‘, ‘Platform‘, ‘Year‘, ‘Genre‘, ‘Publisher‘]].iloc[1:7])

# 第一种方法数字映射编码方式:
# 使用LabelEncoder() 进行编码
from sklearn.preprocessing import LabelEncoder

Gen_encode = LabelEncoder()
Gen_labels = Gen_encode.fit_transform(vg_df[‘Genre‘])
Gen_map = {encode: label for label, encode in enumerate(Gen_encode.classes_)}
print(Gen_map)
vg_df[‘Genre_en‘] = Gen_labels
print(vg_df[[‘Name‘, ‘Platform‘, ‘Year‘, ‘Genre‘, ‘Genre_en‘]].iloc[1:7])

# 第二种方法:使用map进行直接的数字编码映射
map_dict = {‘Action‘: 0, ‘Adventure‘: 1, ‘Fighting‘: 2, ‘Misc‘: 3, ‘Platform‘: 4, ‘Puzzle‘: 5, ‘Racing‘: 6, ‘Role-Playing‘: 7, ‘Shooter‘: 8, ‘Simulation‘: 9, ‘Sports‘: 10, ‘Strategy‘: 11}
vg_df[‘Genre_en‘] = vg_df[‘Genre‘].map(map_dict)
print(vg_df[[‘Name‘, ‘Platform‘, ‘Year‘, ‘Genre‘, ‘Genre_en‘]].iloc[1:7])

# One-hot编码方式
# 第一种方式
# 使用onehot对离散值进行编码,使用的是OneHotEncoder

from sklearn.preprocessing import OneHotEncoder, LabelEncoder

One_encode = OneHotEncoder()
label_encode = LabelEncoder()
poke_df = pd.read_csv(‘datasets/Pokemon.csv‘, encoding=‘utf-8‘)
# 将数据进行打乱
poke_df = poke_df.sample(frac=1, random_state=1).reset_index(drop=False)
label_classes = label_encode.fit_transform(poke_df[‘Generation‘])
# 打印出类别
print(label_encode.classes_)
One_val = One_encode.fit_transform(poke_df[‘Generation‘].values.reshape(-1, 1)).toarray()
One_dict_encode = {label_encode.classes_[j]: One_val[:, j] for j in range(len(label_encode.classes_))}
One_pd_encode = pd.DataFrame(One_dict_encode)
print(One_pd_encode)
# 将两个pd进行组合
poke_df[One_pd_encode.columns] = One_pd_encode[One_pd_encode.columns]

Leg_label = label_encode.fit_transform(poke_df[‘Legendary‘])
Leg_classes = label_encode.classes_

Leg_one = One_encode.fit_transform(poke_df[‘Legendary‘].values.reshape(-1, 1)).toarray()
# 作为每一列的类名
Leg_name = [‘Leg_‘+str(Leg_class) for Leg_class in Leg_classes]
Leg_dict = {Leg_name[j]:Leg_one[:, j] for j in range(len(Leg_name))}
Leg_pd = pd.DataFrame(Leg_dict)
# 使用pd.concat也可以进行组合
poke_df = pd.concat([poke_df, Leg_pd], axis=1)
# poke_df[Leg_pd.columns] = Leg_pd[Leg_pd.columns]
print(poke_df.head())

# 使用onehot编码的第二种方法:使用pd.get_dummies

poke_df = pd.read_csv(‘datasets/Pokemon.csv‘, encoding=‘utf-8‘)
poke_dummy_feature = pd.get_dummies(poke_df[‘Generation‘], drop_first=True)
poke_df = pd.concat([poke_df, poke_dummy_feature], axis=1)
print(poke_df.head())

原文地址:https://www.cnblogs.com/my-love-is-python/p/10320337.html

时间: 2024-10-01 03:42:16

机器学习入门-数据预处理-数字映射和one-hot编码 1.LabelEncoder(进行数据自编码) 2.map(进行字典的数字编码映射) 3.OnehotEncoder(进行one-hot编码) 4.pd.get_dummies(直接对特征进行one-hot编码)的相关文章

08-05 细分构建机器学习应用程序的流程-数据预处理

目录 细分构建机器学习应用程序的流程-数据预处理 一.1.1 缺失值处理 1.1 1.1.1 删除缺失值 1.1.1 4.6.1.2 填充缺失值 二.1.2 异常值处理 三.1.3 自定义数据类型编码 四.1.4 通过sklearn对数据类型编码 五.1.5 独热编码 5.1 1.5.1 sklearn做独热编码 5.2 1.5.2 pandas做独热编码 六.1.6 数据标准化 6.1 1.6.1 最小-最大标准化 6.2 1.6.2 Z-score标准化 七.1.7 二值化数据 八.1.8

【机器学习】数据预处理之将类别数据转换为数值

在进行python数据分析的时候,首先要进行数据预处理. 有时候不得不处理一些非数值类别的数据,嗯, 今天要说的就是面对这些数据该如何处理. 目前了解到的大概有三种方法: 1,通过LabelEncoder来进行快速的转换: 2,通过mapping方式,将类别映射为数值.不过这种方法适用范围有限: 3,通过get_dummies方法来转换. 1 import pandas as pd 2 from io import StringIO 3 4 csv_data = '''A,B,C,D 5 1,2

Kaggle项目泰坦尼克号预测生存情况(上)-------数据预处理

假期闲着无聊,做了一下Kaggle练手的项目--预测泰坦尼克号乘客的存活情况.对于一些函数和算法,刚开始也是懵懵懂懂的,但通过自己查资料,还是明白了许多,我会把参考资料的网址放在需要查看的地方. ------------------------------------ 我们的整个流程如下: ①数据预处理:数据清洗.可视化.标签化 ②分割训练数据 ③随机森林分类器及其参数调节 数据预处理:数据清洗.可视化.标签化 首先,先导入需要的模块并读取数据 #导入包,读取数据 import numpy as

机器学习入门-随机森林温度预测的案例

在这个案例中: 1. datetime.datetime.strptime(data, '%Y-%m-%d') # 由字符串格式转换为日期格式 2. pd.get_dummies(features)  # 将数据中的文字标签转换为one-hot编码形式,增加了特征的列数 3. rf.feature_importances 探究了随机森林样本特征的重要性,对其进行排序后条形图 代码: 第一步:数据读取,通过.describe() 查看数据是否存在缺失值的情况 第二步:对年月日特征进行字符串串接,使

机器学习入门-文本特征-word2vec词向量模型 1.word2vec(进行word2vec映射编码)2.model.wv['sky']输出这个词的向量映射 3.model.wv.index2vec(输出经过映射的词名称)

函数说明: 1. from gensim.model import word2vec  构建模型 word2vec(corpus_token, size=feature_size, min_count=min_count, window=window, sample=sample) 参数说明:corpus_token已经进行切分的列表数据,数据格式是list of list , size表示的是特征向量的维度,即映射的维度, min_count表示最小的计数词,如果小于这个数的词,将不进行统计,

机器学习实战:数据预处理之独热编码(One-Hot Encoding)

问题由来 在很多机器学习任务中,特征并不总是连续值,而有可能是分类值. 例如,考虑一下的三个特征: ["male", "female"] ["from Europe", "from US", "from Asia"] ["uses Firefox", "uses Chrome", "uses Safari", "uses Internet

数据预处理:独热编码(One-Hot Encoding)

http://blog.csdn.net/pipisorry/article/details/61193868 问题由来 在很多机器学习任务中,特征并不总是连续值,而有可能是分类值. 例如,考虑一下的三个特征: ["male", "female"] ["from Europe", "from US", "from Asia"] ["uses Firefox", "uses Ch

数据预处理之one-hot编码

What 用二进制表示机器状态. 使用N位状态寄存器来对N个状态进行编码 参考链接 例如: 自然状态码为:000,001,010,011,100,101 独热编码为:000001,000010,000100,001000,010000,100000 Why 在机器学习中,经常有一些值为离散的属性,比如,性别(男1,女0),区域(采用区域编号).这些作为特征,其取值只代表类别,大小并没有实际意义.而机器学习算法往往是局限于应用在连续的,有序的数据上.这就需要对这类特征进行预处理,来使我们的算法效果

python数据预处理和特性选择后列的映射

我们在用python进行机器学习建模时,首先需要对数据进行预处理然后进行特征工程,在这些过程中,数据的格式可能会发生变化,前几天我遇到过的问题就是: 对数据进行标准化.归一化.方差过滤的时候数据都从DataFrame格式变为了array格式. 这样数据的列名就会消失,且进行特征选择之后列的数量也会发生改变,因此需要重新对列进行映射,为其加上列名并转化为DataFrame的格式.一般情况下可以分为三种情况: 1.对数据进行缺失值填补.编码(处理分类型变量).二值化(处理连续型变量)一般都是按照列对