【udacity】机器学习-波士顿房价预测小结

Evernote Export

body,td { font-family: 微软雅黑; font-size: 10pt }

机器学习的运行步骤

1.导入数据

没什么注意的，成功导入数据集就可以了，打印看下数据的标准格式就行

用个info和describe

2.分析数据

这里要详细分析数据的内容，看看缺省值和数据的特征，主要是为了看到数据的特征，并且人肉分析一下特征值对目标值的大约影响，嗯，就是这样

然后开始划分数据，将数据分为两个部分，一个数据的特征值(features)，一个是数据的目标值(target)

这里要用到数据的基本操作，有数据清洗和数据整理等内容。

重点：数据的分割，这里就需要将数据集(如果只有一个数据集)分割为两个部分，一个是训练集，一个是测试集

这里使用的是

from sklearn.model_selection import train_test_split
X_train, X_test, y_train, y_test = train_test_split(features,prices,test_size=0.2,random_state=10)

3.模型衡量标准

这里稍微有点懵，因为这一步并不会在接下来马上使用，而是在过程中，你需要评估的一种方式，我这里把这种方式应该是作为一个模块化编程的方式来学习的，而不是部分交互式编程的方式

  • 使用 sklearn.metrics 中的 r2_score 来计算 y_true 和 y_predict的R2值，作为对其表现的评判。
  • 将他们的表现评分储存到score变量中。

    设立模型的衡量标准主要是为了确定你的模型拟合程度

def performance_metric(y_true, y_predict):
    """计算并返回预测值相比于预测值的分数"""
    from  sklearn.metrics import r2_score
    score = r2_score(y_true, y_predict)

    return score

4.分析模型表现

这里应该是有对算法的模型选型的过程，这里跳过的原因是因为这一章我们是站在已经有数据模型的方向去考虑问题的，所以跳过了模型的选型和测试的环节，实际上这里应该是最花时间的地方，需要你调参的地方也会很多。

它们是一个决策树模型在不同最大深度下的表现。每一条曲线都直观得显示了随着训练数据量的增加，模型学习曲线的在训练集评分和验证集评分的变化，评分使用决定系数R2。曲线的阴影区域代表的是该曲线的不确定性（用标准差衡量）

5.选择最优参数

选择最优参数的时候也是在已经确定了模型以后的简单调参了，就是选择了决策树的最大深度

6.做出预测

没什么说的，就是带入新的数据进行模拟运算

%23%23%23%20%E6%9C%BA%E5%99%A8%E5%AD%A6%E4%B9%A0%E7%9A%84%E8%BF%90%E8%A1%8C%E6%AD%A5%E9%AA%A4%0A%23%23%23%23%201.%E5%AF%BC%E5%85%A5%E6%95%B0%E6%8D%AE%0A%E6%B2%A1%E4%BB%80%E4%B9%88%E6%B3%A8%E6%84%8F%E7%9A%84%EF%BC%8C%E6%88%90%E5%8A%9F%E5%AF%BC%E5%85%A5%E6%95%B0%E6%8D%AE%E9%9B%86%E5%B0%B1%E5%8F%AF%E4%BB%A5%E4%BA%86%EF%BC%8C%E6%89%93%E5%8D%B0%E7%9C%8B%E4%B8%8B%E6%95%B0%E6%8D%AE%E7%9A%84%E6%A0%87%E5%87%86%E6%A0%BC%E5%BC%8F%E5%B0%B1%E8%A1%8C%0A%E7%94%A8%E4%B8%AAinfo%E5%92%8Cdescribe%0A%23%23%23%23%202.%E5%88%86%E6%9E%90%E6%95%B0%E6%8D%AE%0A%E8%BF%99%E9%87%8C%E8%A6%81%E8%AF%A6%E7%BB%86%E5%88%86%E6%9E%90%E6%95%B0%E6%8D%AE%E7%9A%84%E5%86%85%E5%AE%B9%EF%BC%8C%E7%9C%8B%E7%9C%8B%E7%BC%BA%E7%9C%81%E5%80%BC%E5%92%8C%E6%95%B0%E6%8D%AE%E7%9A%84%E7%89%B9%E5%BE%81%EF%BC%8C%E4%B8%BB%E8%A6%81%E6%98%AF%E4%B8%BA%E4%BA%86%E7%9C%8B%E5%88%B0%E6%95%B0%E6%8D%AE%E7%9A%84%E7%89%B9%E5%BE%81%EF%BC%8C%E5%B9%B6%E4%B8%94%E4%BA%BA%E8%82%89%E5%88%86%E6%9E%90%E4%B8%80%E4%B8%8B%E7%89%B9%E5%BE%81%E5%80%BC%E5%AF%B9%E7%9B%AE%E6%A0%87%E5%80%BC%E7%9A%84%E5%A4%A7%E7%BA%A6%E5%BD%B1%E5%93%8D%EF%BC%8C%E5%97%AF%EF%BC%8C%E5%B0%B1%E6%98%AF%E8%BF%99%E6%A0%B7%0A%E7%84%B6%E5%90%8E%E5%BC%80%E5%A7%8B%E5%88%92%E5%88%86%E6%95%B0%E6%8D%AE%EF%BC%8C%E5%B0%86%E6%95%B0%E6%8D%AE%E5%88%86%E4%B8%BA%E4%B8%A4%E4%B8%AA%E9%83%A8%E5%88%86%EF%BC%8C%E4%B8%80%E4%B8%AA%E6%95%B0%E6%8D%AE%E7%9A%84%E7%89%B9%E5%BE%81%E5%80%BC(features)%EF%BC%8C%E4%B8%80%E4%B8%AA%E6%98%AF%E6%95%B0%E6%8D%AE%E7%9A%84%E7%9B%AE%E6%A0%87%E5%80%BC(target)%0A%E8%BF%99%E9%87%8C%E8%A6%81%E7%94%A8%E5%88%B0%E6%95%B0%E6%8D%AE%E7%9A%84%E5%9F%BA%E6%9C%AC%E6%93%8D%E4%BD%9C%EF%BC%8C%E6%9C%89%E6%95%B0%E6%8D%AE%E6%B8%85%E6%B4%97%E5%92%8C%E6%95%B0%E6%8D%AE%E6%95%B4%E7%90%86%E7%AD%89%E5%86%85%E5%AE%B9%E3%80%82%0A**%E9%87%8D%E7%82%B9%EF%BC%9A%E6%95%B0%E6%8D%AE%E7%9A%84%E5%88%86%E5%89%B2%EF%BC%8C%E8%BF%99%E9%87%8C%E5%B0%B1%E9%9C%80%E8%A6%81%E5%B0%86%E6%95%B0%E6%8D%AE%E9%9B%86(%E5%A6%82%E6%9E%9C%E5%8F%AA%E6%9C%89%E4%B8%80%E4%B8%AA%E6%95%B0%E6%8D%AE%E9%9B%86)%E5%88%86%E5%89%B2%E4%B8%BA%E4%B8%A4%E4%B8%AA%E9%83%A8%E5%88%86%EF%BC%8C%E4%B8%80%E4%B8%AA%E6%98%AF%E8%AE%AD%E7%BB%83%E9%9B%86%EF%BC%8C%E4%B8%80%E4%B8%AA%E6%98%AF%E6%B5%8B%E8%AF%95%E9%9B%86**%0A%3E%E8%BF%99%E9%87%8C%E4%BD%BF%E7%94%A8%E7%9A%84%E6%98%AF%0A%60%60%60python%0Afrom%20sklearn.model_selection%20import%20train_test_split%0AX_train%2C%20X_test%2C%20y_train%2C%20y_test%20%3D%20train_test_split(features%2Cprices%2Ctest_size%3D0.2%2Crandom_state%3D10)%0A%60%60%60%0A%0A%23%23%23%23%203.%E6%A8%A1%E5%9E%8B%E8%A1%A1%E9%87%8F%E6%A0%87%E5%87%86%0A%E8%BF%99%E9%87%8C%E7%A8%8D%E5%BE%AE%E6%9C%89%E7%82%B9%E6%87%B5%EF%BC%8C%E5%9B%A0%E4%B8%BA%E8%BF%99%E4%B8%80%E6%AD%A5%E5%B9%B6%E4%B8%8D%E4%BC%9A%E5%9C%A8%E6%8E%A5%E4%B8%8B%E6%9D%A5%E9%A9%AC%E4%B8%8A%E4%BD%BF%E7%94%A8%EF%BC%8C%E8%80%8C%E6%98%AF%E5%9C%A8%E8%BF%87%E7%A8%8B%E4%B8%AD%EF%BC%8C%E4%BD%A0%E9%9C%80%E8%A6%81%E8%AF%84%E4%BC%B0%E7%9A%84%E4%B8%80%E7%A7%8D%E6%96%B9%E5%BC%8F%EF%BC%8C%E6%88%91%E8%BF%99%E9%87%8C%E6%8A%8A%E8%BF%99%E7%A7%8D%E6%96%B9%E5%BC%8F%E5%BA%94%E8%AF%A5%E6%98%AF%E4%BD%9C%E4%B8%BA%E4%B8%80%E4%B8%AA%E6%A8%A1%E5%9D%97%E5%8C%96%E7%BC%96%E7%A8%8B%E7%9A%84%E6%96%B9%E5%BC%8F%E6%9D%A5%E5%AD%A6%E4%B9%A0%E7%9A%84%EF%BC%8C%E8%80%8C%E4%B8%8D%E6%98%AF%E9%83%A8%E5%88%86%E4%BA%A4%E4%BA%92%E5%BC%8F%E7%BC%96%E7%A8%8B%E7%9A%84%E6%96%B9%E5%BC%8F%0A%0A*%20%E4%BD%BF%E7%94%A8%C2%A0sklearn.metrics%C2%A0%E4%B8%AD%E7%9A%84%C2%A0r2_score%C2%A0%E6%9D%A5%E8%AE%A1%E7%AE%97%C2%A0y_true%C2%A0%E5%92%8C%C2%A0y_predict%E7%9A%84R2%E5%80%BC%EF%BC%8C%E4%BD%9C%E4%B8%BA%E5%AF%B9%E5%85%B6%E8%A1%A8%E7%8E%B0%E7%9A%84%E8%AF%84%E5%88%A4%E3%80%82%0A*%20%E5%B0%86%E4%BB%96%E4%BB%AC%E7%9A%84%E8%A1%A8%E7%8E%B0%E8%AF%84%E5%88%86%E5%82%A8%E5%AD%98%E5%88%B0score%E5%8F%98%E9%87%8F%E4%B8%AD%E3%80%82%0A**%E8%AE%BE%E7%AB%8B%E6%A8%A1%E5%9E%8B%E7%9A%84%E8%A1%A1%E9%87%8F%E6%A0%87%E5%87%86%E4%B8%BB%E8%A6%81%E6%98%AF%E4%B8%BA%E4%BA%86%E7%A1%AE%E5%AE%9A%E4%BD%A0%E7%9A%84%E6%A8%A1%E5%9E%8B%E6%8B%9F%E5%90%88%E7%A8%8B%E5%BA%A6**%0A%60%60%60python%0Adef%20performance_metric(y_true%2C%20y_predict)%3A%0A%20%20%20%20%22%22%22%E8%AE%A1%E7%AE%97%E5%B9%B6%E8%BF%94%E5%9B%9E%E9%A2%84%E6%B5%8B%E5%80%BC%E7%9B%B8%E6%AF%94%E4%BA%8E%E9%A2%84%E6%B5%8B%E5%80%BC%E7%9A%84%E5%88%86%E6%95%B0%22%22%22%0A%20%20%20%20from%20%20sklearn.metrics%20import%20r2_score%0A%20%20%20%20score%20%3D%20r2_score(y_true%2C%20y_predict)%0A%0A%20%20%20%20return%20score%0A%60%60%60%0A%23%23%23%23%204.%E5%88%86%E6%9E%90%E6%A8%A1%E5%9E%8B%E8%A1%A8%E7%8E%B0%0A%E8%BF%99%E9%87%8C%E5%BA%94%E8%AF%A5%E6%98%AF%E6%9C%89%E5%AF%B9%E7%AE%97%E6%B3%95%E7%9A%84%E6%A8%A1%E5%9E%8B%E9%80%89%E5%9E%8B%E7%9A%84%E8%BF%87%E7%A8%8B%EF%BC%8C%E8%BF%99%E9%87%8C%E8%B7%B3%E8%BF%87%E7%9A%84%E5%8E%9F%E5%9B%A0%E6%98%AF%E5%9B%A0%E4%B8%BA%E8%BF%99%E4%B8%80%E7%AB%A0%E6%88%91%E4%BB%AC%E6%98%AF%E7%AB%99%E5%9C%A8%E5%B7%B2%E7%BB%8F%E6%9C%89%E6%95%B0%E6%8D%AE%E6%A8%A1%E5%9E%8B%E7%9A%84%E6%96%B9%E5%90%91%E5%8E%BB%E8%80%83%E8%99%91%E9%97%AE%E9%A2%98%E7%9A%84%EF%BC%8C%E6%89%80%E4%BB%A5%E8%B7%B3%E8%BF%87%E4%BA%86%E6%A8%A1%E5%9E%8B%E7%9A%84%E9%80%89%E5%9E%8B%E5%92%8C%E6%B5%8B%E8%AF%95%E7%9A%84%E7%8E%AF%E8%8A%82%EF%BC%8C%E5%AE%9E%E9%99%85%E4%B8%8A%E8%BF%99%E9%87%8C%E5%BA%94%E8%AF%A5%E6%98%AF%E6%9C%80%E8%8A%B1%E6%97%B6%E9%97%B4%E7%9A%84%E5%9C%B0%E6%96%B9%EF%BC%8C%E9%9C%80%E8%A6%81%E4%BD%A0%E8%B0%83%E5%8F%82%E7%9A%84%E5%9C%B0%E6%96%B9%E4%B9%9F%E4%BC%9A%E5%BE%88%E5%A4%9A%E3%80%82%0A%0A%3E%E5%AE%83%E4%BB%AC%E6%98%AF%E4%B8%80%E4%B8%AA%E5%86%B3%E7%AD%96%E6%A0%91%E6%A8%A1%E5%9E%8B%E5%9C%A8%E4%B8%8D%E5%90%8C%E6%9C%80%E5%A4%A7%E6%B7%B1%E5%BA%A6%E4%B8%8B%E7%9A%84%E8%A1%A8%E7%8E%B0%E3%80%82%E6%AF%8F%E4%B8%80%E6%9D%A1%E6%9B%B2%E7%BA%BF%E9%83%BD%E7%9B%B4%E8%A7%82%E5%BE%97%E6%98%BE%E7%A4%BA%E4%BA%86%E9%9A%8F%E7%9D%80%E8%AE%AD%E7%BB%83%E6%95%B0%E6%8D%AE%E9%87%8F%E7%9A%84%E5%A2%9E%E5%8A%A0%EF%BC%8C%E6%A8%A1%E5%9E%8B%E5%AD%A6%E4%B9%A0%E6%9B%B2%E7%BA%BF%E7%9A%84%E5%9C%A8%E8%AE%AD%E7%BB%83%E9%9B%86%E8%AF%84%E5%88%86%E5%92%8C%E9%AA%8C%E8%AF%81%E9%9B%86%E8%AF%84%E5%88%86%E7%9A%84%E5%8F%98%E5%8C%96%EF%BC%8C%E8%AF%84%E5%88%86%E4%BD%BF%E7%94%A8%E5%86%B3%E5%AE%9A%E7%B3%BB%E6%95%B0R2%E3%80%82%E6%9B%B2%E7%BA%BF%E7%9A%84%E9%98%B4%E5%BD%B1%E5%8C%BA%E5%9F%9F%E4%BB%A3%E8%A1%A8%E7%9A%84%E6%98%AF%E8%AF%A5%E6%9B%B2%E7%BA%BF%E7%9A%84%E4%B8%8D%E7%A1%AE%E5%AE%9A%E6%80%A7%EF%BC%88%E7%94%A8%E6%A0%87%E5%87%86%E5%B7%AE%E8%A1%A1%E9%87%8F%EF%BC%89%0A%0A%23%23%23%23%205.%E9%80%89%E6%8B%A9%E6%9C%80%E4%BC%98%E5%8F%82%E6%95%B0%0A%E9%80%89%E6%8B%A9%E6%9C%80%E4%BC%98%E5%8F%82%E6%95%B0%E7%9A%84%E6%97%B6%E5%80%99%E4%B9%9F%E6%98%AF%E5%9C%A8%E5%B7%B2%E7%BB%8F%E7%A1%AE%E5%AE%9A%E4%BA%86%E6%A8%A1%E5%9E%8B%E4%BB%A5%E5%90%8E%E7%9A%84%E7%AE%80%E5%8D%95%E8%B0%83%E5%8F%82%E4%BA%86%EF%BC%8C%E5%B0%B1%E6%98%AF%E9%80%89%E6%8B%A9%E4%BA%86%E5%86%B3%E7%AD%96%E6%A0%91%E7%9A%84%E6%9C%80%E5%A4%A7%E6%B7%B1%E5%BA%A6%0A%0A%23%23%23%23%206.%E5%81%9A%E5%87%BA%E9%A2%84%E6%B5%8B%0A%E6%B2%A1%E4%BB%80%E4%B9%88%E8%AF%B4%E7%9A%84%EF%BC%8C%E5%B0%B1%E6%98%AF%E5%B8%A6%E5%85%A5%E6%96%B0%E7%9A%84%E6%95%B0%E6%8D%AE%E8%BF%9B%E8%A1%8C%E6%A8%A1%E6%8B%9F%E8%BF%90%E7%AE%97

原文地址：https://www.cnblogs.com/pandaboy1123/p/10240196.html

时间： 2024-07-29 13:19:40

【udacity】机器学习-波士顿房价预测小结的相关文章

02-08 多项式回归(波士顿房价预测)

目录 多项式回归(波士顿房价预测) 一.导入模块 二.获取数据 三.训练模型 3.1 报告决定系数 四.可视化 更新.更全的<机器学习>的更新网站,更有python.go.数据结构与算法.爬虫.人工智能教学等着你:https://www.cnblogs.com/nickchen121/ 多项式回归(波士顿房价预测) 一.导入模块 import pandas as pd import numpy as np import matplotlib.pyplot as plt from matplot

02-07 多元线性回归(波士顿房价预测)

目录 多元线性回归(波士顿房价预测) 一.导入模块 二.获取数据 三.训练模型 四.可视化 五.均方误差测试 更新.更全的<机器学习>的更新网站,更有python.go.数据结构与算法.爬虫.人工智能教学等着你:https://www.cnblogs.com/nickchen121/ 多元线性回归(波士顿房价预测) 一.导入模块 import pandas as pd import matplotlib.pyplot as plt from matplotlib.font_manager im

《用Python玩转数据》项目—线性回归分析入门之波士顿房价预测（二）

接上一部分,此篇将用tensorflow建立神经网络,对波士顿房价数据进行简单建模预测. 二.使用tensorflow拟合boston房价datasets 1.数据处理依然利用sklearn来分训练集和测试集. 2.使用一层隐藏层的简单网络,试下来用当前这组超参数收敛较快,准确率也可以. 3.激活函数使用relu来引入非线性因子. 4.原本想使用如下方式来动态更新lr,但是尝试下来效果不明显,就索性不要了. def learning_rate(epoch): if epoch < 200: re

02-06 普通线性回归(波斯顿房价预测)+特征选择

目录 普通线性回归(波士顿房价预测) 一.导入模块 二.获取数据 2.1 打印数据 三.特征选择 3.1 散点图矩阵 3.2 关联矩阵 四.训练模型 五.可视化 更新.更全的<机器学习>的更新网站,更有python.go.数据结构与算法.爬虫.人工智能教学等着你:https://www.cnblogs.com/nickchen121/ 普通线性回归(波士顿房价预测) 一.导入模块 import pandas as pd import numpy as np import matplotlib.

02-11 RANSAC算法线性回归(波斯顿房价预测)

目录 RANSAC算法线性回归(波斯顿房价预测) 一.RANSAC算法流程 二.导入模块 三.获取数据 四.训练模型 五.可视化 更新.更全的<机器学习>的更新网站,更有python.go.数据结构与算法.爬虫.人工智能教学等着你:https://www.cnblogs.com/nickchen121/ RANSAC算法线性回归(波斯顿房价预测) 虽然普通线性回归预测结果总体而言还是挺不错的,但是从数据上可以看出数据集中有较多的离群值,因此本节将使用RANSAC算法针对离群值做处理,即根据数据

波士顿房价数据集

机器学习:波士顿房价数据集 波士顿房价数据集(Boston House Price Dataset)(下载地址:http://t.cn/RfHTAgY) 使用sklearn.datasets.load_boston即可加载相关数据. from sklearn.datasets import load_boston 该数据集是一个回归问题.每个类的观察值数量是均等的,共有 506 个观察,13 个输入变量和1个输出变量. 每条数据包含房屋以及房屋周围的详细信息. CRIM:城镇人均犯罪率:  ZN

房价预测（HackerRank）

从今天开始要多做一些关于机器学习方面的竞赛题目,题目来源主要是Hackerrank和Kaggle.链接如下 Hackerrank:https://www.hackerrank.com/ Kaggle:https://www.kaggle.com/ 在Hackerrank中提交源代码,这就使得很多库都需要自己写,限制比较多.而Kaggle只需要提交数据,所以随便怎么搞都行.现在来讲第一道题,房价预测,这是Andrew Ng课程里的比较经典的例子.题目描述如下 题目:https://www.hack

Python——决策树实战：california房价预测

Python--决策树实战:california房价预测 编译环境:Anaconda.Jupyter Notebook 首先,导入模块: 1 import pandas as pd 2 import matplotlib.pyplot as plt 3 %matplotlib inline 接下来导入数据集: 1 from sklearn.datasets.california_housing import fetch_california_housing 2 housing = fetch_c

动手学深度学习17-kaggle竞赛实践小项目房价预测

kaggle竞赛 获取和读取数据集 数据预处理 找出所有数值型的特征,然后标准化 处理离散值特征 转化为DNArray后续训练 训练模型 k折交叉验证 预测样本,并提交结果 kaggle竞赛 本节将动手操作实践一个kaggle比赛,房价预测. 可以先将未经优化的数据的预处理,模型的设计和超参的选择,可以动手操作,观察实现的过程以及结果, 获取和读取数据集 比赛的数据分为训练数据集和测试数据集.两个数据集都包括每栋房子的特征,如阶段类型,建造年份,房顶类型,地下室状况等特征值.这些特征值有连续的数