简要说说一个完整机器学习项目的流程

1 抽象成数学问题

明确问题是进行机器学习的第一步。机器学习的训练过程通常都是一件非常耗时的事情,胡乱尝试时间成本是非常高的。
这里的抽象成数学问题,指的我们明确我们可以获得什么样的数据,目标是一个分类还是回归或者是聚类的问题,如果都不是的话,如果划归为其中的某类问题。

2 获取数据

数据决定了机器学习结果的上限,而算法只是尽可能逼近这个上限。
数据要有代表性,否则必然会过拟合。
而且对于分类问题,数据偏斜不能过于严重,不同类别的数据数量不要有数个数量级的差距。
而且还要对数据的量级有一个评估,多少个样本,多少个特征,可以估算出其对内存的消耗程度,判断训练过程中内存是否能够放得下。如果放不下就得考虑改进算法或者使用一些降维的技巧了。如果数据量实在太大,那就要考虑分布式了。

3 特征预处理与特征选择

良好的数据要能够提取出良好的特征才能真正发挥效力。
特征预处理、数据清洗是很关键的步骤,往往能够使得算法的效果和性能得到显著提高。归一化、离散化、因子化、缺失值处理、去除共线性等,数据挖掘过程中很多时间就花在它们上面。这些工作简单可复制,收益稳定可预期,是机器学习的基础必备步骤。
筛选出显著特征、摒弃非显著特征,需要机器学习工程师反复理解业务。这对很多结果有决定性的影响。特征选择好了,非常简单的算法也能得出良好、稳定的结果。这需要运用特征有效性分析的相关技术,如相关系数、卡方检验、平均互信息、条件熵、后验概率、逻辑回归权重等方法。

4 训练模型与调优

直到这一步才用到我们上面说的算法进行训练。现在很多算法都能够封装成黑盒供人使用。但是真正考验水平的是调整这些算法的(超)参数,使得结果变得更加优良。这需要我们对算法的原理有深入的理解。理解越深入,就越能发现问题的症结,提出良好的调优方案。

5 模型诊断

如何确定模型调优的方向与思路呢?这就需要对模型进行诊断的技术。
过拟合、欠拟合 判断是模型诊断中至关重要的一步。常见的方法如交叉验证,绘制学习曲线等。过拟合的基本调优思路是增加数据量,降低模型复杂度。欠拟合的基本调优思路是提高特征数量和质量,增加模型复杂度。
误差分析 也是机器学习至关重要的步骤。通过观察误差样本,全面分析误差产生误差的原因:是参数的问题还是算法选择的问题,是特征的问题还是数据本身的问题……
诊断后的模型需要进行调优,调优后的新模型需要重新进行诊断,这是一个反复迭代不断逼近的过程,需要不断地尝试, 进而达到最优状态。

6 模型融合

一般来说,模型融合后都能使得效果有一定提升。而且效果很好。
工程上,主要提升算法准确度的方法是分别在模型的前端(特征清洗和预处理,不同的采样模式)与后端(模型融合)上下功夫。因为他们比较标准可复制,效果比较稳定。而直接调参的工作不会很多,毕竟大量数据训练起来太慢了,而且效果难以保证。

7 上线运行

这一部分内容主要跟工程实现的相关性比较大。工程上是结果导向,模型在线上运行的效果直接决定模型的成败。 不单纯包括其准确程度、误差等情况,还包括其运行的速度(时间复杂度)、资源消耗程度(空间复杂度)、稳定性是否可接受。
这些工作流程主要是工程实践上总结出的一些经验。并不是每个项目都包含完整的一个流程。这里的部分只是一个指导性的说明,只有大家自己多实践,多积累项目经验,才会有自己更深刻的认识。

原文地址:https://www.cnblogs.com/tianqizhi/p/9584511.html

时间: 2024-07-29 18:42:45

简要说说一个完整机器学习项目的流程的相关文章

一个完整的项目中,需要的基本gulp

一个完整的项目需要使用gulp的多种功能,包括—— (1)加载各种需要的插件 var concat=require('gulp'); var clean=require(''gulp); 等等.需要的插件放在指定的module文件夹下面,然后再修改文件中修改. (2)启动任务和完成部署任务 我们想要在文件进行操作之前,首先将文件的环境弄好,例如,想把a放在一个目录下,但是这个目录下面有着很多的不需要的文件,所以我们首先需要将这些文件删除—— gulp.task('cleanTask',funct

“全栈”工程师笔记/记一个完整的项目流程

引语:相信很多人都自认为自己是个全栈工程师,不管有没有验证过,我也不例外.心中总有一种傲气,事情都能做,只是做得好不好,时间够不够的问题!所以,对很多事情,我其实是一点不怕的,随着时间的推移,人总是应该要进步的,去做一些没做过的事,才对得起成长二字! 刚好上上个月,公司有一个新的项目需求,需要做一个全新的系统,但是看起来也不难,所以任务就交给了我,我可以说我是这个项目负责人吗?应该是可以的!但是,最开始就已经存在了一些坑,等着我去跳,就连最开始过需求的时候,我也不在场!不过,最终,项目也终于交到

一个完整JavaWeb项目历程02 — Hello Servlet

前言 前一篇引入了很多概念性的东西,各种百度谷歌拼起来的一个Hello JavaWeb工程:那又有什么关系呢,只要在学习每天都会接触新概念的东西:尽管做就是了,概念不清楚又有什么关系.目的只有一个:做 一个完整的JavaWeb项目. 一.创建JavaWebServlet项目 请参考前一篇 二.创建一个HelloServlet类 其实包可以不用单独去创建,在创建Servlet的时候,Java package一栏填写包名:com.fwbc.servlet就可以自动创建包. 三.创建一个hello.j

一个完整的产品设计流程——家庭安全管家

不管是产品设计,还是前后端开发,始终都应该做出来才能够有很好的提高锻炼.书看得再多,如果不配合实际练习始终得不到实质性的进展. 接下来的案例是和几位学弟学妹一起做的,契机是参加一个用户体验设计比赛,从队伍的搭建,整个想法的提出,后期项目的推进,成品的完善,评委答辩,我都尽力去完成. 付出还是很有收获,整个产品设计流程都是依靠<用户体验要素>的五大架构层来实现. 虽然最后获得一些成绩,但还有很多地方都值得深入和优化,现在学完整个前后端语言再回来看当时作品时,的确需要考虑的事情还有很多. 完全不懂

【Android】 分享一个完整的项目,适合新手!

写这个app之前是因为看了头条的一篇文章:http://www.managershare.com/post/155110,然后心想要不做一个这样的app,让手机计算就行了.也就没多想就去开始整了. 项目用到了三个开源包: 一个是图片加载:https://github.com/nostra13/Android-Universal-Image-Loader 使用方法: 1.在Appliction的onCreate里初始化 /** * 初始化imageLoader */ public void ini

一个完整的网站上线流程(转)

上线的流程 1. 上线流程包含下列几个方面:1.1. 网络规划1.2. 系统规划1.3. 数据迁移2. 网络规划包含的内容2.1. 挑选机房2.2. 是否需要划分多个网段2.3. 出口是否需要VSRP2.4. 交换机之间如何进行备份2.5. 各个交换机之间的连接速度大小3. 系统规划包含的内容3.1. 挑选服务器3.2. 选择存储3.3. 选择操作系统3.4. 网站如何进行分层3.5. 各个应用如何良好分配到不同的服务器上3.6. 系统的监控3.7. 系统的备份4. 数据迁移4.1. 静态存储的

Android一个完整的项目转成SDK提供给第三方嵌入

1.项目导出Apk反编译到res/values/目录下找到'public.xml'和'ids.xml'两个文件: 2.项目设置为libray项目: 3.项目"Clean...",如果出现switch语句错误,一般要修改成if-else: [选择switch整个语句-右键-Quick Fix-Convert 'switch' to 'if-else'] 4.拷贝上面提到的'public.xml'和'ids.xml'两个文件到项目res/values目录下,这一步是定义资源ID,防止在Li

一个完整JavaWeb项目历程01 — Hello World

一.环境搭建 后续有时间补上 二.配置运行环境Tomcat 三.创建JavaWeb项目 原文地址:https://www.cnblogs.com/fwbc/p/9125120.html

一个完整项目的流程都涉及哪些内容

最近在跟着老师学做一个有关图书馆的项目,目标是做出一个移动端的包含校内图书馆内容的图书馆.上完第一节课,梳理一下有关内容. 第一节课主要介绍了做一个完整的项目的流程都有哪些,涉及哪方面的内容,具体如下: 一.首先需要确定你的目标是什么,即你要做什么.确定你要做的项目是什么,比如我学做的是有关图书馆的项目. 二.项目流程.了解主流IT互联网公司的项目流程及职责,来划分自己需要做内容都有哪些. 三.产品设计.进行需求分析,版本规划,原型设计. (1)需求分析 (2)版本规划 (3)原型设计 这里要推