机器学习的技术栈及应用实例脑洞

之前写了一篇入门级的学习列表: 简单粗暴地入门机器学习

好多小伙伴觉得不太过瘾,今天补充一些脑洞!

本文结构:

  • 机器学习技术栈
  • 职位
  • 项目实例

1. 机器学习技术栈

去知乎上可以搜到很多推荐的学习路线,问题就是太多了,我就先列出一些必需的知识和项目方向,学习还是要一步一步积累的。

需要的基础技能:

  • Various level of math, including probability, statistics, algebra, calculus, logic and algorithms.
  • Bayesian networking or graphical modeling, including neural nets.
  • Physics, engineering and robotics.
  • Computer science, programming languages and coding.
  • Cognitive science theory.

关于数学基础:

  • 线性代数,最小二乘,PCA,SVD
  • 微积分基础,梯度下降法,牛顿法,神经网络后向传播
  • 概率论基础,条件概率,贝叶斯定理,logistic

很多小伙伴觉得自己数学不好,是不是就会很难入门,上一篇文章中提到过,入门并不难,本科时的高数就可以用,如果有时间,可以复习一下 线性代数,微积分,概率论,这些是基础。就算学习深度学习时遇到了复杂的模型公式,有了这些基础,应该也是可以看懂的。

库:

  • TensorFlow + Keras
  • Python: Numpy, Pandas, Matplotlib, Scipy

机器学习算法基础:

分类

回归

聚类

关联

决策树

支持向量机(SVM)

神经网络

深度学习

增强学习

交叉检验

贝叶斯

模型训练基础:

  • Back Propagation (BP)
  • Stochastic Gradient Descent (SGD)

神经网络:

  • Feedforward Neural Network
  • Convolutional Neural Network (CNN)
  • Recurrent Neural Network (RNN)
  • Deep Feedforward Network (DFN)

自然语言处理:推荐课程 cs224d

  • word embedding
  • Softmax

有趣的项目:

人脸识别

手写识别

物体识别

语言识别

个性化推荐

预测价格

用户画像

行为分析

无人车

照片油画化

文章生成

音乐生成

诗歌生成

聊天机器人

游戏机器人


2. 职位

职位的话,推荐去拉勾网搜机器学习,深度学习,人工智能等关键词,看一下都有哪些职位,就差不多能知道需要哪些技能,挑一个和自己技术栈比较相近的开始学习。

不过如果还没有明确的方向的话,基础学起来,例如 斯坦福 Andrew Ng 的 机器学习课程,还是没有差的,因为底层知识都是必需的,而且基础就是举一反三,以不变应万变的神器。

这里先列出一些大的类型:

  • AI / machine learning researcher.

Research improvements to machine learning algorithms. In some cases, research ways of applying it to new domains. Usually you’ve got a PhD in the area for these jobs.

  • AI Software development, including program management and test.

Developing the systems and infrastructure that can apply machine learning to an input data set. This is just like any other software engineering position. You can get these jobs with a bachelor’s in a related field (e.g. computer science), though it’s good to have some understanding of machine learning and AI, and good math skills.

  • Data mining and analysis.

This is deep investigation of large data sources, and often creating and training systems to recognize patterns in them. A PhD in a related field is not unusual, but again I’ve seen people with bachelor’s degrees doing it.

  • Machine learning applications.

This is applying a machine learning or AI framework to a specific problem in a different domain. For example, applying machine learning to gesture recognition, ad analysis, or fraud detection. If you are already working in the target area, you can do this with a little guidance from someone familiar with the framework you want to use.

如果还是不知道自己的目标的话,那就先进入一线城市、最热门、最具有竞争力的行业企业里去修炼,同时持续地观察自己。越大的城市可能性越多,视野越广阔,越容易发现自己喜欢的方向;越强的竞争也给你越多磨炼和积淀,在你找到目标的时候,有能力随时移动过去。最后,让优秀的人带你跑一段,慢慢你会看到机会。

忍不住来句最喜欢的鸡汤:


3. 项目实例

图片来自:

麦肯锡用数据说明,关于机器学习有120个商业机会

麦肯锡研究发布了机器学习将影响的12个领域,每个领域又分为10个方面。也就是说可以看到深度学习的120个商业机会。

现在身边比较火的提的最多的词就是计算机视觉,自然语言处理,人工智能,VRAR,自动驾驶等等,但其实机器学习可以解决的问题远不止这些。

系统地学完一门机器学习的课程后,就可以知道,它能做的可以总结为 优化,预测,相关性 问题,所以深度学习和机器学习可以用于解决很多行业的问题,制造业,金融业,零售业,能源,医疗,农业,媒体,电信等等,只要是涉及到优化,预测,个性化相关的,这俩技术都可以做。

下面 12 幅图就是各个领域的应用实例,有列出各自所属的问题类别,并按照影响度由高到低排列。

原文是一份136页的报告,感兴趣的可以点击此链接:http://www.mckinsey.com/business-functions/mckinsey-analytics/our-insights/the-age-of-analytics-competing-in-a-data-driven-world



好啦,暂时就列举这么多,还是那句话,对于初学者,这篇文章你就用来有个宏观把握就可以了,脚踏实地地先把第一篇文章中的材料学好,就没什么不可能的。不要被这篇文章中的 list 吓到。

我也在一点点学习,共勉,特别喜欢的一句话:

一个人的知识就像一个圆,圆周外面是未知世界;圆的半径越大,圆周就越长,因而就更感到无知里的圆的半径越大。



推荐阅读

历史技术博文链接汇总

也许可以找到你想要的

时间: 2024-08-07 12:30:53

机器学习的技术栈及应用实例脑洞的相关文章

各大公司容器云的技术栈对比

郑昀编著于2015/10/20 目前来看,几家历史包袱较重的公司都选择不让上层应用感知到底层是 VM 还是容器,所以都改了 docker 内核,如360.点评.汽车之家.最后附上我们的容器私有云技术栈以及系统截图. 点评容器技术栈 2014年启动基于 docker 搭建私有云,之前谈不上使用过私有云 运维工具:Puppet NATS+Nginx+Zookepper: 组件之间的交互使用了 NATS,通过消息的『发布-订阅』模型,将各个组件之间的耦合最小化 对于Web类型的应用,通过和 Nginx

程序员之数据分析Python技术栈

引言: Python是一种非常流行的脚本语言,其还提供了一个科学技术栈,可以进行快捷方便的数据分析,本系列文章将聚焦在如何使用基于Python的技术栈来构建数据分析的工具集合.工欲善其事,必先利其器,让我们来看看这些工具吧. 0. 数据分析 以及机器学习 信息时代唯一不变的就是变化. 随着信息化技术的推广和应用,大数据技术的大规模应用,于是乎数据分析.数据挖掘.机器学习甚至于从前高大上的人工智能(AI)已经开始频繁出现在各个场合,这一切昭示着数据时代的来临. 对于程序猿们来说,除了写代码,实现特

java技术栈

java技术栈 1 java基础: 1.1 算法 1.1 排序算法:直接插入排序.希尔排序.冒泡排序.快速排序.直接选择排序.堆排序.归并排序.基数排序 1.2 二叉查找树.红黑树.B树.B+树.LSM树(分别有对应的应用,数据库.HBase) 1.3 BitSet解决数据重复和是否存在等问题 1.2 基本 2.1 字符串常量池的迁移 2.2 字符串KMP算法 2.3 equals和hashcode 1.equals方法用于比较对象的内容是否相等(覆盖以后) 2.hashcode方法只有在集合中

【干货】微服务技术栈选型手册2.0

一.前言 2014年可以认为是微服务1.0的元年,当年有几个标志性事件,一是Martin Fowler在其博客上发表了"Microservices"一文,正式提出微服务架构风格:二是Netflix微服务架构经过多年大规模生产验证,最终抽象落地形成一整套开源的微服务基础组件,统称NetflixOSS,Netflix的成功经验开始被业界认可并推崇:三是Pivotal将NetflixOSS开源微服务组件集成到其Spring体系,推出Spring Cloud微服务开发技术栈. 一晃三四年过去,

重谈react优势——react技术栈回顾

react刚刚推出的时候,讲react优势搜索结果是几十页. 现在,react已经慢慢退火,该用用react技术栈的已经使用上,填过多少坑,加过多少班,血泪控诉也不下千文. 今天,再谈一遍react优势,WTF? React的收益有哪些?React的优势是什么?react和vue.angularJS等其它框架对比优势? 而作为总结回顾.react在工程实践中,带来哪些思想上的质变? virtual dom虚拟DOM概念 它并不直接对DOM进行操作,引入了一个叫做virtual dom的概念,安插

微服务架构技术栈选型手册¶

微服务架构技术栈选型手册 2014~2018,微服务经过三年的发展,现状如何?这是一份为让你更好使用微服务的技术站选型手册.除此之外,你还可以按需选用配套的微服务架构视频内容. 一.前言 2014 年可以认为是微服务 1.0 的元年,当年有几个标志性事件,一是 Martin Fowler 在其博客上发表了"Microservices"一文,正式提出微服务架构风格:二是 Netflix 微服务架构经过多年大规模生产验证,最终抽象落地形成一整套开源的微服务基础组件,统称 NetflixOS

HTML5学习路线资料,HTML5前端面试的技术栈

各位小伙伴大家好,现如今前端程序员编程可是相当的吃香.根据多年丰富的面试经历和岗位分析,对前端面试的技术栈,各大公司面试特点,进行简要的分析 ,随着我的秀发越来越少可以说我们积累的经验越来越多,在此给大家进行一个简要的分享. 先说前端必备的技能, html , css , JavaScript , jQuery(源码部分) , nodejs , vue , react ,设计模式, 这些技术栈还是要具备的,当然框架的话2选一即可. 现在大公司的要求绝大多数以原生JavaScript为根本,例如腾

2019全球C++软件技术大会 ,深度探讨围绕C++及相关技术栈的最佳工程实践

C++自1985年由Bjarne Stroustrup博士在贝尔实验室发明以来 ,作为计算机领域最有影响力的编程语言,其构建的庞大软件系统已经成为当今世界IT与互联网应用的关键支撑.秉承“全球专家.连接智慧”的理念,我们特邀C++之父Bjarne Stroustrup和众多在C++领域的一线专家.教育学者,于2019年11月2日-3日在上海世纪珀俪酒店举办“2019 全球C++软件技术大会”. 大会通过主题演讲.互动研讨.案例分享等形式,深度探讨围绕C++及相关技术栈的最佳工程实践.前沿应用和教

ELK技术栈之-Logstash详解

ELK技术栈之-Logstash详解 前言 在第九章节中,我们已经安装好Logstash组件了,并且启动实例测试它的数据输入和输出,但是用的是最简单的控制台标准输入和标准输出,那这节我们就来深入的学习Logstash的详细使用. 常用启动参数 我们在上一节中演示了启动Logstash的实例,其中我们启动的时候给Logstash脚本传入了-e的参数,但实际上,Logstash的启动参数有很多,我们来看一下各个启动参数的作用: -e #立即启动实例,例如:./logstash -e "input {