七月算法--12月机器学习在线班-第七次课笔记—最大熵

七月算法--12月机器学习在线班-第三次课笔记—矩阵和线性代数 七月算法(julyedu.com)12月机器学习在线班学习笔记 http://www.julyedu.com

七月算法--12月机器学习在线班-第五次课笔记—回归 七月算法(julyedu.com)12月机器学习在线班学习笔记 http://www.julyedu.com

七月算法--12月机器学习在线班-第六次课笔记—梯度下降和拟牛顿 七月算法(julyedu.com)12月机器学习在线班学习笔记 http://www.julyedu.com

七月算法--12月机器学习在线班-第四次课笔记—凸优化 七月算法(julyedu.com)12月机器学习在线班学习笔记 http://www.julyedu.com

七月算法--12月机器学习在线班-第十一次课笔记-随机森林和提升 七月算法(julyedu.com)12月机器学习在线班学习笔记http://www.julyedu.com ? 随机森林:多棵树,对当前节点做划分是最重要的 1,决策树 决策树学习采用的是自顶向下的递归方法,其基本思想是以信息熵为度量构造一棵熵值下降最快的树 叶子节点处的熵值为零,此时每个叶节点中的实例都属于同一类. ? 下面的重点是选择什么样的熵值下降最快 1.2, 决策树的生成算法: 建立决策树的关键,即在当前状态下选择哪个属

七月算法--12月机器学习在线班-第十三次课笔记-贝叶斯网络 七月算法(julyedu.com)12月机器学习在线班学习笔记http://www.julyedu.com ? 1.1 贝叶斯公式带来的思考:给定结果推原因: 1.2朴素贝叶斯的假设 1,一个特征出现的概率,与其他特征(条件)独立(特征独立性) 2, 每个特征同等重要 例如:文本分类 ,词出现为1,不出现为0 贝叶斯公式: 分解: ? 拉普拉斯平滑 判断两个文档的距离:夹角余弦 判断分类器的正确率:交叉验证 若一个词出现的次数多,一个

七月算法-12月机器学习--第十七次课笔记-隐马尔科夫模型HMM 七月算法(julyedu.com)12月机器学习在线班学习笔记http://www.julyedu.com 隐马尔科夫模型 三个部分:概率计算,参数估计,模型预测 1,HMM定义 HMM由初始概率分布π.状态转移概率分布A以及观测概率分布B确定. Eg:以中文分词为例子 隐状态为="2",是不是终止字,是/否?(Y/N)即是不是最后一个字. A矩阵:第一个:当前是终止字,下一个也是终止字的概率 B是当前的隐状态是终止词,

七月算法--12月机器学习在线班-第一次课笔记—微积分与概率论 七月算法(julyedu.com)12月机器学习在线班学习笔记 http://www.julyedu.com

七月算法-12月机器学习在线班--第十八次课笔记-条件随机场CRF 七月算法(julyedu.com)12月机器学习在线班学习笔记http://www.julyedu.com 1,对数线性模型 一个事件的几率odds,是指该事件发生的概率与该事件不发生的概率的比值. 1.1对数线性模型的一般形式 令x为某样本,y是x的可能标记,将Logistic/ Softmax回归的特征 记做 特征函数的选择:eg: 自然语言处理 1, 特征函数几乎可任意选择,甚至特征函数间重叠: 2, 每个特征之和当前的词