机器学习问题汇总

1、什么是分类问题，什么是回归问题？区别在哪里？有没有联系？

　　分类问题：是对输入数据求一个具体的值，例如简单的二分类，只存在两种情况，要么在参考直线的左边，要么在参考直线的右边，根据外表特征预测一个人是男还是女。

回归问题：是对输入数据求一个逼近真实结果的几率，比如预测高考结果能上清华北大的几率。

2、线性回归，逻辑斯蒂回归，拟合函数，损失函数，梯度下降，学习率，正则化，Sigmoid函数之间的联系？

　　参考：

　　　梯度下降法解线性回归

梯度下降法解逻辑斯蒂回归 - eric.xing - 博客园

　　　应用机器学习建议

　梯度下降法解神经网络

　　Logistic回归的步骤为：

1. 设定拟合函数（hypothesis function）：h_θ(x)，其意义是给定参数θ，根据输入x，给出输出h_θ(x)，当输出值大于0.5时预测录取，否则预测被拒。
2. 设定代价函数（cost function）：J(θ)，其意义是累加所有样本的 预测结果h_θ(x) 与 真实结果y 之间的差距。
3. 利用梯度下降法，来调整参数θ，使得代价函数J(θ)的值最小。