Spark MLlib 保序回归

"C:\Program Files\Java\jdk1.8.0_181\bin\java" "-javaagent:D:\Software\IntelliJ IDEA 2017.2.2\lib\idea_rt.jar=64070:D:\Software\IntelliJ IDEA 2017.2.2\bin" -Dfile.encoding=UTF-8 -classpath "C:\Program Files\Java\jdk1.8.0_181\jre\lib\charsets.jar;C:\Program Files\Java\jdk1.8.0_181\jre\lib\deploy.jar;C:\Program Files\Java\jdk1.8.0_181\jre\lib\ext\access-bridge-64.jar;C:\Program Files\Java\jdk1.8.0_181\jre\lib\ext\cldrdata.jar;C:\Program Files\Java\jdk1.8.0_181\jre\lib\ext\dnsns.jar;C:\Program Files\Java\jdk1.8.0_181\jre\lib\ext\jaccess.jar;C:\Program Files\Java\jdk1.8.0_181\jre\lib\ext\jfxrt.jar;C:\Program Files\Java\jdk1.8.0_181\jre\lib\ext\localedata.jar;C:\Program Files\Java\jdk1.8.0_181\jre\lib\ext\nashorn.jar;C:\Program Files\Java\jdk1.8.0_181\jre\lib\ext\sunec.jar;C:\Program Files\Java\jdk1.8.0_181\jre\lib\ext\sunjce_provider.jar;C:\Program Files\Java\jdk1.8.0_181\jre\lib\ext\sunmscapi.jar;C:\Program Files\Java\jdk1.8.0_181\jre\lib\ext\sunpkcs11.jar;C:\Program Files\Java\jdk1.8.0_181\jre\lib\ext\zipfs.jar;C:\Program Files\Java\jdk1.8.0_181\jre\lib\javaws.jar;C:\Program Files\Java\jdk1.8.0_181\jre\lib\jce.jar;C:\Program Files\Java\jdk1.8.0_181\jre\lib\jfr.jar;C:\Program Files\Java\jdk1.8.0_181\jre\lib\jfxswt.jar;C:\Program Files\Java\jdk1.8.0_181\jre\lib\jsse.jar;C:\Program Files\Java\jdk1.8.0_181\jre\lib\management-agent.jar;C:\Program Files\Java\jdk1.8.0_181\jre\lib\plugin.jar;C:\Program Files\Java\jdk1.8.0_181\jre\lib\resources.jar;C:\Program Files\Java\jdk1.8.0_181\jre\lib\rt.jar;E:\Scala_workplace\scala菜鸟教程\production\Spark_Mllibe;C:\Program Files (x86)\scala\lib\scala-actors-migration.jar;C:\Program Files (x86)\scala\lib\scala-actors.jar;C:\Program Files (x86)\scala\lib\scala-library.jar;C:\Program Files (x86)\scala\lib\scala-reflect.jar;C:\Program Files (x86)\scala\lib\scala-swing.jar;D:\spark-1.6.3-bin-2.6.0-cdh5.7.0\lib\spark-assembly-1.6.3-hadoop2.6.0-cdh5.7.0.jar" Isotonic_Regression
Using Spark‘s default log4j profile: org/apache/spark/log4j-defaults.properties
18/12/07 18:04:04 INFO SparkContext: Running Spark version 1.6.3
18/12/07 18:04:04 WARN NativeCodeLoader: Unable to load native-hadoop library for your platform... using builtin-java classes where applicable
18/12/07 18:04:05 INFO SecurityManager: Changing view acls to: wpguoc
18/12/07 18:04:05 INFO SecurityManager: Changing modify acls to: wpguoc
18/12/07 18:04:05 INFO SecurityManager: SecurityManager: authentication disabled; ui acls disabled; users with view permissions: Set(wpguoc); users with modify permissions: Set(wpguoc)
18/12/07 18:04:05 INFO Utils: Successfully started service ‘sparkDriver‘ on port 64093.
18/12/07 18:04:06 INFO Slf4jLogger: Slf4jLogger started
18/12/07 18:04:06 INFO Remoting: Starting remoting
18/12/07 18:04:06 INFO Remoting: Remoting started; listening on addresses :[akka.tcp://[email protected]:64106]
18/12/07 18:04:06 INFO Utils: Successfully started service ‘sparkDriverActorSystem‘ on port 64106.
18/12/07 18:04:06 INFO SparkEnv: Registering MapOutputTracker
18/12/07 18:04:06 INFO SparkEnv: Registering BlockManagerMaster
18/12/07 18:04:06 INFO DiskBlockManager: Created local directory at C:\Users\wpguoc\AppData\Local\Temp\blockmgr-b47ff26b-4ce0-4041-8926-ff0ecdd1a719
18/12/07 18:04:06 INFO MemoryStore: MemoryStore started with capacity 1127.3 MB
18/12/07 18:04:06 INFO SparkEnv: Registering OutputCommitCoordinator
18/12/07 18:04:06 INFO Utils: Successfully started service ‘SparkUI‘ on port 4040.
18/12/07 18:04:06 INFO SparkUI: Started SparkUI at http://192.168.66.80:4040
18/12/07 18:04:06 INFO Executor: Starting executor ID driver on host localhost
18/12/07 18:04:06 INFO Utils: Successfully started service ‘org.apache.spark.network.netty.NettyBlockTransferService‘ on port 64125.
18/12/07 18:04:06 INFO NettyBlockTransferService: Server created on 64125
18/12/07 18:04:06 INFO BlockManagerMaster: Trying to register BlockManager
18/12/07 18:04:06 INFO BlockManagerMasterEndpoint: Registering block manager localhost:64125 with 1127.3 MB RAM, BlockManagerId(driver, localhost, 64125)
18/12/07 18:04:06 INFO BlockManagerMaster: Registered BlockManager
boundaries	predictions
0.5	1.2024656206666666
0.9	1.2024656206666666
prediction	lable
1.2024656206666666	1.850001003
1.2024656206666666	1.708672171
1.2024656206666666	1.415907359
1.2024656206666666	1.393065378
1.2024656206666666	1.221406694
1.2024656206666666	1.186060644

原文地址：https://www.cnblogs.com/RHadoop-Hive/p/10084362.html

时间： 2024-10-11 10:54:10

Spark MLlib 保序回归的相关文章

Spark机器学习(3)：保序回归算法

保序回归即给定了一个无序的数字序列,通过修改其中元素的值,得到一个非递减的数字序列,要求是使得误差(预测值和实际值差的平方)最小.比如在动物身上实验某种药物,使用了不同的剂量,按理说剂量越大,有效的比例就应该越高,但是如果发现了剂量大反而有效率降低了,这个时候就只有把无序的两个元素合并了,重新计算有效率,直到计算出来的有效率不大于比下一个元素的有效率. MLlib使用的是PAVA(Pool Adjacent Violators Algorithm)算法,并且是分布式的PAVA算法.首先在每个分区

scikit-learn： isotonic regression（保序回归，非常有意思，仅做知识点了解，但差点儿没用到过）

http://scikit-learn.org/stable/auto_examples/plot_isotonic_regression.html#example-plot-isotonic-regression-py 代码就不贴了,參考上面链接. 看代码,给人的直观感受类似于CART,具有分段回归的效果. 只是非常少见人用这种方法,还是推荐使用CART吧,只是了解一下思想罢了. .. 给个简单的样例: 问题描写叙述:给定一个无序数字序列y,通过改动每一个元素的值得到一个非递减序列 y' ,问

scikit-learn： isotonic regression（保序回归，很有意思，仅做知识点了解，但几乎没用到过）

http://scikit-learn.org/stable/auto_examples/plot_isotonic_regression.html#example-plot-isotonic-regression-py 代码就不贴了,参考上面链接. 看代码,给人的直观感受类似于CART,具有分段回归的效果.不过很少见人用这个方法,还是推荐使用CART吧,不过了解一下思想罢了... 给个简单的例子: 问题描述:给定一个无序数字序列y,通过修改每个元素的值得到一个非递减序列 y' ,问如何使y和

机器学习：保序回归(IsotonicRegression)：一种可以使资源利用率最大化的算法

1.数学定义保序回归是回归算法的一种,基本思想是:给定一个有限的实数集合,训练一个模型来最小化下列方程: 并且满足下列约束条件: 2.算法过程说明从该序列的首元素往后观察,一旦出现乱序现象停止该轮观察,从该乱序元素开始逐个吸收元素组成一个序列,直到该序列所有元素的平均值小于或等于下一个待吸收的元素. 举例: 原始序列:<9, 10, 14> 结果序列:<9, 10, 14> 分析:从9往后观察,到最后的元素14都未发现乱序情况,不用处理. 原始序列:<9, 14, 10&

MLlib--保序回归

转载请标明出处http://www.cnblogs.com/haozhengfei/p/24cb3f38b55e5d7516d8059f9f105eb6.html 保序回归 1.线性回归VS保序回归 ? 线性回归->线性拟合 ? 保序回归->保序的分段线性拟合,保序回归是拟合原始数据最佳的单调函数 1.1保序回归保序回归是特殊的线性回归,如果业务上具有单调性,这时候就可以用保序回归,而不是用线性回归. 1.2保序回归应用场景药剂和中毒的预测,剂量和毒性呈非递减函数 1.

《Spark MLlib机器学习实践》内容简介、目录

http://product.dangdang.com/23829918.html Spark作为新兴的.应用范围最为广泛的大数据处理开源框架引起了广泛的关注,它吸引了大量程序设计和开发人员进行相关内容的学习与开发,其中 MLlib是 Spark框架使用的核心.本书是一本细致介绍 Spark MLlib程序设计的图书,入门简单,示例丰富. 本书分为 12章,从 Spark基础安装和配置开始,依次介绍 MLlib程序设计基础.MLlib的数据对象构建.MLlib中 RDD使用介绍,各种分类.聚类.

Spark MLlib Logistic Regression逻辑回归算法

1.1 逻辑回归算法 1.1.1 基础理论 logistic回归本质上是线性回归,只是在特征到结果的映射中加入了一层函数映射,即先把特征线性求和,然后使用函数g(z)将最为假设函数来预测.g(z)可以将连续值映射到0和1上. 它与线性回归的不同点在于:为了将线性回归输出的很大范围的数,例如从负无穷到正无穷,压缩到0和1之间,这样的输出值表达为"可能性"才能说服广大民众.当然了,把大值压缩到这个范围还有个很好的好处,就是可以消除特别冒尖的变量的影响. Logistic函数(或称为Sigm

Spark MLlib中分类和回归算法

Spark MLlib中分类和回归算法: -分类算法: pyspark.mllib.classification -朴素贝叶斯 NaiveBayes -支持向量机(优化:随机梯度下降)SVMWithSGD -逻辑回归 LogisticRegressionWithSGD // 从Spark 2.0开始,官方推荐使用BFGS方式优化LR算法 LogisticRegressionWithBFGS // 针对流式数据实时模型训练算法 StreamingLogisticRegressionWithSGD

Spark MLlib Linear Regression线性回归算法

1.Spark MLlib Linear Regression线性回归算法 1.1 线性回归算法 1.1.1 基础理论在统计学中,线性回归(Linear Regression)是利用称为线性回归方程的最小平方函数对一个或多个自变量和因变量之间关系进行建模的一种回归分析.这种函数是一个或多个称为回归系数的模型参数的线性组合. 回归分析中,只包括一个自变量和一个因变量,且二者的关系可用一条直线近似表示,这种回归分析称为一元线性回归分析.如果回归分析中包括两个或两个以上的自变量,且因变量和自变量之间