python3的sklearn库中有偏最小二乘法。
可以参见下面的库说明：http://scikit-learn.org/stable/modules/generated/sklearn.cross_decomposition.PLSRegression.html
程序来源：来源：https://blog.csdn.net/li_huifei/article/details/78467689 经过修改可以在python3上运行
我的数据A.csv
我的数据RON.csv
# -*- coding: utf-8 -*-
#看来这个程序适合的是python2版本的。来源：https://blog.csdn.net/li_huifei/article/details/78467689
#这个目前也可以用了，主要还是在第60行的数据转换，，，不太清楚怎样去做装换。主要是因为数据类型不清楚，所以用了最笨的方法，不知道结果正不正确。？？？？【这个是错误的】
#PLSR3经过摸索，第68行，还是因为数据结构类型不对，之后把array类型的数组转换成了list，，，这样方便在外面套一个[]，，之后运行没有问题，但是结果的正确与否，还有待验证。
#导入库的部分
import csv
from sklearn import preprocessing
from sklearn.cross_validation import train_test_split
from sklearn.decomposition import RandomizedPCA
from sklearn.cross_decomposition import PLSRegression #偏最小二乘法的实现， 在这里是可以跳进 PLSRegression 里面的
import numpy as np
import math
import matplotlib.pyplot as plt
#导入数据的部分
A = np.loadtxt(‘A.csv‘,delimiter=‘,‘) #读入数据 这里的A就是y的矩阵 #读了这么多的数据？？？哪个是x，，哪个又是y呢？？？
print (A.shape)
RON = np.loadtxt(‘RON.csv‘,delimiter=‘,‘) #这里的RON就是x的矩阵
print (RON.shape)
#暂且在这里设置全局变量吧。
x_train_st_i=[]
#定义全局函数的部分。
def error(y_predict,y_test): #定义计算误差平方和函数，，，传入的是估算出的值，和测试值，，这里仅仅是用来定义的，方便后面的调用。
errs = []
for i in range(len(y_predict)):
e = (y_predict[i]-y_test[i])**2
errs.append(e)
return sum(errs)
#偏最小二乘法的实现部分。
x_train, x_test, y_train, y_test = train_test_split(RON,A,test_size=0.5) #划分训练集测试集，，，这个是一个库函数？？ ，，，，这里能够看出是A和RON进行建模的。
x_train_st = preprocessing.scale(x_train) #数据标准化，这个是内置函数
y_train_st = preprocessing.scale(y_train) #数据标准化,,这一句是我仿照上面的一句改写的。
n_components = 0 #这个应该是保存主成分的个数。
while n_components<x_train_st.shape[1]:
n_components=n_components+1 #在第一遍的时候n_components是1，第二遍循环的时候是2，，，第n遍循环是n，，最大是x的列数，也就是特征的个数，
pls2 = PLSRegression(n_components=n_components) #计算SS （SS这个是全建模 ， PRESS是减去一个进行建模，，，，在python里建模很简单，设置好参数，调用一下函数就能建模了）
#这个不是偏最小二乘法吗？？？,,这里是循环计算主成分的个数，直到达到满意的精度。
pls2.fit(x_train_st, y_train) #fit也是一个函数，，，两个参数，第一个参数是训练集，第二个参数是目标。
y_predict0 = pls2.predict(x_train_st) #predict也是一个内置的函数，，，，这个是不是用建好的模型去做预测，，，，把参数训练集输入进去，得到的是预测的值。
SS = error(y_predict0,y_train) #这里是预测的值和真正的值之间的误差大小。
y_predict1 = [] #这是创建了一个新的变量。根据名字的意思，根据模型得到的y的预测值，实际上这个模型是留一法建立的模型。
for i in range(x_train_st.shape[0]): #计算PRESS，，，，这个是x_train_st的行数
n_components1 = n_components #但是我不明白，为什么这里还要加1，主成分不可能是0个吧，所以就从1开始了。
x_train_st1 = np.delete(x_train_st,i,0) #这里的0是行，1是列，，这个应该是删除第i行，，，这里是标准化的数组。留一法的实现
y_train_st1 = np.delete(y_train,i,0) #这个也是删除第i行，这里都是经过标准化的（但这个x是经过标准化的，y却没有用标准化的数据）。，，这个没有用到过，是不是这里写错了？？
pls2 = PLSRegression(n_components=n_components1) #偏最小二乘法参数的设置，，，这里面一般有5个参数，，但这里只传入了主成分的个数。
#参数1：n_components:int ,(default 2) ,,要保留的主成分数量，默认为2
#参数2：scale:boolean,(default True),,是否归一化数据，默认为是
#参数3：max_iter: an integer,(default 500),,使用NIPALS时的最大迭代次数
#参数4：tol： non-negative real（default 1e-06）,,迭代截止条件
#参数5：copy： Boolean，（default True）,,
pls2.fit(x_train_st1, y_train_st1) #这里是根据前面设置好的参数建模过程，这里的建模过程是不是不太对（这里x是归一化的，y并没有用归一化的），应该都是用归一化的才行呀。？？？
#这里主要是进行了数据格式的转换，因为做预测要传进的是矩阵【格式很重要】
x_train_st_i=[] #用之前要进行清空，这个很重要。用一个参数之前要进行清空。
x_train_st_list=x_train_st[i].tolist()
x_train_st_i.append(x_train_st_list)
print (‘the x_train_st is ‘,x_train_st_i) #输出一下变量，查看格式是否正确，因为下面的predict函数需要用[[1，1，1，1，1，1]] 这种格式的数据
y_predict11 = pls2.predict(x_train_st_i) #预测函数，给定之前留一法没有用到的样本，进行建模，预测对应的y值。？？？？可是已经删除了不是吗？？？ ZHE这句出了一点问题？？？？就是数据格式有问题，需要在最外面在加一个[]
y_predict1.append(y_predict11) #把所有的y值组成一个数组，便于计算误差。，这个也是y的预测值，用它来算出另一个误差。
PRESS = error(y_predict1,y_train) #可能错误：https://blog.csdn.net/little_bobo/article/details/78861578
Qh = 1-float(PRESS/SS)
if Qh<0.0985: #判断精度 模型达到精度要求，可以停止主成分的提取了。
plt.figure(1)
plt.scatter(y_predict0,y_train) #画了一个图，这个图是预测值，与测量值的图？？？
plt.figure(2)
plt.scatter(y_predict1,y_train)
print (‘the Qh is ‘,Qh)
print (‘the PRESS is‘,PRESS)
print (‘the SS is‘,SS)
break #达到了上面的精度，就可以停止while的迭代了
#这下面就没有看懂了。
print (‘n_components is ‘,n_components+1) #这里为什么要加1？？？，，，难道因为计数是从0开始的？？
SECs = []
errors = []
e = 100
for i in range(10): #循环测试
#print i
x_train, x_test, y_train, y_test = train_test_split( RON,A, test_size=0.5) #划分训练集与测试集，这个是一个内置的函数。
x_test_st = preprocessing.scale(x_test) #数据标准化
y_predict = pls2.predict(x_test_st) #进行预测
SECs.append(np.sqrt(error(y_predict,y_test)/(y_test.shape[0]-1)))
errors.append(float(error(y_predict,y_test)))
if SECs[-1]<e:
y_predict_min = y_predict
y_test_min = y_test
print (‘the prediced value is ‘ ,y_predict.T) #画图，打印结果
print (‘the true value is‘,y_test)
print (‘the mean error is‘,float(np.mean(errors)))
print ("the mean SEC is ",float(np.mean(SECs)))
plt.figure(3)
plt.scatter(y_predict_min,y_test_min)
摘自：
原文地址：https://www.cnblogs.com/chulin/p/9522845.html
时间： 2024-10-29 19:29:14