tensorflow学习之路---解决过拟合

‘‘‘

思路:
1、调用数据集 2、定义用来实现神经元功能的函数(包括解决过拟合) 3、定义输入和输出的数据
4、定义隐藏层(函数)和输出层(函数) 5、分析误差和优化数据(改变权重)
6、执行神经网络

‘‘‘
import tensorflow as tf
from sklearn.datasets import load_digits
from sklearn.model_selection import train_test_split
from sklearn.preprocessing import LabelBinarizer

#调用数据
digits = load_digits()#下载数据
X = digits.data #样本特征
Y = digits.target #样本准确值
y = LabelBinarizer().fit_transform(Y) #将数据转化为二值数组

X_train,X_test,y_train,y_test = train_test_split(X,y,test_size = 0.3)#分配数据
‘‘‘

扩展知识点
train_test_split是交叉验证中常用的函数,功能是从样本中随机的按比例选取train data和test data,形式为: 
X_train,X_test, y_train, y_test = cross_validation.train_test_split(train_data,train_target,test_size=0.4, random_state=0)
参数代表含义: 
train_data:所要划分的样本特征集 
train_target:所要划分的样本结果 
test_size:样本占比,如果是整数的话就是样本的数量 
random_state:是随机数的种子。
‘‘‘
print(len(X_train))

#定义用来实现神经元功能的函数
def add_layer(inputs,in_size,out_size,keep_prob,layer_name,activation_function=None):
  Weights = tf.Variable(tf.random_normal([in_size,out_size]))
  biases = tf.Variable(tf.zeros([1,out_size])+0.1)
  Wx_plus_Bx = tf.matmul(inputs,Weights)+biases
#在这里处理过拟合
  Wx_plus_b = tf.nn.dropout(Wx_plus_Bx,keep_prob)
  if activation_function==None:
    outputs = Wx_plus_b
  else:
    outputs = activation_function(Wx_plus_b)

  tf.summary.histogram(layer_name+‘/outputs‘,outputs)
  return outputs

#定义输入和输出的数据

x_data = tf.placeholder(tf.float32,[None,64])#这是因为sklearn中的手写图片的像素和、为8*8
y_data = tf.placeholder(tf.float32,[None,10])#数字只有10个
keep_prob = tf.placeholder(tf.float32)#定义过拟合数

#定义隐藏层和输出层
layer = add_layer(x_data,64,50,keep_prob,‘l1‘,tf.nn.tanh)#隐藏层
prediction = add_layer(layer,50,10,keep_prob,‘l2‘,tf.nn.softmax)#输出层

#分析误差和优化数据
cross_entropy = tf.reduce_mean(-tf.reduce_sum(y_data*tf.log(prediction),reduction_indices=[1]))

scalar_loss = tf.summary.scalar(‘loss‘,cross_entropy)
train_step = tf.train.GradientDescentOptimizer(0.6).minimize(cross_entropy)

#初始化所有的变量
init = tf.global_variables_initializer()

merged = tf.summary.merge_all()#定义一个图框

‘‘‘
因为sess是在sess的时候才出现的,所以应该写在sess的面
train_writer = tf.summary.FileWriter(‘logs/train‘,sess.graph)
test_writer = tf.summary.FileWriter(‘logs/test‘,sess.graph)
‘‘‘

#执行
with tf.Session()as sess:
  sess.run(init)
  #写入网页,这当中只有histogram和scaler同时出现才能写入网页
  train_writer = tf.summary.FileWriter(‘Logs/train‘,sess.graph)
  test_writer = tf.summary.FileWriter(‘Logs/test‘,sess.graph)
  for i in range(1000):
    sess.run(train_step,feed_dict = {x_data:X_train,y_data:y_train,keep_prob:0.6})
    if i%50==0:
      train_result = sess.run(merged,feed_dict={x_data:X_train,y_data:y_train,keep_prob:1})
‘‘‘
这个merged会自动的将预测值的精确度求出来
‘‘‘
      test_result = sess.run(merged,feed_dict={x_data:X_test,y_data:y_test,keep_prob:1})
      train_writer.add_summary(train_result,i)#将数据划入图中
      test_writer.add_summary(test_result,i)#将数据划入图中

‘‘‘
这里出现一个错误:就是test_result = sess.run(scalar_loss,feed_dict={x_data:X_test,y_data:y_test,keep_prob:1})
train_result = sess.run(scalar_loss,feed_dict={x_data:X_train,y_data:y_train,keep_prob:1})中的scalar_loss
改为merged的时候,再次执行就会报错
解决办法
1、我们可以关机,然后把logs文件里面的东西删除,然后在执行一次。因为他是系统日志文件
2、由于我,这里只是想损失函数loss通过tensorboard显示出来而已,并且字典表也正常赋值了:
result = sess.run(merged,feed_dict={xs:x_data,ys:y_data})
一切都很正常,想来想去感觉这个函数应该可以采用其他方式替换:
merged = tf.summary.merge_all()
这是tensorflow提供的合并所有summary信息的api,但是我只是想合并损失函数loss的summary
‘‘‘

原文地址:https://www.cnblogs.com/MyUniverse/p/9432221.html

时间: 2024-10-09 13:17:38

tensorflow学习之路---解决过拟合的相关文章

tensorflow学习之路-----卷积神经网络个人总结

卷积神经网络大总结(个人理解) 神经网络 1.概念:从功能他们模仿真实数据 2.结构:输入层.隐藏层.输出层.其中隐藏层要有的参数:权重.偏置.激励函数.过拟合 3.功能:能通过模仿,从而学到事件 其中过拟合:电脑太过于自信,想把所有的数据都模拟下来.但是这并不符合我们的实际的需求 激励函数:激活某一些参数 卷积神经网络: 1.一般的结构:输入数据.卷积层.池化层.卷积层.池化层.全连接层.全连接层.误差分析.参数优化.显示精确度 2.每一个层的要求: 输入数据:类型:[-1(表示能接受任意张图

TensorFlow学习路径【转】

作者:黄璞链接:https://www.zhihu.com/question/41667903/answer/109611087来源:知乎著作权归作者所有.商业转载请联系作者获得授权,非商业转载请注明出处. 前言:其实TensorFlow本身仅仅是一个分布式的高性能计算框架,想要用TF做深度学习,仅仅学习这个框架本身是没有太大意义的.因此应该将TF看作技术路线中的一个核心点,去掌握整个开发所需要的必要技术,知识.尤其是深度学习的基本原理,这对日后搭建模型,模型调参以至提出新的模型都是极其有用的.

我的算法学习之路

关于 严格来说,本文题目应该是我的数据结构和算法学习之路,但这个写法实在太绕口--况且CS中的算法往往暗指数据结构和算法(例如算法导论指的实际上是数据结构和算法导论),所以我认为本文题目是合理的. 这篇文章讲了什么? 我这些年学习数据结构和算法的总结. 一些不错的算法书籍和教程. 算法的重要性. 初学 第一次接触数据结构是在大二下学期的数据结构课程.然而这门课程并没有让我入门--当时自己正忙于倒卖各种MP3和耳机,对于这些课程根本就不屑一顾--反正最后考试划个重点也能过,于是这门整个计算机专业本

一个女大学生的代码学习之路(二)

首先说一下,写这种文章是由于我在四月四日晚上,在手动搭建自己的第一个ssh项目的时候,遇到了一个配置的问题,怎么解决也弄不好,当时是四号晚上九点,我看了一眼表,我就想两个小时之内,我要是能搞定就算行了,但是其实,我搞到三点才OK(凌晨),那时候已经是五号了,转天是一家子去扫墓的时候,结果我居然以这种一个理由没有去,理由是我太累了么?我只是就是搭了一个架子,就是由于我的包太混乱了,导致不兼容,所以tomcat总也不启动,你可能认为好笑,这么简单一个问题怎么就费这多多时间呢,但是作为一个刚接触三框架

MySQL数据库学习之路

MySQL学习之路 目录 MySQL学习之路[第一篇]:MySQL单双实例安装 MySQL学习之路[第二篇]:MySQL登陆关闭.密码修改破解 MySQL学习之路[第三篇]:MySQL增删改查.用户权授.系统函数.字段修改 MySQL学习之路[第四篇]:MySQL进程连接.交互.变量 MySQL学习之路[第五篇]:MySQL主健和索引 MySQL学习之路[第六篇]:MySQL存储引擎.事务.锁 MySQL学习之路[第七篇]:MySQL日志管理 MySQL学习之路[第八篇]:MySQL备份恢复 M

开始了大概三四天的Rails学习之路

最近因为一位极光推送朋友,我开始了大概三四天的Rails学习之路,最终达到的水平是可以比较轻松地做出大部分功能,然后自我感觉可以自如地按照Rails的设计思想去思考.由于编程的日益流行,我结识了越来越多非计算机系的学生出于爱好开始写代码,但是其中的大部分人也许在用着一些错误的学习方式来学习编程,为了避免大家再继续走弯路,在这篇文章中,我会介绍下一个初学者要如何学习Rails. 1. 为何而学,目标是什么? 今天和朋友在走路时,谈到要如何学习Rails,我问的第一个问题是,你为什么要学习Rails

Peng Gong:我的算法学习之路

原文出处: Lucida (@peng_gong) 关于 严格来说,本文题目应该是我的数据结构和算法学习之路,但这个写法实在太绕口--况且CS中的算法往往暗指数据结构和算法(例如算法导论指的实际上是数据结构和算法导论),所以我认为本文题目是合理的. 这篇文章讲了什么? 我这些年学习数据结构和算法的总结. 一些不错的算法书籍和教程. 算法的重要性. 初学 第一次接触数据结构是在大二下学期的数据结构课程.然而这门课程并没有让我入门--当时自己正忙于倒卖各种MP3和耳机,对于这些课程根本就不屑一顾--

Python学习之路-Day1-Python基础

Python学习之路第一天 学习内容: 1.Python简介 2.安装 3.第一个Python程序 4.变量 5.字符编码 6.用户输入 7.表达式if..else语句 8.表达式for语句 9.break和continue 10.while循环 11.字符串格式化 1.python简介 python的创始人为吉多·范罗苏姆(Guido van Rossum).1989年的圣诞节期间,吉多·范罗苏姆为了在阿姆斯特丹打发时间,决心开发一个新的脚本解释程序,作为ABC语言的一种继承. 最新的TIOB

QT学习之路--创建一个对话框

Q_OBJECT:这是一个宏,凡是定义信号槽的类都必须声明这个宏. 函数tr()全名是QObject::tr(),被他处理过的字符串可以使用工具提取出来翻译成其他语言,也就是做国际化使用. 对于QT学习之路:Qt学习之路(7):创建一个对话框(上)这个程序.编译出现 invalid use of incomplete type ‘class QPushButton’ findButton->setEnabled(!text.isEmpty()); ^ In file included from