学习笔记TF044:TF.Contrib组件、统计分布、Layer、性能分析器tfprof

TF.Contrib,开源社区贡献,新功能,内外部测试,根据反馈意见改进性能,改善API友好度,API稳定后,移到TensorFlow核心模块。生产代码,以最新官方教程和API指南参考。

统计分布。TF.contrib.ditributions模块,Bernoulli、Beta、Binomial、Gamma、Ecponential、Normal、Poisson、Uniform等统计分布,统计研究、应用中常用,各种统计、机器学习模型基石,概率模型、图形模型依赖。

每个不同统计分布不同特征、函数,同样子类Distribution扩展。Distribution,建立和组织随机变量、统计分布基础类。is_continuous表明随机变量分布是否连续。allow_nan_states表示分布是否接受nan数据。sample()从分布取样。prob()计算随机变量密度函数。cdf()求累积分布函数。entropy()、mean()、std()、variance()得到统计分布平均值和方差等特征。自定义统计分布类要实现以上方程。

Gamma分布。contrib.distributions导入Gamma分布,初始化alpha、beta tf.constant,建立Gamma分布。batch_shap().eval()得到每个样本形状,get_batch_shape(),tf.TensorShape()。log_pdf()函数,值log转换概率密度函数。建立多维Gamma分布,传入多维alpha、beta参数。

Layer模块。Contrib.layer包含机器学习算法所需各种各样成份、部件,卷积层、批标准化层、机器学习指票、优化函数、初始器、特征列。

机器学习层。深度学习和计算机视觉二维平均池avg_pool2d。np.random.uniform建立宽高都是3几张图片,contrib.layers.avg_pool2d()对图片快速建立3x3二维平均池,outpu形状[5,1,1,3],对每个3x3区域取计算平均值。

建立卷积层,contrib.layers.convolution2d()建立32个3x3过滤器卷积层,改stride、padding、activation_fn参数建立不同架构卷积层,使用不同卷咱们层激活函数。contrib.layers自动建立op名字,output.op.name值‘Conv/Relu‘,用了Conv层和ReLU激活函数。layer有自己对应op名字,每个op空间存储对应变量,contrib.framework.get_variables_by_name()得到对应op空间变量值。get_variables_by_name得到建立卷积层权重,权重形状是weights_shape值,[3,3,4,32]。

contrib.framework arg_scope减少代码重复使用。layers.convolution2d及传入参数放到agr_scope,避免重复在多个地方传入。normalizer_fn和normalizer_params,标准化方程及参数。

len(tf.contrib.framework.get_variables(‘Conv/BatchNorm‘))得到第一个Conv/BatchNorm层长度。

完全连接神经网络层fully_connected()。建立输入矩阵,fully_connected()建立输出7个神经单元神经网络层。tf.name_scope截下来运算放name_scope。fully_connected()传入scope。"fe/fc"层别号。传入outputs_collections,直接得到层输出。

repeat()重复用同样参数重复建立某个层。stack()用不同参数建立多个fully_connected()层。conv2d_transpose、conv2d_in_plane、separable_conv2d,参考官方文档。

损失函数。tf.contrib.losses模块,各种常用损失函数,二类分类、多类分类、回归模型等机器学习算法。

绝对差值。tf.constant建立predictions、targets数列。同样shape。选择性建立权重。losses.absolute_difference()计算预测损失值。

计算softmax交叉熵。多类分类机器学习模型。建立predictions、labels,多给。losses.softmax_cross_entropy()计算预测softmax交叉熵值。loss.eval()运行。loss.op.name得到TensorFlow自动赋值op名字,‘softmax_cross_entropy_loss/value‘。softmax_cross_entropy() label_smoothing平滑所有标识。

应用大部分分布稀疏,sparse_softmax_cross_entropy()提升计算效率。

特征列 Feature Column。tf.contrib.layers高阶特征列(Feature Column)API,和TF.Learn API结合使用,建立最适合自己数据的模型。

数据连续特征(continuous Feature)、类别特征(Categorical Feature)。连续数值特征称连续特征,可直接用在模型里。不连续类别特征,需要数值化,转换为一系列数值代表每个不同类别。learn.datasets API读入数据。

layers.FeatureColumn API定义特征列。real_valued_column()定义连续特征。

sparse_column_with_keys()处理类别特征,事先知道特征所有可能值。不知道所有可能值,用sparse_column_with_hash_bucket()转为特征列,哈希表。SparseColumn,直接在TF.Learn传入Estimator。

数据科学应用,连续特征可能需要被离散化,形成新类别特征,更好代表特征和目标分类类别之间关系。bucketized_column()将SparseColumn区间化。

部分应用,多个特征综合、交互与目标分类类别关系更紧密。多个特征相关,特征交互能建立更有效模型。crossed_column()建立交叉特征列。

特征列传入TF.Learn Estimator。fit()、predict()训练、评估模型。

取部分特征加权求和作新特征列,weighted_sum_from_feature_columns()实现。

Embeddings,嵌入向量。稀疏、高维类别特征向量,转换低维、稠密实数值向量,和连续特征向量联合,一起输入神经网络模型训练和优化损失函数。大部分文本识别,先将文本转换成嵌入向量。

contrib.layers模块 embedding_column()迅速把高维稀疏类别特征向量转为想要维数的嵌入向量。特征交互矩阵比较稀疏,级别比较高,转换后可以使模型更具有概括性更有效。传入TF.Learn Extimator进行模型建立、训练、评估。embedding_columns传入DNNLinearCombinedClassifier深度神经网络特征列。

许多实际稀疏高维数据,通常有空特征及无效ID,safe_enbedding_lookup_sparse()安全建立嵌入向量。tf.SparseTensor建立稀疏ID和稀疏权重。建立嵌入向量权重embedding_weights,取决词汇量大小、嵌入同量维数、shard数量。initializer.run()、eval()初始化嵌入向量权重。safe_embedding_lookup_sparse()将原来特征向量安全转换为低维、稠密特征向量。eval()收集到一个tuple。

性能分析器tfprof。分析模型架构、衡量系统性能。衡量模型参数、浮点运算、op执行时间、要求存储大小、探索模型结构。

命令安装tfprof命令行工具。bazel build -c opt tensorflow/contrib/trprof/...。

查询帮助文件。bazel-bin/tensorflow/contrib/tfprof/tools/tfprof/tfprof help。

执行互动模式,指定graph_path分析模型shape、参数。bazel-bin/tensorflow/contrib/tfprof/tools/tfprof/tfprof \--graph_path=graph.pbtxt。

graph_path、checkpoint_path查看checkpoint Tensor数据和对应值。bazel-bin/tensorflow/contrib/tfprof/tools/tfprof/tfprof \--graph_path=graph.pbtxt \--checkpoint_path=model.ckpt。

提供run_meta_path查看不同op请求存储、计时。bazel-bin/tensorflow/contrib/tfprof/tools/tfprof/tfprof \--graph_path=graph.pbtxt \--fun_meta_path=run_meta \--checkpoint_path=model.ckpt。

graph_path文件是GraphDef文本文件,用来在内存建立模型代表。tf.Supervisor写graph.pbtxt。tf.Graph.as_graph_def()或其他类似API存储模型定义到GraphDef文件。

run_meta_path文件是tensorflow::RunMetadata结果。得到模型每个op所需存储和时间消耗。

checkpoint_path是模型checkpoint包含所有checkpoint变量op类型、shape、值。

op_log_path是tensorflow::tfprof::OpLog结果,包含额外op信息,op组类别名字。

tfprof是CLI命令行工具,输入tfprof命令按回车,进入互动模式,再按回车看到命令行参数默认值。

调节参数,show_name_regexes查找符合正则式条件的scope名字。

tfprof提供两种类型分析:scope、graph。graph,查看op在graph里所花内存、时间。

参考资料:
《TensorFlow实战》

欢迎付费咨询(150元每小时),我的微信:qingxingfengzi

时间: 2024-10-28 02:46:43

学习笔记TF044:TF.Contrib组件、统计分布、Layer、性能分析器tfprof的相关文章

《Hibernate学习笔记八》:组件映射

<Hibernate学习笔记八>:组件映射 前面介绍了一对一的单向.双向外键关联,例如,学生证和学生是一个一对一的关系.这篇博文主要是介绍下组件映射,即一个是另一个的一部分,例如,学生证的信息也可以作为学生信息的一部分,即在数据库中只存在学生一个表,而不是有学生和学生证两个表,并且这两个表中有一个一对一的关联关系. 如下: 有人或许会说,那我们就将学生和学生证的信息写在一个类中,则就不需要组件映射了,确实可以这样,但是,根据类的设计原则,我们一般都会将其设计为两个类,然后将学生证的信息作为一个

Vue.js学习笔记(7)组件详解

在这篇文章之前小颖分享过小颖自己写的组件:Vue.js学习笔记(5)tabs组件和Tree升级版(实现省市多级联动) 先给大家看下小颖写了一个简单的组件示例: 组件: <template> <div class='content' v-if='showFlag'> <input type="text" v-bind:style='{ width:compwidth+"px"}' v-model='compvalue' @keyup='m

学习笔记TF042:TF.Learn、分布式Estimator、深度学习Estimator

TF.Learn,TensorFlow重要模块,各种类型深度学习及流行机器学习算法.TensorFlow官方Scikit Flow项目迁移,谷歌员工Illia Polosukhin.唐源发起.Scikit-learn代码风格,帮助数据科学从业者更好.更快适应接受TensorFlow代码.囊括许多TensorFlow代码.设计模式,用户更快搭建机器学习模型实现应用.避免大量代码重复,把精力放在搭建更精确模型.与其他contrib模块无逢结合. 分布式Estimator.Estimator,各种各样

Android学习笔记二十三.Service组件入门(一).什么是Service?

什么是Service? 一.Service 1.Service简介 Service为Android四大组件之一,Service与Activity组件相似,都代表可执行的程序且有自己的生命周期,唯一的区别是Activity组件提供界面方便人机交互而Service只在后台运行且没有交互界面.需要注意的是,Service不是一个单独的进程或为了防止应用出现无反应错误单独的线程,它像其他应用对象一样运行在其托管进程的主线程中.当然,如果我们希望自己的Service能够在后台运行MP3或者网络下载,我们可

学习笔记TF043:TF.Learn 机器学习Estimator、DataFrame、监督器Monitors

线性.逻辑回归.input_fn()建立简单两个特征列数据,用特证列API建立特征列.特征列传入LinearClassifier建立逻辑回归分类器,fit().evaluate()函数,get_variable_names()得到所有模型变量名称.可以使用自定义优化函数,tf.train.FtrlOptimizer(),可以任意改动传到LinearClassifier. 随机森林.包含多个决策树分类器及回归算法.处理不平衡分类资料集,极大平衡误差.Kaggle数据科学竞赛,延伸版XGBoost.

Android学习笔记(24):进度条组件ProgressBar及其子类

ProgressBar作为进度条组件使用,它还派生了SeekBar(拖动条)和RatingBar(星级评分条). ProgressBar支持的XML属性: Attribute Name Related Method Description style 设置ProgressBar指定风格 android:indeterminate 设置为true时,进度条不显示运行进度 android:indeterminateBehavior indeterminate模式下.当进度条达到最大值时的动画处理行为

【学习笔记】Vue.js组件

一.组件的注册 组件的注册分为全局注册和局部注册 全局注册 1 Vue.component('my-component', { 2 // 选项 3 }) 局部注册 1 var Child = { 2 template: '<div>A custom component!</div>' 3 } 4 new Vue({ 5 // ... 6 components: { 7 // <my-component> 将只在父模板可用 8 'my-component': Child

Android学习笔记:Android Service组件深入解析

在android开发系统(http://www.maiziedu.com/course/android-px/)中,service与activity一样是android的四大组件之一,他们不仅长得像,而且行为也比较类似.可是Service不像Activity在前台运行,而是与之呼应进行后台运行的服务:如果把 Activity当成下载软件的用户交互界面,而Service就是那个默默在后台运行的下载线程,所以Service的应用场景就是那些我们不需要它常驻前台但需要它一直在后台工作的时候,例如下载.

【tapestry3学习笔记】之 foreach组件

foreach组件是tapestry3 提供的组件之一,是一个很重要的组件,其作用用于遍历.其一般格式为: <span jwcid="@Foreach" souece="XXX" value="XXX"></span> jwcid:是对应的java web component id.   source:是对应的java类里的集合或者数组 需要抽象 或者提供set get方法.   value:是循环这个source对象代表