机器学习研究动态

201912

[ml.nature] 191209/Automated abnormality detection in lower extremity radiographs using deep learning
Nature 刊发了一篇用机器学习检测肌肉骨骼疾病的论文,该文探讨了预训练、数据集大小、模型体系结构对模型性能的影响。收集并公开了一个包含多个身体部位,93455 例下肢 X 光照片。研究结果表明,单个 CNN 模型可以有效地识别多个身体部位高度可变的 X 光照片中的各种异常。

[cs.CV] 191208/Individual predictions matter: Assessing the effect of data ordering in training fine-tuned CNNs formedical imaging

Because CheXNet fine-tunes a pre-trained DenseNet, the random seed affects the ordering of the batches of training data but not the initialized model weights. We found sub-stantial variability in predictions for the same radiograph across model runs (meanln(Pmax/Pmin)2.45, coefficient of variation 0.543). This individual radiograph-level variability was not fully reflected in the variability of AUC on a large test set.

[cs.LG] 191210/Winning the Lottery with Continuous Sparsification

The Lottery Ticket Hypothesis from Frankle & Carbin (2019) conjectures that, for typically-sized neural networks, it is possible to find small sub-networks which train faster and yield superior performance than their original counterparts. The proposed algorithm to search for "winning tickets", Iterative Magnitude Pruning, consistently finds sub-networks with 90?95% less parameters which train faster and better than the overparameterized models they were extracted from, creating potential applications to problems such as transfer learning.
Frankle&Carbin(2019)的彩票假说推测,通常规模的神经网络可以找到小型的子网络,这些子网络的训练速度比原始子网络更快,并且产生的性能更高。 提议的搜索“中奖彩票”的算法,迭代幅度修剪,可以一致地找到参数减少90-95%的子网,它们的训练速度比从其提取的参数化模型更快,更好,从而为迁移学习等问题创造了潜在的应用前景。 我们提出了“连续稀疏化”,一种用于搜索中奖票证的新算法,该算法可在训练过程中不断从网络中删除参数,并使用基于梯度的方法(而不是依赖于修剪策略)来学习子网的结构。 我们凭经验证明,我们的方法能够找到性能优于迭代幅度修剪技术的工单,同时以训练时期或挂钟时间为单位,可以提供更快的搜索速度。

[cs.LG] 191205/Why Should we Combine Training and Post-Training Methods for Out-of-Distribution Detection?
综述性文献:OOD(out-of-distribution) 检测算法。OOD 算法主要用于解决神经网络无法检测出与训练数据集分布不同的样本的问题。

[cs.LG] 191123/Outlier Exposure with Confidence Control for Out-of-Distribution Detection

Based on the Outlier Exposure (OE) technique, we propose a novel loss function,

[cs.LG] 191205/ Screening Data Points in Empirical Risk Minimization via Ellipsoidal Regions and Safe Loss Function

We design simple screening tests to automatically discard data samples in empirical risk minimization without losing optimization guarantees. We derive loss functions that produce dual objectives with a sparse solution...

[cs.LG] 181218/Jointly Learning Convolutional Representations to Compress Radiological Images and Classify Thoracic Diseases in the Compressed Domain

we introduce aconvolutional neural network (CNN) based classification approach which learns to reduce the resolution of the image using an autoen-coder and at the same time classify it using another network, while both the tasks are trained jointly. This algorithm guides the model to learn essential representations from high-resolution images forclassification along with reconstruction.

[stat.ML] 191205/Normalizing Flows for Probabilistic Modeling and Inference

[cs.osl] 191209/ChainerRL: A Deep Reinforcement Learning Library

[cs.osl] 191205/Neural Tangents: Fast and Easy Infinite Neural Networks in Python

Neural Tangents is a library designed to enable research into infinite-width neural networks. It provides a high-level API for specifying complex and hierarchical neural network architectures. These networks can then be trained and evaluated either at finite-width as usual or in their infinite-width limit. Infinite-width networks can be trained analytically using exact Bayesian inference or using gradient descent via the Neural Tangent Kernel. Additionally, Neural Tangents provides tools to study gradient descent training dynamics of wide but finite networks in either function space or weight space.
The entire library runs out-of-the-box on CPU, GPU, or TPU. All computations can be automatically distributed over multiple accelerators with near-linear scaling in the number of devices. Neural Tangents is available at this http URL. We also provide an accompanying interactive Colab notebook.

[Programming] code style
[blog] Approach pre-trained deep learning models with caution

原文地址:https://www.cnblogs.com/offduty/p/12048264.html

时间: 2024-10-31 19:39:38

机器学习研究动态的相关文章

机器学习研究与开发平台的选择

目前机器学习可以说是百花齐放阶段,不过如果要学习或者研究机器学习,进而用到生产环境,对平台,开发语言,机器学习库的选择就要费一番脑筋了.这里就我自己的机器学习经验做一个建议,仅供参考. 首先,对于平台选择的第一个问题是,你是要用于生产环境,也就是具体的产品中,还是仅仅是做研究学习用? 1. 生产环境中机器学习平台的搭建 如果平台是要用于生产环境的话,接着有一个问题,就是对产品需要分析的数据量的估计,如果数据量很大,那么需要选择一个大数据平台.否则的话只需要一个单机版的平台就可以了. 1.1 生产

缓冲区溢出分析第08课:MS06-040漏洞研究——动态调试

前言 经过上次的分析,我们已经知道了MS06-040漏洞的本质,那么这次我们就通过编程实现漏洞的利用. 编写漏洞利用程序的框架 这里我使用的是VC++6.0进行编写,需要将包含有漏洞的netapi32.dll文件与工程文件放置在同一个目录下.程序如下: #include <windows.h> typedef void (*MYPROC)(LPTSTR, ...); int main() { char Str[0x320]; char lpWideCharStr[0x440]; int arg

用机器学习研究UFO目击报告

LDA算法太难?怎么也学不明白?学明白了也不知道有什么用?来看看这篇文章!真正的学以致用! 在开始之前,让我们看看LDA算法的黑盒描述.LDA算法要求你选择一些类(主题)并输入一个文档语料库.它的输出是一个主题的列表,每一个主题都是基于单词的概率分布.LDA模型也能够对文档进行分类,并为每个主题分配一个概率值. 阅读全文:http://click.aliyun.com/m/9188/

paper 61:计算机视觉领域的一些牛人博客,超有实力的研究机构等的网站链接

转载出处:blog.csdn.net/carson2005 以下链接是本人整理的关于计算机视觉(ComputerVision, CV)相关领域的网站链接,其中有CV牛人的主页,CV研究小组的主页,CV领域的paper,代码,CV领域的最新动态,国内的应用情况等等.打算从事这个行业或者刚入门的朋友可以多关注这些网站,多了解一些CV的具体应用.搞研究的朋友也可以从中了解到很多牛人的研究动态.招生情况等.总之,我认为,知识只有分享才能产生更大的价值,真诚希望下面的链接能对朋友们有所帮助.(1)goog

计算机视觉领域的一些牛人博客,超有实力的研究机构等的网站链接

提示:本文为笔者原创,转载请注明出处:blog.csdn.net/carson2005 以下链接是本人整理的关于计算机视觉(ComputerVision, CV)相关领域的网站链接,其中有CV牛人的主页,CV研究小组的主页,CV领域的paper,代码,CV领域的最新动态,国内的应用情况等等.打算从事这个行业或者刚入门的朋友可以多关注这些网站,多了解一些CV的具体应用.搞研究的朋友也可以从中了解到很多牛人的研究动态.招生情况等.总之,我认为,知识只有分享才能产生更大的价值,真诚希望下面的链接能对朋

重磅 | MIT与谷歌专家合著论文:机器学习和神经科学的相互启发与融合(附论文)

本文经机器之心(微信公众号:almosthuman2014)授权转载,禁止二次转载. 选自 biorxiv.org 作者:Adam Henry Marblestone, Greg Wayne, Konrad P Kording 机器之心编译 参与:李亚洲,微胖,Gabrielle,杜夏德,盛威,夏梦,黄清纬 引言:MIT 媒体实验室的 Adam H. Marblestone 与来自谷歌 DeepMind 的 Greg Wayne 等三人合著了一篇论文,其中提到,机器学习最初受到了神经科学的启发,

[转载整理]计算机视觉及机器学习牛人和资料

Author: JW. ZHOU 2014/6/13 Paper毕竟是死的,写Paper的人才是活的,那么现在就研究一下CV圈的格局,按师承关系,总结成一个树形结构[参考1]. David Marr ----->Shimon Ullman (Weizmann) ----->Eric Grimson (MIT) ----->Daniel Huttenlocher (Cornell) ----->Pedro Felzenszwalb (Chicago) Thomas Binford (

机器学习和深度学习资料合集

机器学习和深度学习资料合集 注:机器学习资料篇目一共500条,篇目二开始更新 希望转载的朋友,你可以不用联系我.但是一定要保留原文链接,因为这个项目还在继续也在不定期更新.希望看到文章的朋友能够学到更多.此外:某些资料在中国访问需要梯子. <Brief History of Machine Learning> 介绍:这是一篇介绍机器学习历史的文章,介绍很全面,从感知机.神经网络.决策树.SVM.Adaboost到随机森林.Deep Learning. <Deep Learning in

[转]机器学习和深度学习资料汇总【01】

本文转自:http://blog.csdn.net/sinat_34707539/article/details/52105681 <Brief History of Machine Learning> 介绍:这是一篇介绍机器学习历史的文章,介绍很全面,从感知机.神经网络.决策树.SVM.Adaboost到随机森林.Deep Learning. <Deep Learning in Neural Networks: An Overview> 介绍:这是瑞士人工智能实验室Jurgen