[notes] model-agnostic meta-learning

智能的一个关键特征就是多面性（versatility）.

学习去学习是实现真正只能的必经之途。

学习新任务的学习者 & 训练学习者的元学习者

元学习方法通常属于下面三个范畴：循环模型（recurrent model）、度量学习(metric learning)和学习优化器（learning optimizer）.

循环模型（LSTM）
度量学习：学习一个度量空间。像素空间进行图像对比的效果并不好。可以训练一个Siamese网络或在学习的度量空间里进行图像对比。元学习通过梯度下降（或其他神经网络优化器）来进行，而学习者对应对比机制，即在元学习度量空间里对比最近邻。
学习优化器：用一个网络学习如何更新另一个网络。元学习者通常是一个循环网络。

MAML没有对模型的形式作出任何假设，没有为元学习引入其他参数，学习策略使用的是已知的优化过程（gradient descent）.

时间： 2024-10-05 09:00:49

[notes] model-agnostic meta-learning的相关文章

Django model 中meta options之 abstract

当abstract=True时,这个model就变成了abstrct base class,那这个基类有什么特性呢? 当某一model中设置了abstract=True时,就会使该model中的字段都不会产生对应的表,而是可以作为基类加入到其他model中那有什么用呢? 有时多个model有些相同的字段,这样很浪费时间,而且重复本身也不利于代码简洁.好该abstract来了看官例: from django.db import models class CommonInfo(models.Mo

Django中model的Meta选项

Django模型类的Meta是一个内部类,它用于定义一些Django模型类的行为特性.而可用的选项大致包含以下几类: 1,unique_together unique_together这个选项用于:当你需要通过两个字段保持唯一性时使用.比如假设你希望,一个Person的FirstName和LastName两者的组合必须是唯一的,那么需要这样设置:unique_together = (("first_name", "last_name"),)一个ManyToManyF

django model之Meta选项

Django模型类的Meta是一个内部类,它用于定义一些Django模型类的行为特性 abstract 如果为True,就表示抽象基类,不创建表,只是把字段传递给继承自己的子类使用 app_label 这个选型只在一种情况下使用,就是你的模型不在默认的应用程序包下的models.py文件中,这时候需要指定你这个模型是哪个应用程序的.如果模型在INSTALLED_APPS之外被定义,则必须通过app_label声明它属于哪个app db_table 该模型所用数据表的名称.Django默认使用你的

Meta learning paper(一)：Learning to learn by gradient descent by gradient descent (Nips2016)

论文解读: ? 解读+PyTorch实践 ? 知乎博客解读原文地址:https://www.cnblogs.com/xxdk/p/11834030.html

Note for video Machine Learning and Data Mining——Linear Model

Here is the note for lecture three. the linear model Linear model is a basic and important model in machine learning. 1. input representation The data we get usually needs some changes, most of them is the input data. In linear model, input =(x1,x2,x

Brief History of Machine Learning

Brief History of Machine Learning My subjective ML timeline Since the initial standpoint of science, technology and AI, scientists following Blaise Pascal and Von Leibniz ponder about a machine that is intellectually capable as much as humans. Famous

How to Evaluate Machine Learning Models, Part 4: Hyperparameter Tuning

How to Evaluate Machine Learning Models, Part 4: Hyperparameter Tuning In the realm of machine learning, hyperparameter tuning is a “meta” learning task. It happens to be one of my favorite subjects because it can appear like black magic, yet its sec

Python (1) - 7 Steps to Mastering Machine Learning With Python

Step 1: Basic Python Skills install Anacondaincluding numpy, scikit-learn, and matplotlib Step 2: Foundational Machine Learning Skills Unofficial Andrew Ng course notes Tom Mitchell Machine Learning Lectures Step 3: Scientific Python Packages Overvie

a brief history of maching learning(机器学习简史)

写在前面的话: 适值毕业之季,因毕业论文的需要,又恰好看到这篇博文,写的甚是不错,因此,进行了翻译,作为我的第一篇博文.这里给出原作者Blog Address(http://www.erogol.com/brief-history-machine-learning/). 欢迎转载,但转载之前请注明出处,谢谢.... 机器学习就是在非精确编程的情况下,让计算机根据训练过程进行自我学习的科学.在过去的十年中,机器学习极大的促进了好多高新技术的发展,包括无人驾驶.语音识别.网络搜索.人类基因组认知等.

transfer learning

作者:刘诗昆链接:https://www.zhihu.com/question/41979241/answer/123545914来源:知乎著作权归作者所有.商业转载请联系作者获得授权,非商业转载请注明出处. Transfer learning 顾名思义就是就是把已学训练好的模型参数迁移到新的模型来帮助新模型训练数据集.就跟其他知友回答的那样,考虑到大部分数据或任务是存在相关性的,所以通过transfer learning我们可以将已经学到的parameter 分享给新模型从而加快并优化模型的学