新智元推荐

Hugo Larochelle是谷歌大脑的研究员、深度学习领域的专家。他在最近的演讲中讨论了小样本学习这个主题,概述了这个领域的一些最新进展,存在的挑战以及研究机会。

深度学习的成功部分是由于大量有标记数据的可用性。然而,即使在大数据背景下的今天,想获取具有大量优质的、标签正确的数据的数据集,仍是一个难题。

近年小样本学习(Few-shot Learning)的发展,旨在解决这个问题。小样本学习属于迁移学习的一种。顾名思义,小样本学习是一种能够让深度学习通过更少的样本学习,而不像传统的那样使用大量样本的技术。

Hugo Larochelle是谷歌大脑的研究员,深度学习领域的专家。他在最近的一个workshop中,讨论了元学习(Meta-learning)这个主题。元学习是一个非常有前途的框架,用于解决从少量数据进行泛化的问题,即所谓的小样本学习。

在元学习中,我们的模型本身就是一种学习算法:它将输入作为训练集,并输出一个分类器。对于 few-shot learning,直接训练产生的分类器具有良好的泛化性能,适用于只有非常少的标记数据的问题。

在这个workshop中,Hugo Larochelle概述了最近这个主题上取得的一些最新进展,并讨论了仍然存在的挑战和研究机会。

内容概要

元学习(Meta-learning)

选择一种Meta-learning

定义meta-learner的两种方法:

从已知的学习算法得到启发

kNN/kernel machine: Matching networks (Vinyals et al. 2016)

高斯分类器:Prototypical Networks (Snell et al. 2017)

梯度下降法:(Ravi & Larochelle, 2017) , MAML (Finn et al. 2017)

从黑盒神经网络推导

SNAIL (Mishra et al. 2018)

存在的挑战:

超越有监督分类

无监督学习、结构化输出、互动学习

超越Mini-ImageNet

对问题/数据集的分布给出一个现实的定义

Meta-Dataset

小结:

Meta-training 的分布可以产生很大的不同(至少对于目前的方法而言)

使用“常规训练”作为初始化会产生很大的不同

需要调整MAML以使其更具鲁棒性

PPT下载:

http://metalearning.ml/2018/slides/meta_learning_2018_Larochelle.pdf

新智元AI技术+产业社群招募中,欢迎对AI技术+产业落地感兴趣的同学,加小助手微信号:aiera2015_2入群;通过审核后我们将邀请进群,加入社群后务必修改群备注。

1.《元学习 谷歌大脑:元学习最新进展与挑战》援引自互联网,旨在传递更多网络信息知识,仅代表作者本人观点,与本网站无关,侵删请联系页脚下方联系方式。

2.《元学习 谷歌大脑:元学习最新进展与挑战》仅供读者参考,本网站未对该内容进行证实,对其原创性、真实性、完整性、及时性不作任何保证。

3.文章转载时请保留本站内容来源地址,https://www.lu-xu.com/jiaoyu/35029.html