Ruslan Salakhutdinov一方面是苹果的研究主管,另一方面是CMU的教授。
1. Ruslan说自己进入深度学习完全是运气,他在多伦多大学读硕士,然后休学了一年,他在金融领域工作,那时候他不确定是否要去读个博士。有一天早晨,他在路上遇到了Geoffrey Hinton。Geoffrey Hinton跟他说他有个好点子,然后两个人一起散步讨论,Geoffrey介绍了玻尔兹曼机之类的东西,Ruslan说自己当时没听懂Geoffrey在说什么,但他听了觉得很激动。。。于是就跟着Geoffrey读博士了。。。那是2005、2006年左右,深度学习的框架慢慢开始成熟。
2. 关于受限玻尔兹曼机(RBM)和深玻尔兹曼机,Ruslan说模型非常好,在GPU大规模应用之前,预训练非常有效,是替代反向传播的手段。GPU大规模应用之后,计算能力得到很大提高,反向传播被大规模应用。
3. Ruslan觉得无监督学习(包括半监督学习)的发展空间非常大,对于初学者来说,这是很好的切入点。
4. 对于初学者的建议:1)多尝试不同的事情,不要害怕尝试新的东西,不要害怕挑战难的问题。2)不要只是使用现成的框架,而是要写底层代码,知道系统背后的运作原理,知道如何在GPU部署。3)在学术界,有更多的自由来处理长期的问题、更疯狂的问题;在工业界,可以开发技术直接影响百万用户,而且有更多的计算资源;学术界和工业界都很好,关键是早点进入深度学习领域。
时间: 2024-10-31 11:31:53