模板匹配
什么才是描述像不像的最直白简单的算法——KNN
什么才是学习出最贴近人的认知的模板匹配算法——KMEAN？KMEDOID？or other clustering methods？
—— 也有可能是被简单的卷积核编码化后
什么样的结构最贴近人的认知
生成模型进化 -> 生成+判别模型
判别模型应该只是一种认知的一种，不是认知的全部，认知的全部应该是有概念的，但是判别模型却没法体现这一点
但是并不是说有了概念的模型就能很好的帮助判别模型做分类
—— 上述问题的关键还是判别模型对于数据特性的依赖性
—— 判别模型依赖数据的丰富度，这种丰富度应该是类内散度尽量的小，每个子类量要大
梯度下降的学习算法或者说整个DNN的模型挺像黑箱的，根本不知道权值的变化规律，或者说根本就不是梯度下降的算法来调整权值的——这一点由MNIST的softmax_loss_layer的输入可以看出，全连接把CNN提取的特征好像是给打乱了，必须要用softmax来“归一化”才能让数据看起来像是编码化的结果
不要认为近几年就可以大举攻破人工智能，人工智能还有非常多的路要走，即便是解决了人脑的认知，视觉的特性，其他器官的特性都是值得研究的方向，there is a long long long way to go
机器学习的发展历史：
缺数据，缺理论 -> 有理论，缺数据(浅层模型的兴起) -> 不缺数据，不缺理论，缺加速(DNN前夕) -> 不缺数据，不缺理论，不缺加速(DEEP LEARNING) -> 少量label数据，大量unlabel数据，缺合理的“认知结构” -> 从脑认知到各个器官认知的研究
半监督模型
超分类的idea还是不漂亮，有点像是解决眼下的问题的应对方案，不过也不一定
感觉生成模型不但要跟判别模型并行用，也要串行用