下载文档原格式
基于交错组卷积的高效DNN详解
卷积神经网络在近几年获得了跨越式的发展，虽然它们在诸如图像识别任务上的效果越来越好，但是随之而来的则是模型复杂度的不断提升。越来越深、越来越复杂的卷积神经网络需要大量存储与计算资源，因此设计高效的卷积神经网络是非常重要和基础的问题，而消除卷积的冗余性是该问题主要的解决方案之一。
如何消除消除卷积的冗余性？我们邀请到了微软亚洲研究院视觉计算组资深研究员王井东博士，为大家讲解发表在ICCV 2017 和CVPR 2018 上基于交错组卷积的方法。
以下是公开课内容，AI科技大本营整理，略有删减：
▌深度学习大获成功的原因
2006年《Science》上的一篇文章——Reducing the Dimensionality of Data with Neural Networks，是近十多年来促进深度学习发展非常重要的一篇文章。当时这篇文章出来的时候，很多机器学习领域的人都在关注这个工作，但是它在计算机视觉领域里并没有取得非常好的效果，所以并没有引起计算机视觉领域的人的关注。
深度学习的方法在计算机视觉领域真正得到关注是因为2012 年的一篇文章——ImageNet Classification with Deep Convolutional Neural Networks。这个文章用深度卷积神经网络的方法赢得了计算机视觉领域里一个非常重要的ImageNet 比赛的冠军。在2012 年之前的冠军都是基于SVM（支持向量机）或者随机森林的方法。
2012年Hinton 和他的团队通过深度网络取得了非常大的成功，这个成功大到什么程度？比前一年的结果提高了十几个百分点，这是非常可观、非常了不起的提高。因为在ImageNet 比赛上的成功，计算机视觉领域开始接受深度学习的方法。
比较这两篇文章，虽然我们都称之为深度学习，但实际上相差还挺大的。特别是2012 年这篇文章叫“深度卷积神经网络”，简写成“CNN”。CNN 不是2012 年这篇文章新提出来的，在九十年代，Yann LeCun 已经把CNN 用在数字识别里，而且取得非常大的成功，
