武汉360代理公司 武汉360开户电话 近日,雷锋网承办的第二届 CCF-GAIR 全球人工智能与机器人峰会在深圳如期开幕。奇虎360副总裁、首席科学家、IEEE Fellow、IAPR Fellow颜水成教授带来了主题为《精度极限VS用户体验》的演讲。这是今天最后一场演讲。武汉360推广 武汉360公司 武汉360代理 武汉360开户 武汉360推广开户 武汉360搜索推广 武汉360推广代理 武汉360推广电话 武汉360代理商 武汉360搜索公司 武汉360推广代理商 武汉360分公司 武汉360公司电话 武汉360公司地址 武汉360推广分公司 武汉360搜索分公司 武汉360搜索开户 武汉360搜索代理 湖北360搜索推广电话 湖北360代理 湖北360推广代理 湖北360搜索推广开户 湖北360搜索推广 湖北360分公司 十堰360推广 襄樊360推广 随州360推广 荆门360推广 孝感360推广 宜昌360推广 天门360推广 鄂州360推广 黄冈360推广 黄石360推广 咸宁360推广 荆州360推广 潜江360推广 仙桃360推广。
深度学习研发的两个不同目标:
追求极限精度。针对一个具体的问题,然后去探索新的算法,比如我们可以设计更好的模型结构,我们可以用更大、更快的模型,也可以用更多的模型去做融合,另外一方面我们也会思考用更好的训练平台和更多的资源实现更多的训练。更关键的是在训练的时候如何利用海量的数据,比如说利用预测学习的方式实现训练,当你训练好模型之后,你又可以用增强学习的方式增强你的模型性能。
追求产品的体验。
人工智能不是一个产品,必须跟具体的场景相结合才有它内在的价值,核心算法只是这里面的一个部分而已,无论是往前走还是往后走,最好的办法是算法形成一个闭环,先训练出初始的模型,然后在具体的场景里寻找一些数据,用数据提升模型的精度,再把模型用到场景中,进行不断地迭代,最终在场景中达到它最好的体验。这时候算法科学家和产品工程师结合可能让不完美的算法产生完美的用户体验。有一个很明显的例子就是蒙眼算法的方式。
将这两种目标结合的实例:
物体的分割,在2016年及之前,大家都觉得分类和检测已经可以在工业界中很好的使用,但是从来没有人觉得物体的分割已经到了可以使用的阶段。我的研究组就做了很多的研究的工作,给出一个图象,输出每个板块是什么东西,我们花了两年的时间把它的性能从44%提升到了86%,以及在其它的分割领域有很多的成果出现,这时候工业界开始思考,有很多的应用场景确实可以受益于这种分割的技术,于是很多人开始在思考怎么样去对模型进行酵素,对一些限定的场景的性能能满足产品化的需求。
从今年开始,比如说美图秀秀可以把人的头发和脸分割出来,可以产生很好的萌脸的效果,还有360提供的人体分割的效果,可以把人实时从自拍的照片里面分割出来,叠加到动态的场景,产生很多好玩、好看的效果。这是一个典型的因为追求精度极限达到一定程度的极限下,就激发了新的产品形态的设计。
1×1卷积概念
我们有很多的图片,比如说在一个3×3的空间,在不同的位置做内积,然后得到内积的结果。在空域上由3×3变成1×1,在一个位置上做内积,这就成为1×1卷积。
纯粹的内积不能很好地模拟人的神经元的工作方式,1×1卷积可以用更复杂的网络结构来替代,当这种复杂的结构是多层感知神经器,对应的后面的这些往前的操作,它对应的就是做一个1×1卷积,这个1×1卷积跟前面的3×3、5×5卷积叠加在一起,就会产生非常复杂的抽象过程。这个1×1卷积的模型参数很快就可以降到很低,这样就为我们把深度学习往云端迁移提供了一个可能性。
1×1卷积功能
用1×1卷积,能实现一个更复杂的网络结构,但是它的计算的复杂度反而会进一步降低,武汉360推广 武汉360公司 武汉360代理 武汉360开户 武汉360推广开户 武汉360搜索推广 武汉360推广代理 武汉360推广电话 武汉360代理商 武汉360搜索公司 武汉360推广代理商 武汉360分公司 武汉360公司电话 武汉360公司地址 武汉360推广分公司 武汉360搜索分公司 武汉360搜索开户 武汉360搜索代理 湖北360搜索推广电话 湖北360代理 湖北360推广代理 湖北360搜索推广开户 湖北360搜索推广 湖北360分公司 十堰360推广 襄樊360推广 随州360推广 荆门360推广 孝感360推广 宜昌360推广 天门360推广 鄂州360推广 黄冈360推广 黄石360推广 咸宁360推广 荆州360推广 潜江360推广 仙桃360推广。它的思路非常简单,比如说任何一个卷积,它在ReLU用完了之后,你会发现大概有40%或者更多的位置上它的输出是0的。如果这个位置输出是0,它原来是负10、负100还是0就变得不那么重要了。如果可以把为0的数字估算出来,这样具体的卷积就不用计算了。比如说你有一个3×3的卷积,下面加一个对应的1×1卷积,在ReLU完成以后,我们把它做一个点乘,1×1卷积的输出只要为0,上面具体的数字是多少就变得根本不重要。如果我们有40%恩的位置是0,上面有40%的计算量就可以忽略,下面因为是1×1卷积,它的计算量只有1/9甚至更少,这样你就用1/9的时间节省了40%的计算量,所以它是非常值得的。
从理论上来说,这种网络结构也不会有精度的损失,最终的精度方面可以达到你的模型的速度的提升。
我们在不同的数据库、不同的模型上做了测试,一般情况下都能提升20%到40%的性能。这种方式对于追求体验极限的低功耗端的应用就非常重要,比如说你要做自动驾驶,需要有路上的协同,这样的算法在里面就非常有价值。同样我们在手机APP上,比如说各种相机类的产品,要做实时的人的抠相,我们在这些方面都可以很好的应用。从深度学习研发的角度来说,如果你能从算法上降低它的功耗,它的价值是非常大的。
湖北武汉360搜索推广总代理-武汉奇好科技有限公司 联系电话:027-65386360
|
|