让普通硬件终端也能跑AI运用，CoCoPIE提供了全新的思路
发布时间：2021-10-29 13:04:54 所属栏目：动态 来源：互联网
导读：压缩的过程就是把模型变小，编译就是把模型变成可以在最终芯片上执行的指令。而这个过程必须是一体化协同设计的，才能同时保持高精度、高效率和高性能。具体来说，CoCoPIE提出了一种全新的基于模式的权重剪枝方法。基本思想是，针对不同的上层模型特性和底层
|
“压缩的过程就是把模型变小，编译就是把模型变成可以在最终芯片上执行的指令。而这个过程必须是一体化协同设计的，才能同时保持高精度、高效率和高性能。”具体来说，CoCoPIE提出了一种全新的基于模式的权重剪枝方法。基本思想是，针对不同的上层模型特性和底层芯片结构，对权重可以选取不同的模式进行剪枝。这种压缩方式本质上是一种“细粒度的结构化剪枝”，可以保证在有效减少计算量的前提下依然保证准确率不变。
据李晓峰介绍，目前该技术植入终端设备的方式有很多种。比如，可以通过与芯片公司合作，直接作为芯片AI技术栈的驱动框架；也可以和应用开发商合作，作为应用的一个模块。“作为一种软件技术，我们对AI任务的部署方式很灵活。并且，对终端设备的要求也不高，只要芯片具有矢量计算能力就行。”这意味着，目前市场大多数的主流芯片都可以满足，“当然，哪怕没有矢量计算能力，我们的技术仍然可以发挥作用，只不过能力会受到一些限制。”李晓峰补充说。
技术研发、资金支持、商业合作“多点开花”
凭借着“压缩编译协同设计”这一独特的技术思路，虽然CoCoPIE成立仅有一年时间，但是无论是在理论深造、软件开发、融资还是业务推广方面都已经取得了很可观的成果。
（编辑：91站长网） 【声明】本站内容均来自网络，其相关言论仅代表作者个人观点，不代表本站立场。若无意侵犯到您的权利，请及时与联系站长删除相关内容! |
站长推荐
热点阅读