教育房产时事环球科技商业
投稿投诉
商业财经
热点动态
科技数码
软件应用
国际环球
晨报科学
新闻时事
信息智能
汽车房产
办公手机
教育体育
生活生物

ir是什么(ir是什么软件)

  目前越来越多的硬件为AI算法提供加速优化支持。通常,AI硬件可以通过降低工作负载、提升峰值性能、提升计算效率等方法来提供加速优化。降低工作负载
  剪枝神经网络有较大的冗余性。细粒度神经网络剪枝是一种解决方法,因为其发现神经网络的权重参数里有很多值接近0,而去掉这些权重并不会降低神经网络的性能。但是在Han等人的工作里,经过剪枝的模型是稀疏化的,这会带来许多不规则的稀疏计算。这样的计算模式在很多硬件上无法获得显著的计算加速效果。所以,后续的很多工作开始"结构化剪枝"。在结构化剪枝里,被去除的权重都是结构化的子集,比如整个卷积核。使用这种方式得到的模型虽然压缩比小于细粒度剪枝,但是其仍然有着规则的计算模式,在各种硬件平台上都能得到提速。后续有很多工作的点在提升结构化剪枝的性能上:有工作如何设计层内的重要性指标,即给定本层压缩率的情况下选择除掉哪些卷积核;有工作如何设计正则化项,通过在训练过程中对权重加入合适的正则化得到剪枝模型;还有工作将剪枝比例的确定问题看作搜索问题,使用搜索算法搜索每层的压缩比例;还有不少工作试图把硬件的延时或能量模型引入剪枝过程。
  神经网络架构搜索
  最近,神经网络架构搜索(Neural Architecture Search,NAS)领域得到了很多,其最初目标是减少人为设计在架构设计中的比重,而用自动搜索的方式找到适合所针对任务的神经网络架构。为了加速NAS算法的搜索过程,很多工作改进搜索策略的采样效率和评估策略的评估效率。针对更高效的硬件推理,有不少工作在框架上进行了扩展,比如在搜索目标上考虑硬件开销,在搜索空间中加入新的设计维度(操作类型、拓扑连接、宽度、深度、卷积核大小等),联合硬件参数的搜索等。加入了宽度的神经网络架构搜索可以看作模型设计和结构化剪枝两个阶段进行了统一,也可以看作是剪枝算法的一种扩展。事实上,也有工作将神经网络搜索的一些方法应用在剪枝问题上。提升峰值性能
  量化:不少研究者开始如何降低神经网络推理和训练过程中数据的表示位宽,我们这里简要介绍针对推理过程的量化研究的发展。最开始,神经网络的计算大多使用32比特浮点数,而实际上,神经网络的权重参数、激活值并不需要这么大的表示精度和位宽。由于浮点计算单元相对定点计算单元的开销较大,人们希望用低位宽的定点数进行定点运算来完成神经网络的推理过程。按照量化算法应用的时间阶段来区分,量化算法可以分为训练后量化(post-training quantization)和考虑量化的训练过程(quantization-aware training)两大类。训练后量化策略在一个预训练的模型上进行分析,选择合适的位宽、截断数、量化中心等,得到量化后的模型。为了提升量化后模型的准确率,考虑量化的训练过程调整权重适应"量化噪声"。不同研究者采用的量化格式不同,可分为均匀量化和非均匀量化,其中非均匀量化由于运算更复杂,使用较少。在均匀量化格式中,早期算法使用无偏置(bias)的量化格式,且量化过程中不引入放大系数(scaling factors),而是使用2的幂次作为表示范围。
  计算单元优化:计算单元优化的最主要方法是降低计算单元的比特位宽,这也是与软件层的定点量化方法相匹配的硬件设计。降低比特位宽可以显著降低硬件资源的开销,从而在相同硬件资源的限制下获得更高的峰值性能。以32比特浮点和8比特定点在Xilinx XCKU060 FPGA上的实现为例,8比特定点的乘法器和加法器的硬件逻辑资源开销分别降低至32比特浮点的1/10和1/50。在使用数字信号处理器(DSP)的情况下,一个32比特浮点的乘加器需要2个DSP、800个查找表和1284个寄存器,而一个8比特定点的乘加器只需要1个DSP。
  循环展开策略:神经网络的卷积层和全连接层分别占据了大部分的计算量和存储量,其中全连接层可以视为卷积核大小为1×1的卷积层。卷积层通常可以用一个6层循环表示,这6层循环的维度分别是:输入的宽和高,输入和输出通道,以及卷积核的宽和高。为了提高AI加速器的计算并行度,我们可以将某几个循环展开并在硬件上将一定数量的迭代过程并行化。硬件上的并行迭代次数称为循环展开系数(loop unroll parameter),不恰当的循环展开系数会导致严重的系统利用率不足。以一个单层循环为例,假设循环的次数为M且循环展开系数为m,则硬件资源的利用率被限制为m/M[M/m]。如果M无法被m整除,那么利用率将会低于100%。对于一个神经网络层,总的硬件资源利用率是每一个循环的利用率的乘积。对于CNN来说,不同层的循环维度差异很大。以ResNet为例,通道数量在3~2048之间,特征图大小在224×224到7×7之间,卷积核大小在7×7到1×1之间。除了利用率低下的问题之外,循环展开还会影响数据通路和片上存储架构的设计,因此循环展开策略是AI加速器设计的关键特征。目前还没有一种万能的循环展开系数适用于所有的神经网络模型。主流的解决方案是针对每一个神经网络模型进行设计空间探索以获取最优循环展开系数。由于FPGA具备动态重配置的特性,可以基于寻优后的循环展开系数设计硬件参数,从而生成新的硬件架构以部署特定的神经网络模型。对于基于指令集架构的AI加速器,软件编译器会基于硬件设计参数来指导循环展开系数的优化,以提升AI系统的计算效率。提升计算效率
  软件编译优化:面向神经网络的软件编译器主要以深度学习框架的神经网络模型作为输入,如Caffe和TensorFlow等。编译过程的不同阶段都需要进行编译优化,而编译过程通常可划分为五个层次:前端、中间表示(IR)、高层级优化、低层级优化、后端。前端将不同深度学习框架的神经网络模型的高级规范表示转换为特定于编译器的中间表示。这些中间表示通常采用有向非循环图的形式,其中每个节点表示一个计算操作,每个边表示操作之间的数据依赖性。因此,可以在这些中间表示上使用面向图的高层级优化方法来融合操作并优化数据布局。除了高层次中间表示,在编译器的优化过程中还采用了多种扩展的中间表示。神经网络的工作负载可以分解为张量运算(例如矩阵-向量和矩阵-矩阵乘法)。而低层级优化方法主要用于优化调度各种张量运算的执行顺序,以增强数据局部性并充分利用硬件平台的并行性。在软件编译阶段有数百个低级优化步骤可供选择和使用,而软件编译的优化问题主要在于决定使用何种优化方法以及如何选择最优的参数(例如循环展开、切分和交换参数,融合策略和矢量化)。最后,后端负责将编译优化的完整实现映射到AI加速器可解析的指令。

今日广州猪价格行情国内猪肉价格今日价猪肉价格上涨87具体什么原因统计局回应猪肉价格上涨猪肉什么时候能降价2020猪肉价格为什么大涨2020年猪肉价格什么时候回落猪肉什么时候能降价。。查看某地价格表,今天猪肉价格多少钱宜家是哪里的(宜家餐厅是哪个国家的)宜家,世界最大的家具零售公司,全球目前拥有近350家店,中国占15家。因为宜家选址都会在距离市中心偏远的地区,周边就餐环境通常相对薄弱,位于北京四元桥的宜家,虽然距离不远的东北方向今日原油最新价情(原油价格今日行情)欧美原油期货盘中上涨后连续。黄金原油最新价格走势分析第一黄金网,或想了解国际原油价格。准确率和,汇通网汇通评论原油专栏,免责声明文章中操作建议仅,查询燃料油行情走势请点击表格下方走橱柜怎么样(橱柜定制)橱柜是厨房中必不可少的柜体,在定制时,细节设计到位,往往能让做饭更顺手。今天就给大家总结橱柜设计要注意的4个细节,看看你家的橱柜是不是这样做的。操作动线无论你家厨房是大是小,或者是欧派木门质量怎么样(欧派免漆木门怎么样)一扇门,一个家,OPMA2JC至尊静音门,开合之间,静享舒适生活。有健康守安全十余年来,欧派木门始终专注于木门领域,近年来更是根据用户需求推出了健康木门系列新品,广受欢迎。OPMA怎么看装修预算(如何看装修公司预算表)装修是一项费时费力也费钱的工程,大家都想花最少的钱装修出最满意的效果,因此在装修家之前最好是做一份装修预算表,这样对于装修过程中各部分的资金花费做到心中有数。我们在进行装修之前,应装修软件哪个好(装修预算软件哪个好用)中国网财经4月12日讯(记者刘小菲)随着互联网时代浪潮的不断演进,包括家装在内的众多传统行业焕发出全新生命力。2020年一场新冠疫情的来袭,更加速了家装行业的数字化进程。近期,Ta汗血宝马起源(汗血宝马的历史传说)汗血宝马起源(汗血宝马的历史传说)汗血宝马的传说最早始于汉武帝时期,汉使张骞两次出使西域带来了有关西域诸国的情报,其中就包括大宛宝马的传说。汉武帝元鼎四年(公元前113年)秋,有个要用多少个晴天(爱你用我每一个晴天歌词)娱乐圈是个新旧交替的时代,每天都会有很多新人出现,而且现在的小女孩的审美观都变了,喜欢的偶像都是我们不太知道的。而今天杉杉说的周杰伦,但他是一个老少通吃的歌手,大部分的人都听过他的晴天怎么打(小晴天)不知道前面说了些啥,估计是公子张说了一句你也配,然后小晴天没听清楚以为他说了句呸然后小晴天就不爽了,随后胜仔叫徒弟拿了张凳子过来,准备坐着跟小晴天慢慢聊,后来哪想得到,小晴天就连胜有哪些迷信(民间的迷信有哪些)你隔多久就要算一次命,求一次签?如果瞎子的拐杖敲在你的小腿上,你右眼跳,乌鸦对着你叫一声哇,你是不是就认为撞到了晦气?别担心,象你这样的人,古今中外多得很。爱因斯坦医院心理副教授郝
什么数码相机好(最佳数码相机七大推荐)什么数码相机好(最佳数码相机七大推荐)最近入手了一款名为insta360GO2的拇指相机,使用了一段时间,整体感觉是非常不错的。接下来,小芳就和大家说一说我的几点推荐理由,希望能够郭富城力挺方媛近日有关于郭富城力挺方媛的问题受到了很多网友们的关注,大多数网友都想要知道郭富城力挺方媛的具体情况,那么关于到郭富城力挺方媛的相关信息,小编也是在网上进行了一系列的信息,那么接下来又针对中国?澳议会通过新法案这两天关于又针对中国?澳议会通过新法案在网上的热度是非常高的,很多网友们也都是非常关注又针对中国?澳议会通过新法案这个事情,为此小编也是在网上进行了一番搜索查阅相关的信息,那么如果哪里可以买到烟(200至300左右一条的烟)12月9日,有网友在某社交平台上分享了一组在江汉路步行街偶遇王思聪的照片。当天王思聪一身全黑打扮,虽然头发略显凌乱,但整体状态看起来很好,而且全然没有戴眼镜口罩等掩饰身份的物品。只全上古三代文(全上古三代秦汉三国六朝文)全上古三代文(全上古三代秦汉三国六朝文)山海经与古蜀国的传说202106101536小善说历史据文献记载,古蜀国最早的先王是蚕丛柏濩(伯灌)鱼凫,三代而下是望帝杜宇鳖灵,或说是蒲泽圣斗士星矢手游哪个好(圣斗士星矢ss卡最新排名)分享动漫无穷的乐趣,解析动漫最深的真谛,团结动漫一切的力量。大家好!我是枫木君。欢迎对圣斗士系列作品关于盘点见解实力分析等投稿。引言古来征战几人回。这句话来形容历届圣战中女神雅典娜手表消磁多少钱(手表受磁怎么消磁最简单方式)在佩戴手表,如果手表不小心接触到发电机等强磁场物体,或者手表放在收音机电视机附近,手表会被磁化,甚至会停止走时。有没有办法确定手表是不是受磁了呢?下面小编就给大家讲解一下。如何检查上海牌手表怎么样(老式上海牌手表值多少钱)在第四届进博会上,代表上海的著名商标名牌产品,上海表将携首发新品表致敬50s系列及诸多重点产品在上海综合形象馆智造未来板块亮相登场。诞生于1955年的上海表,成功研制了中国第一只细如何开好车(教你怎样把车开得又稳又安全!)如何开好车(教你怎样把车开得又稳又安全!)上坡起步技巧初学者最怵的就是上坡起步了,特别是在十字路口。掌握了上坡起步的技巧,就从驾校踏出了一只脚。其实,上坡起步的技巧不算难,只要一次必利劲德国版跟印度版的区别在哪必利劲作为早泄的首选,针对65岁以下男性都能提前20到50分钟!长期使用可以保持正常,但是德国必利劲太贵了,更多人选择使用印度必利劲!今天就分享一下我和最近朋友们使用印度必利劲的反苹果的笔记本(苹果笔记本哪款比较好用)苹果的笔记本(苹果笔记本哪款比较好用)我用的pro,16256,偶尔外接2k显示器,键盘鼠标。先说下我的使用情况,电量持久,充电也快,大家基本都反馈了。最近这几天一直有人问我软件使