教育房产时事环球科技商业
投稿投诉
商业财经
热点动态
科技数码
软件应用
国际环球
晨报科学
新闻时事
信息智能
汽车房产
办公手机
教育体育
生活生物

优化网络通信可以加速大规模机器学习模型的训练

  在高速网络设备中插入轻量级的优化代码,使得KAUST领导的合作将并行化计算系统的机器学习速度提高了五倍。  这种 "网内聚合 "技术是与英特尔、微软和华盛顿大学的研究人员和系统架构师共同开发的,它可以利用现成的可编程网络硬件提供显著的速度提升。
  人工智能(AI)之所以能够拥有如此强大的 "理解 "和与世界互动的能力,其根本的好处是机器学习步骤,即使用大量标记的训练数据集来训练模型。训练AI的数据越多,当暴露于新的输入时,模型就可能表现得越好。
  最近人工智能应用的爆发主要是由于更好的机器学习和使用更大的模型和更多样化的数据集。然而,执行机器学习计算是一项艰巨的任务,并越来越依赖于并行运行学习算法的大型计算机阵列。
  "如何大规模地训练深度学习模型是一个非常具有挑战性的问题,"KAUST研究团队的Marco Canini说。"人工智能模型可能由数十亿个参数组成,我们可以使用数百个处理器,这些处理器需要高效地并行工作。在这样的系统中,增量模型更新过程中处理器之间的通信很容易成为主要的性能瓶颈。"
  该团队在 英特尔 旗下的Barefoot Networks公司开发的新网络技术中找到了潜在的解决方案。
  "我们使用Barefoot Networks新的可编程数据平面网络硬件来卸载分布式机器学习训练过程中执行的部分工作,"后来加入英特尔Barefoot Networks团队的KAUST校友Amedeo Sapio解释道。"使用这种新的可编程网络硬件,而不仅仅是网络来移动数据,意味着我们可以沿着网络路径进行计算。"
  该团队的SwitchML平台的关键创新在于,在机器学习过程的模型更新阶段,允许网络硬件在每个同步步骤中执行数据聚合任务。这不仅卸载了部分计算负载,还大大降低了数据传输量。
  "虽然可编程开关数据机可以非常快速地进行操作,但它能做的操作是有限的,"Canini说。"因此,我们的解决方案必须对硬件足够简单,但又必须足够灵活,以解决板载内存容量有限等挑战。SwitchML通过共同设计通信网络和分布式训练算法来解决这一挑战,与最先进的方法相比,实现了高达5.5倍的速度提升。"
  【来源:cnBeta.COM】

国产GPU公司被美国拉黑景嘉微回应影响可控日前有多家中国公司被美国商务部列入实体清单,其中就包括研发GPU的景嘉微公司,针对被拉黑一事,该公司表示总体影响可控。景嘉微表示,公司自成立以来,专注于技术研发创新,始终致力于信息特斯拉中文瞩目国产Model3现身美国旧金山由上海特斯拉超级工厂生产制造的Model3虽会被出口,但基本上都销往了欧洲,但如果在特斯拉的大本营mdashmdash美国加州看到一台国产Model3,会是一种怎样的体验?有海外媒零百加速3秒多限量发售50台奥迪TTRS终版车型美国开卖如果你经常在网络上观看14英里(402。336米)直线加速赛,你肯定见过一台挂着奥迪四环标志小钢炮的身影,它就是一代经典神车TTRS。日前,奥迪TTRSHeritageEditioSK集团会长称目前没有美国建设半导体工厂计划据国外媒体报道,台积电和三星电子这两大芯片代工商,都已宣布在美国建设工厂的计划,投资分别高达120亿美元170亿美元。在台积电和三星电子之后,拥有韩国第二大存储芯片制造商SK海力士光库科技预计2021年净利润同比增长37。1957。18光库科技昨日发布了2021年年度业绩预告。光库科技预计2021年实现归属于上市公司股东的净利润为1。24亿元ndash1。42亿元,比上年同期增长110ndash140,去年同期为武汉目标到2025年全市半导体产业能级明显提升为促进武汉市半导体产业创新发展,加快ldquo光芯屏端网rdquo产业集群建设,提升产业链现代化水平,武汉市人民政府发布关于促进半导体产业创新发展的意见。意见提出,其总体目标是到2苹果AppStore将在韩国接受第三方支付苹果公司透露了遵循韩国新规定,允许开发者在AppStore中提供第三方应用内支付选项的计划。据韩国先驱报报道,在向韩国通信委员会(KCC)提交的一份提案中,苹果提供了一种替代支付系长江存储发布首款PCIe4。0SSD致态TiPro7000日前,长江存储宣布原厂SSD品牌更名为ldquo致态rdquo,同时正式发布了旗下首款PCIe4。0SSD,型号为ldquo致态TiPro7000rdquo,性能温度表现都是顶级的龙芯CPU福彩投注机投入运行1GHz双核功耗低至1W龙芯中科宣布,12月29日,基于龙芯CPU平台的福利彩票投注机,在天津福彩中心旗舰店正式投入运行。它采用了龙芯2K1000平台,由龙芯中科思乐数据北京吉恒联合研发创新。龙芯2K10腾讯全新游戏品牌腾讯先锋公布不用下载今天,腾讯官方正式宣布,成立ldquo腾讯先锋rdquo游戏品牌。腾讯官方发文称ldquo今天,我们激动的宣布腾讯先游品牌全新升级为ldquo腾讯先锋rdquo!我们将以先锋者的姿OnexPlayer壹号掌机mini版正式发布7寸屏11代酷睿12月20日晚,OnexPlayer壹号掌机mini版正式发布,配备了更轻便的7寸屏,重量仅589克,搭配最新的11代酷睿处理器,售价5999元起,首发优惠到手5599元。秉承着l
苹果现在是Google云存储的最大企业客户折扣巨大苹果公司大幅增加了其在Google云服务上存储的数据量,这表明其存储需求的增长速度已经超过了其自身服务器的处理能力。截至2021年5月,苹果有望在2021年花费约3亿美元购买GooMerlin鸟类识别应用可识别手机录到的鸟类歌声长久以来,一直有一些应用程序听广播中播放的歌曲片段,并告诉你谁在唱这首歌以及这首歌叫什么。现在,对于鸟类爱好者而言,类似的东西已经亮相,它被称为Merlin鸟类识别应用程序,可以用微软将在全球科技监管浪潮中壮大法律团队据外媒Axios报道,微软总裁布拉德middot史密斯(BradSmith)称,微软计划在下一财年将其法律和企业事务部门的员工人数增加20,因为它要为它所认为的全球范围内长达数年的苹果iOS15创建的部分备忘录在旧版操作系统不可用据外媒9to5Mac报道,在iOS15和macOSMonterey中,苹果为备忘录(Notes)应用带来了不少更改。但如果用户已在设备上安装了最新版操作系统,需注意部分笔记将不会显三星代工业务遭遇不顺部分5nmEUV良率低于50在全球晶圆代工市场上,台积电是第一大,产能和技术都是领先的,份额超过50,三星拿下了20多的份额,先进工艺也能追着台积电跑,5nm工艺也代工了麒麟888。然而最近的消息不太妙,三星报道称三星将于下月推出GalaxyZFold3等新品据报道,三星将于8月11日发布GalaxyZFold3GalaxyZFlip3手机等一系列新品。其中,GalaxyZFold3将搭载高通骁龙888处理器,并搭载屏下摄像头。据悉,三任天堂发布新款GameWatch复刻版掌机任天堂E3直面会正式落幕,ldquoSwitchPrordquo遗憾缺席,继续制造悬念。本次直面会上唯一的硬件就是塞尔达传说GameampWatch,定于11月12日发售。简单来说任天堂SwitchPro处理器曝光!魔改NV最强SoC任天堂定于北京时间6月16日0点举办E3直面会,除了游戏,主角还可能包括SwitchPro。关于SwitchPro的核心SoC,有了新爆料。消息人士kopite7kimi晒出NVI曝SwitchPro搭载NVIDIAOrin芯片任天堂定于北京时间6月16日0点举办E3直面会,除了游戏,主角还可能包括SwitchPro。关于SwitchPro的核心SoC,有了新爆料。消息人士kopite7kimi晒出NVI新华三2021Q1中国以太网交换机市场份额第一名近日,国际数据公司IDC发布了最新的中国以太网交换机市场季度跟踪报告(2021Q1),数据显示,紫光股份旗下新华三集团在2021年第一季度以38。0的占有率夺得中国以太网交换机市场开发商疑似泄漏SwitchPro外形改进明显对于任天堂来说,他们似乎已经准备好了SwitchPro,大家准备买吗?据外媒最新报道称,最终主视角美式RPG天国拯救确定会登陆任天堂Switch平台,而该作的开放商Warhorse