教育房产时事环球科技商业
投稿投诉
商业财经
热点动态
科技数码
软件应用
国际环球
晨报科学
新闻时事
信息智能
汽车房产
办公手机
教育体育
生活生物

优化网络通信可以加速大规模机器学习模型的训练

  在高速网络设备中插入轻量级的优化代码,使得KAUST领导的合作将并行化计算系统的机器学习速度提高了五倍。  这种 "网内聚合 "技术是与英特尔、微软和华盛顿大学的研究人员和系统架构师共同开发的,它可以利用现成的可编程网络硬件提供显著的速度提升。
  人工智能(AI)之所以能够拥有如此强大的 "理解 "和与世界互动的能力,其根本的好处是机器学习步骤,即使用大量标记的训练数据集来训练模型。训练AI的数据越多,当暴露于新的输入时,模型就可能表现得越好。
  最近人工智能应用的爆发主要是由于更好的机器学习和使用更大的模型和更多样化的数据集。然而,执行机器学习计算是一项艰巨的任务,并越来越依赖于并行运行学习算法的大型计算机阵列。
  "如何大规模地训练深度学习模型是一个非常具有挑战性的问题,"KAUST研究团队的Marco Canini说。"人工智能模型可能由数十亿个参数组成,我们可以使用数百个处理器,这些处理器需要高效地并行工作。在这样的系统中,增量模型更新过程中处理器之间的通信很容易成为主要的性能瓶颈。"
  该团队在 英特尔 旗下的Barefoot Networks公司开发的新网络技术中找到了潜在的解决方案。
  "我们使用Barefoot Networks新的可编程数据平面网络硬件来卸载分布式机器学习训练过程中执行的部分工作,"后来加入英特尔Barefoot Networks团队的KAUST校友Amedeo Sapio解释道。"使用这种新的可编程网络硬件,而不仅仅是网络来移动数据,意味着我们可以沿着网络路径进行计算。"
  该团队的SwitchML平台的关键创新在于,在机器学习过程的模型更新阶段,允许网络硬件在每个同步步骤中执行数据聚合任务。这不仅卸载了部分计算负载,还大大降低了数据传输量。
  "虽然可编程开关数据机可以非常快速地进行操作,但它能做的操作是有限的,"Canini说。"因此,我们的解决方案必须对硬件足够简单,但又必须足够灵活,以解决板载内存容量有限等挑战。SwitchML通过共同设计通信网络和分布式训练算法来解决这一挑战,与最先进的方法相比,实现了高达5.5倍的速度提升。"
  【来源:cnBeta.COM】

轻量级Web服务器Nginx1。22发布引入OpenSSL3。0兼容Nginx1。22版本于今天正式发布。该轻量级Web服务器以高性能而享誉业内,在新版本中引入了OpenSSL3。0兼容性,强化对抗流量夹带(RequestSmuggling)和跨协Windows11获可选更新KB5014019引入桌面壁纸Spotlight功能面向Windows11用户,今天微软发布了本月的可选更新,用户在安装完成之后版本号升至Build22000。708。这和上周四发布给WindowsInsider项目成员的更新相同,借助WiFi信号科学家帮助机器人实现室内定位和导航由于GPS信号在室内环境下很糟糕,因此机器人很难依靠该技术实现室内定位。固然可以通过光学相机或者激光雷达传感器(LiDAR)定位已知的地标或特殊标记实现导航,但前者对光线环境要求极比亚迪海豹风阻系数官曝0。219低到没朋友5月6日,比亚迪汽车官方曝光了全新纯电动车型海豹的又一重磅参数风阻系数仅0。219Cd。较低的风阻,是电动车能够获取更长续航的重要支撑,作为参考,长安深蓝C385风阻系数为0。23对标比亚迪海豹长安最帅电动车深蓝C385信息公开近日消息,长安深蓝公布了旗下首款车型C385(内部代号)的全部信息,据了解,深蓝C385基于长安全新的EPA1平台打造,也是该平台的首款车型,尺寸为482018901480mm,轴首款14英寸70W轻薄本!荣耀MagicBook14开售荣耀举行新品发布会,正式推出全球首款14英寸70W强劲性能轻薄本荣耀MagicBook14,新品于今日正式开售,首发价4999元起。ID设计上,荣耀MagicBook14采用全新铝Crucial发布P3和P3PlusM。2NVMe主流消费级固态硬盘美光科技今天宣布即将推出两款消费类存储产品CrucialP3PlusGen4NVMe和CrucialP3NVMe固态硬盘(SSD),作为其CrucialNVMeSSD产品系列的下一苹果计划在2022年生产约2。2亿部iPhone与去年基本持平据彭博社报道,苹果公司计划在2022年生产大约2。2亿部iPhone,尽管供应链受到限制,而且预计今年秋季对新iPhone的需求很高,但这一生产目标与去年基本持平。据报道,苹果公司自主研发!国内首颗PCIe5。0主控芯片成功流片下半年量产去年11月,江苏华存电子历时4年研发的PCIe5。0主控芯片HC9001已经完成研发并进入流片。日前,从江苏南通市国资委官网获悉,近日,华存自主研发出国内首颗PCIe5。0SSD存小鹏官宣终身免费充电服务被砍5月6日消息,小鹏汽车宣布,为了实现高等级智能辅助驾驶向更多用户的普及,为智能辅助驾驶下一步发展提速,决定对车型售价配置和权益进行调整。一智能辅助驾驶系统软件及升级服务标配。自22新版微软Outlook客户端泄露实现微软正在努力实现跨平台的统一Outlook,作为其OneOutlook战略的一部分,该公司在过去几年中一直在讨论这个问题。该电子邮件客户端正在转向一个基于网络的平台,该公司称之为O
GoogleChrome将可直接实现GoogleLens图片识别搜索GoogleLens,这款强大的图像识别软件在桌面上的Chrome浏览器中使用时开始变得不那么麻烦。目前,如果你想对网站上的图像使用Lens,浏览器会在新标签页中打开一个结果页面。微软确定Windows11的22H2的最终版本号为Build22621Windows的下一个主要版本已经完成正如预期的那样,build22621就是Windows11版本22H2的最终版本。当然,现在早已经没有以往压盘送厂的过程,已经没有真正意义上的Windows11正在获得一种将已拥有应用程序恢复到新PC的简单方式微软终于在Windows11的微软商店中加入了还原应用的功能,这家软件开发商将很快开始测试一项新功能,允许你将已经拥有的应用恢复到新的Windows11电脑上。现有的微软商店还没有亿纬锂能拟30亿元投建10GWh动力储能电池项目日前,惠州亿纬锂能股份有限公司(以下简称ldquo公司rdquo)发布公告称,拟与云南省玉溪高新技术产业开发区管理委员会(以下简称ldquo玉溪高新区管委会rdquo)就公司在玉溪马斯克宣布8月19日举行第二届人工智能日会有大量酷炫更新伊隆middot马斯克(ElonMusk)宣布将于8月19日举行新的人工智能日(AIDay)活动,期间将会发布ldquo很多酷炫的更新rdquo。在过去的几年里,特斯拉已经开始在某终于!PS4PS5模拟器做出来了已能运行部分游戏PS3模拟器已经渐入佳境,以知名度较高的RPCS3为例,最近的一次更新对性能进行了大幅改进,合金装备4提升了2550,荒野大镖客女神异闻录5等也有520不等的提升。这样的成就似乎也CISA不要在有域控制器的设备上安装Windows五月更新在本月补丁星期二活动日放出的累积更新中,微软修复了追踪号为CVE202226925的WindowsLocalSecurityAuthority(LSA)欺骗漏洞。这个严重性很高的漏微软大力加薪计划将员工工资预算增加近一倍据国外媒体报道,在大型科技公司纷纷提出加薪政策后,微软首席执行官萨蒂亚middot纳德拉(SatyaNadella)当地时间周一表示,考虑到当前的劳动力市场以及不断加剧的通货膨胀,传三星已开启新一代折叠屏智能机核心组件生产2022年出货量或达千万参照往年,三星应该会在下半年推出备受期待的GalaxyZFold4和GalaxyZFlip4折叠屏新机。不过近日,TheElec援引业内消息人士的话称,三星电子可能已经开启两款新机基于Debian的KaliLinux2022。2发布引入诸多新功能和工具KaliLinux是一个神奇的发行版,主要用于数字取证和渗透测试。虽然普通用户使用的几率并不大,但是你可能会在电影电视剧中见过它,例如黑客军团(MrRobot)。它配备了广泛的工具苹果官网开始销售翻新iPadAir4起售价469美元据国外媒体报道,在3月8日的春季新品发布会上,苹果公司推出了新一代的iPadAir,搭载M1芯片,性能较上一代提升明显,后置1200万像素超广角摄像头,有深空灰色星光色粉色紫色和蓝