教育房产时事环球科技商业
投稿投诉
商业财经
热点动态
科技数码
软件应用
国际环球
晨报科学
新闻时事
信息智能
汽车房产
办公手机
教育体育
生活生物

优化网络通信可以加速大规模机器学习模型的训练

  在高速网络设备中插入轻量级的优化代码,使得KAUST领导的合作将并行化计算系统的机器学习速度提高了五倍。  这种 "网内聚合 "技术是与英特尔、微软和华盛顿大学的研究人员和系统架构师共同开发的,它可以利用现成的可编程网络硬件提供显著的速度提升。
  人工智能(AI)之所以能够拥有如此强大的 "理解 "和与世界互动的能力,其根本的好处是机器学习步骤,即使用大量标记的训练数据集来训练模型。训练AI的数据越多,当暴露于新的输入时,模型就可能表现得越好。
  最近人工智能应用的爆发主要是由于更好的机器学习和使用更大的模型和更多样化的数据集。然而,执行机器学习计算是一项艰巨的任务,并越来越依赖于并行运行学习算法的大型计算机阵列。
  "如何大规模地训练深度学习模型是一个非常具有挑战性的问题,"KAUST研究团队的Marco Canini说。"人工智能模型可能由数十亿个参数组成,我们可以使用数百个处理器,这些处理器需要高效地并行工作。在这样的系统中,增量模型更新过程中处理器之间的通信很容易成为主要的性能瓶颈。"
  该团队在 英特尔 旗下的Barefoot Networks公司开发的新网络技术中找到了潜在的解决方案。
  "我们使用Barefoot Networks新的可编程数据平面网络硬件来卸载分布式机器学习训练过程中执行的部分工作,"后来加入英特尔Barefoot Networks团队的KAUST校友Amedeo Sapio解释道。"使用这种新的可编程网络硬件,而不仅仅是网络来移动数据,意味着我们可以沿着网络路径进行计算。"
  该团队的SwitchML平台的关键创新在于,在机器学习过程的模型更新阶段,允许网络硬件在每个同步步骤中执行数据聚合任务。这不仅卸载了部分计算负载,还大大降低了数据传输量。
  "虽然可编程开关数据机可以非常快速地进行操作,但它能做的操作是有限的,"Canini说。"因此,我们的解决方案必须对硬件足够简单,但又必须足够灵活,以解决板载内存容量有限等挑战。SwitchML通过共同设计通信网络和分布式训练算法来解决这一挑战,与最先进的方法相比,实现了高达5.5倍的速度提升。"
  【来源:cnBeta.COM】

美国运通推出首个全数字消费者存取款账户美国运通周二宣布,该公司已推出其首个全数字消费者存取款(支票账户)。美国运通奖励支票目前可供符合条件的美国消费者卡会员使用。数字银行服务的出现使传统银行加强其数字战略并提供更具竞争飞腾CPU2021年适配2000多款国产软件国产处理器这几年枝繁叶茂,而除了硬件技术,软件层面的适配优化更加关键。作为国产CPU中的代表,飞腾今天宣布,截止2021年12月,飞腾平台已完成超过2000款国产软件的产品兼容认证马斯克否认星链卫星挤占太空空间还将继续发射此前,SpaceX公司发射的ldquo星链rdquo卫星就曾因占用过多太空空间遭到各国学者的批评,对此,该公司CEO埃隆middot马斯克反驳称,近地轨道上可能有ldquo数百亿rNFT市场OpenSea推出新版列表管理器周一的时候,三位攻击者以相当离谱的高折扣,在非同质化代币(NFT)市场OpenSea上入手了价值百万美元的数字资产。问题源于OpenSea新推出的收藏管理器(ListingMana英伟达首席财务官显卡芯片短缺将在2022年下半年缓解根据外媒Tom39sHardware消息,市面上显卡短缺的情况已经持续了两年,目前市售的显卡价格尽管有所波动,但一直居高不下。英伟达下一代RTX40系列显卡有望于2022年推出,可Lucid电动车公司计划2026年前在沙特建厂据国外媒体报道,电动汽车新贵Lucid计划在2025年或2026年之前在沙特阿拉伯建立一家电动车工厂,并正在与沙特政府部门就细节进行谈判。在周三的利雅得矿业会议上,Lucid董事长阿里巴巴投资济达交通,后者专注于交通仿真领域企查查APP显示,上海济达交通科技有限公司发生工商变更,新增股东阿里巴巴(中国)网络技术有限公司,同时公司注册资本由263。16万元人民币增加至315。79万元人民币,增幅为20。百度投资清云智通,后者致力于流程工业无人化企查查APP显示,清云智通(北京)科技有限公司发生工商变更,新增百度关联公司达孜县百瑞翔创业投资管理有限责任公司为股东,同时公司注册资本由907。891万元人民币增加至1018。8消息称华为或将推出国产自研的内核浏览器1月10日消息,近日,有数码博主在微博爆料,华为浏览器的资深经理透露说大概再过两年我们就可以看到更好的华为浏览器问世。这意味着,华为或将推出国产自研的浏览器。该博主称,ldquo如全球半导体产值今年可望增长11至6806亿美元半导体行业咨询机构ICInsights日前发布报告称,全球半导体产值在2020年同比增长25,达到6140亿美元。预计2022年将再度增长11,达到6806亿美元。2021年,全球苹果VRAR设备有望采用双处理器8K屏幕据国外媒体报道,苹果产品方面的资深记者日前表示,苹果内部已经讨论了传闻已久的VRAR设备的价格,可能会超过2000美元。在苹果VRAR设备的价格方面,此前曾有报道称将在100030
比亚迪电子为荣耀50手机提供了整机组装服务6月17日消息,比亚迪电子公众号发文称,为荣耀50手机提供了整机组装服务,全力打造荣耀公司成立后正式上市的首款数字旗舰手机。官方称,比亚迪电子承接了荣耀50手机SMT组装测试包装等国产丰田柯斯达氢燃料电池车申报!比亚迪电池众所周知,丰田拥有两大ldquo王牌rdquo新能源技术mdashmdash油电混合动力技术和氢燃料电池技术。近日,有媒体从工信部网站获取了一款四川一汽丰田汽车有限公司申报的柯斯达消息称Intel密谋大动作试图谈判300亿美元收购GF据外媒最新消息,Intel正在密谋大动作。据知情人士透露,Intel正在研究收购格芯(GlobalFoundries)的交易,此举将推动这家半导体巨头为其他科技公司生产更多芯片的计捷豹路虎汽车芯片短缺严重Q3预期销量下调50根据外媒消息,捷豹路虎公司(JLR)于7月6日警告称,全球芯片短缺的影响比预期严重得多,因此将2021年第三季度销售预期减半,下调50。消息发布后,捷豹路虎的母公司塔塔汽车,在印度曝Intel要首发台电3nm两款CPU正测试!Intel将在部分产品上使用台积电代工几乎已经是板上钉钉的事情,但出乎意料的是,上来就要用3nm。财经媒体最新报道称,苹果和Intel将首批采用台积电的下一代先进技术,即3nm制程3nm工艺太贵台积电被投行看衰失去关键优势作为全球第一大晶圆代工厂,尤其是率先量产了先进的7nm5nm工艺之后,台积电已经成为影响全球半导体产业的重要一环。接下来台积电还会量产3nm工艺,然而海外投资者这时候看衰台积电,认劲拓股份宣布与海思签订合作备忘录深交所发函问询劲拓股份发布公告称,与海思半导体签订海思劲拓合作备忘录。公告显示,基于劲拓在热工领域的能力,加之海思大力推进封测产业链国产化进程,因此,双方旨在加大半导体封装设备领域的合作,解决卡英特尔下一代SapphireRapidsCPU曝光,2022年发布据外媒VideoCardz消息,一份英特尔处理器路线图近日被曝光,展现了下一代HEDT高性能桌面CPU的代号,名为ldquoSapphireRapidsrdquo。HEDT平台定位中国电信VoLTEvIMS网络扩容采购,华为等中标来自中国电信官网消息,中国电信启动2021年VoLTEvIMS网络扩容工程采购,华为中兴和爱立信3家中标。采购公告显示,中国电信本次VoLTEvIMS网络扩容项目将采购北京南京广州机构预测2021年将有10亿部手机支持无线充电近年来,随着科技飞速发展,手机领域也迎来了巨大变化,包括CPU核心提升镜头像素升级以及更大功率的快充技术,另外,无线充电也成了各家厂商比拼数据的关键参数之一。今日,研究机构Stra未来欧洲5万电动汽车充电站将提供加密支付据国外媒体报道,爱尔兰电子商务和移动支付解决方案公司HIPSPaymentGroupLtd和瑞典公司Vourity合作,准备在欧洲5万个电动汽车充电站推出加密支付。Vourity是