大模型的风,还需要一个底层AI框架来落地_luojianet底层是mindspore-程序员宅基地

技术标签: 机器学习  新闻  深度学习  人工智能  

深度学习发展至今,语言、视觉、推荐、代码生成等多个领域相继出现一些“大模型”成果,不断刷新着人们对AI的认知与想象。深度学习依赖对大量数据的训练,而“大模型”的参数更多、函数更复杂,这样的特征使得模型所演算出来的结果更精准。随着万物互联世界的进一步发展,数据量的扩展与数据收集已不再是难题,随之而来的新命题是如何处理海量数据,并且做出更好地训练。

早在2017年,Transformer结构被提出,使得深度学习模型参数突破了1亿;2018年,BERT网络模型的提出,使得参数量首次超过3亿规模;2020年,拥有1750亿个参数的 GPT-3横空出世;2021年推出的ZionEX系统,其所支持的推荐模型大小已超过10万亿规模……

随着数据规模的指数级增长,大模型已经逐渐被认为是通过深度学习认知智能的桥梁。

然而,数据量的暴增提出了新的命题——如何跨越通信等瓶颈,提升大模型的训练效率?为了支持大模型的训练,往往需要一套大规模分布式训练框架来训练大模型。

对此,华为交出的答卷便是昇思MindSpore AI框架,原生支持大模型训练。昇思 MindSpore拥有业界领先的全自动并行能力,提供6维混合并行算法,即数据并行、模型并行、流水并行、优化器并行等能力;极致的全局内存复用能力,在开发者无感知的情况下,自动实现 NPU 内存 / CPU 内存 / NVMe 硬盘存储的多级存储优化,极大降低模型训练成本;极简的断点续训能力,可解决大集群训练故障导致的任务中断问题……通过这些特性,可以很好地解决大模型开发时遇到的内存占用、通信瓶颈、调试复杂、部署难等问题。

专注底层能力,

昇思MindSpore携手伙伴打造四大创新模型

值得注意的是,昇思MindSpore AI框架专注底层能力建设,为业界提供大模型的搭建基础。至今,昇思MindSpore AI已经携手业内领先的研究机构,推出覆盖自然语言处理、遥感影像、生物医药、多模态的的四大模型,并广泛应用在金融、医疗、农林业、制造等各个行业。

2021年5月,在华为生态大会2021「昇腾万里 共赢智能新时代」上,鹏城实验室基于昇思MindSpore推出了全球首个2000亿参数中文NLP大模型鹏程.盘古,是最接近人类中文理解能力的AI大模型。鹏程.盘古大模型具备广泛的运用场景,在知识问答、知识检索、知识推理、阅读理解等文本生成领域表现突出。

2个月后,中科院自动化所联合华为基于昇腾AI和昇思MindSpore AI框架打造的全球首个三模态大模型——“紫东.太初”正式推出。紫东.太初能够实现视觉、文本、语音三个模态间的高效协同,性能全球领先,是探索通用人工智能道路上的重要成果,将在工业质检、影视创作、互联网推荐、智能驾驶等领域广泛应用。同时,依托其技术创新性和行业影响力,紫东.太初获得今年WAIC的最高奖项——卓越人工智能引领者奖(Super AI Leader,简称SAIL奖)

除了基础大模型之外,昇思MindSpore AI框架还已支撑两个行业大模型上线——鹏程.神农和武汉.LuoJia。

鹏城实验室联合华为基于昇腾AI和昇思MindSpore AI框架打造了面向生物医学领域的人工智能平台  “鹏程.神农”。制药企业和医学研究机构使用“鹏程.神农”提供的AI能力,将大大加速新型药物的筛选与研制,让人工智能为人类的健康保驾护航。

武汉大学与华为昇腾AI团队一起,共同打造了嵌入昇思MindSpore先进技术特性的全球首个遥感影像智能解译专用框架武汉.LuoJiaNet和业界最大遥感样本库武汉.LuoJiaSET,助力遥感智能解译,为数字乡村建设、粮食安全保护、城市规划建设国计民生应用赋能。

构筑体验平台,开放大模型能力

通常,训练一个大模型的人力和资源成本都非常之高,这也就导致了普通开发者入门无道。为了让更多开发者可以体验到大模型的魅力,昇思MindSpore社区打造了一站式大模型体验平台,已在7月30日正式上线。

昇思大模型体验平台:https://xihe.mindspore.cn/

昇思大模型体验平台不仅集模型选型、在线推理、在线训练为一体,还支持了Gradio项目可视化推理、在线进行迁移学习。开发者可以在线查询基于昇思MindSpore构建的模型和数据集,并选择自己感兴趣的大模型及相关任务,如鹏城.盘古大模型的知识问答、检索和推理等、紫东.太初多模态大模型的以音搜图、以图生音和以音生图等。

实战造英雄,昇思AI挑战赛现已开幕!

Get一项新技能,最好的办法就是立个小目标,自己动手实操。

在开发者领域,底层理论的掌握程度很难代表实际开发效果。为了能让更多开发者有机会学习昇思MindSpore,探索模型算法并提升算法能力,进而为行业储备人才,推动人工智能软硬件应用生态繁荣发展,昇思MindSpore特举办昇思AI挑战赛。

昇思MindSpore还为参赛者准备了丰厚的奖品:

  • 一等奖1名,奖金5K元并颁发官方荣誉证书;

  • 二等奖2名,奖金3K元并颁发官方荣誉证书;

  • 三等奖3名,奖金 2 K元并颁发官方荣誉证书;

  • 入围复赛且通过代码审查且成功在线推理的队伍可获得证书、定制大礼包等奖品;

  • 凡是提供推理模块的队伍,均可获得参与奖。

本次AI挑战赛是面向全球 AI 开发者打造的赛事,开设多类别图像分类、文本分类、艺术家风格迁移三大赛道,涵盖 AI 基础领域。

其中图像分类是计算机视觉中最基础的任务,目前图像分类的算法仍然在飞速发展。本赛题旨在让参赛者熟悉昇思MindSpore并锻炼参赛者使用MindSpore进行图像分类预处理、图像分类的能力。同时为了考察参赛者应对大量数据的处理能力,本赛题采用Celtech多类别图像数据集。

文本分类研究能实现人与计算机之间用自然语言进行有效通信的各种理论和方法。文本分类在AI领域承担了重要角色。本赛题旨在让参赛者熟悉昇思MindSpore并锻炼参赛者使用MindSpore进行NLP的文本处理、文本分类的能力。本赛题采用Amazon Review数据集,参赛者需要根据用户评论文本,对用户的评分进行预测(1-5分的整数)。

艺术家风格迁移赛道 图像风格迁移技术的发展在图像处理、计算机视觉、影视制作等领域均发挥着不可估量的作用。本赛题旨在让参赛者熟悉昇思MindSpore并锻炼参赛者使用MindSpore进行图像风格迁移的能力。本赛题采用梵高画作作为风格迁移的目标风格。

通过三大赛道的设置,开发者可以自由挑选感兴趣的赛道,实现从理论到实践的跨越,了解行业最新的人才需求,提升自身技能。

版权声明:本文为博主原创文章,遵循 CC 4.0 BY-SA 版权协议,转载请附上原文出处链接和本声明。
本文链接:https://blog.csdn.net/Kenji_Shinji/article/details/126972541

智能推荐

计算机开机coms错误,电脑开机提示“CMOS checksum error-Defaults loaded”怎么办?-程序员宅基地

文章浏览阅读3.7k次。最近一位用户碰到一个奇怪的电脑故障,用户在重装系统后,一开机电脑就提示:“cmos checksum error-defaults loaded”,意思是CMOS校验和错误默认加载,这是什么情况呢?下面小编给大家讲解导致该问题发生的原因及解决办法。原因分析:CMOS 执行整和检查时发现错误,因为BIOS中设置与真实硬件数据不符引起的。解决方法:1、软驱设置:实际上没有软驱或者软驱坏了,但是在BIO..._cmos验证结果出现错误,cmos将重置

基于STM32WIFI远程监控电压电流表(二)电流检测电路_stm32电流电压采样电路-程序员宅基地

文章浏览阅读6.8k次,点赞8次,收藏77次。电流检测电路电流检测的原理电流检测电路1、低侧检测2、高侧检测应用电路电流检测的原理电路检测电路常用于:高压短路保护、电机控制、DC/DC换流器、系统功耗管理、二次电池的电流管理、蓄电池管理等电流检测等场景。对于大部分应用,都是通过感测电阻两端的压降测量电流。一般使用电流通过时的压降为数十mV~数百mV的电阻值,电流检测用低电阻器使用数Ω以下的较小电阻值;检测数十A的大电流时需要数mΩ的极小电阻值,因此,以小电阻值见长的金属板型和金属箔型低电阻器比较常用,而小电流是通过数百mΩ~数Ω的较大电阻值进_stm32电流电压采样电路

10KV配电工程电力监控系统的设计及应用_10kv开关站计算机监控系统定几级-程序员宅基地

文章浏览阅读684次。项目概述:  为满足新建松园四号学生公寓及原有学生公寓安装空调的用电需求,学校决定在竹园三号学生公寓东侧新建一座变配电室,设计装机容量8000KVA,配电室建筑面积841平方米,二层框架结构,第一层为低压配电室,第二层为高压配电室。采用双电源供电方式,主供电源10KV义安线接线供电,备用电源由客户自备发电机供电。设计标准: 本技术规范书提供的设备应满足以下规定、法规和行业标准:GB 50052 《供配电系统设计规范》GB 50054 《低压配电设计规范》I..._10kv开关站计算机监控系统定几级

xdp初体验_ip link set xdp-程序员宅基地

文章浏览阅读1.6k次,点赞2次,收藏14次。简介XDP是利用ebpf提供的全新内核网络性能提升方案,主要优势包括:它不需要任何专门的硬件它不需要内核绕过它不会取代 TCP/IP 堆栈它与 TCP/IP 堆栈以及 BPF 的所有优点协同工作在没有引入XDP之前,原来是的内核网络数据包传输路径是这样的:NIC > driver 驱动> tc流控 ==> netfilter ==> IP/TCP协议栈 ==> socket启用XDP后,网络包传输路径是这样的:①NIC > ②driver 驱动&_ip link set xdp

图像识别算法-程序员宅基地

文章浏览阅读5.3w次,点赞33次,收藏301次。图像特征包括颜色特征、纹理特征、形状特征以及局部特征点等。局部特点具有很好的稳定性,不容易受外界环境的干扰。1. 局部特征点图像特征提取是图像分析与图像识别的前提,它是将高维的图像数据进行简化表达最有效的方式,从一幅图像的的数据矩阵中,我们看不出任何信息,所以我们必须根据这些数据提取出图像中的关键信息,一些基本元件以及它们的关系。局部特征点是图像特征的局部表达,它只能反正图像上具有..._图像识别

使用ipmitool配置X86服务器的BMC网络和用户信息_ipmitool设置bmc静态ip-程序员宅基地

文章浏览阅读8.9k次,点赞2次,收藏37次。ipmitool配置BMC网络和用户信息_ipmitool设置bmc静态ip

随便推点

python字典dict添加元素的两种方法_python dict 新增-程序员宅基地

文章浏览阅读2.5k次。【代码】python字典dict添加元素的两种方法。_python dict 新增

RCC_APB1和RCC_APB2的区别_rccapb1和rccapb2的区别-程序员宅基地

文章浏览阅读2.7k次。RCC_APB1和RCC_APB2的区别他们下面挂的外设不同,因为不同的外设需要的时钟不同。一个是高速时钟,一个是低速时钟具体看STM32的时钟介绍。APB2负责AD,I/O,串口1,高级定时器TIMAPB1负责DA,串口2,3,4,5,普通定时器TIM, USB , IIC , CAN..._rccapb1和rccapb2的区别

上海着力营造人工智能创新生态,助力上海打造AI高地-程序员宅基地

文章浏览阅读456次。  4月25日下午,SAIL启航·上海人工智能发展联盟发起成立仪式、2019世界人工智能创新大赛启动仪式、上海市首批人工智能试点应用场景发布仪式在上海市长阳创谷举办。市经济和信息化委员会总工程师张英,杨浦区副区长赵亮,上海人工智能发展联盟主要发起单位仪电集团董事长吴建雄,上海人工智能战略专家委召集人、东华大学校长蒋昌俊,市经济和信息化委员会副巡视员、市经济和信息化发展研究中心...

Hadoop入门·环境搭建_axb平台搭建-程序员宅基地

文章浏览阅读3.1k次。Hadoop入门·环境搭建_axb平台搭建

Delphi语法(一)工程文件与语法基础_delphi 工程文件-程序员宅基地

文章浏览阅读524次。delphi语法介绍,第一章工程文件,第二章基础语法_delphi 工程文件

SDR学习之——跟踪飞机轨迹_sdr飞机追踪-程序员宅基地

文章浏览阅读2.6k次。ADS-B是广播式自动相关监视的英文缩写,它主要实施空对空监视,一般情况下,只需机载电子设备(GPS接收机、数据链收发机及其天线、驾驶舱冲突信息显示器CDTI),不需要任何地面辅助设备即可完成相关功能,装备了ADS-B的飞机可通过数据链广播其自身的精确位置和其它数据(如速度、高度及飞机是否转弯、爬升或下降等)。ADS-B接收机与空管系统、其它飞机的机载ADS-B结合起来,在空地都能提供精确、..._sdr飞机追踪