• 设为首页
  • 收藏本站
  • 手机版
    手机扫一扫访问
    工作站之家手机版
  • 关注官方公众号
    微信扫一扫关注
    工作站之家公众号
hot揭秘《超能陆战队》诞生记

《超能陆战队》横版海报 迪斯尼联手漫威的首部动画大作《超能陆战队》自北美上映以来口碑和票 详情

GTC CHINA:NVIDIA CEO 黄仁勋现场演讲实录

[复制链接]
gpu 发表于 2017-9-27 11:17:06 | 显示全部楼层 |阅读模式 打印 上一主题 下一主题
欢迎来到GTC CHINA 2017,非常高兴来到这里。这是NVIDIA的GPU技术大会,我们今天有很多的内容和大家分享。
在计算机的历史当中,没有任何一个时刻比现在更令人兴奋了。现在这事物正在影响我们的未来,有两个力量在推动未来计算领域的未来。


第一,摩尔定律已经终结,在过去50年当中,技术发展的速度其实一直在不断改善,但现在已经无法像过去一样来增加晶体管的数量,现在这种模式已经无法再延续下去了。与此同时,这些晶体管在过去30年当中,在不断改善CPU的架构。把数据通路做的更宽、更深。架构能够不断的创新,能够执行更多的指令。这些晶体管和这些处理的技术,使得CPU的设计者能够实现更多的并行计算,这两股力量实际上都是已经结束了。现在晶体管无法变得越来越小,CPU的设计者也无法再通过增加晶体管的数量来增加计算能力,也就无法再进一步推动CPU性能提升了。


但与此同时晶体的管数增加50%,但是CPU性能每年只增加10%,所以摩尔定律已经终结了。与此同时我们也看到一些新的计算模型在出现,比如说深度学习。深度学习已经彻底的改变了整个世界。它并不是一种以指令为基础、而是以数据为基础的计算模型。深度神经网络有着数以亿计的神经连接,可以从数据那里学习,来完成一些非常棒的任务,这种深度网络,我们把它称之为叫深度学习,如果再加上大数据,就能够使得我们做出一些新的突破,但是这就需要非常强大的计算能力。这也是为什么GPU开始崛起了。在投资CUDA 15年之后深度学习的研究者发现了GPU强大的实力,它能够加速大数据数据训练来改善这些深度神经网络,所以这两股力量,现在都是未来计算的基石。


一方面我们必须要找到新的计算模型,能够让我们不断的增加晶体管的数量,扩大它的计算的规模,因为我们需要新的计算模型,也就是深度学习,这也是为什么NVIDIA的GPU的模型开始崛起。因为我们能够弥补CPU的不足,能够实现这种低能耗、高强度的计算。由于GPU强大的计算能力,我们可以将这种计算能力应用到人工智能训练当中,因为研究人员也可以去训练这些深度神经网络,原来可能训练一个神经网络需要几个月,现在可能需要一天,这也是推动了整个深度学习革命式的发展。
现在已经有几十万人在使用GPU计算,实际上在过去5年当中,GTC参会的人数已经超过了2万2千人,这还只是今年一年的数字。并且CUDA的开发人员已经超过了65万,这仅仅是5年里的增长的速度,增长了14倍,今年仅过去这一年CUDA SDK的下载量增加了80万,过去5年里开发人员的数量增加了5倍。所以GPU计算的能力增加的非常快。
GPU背后的驱动力、第一个杀手级应用,就是计算机图形。计算机图形开发者们都梦想着能够打造VR环境,让任何创意都能成为现实,无论是构建任何事物,还是体验任何事物。它都是照片级真实的,符合物理世界的规律,而且让我们无论身处何处都能共享体验。
Holodeck我们已经做了有一段时间了,我有一些朋友其他的同事来给大家展示一下。

屏幕上的这辆车是Koenigsegg,他的设计者Christian Koenigsegg很慷慨地与我们分享了这辆车的全部数据库。Holodeck里面所有都是电脑生成的,都是实时的——绚丽的车身颜色、车胎橡胶、碳纤维方向盘,全都是照片级真实的。现在都是在虚拟环境当中实现的,所以这里包括车的设计、材质等等都可以在这里进行调整,甚至可以把车门打开。你可以看到它的玻璃的质地,甚至反光的效果。你可以用Holodeck来做设计,来尝试各种不同设计的方式,甚至在开门的时候,一些小的部件能够看的非常清楚。
这个门打开的方式也不同,它是垂直的竖起来的,从工程学角度来说简直是一个杰作,看起来非常好这个效果。有了Holodeck这样的VR环境,就能够在照片级真实的场景中体验原始设计,并与异地的同事共享。无论你是在北京还是在硅谷,所有的同事都能够实时感受这个产品的效果。还有,您刚才提到整个汽车的设计都可以在这里进行,我们可以看到所有的零部件,甚至内部的零部件两万多个零部件的每一个部分都能够看得见,这样的话设计产品简直是太棒了。我们也在想未来某一天,我们能够在虚拟现实当中来设计产品,我们能够打造出用VR和AI来进行设计的产品工厂,然后再加上机器人的功能,就能够完全实现VR设计,然后机器人来打造或者你制造的产品,所有的这些都可以在VR环境当中来实现,非常棒。
就这些了,谢谢。这是NVIDIA的Holodeck。NVIDIA可以进行实时的模拟,全世界的团队可以用同样这个工具进行合作,在虚拟的环境当中来进行设计。并且这里还包含了AI的技术。
接下来讲一讲AI,计算机图形是GPU第一个杀手级应用,AI和深度学习是新的GPU杀手级应用,看看AI领域过去几年发生的事情,发现它取得了巨大的进展,并且发展的趋势也是很不错的。都是由GPU的计算能力来驱动的。现在这个领域的初创企业数量是5年以前的12倍,今年可能还会在这个领域投资达到66亿美元。并且,今年发布AI领域的论文的数量已经超过了3千篇,所以在过去3年当中发表论文的数量增加了13倍。最后来看一下右边这张图,NIPS是世界上人工智能最先进的一个会议,神经信息处理系统,在这里,人工智能的研究者都会去参加这个大会,这张图显示的是注册人的数量。从这个会议出现的时候人们就开始注册,今年达到历史高峰。
这体现了大家对于深度学习、对人工智能的强烈兴趣。人工智能进展迅速,能够解决从前无法解决的问题。下面我为大家展示一些有趣的东西,就是光线跟踪,是计算密集型的。NVIDIA 使用深度学习自编码器完成了一张只有部分被渲染的逼真图像。我们跟着光线在整个屋子里头可以看到人工智能很快可以完成这张图。



下部分是神经网络,它能够学习如何说话,如何把3D影像变成动画片,这是我们和Remedy公司合作完成的。在这个例子中,神经网络看了一下一个人在讲话的录像,然后通过听声音的方式,从中学习如何把它的脸变成3D动画。现在我们输入声音,出来的就是一个有动画效果的形象。
下面一个也是令人惊讶,摄像机只要看着我们,就可以理解我们的动作、我们的身体是在3D空间中如何运动的。这个技术使得我们拿起摄像机,就能够立刻进入虚拟环境。
下面的这项工作来自爱丁堡大学,他们训练了一个网络,用来控制一个能够适应不同环境和地形的人工智能人物。不管在它面前放什么——一堵墙、一块石头——他都能够知道如何在其中来导航,知道如何在不同地形中穿梭。
这是一个机器人,加州大学伯克利分校和 OpenAI 的研究人员发明了单次模仿学习,通过几次演示便可教会机器人执行一项新任务。用了几个例子把小盒子堆起来,机器人就学会了堆小方块。这一技术叫做One-shot Learning。所有这一切让深度学习变得可能。所以我说人工智能是深度学习驱动的,现在能够帮助我们解决过去解决不了的问题。
NVIDIA 很荣幸成为世界各地研究人员和开发人员选择推动 AI 发展的平台。我们致力于构建一个架构,用这个架构创造软件平台,而后全世界都可以在软件平台上去做创新。我们要致力于专一的架构,借助所有公司的力量推动这个架构的发展。它的规模、投资量以及工程量巨大,这一稳定的平台在未来一段时间会不断进展。这一平台适用于各种场景:大到超级计算机中心,小到PC、机器人等。我们的计算平台被全球各地的研究人所采用,可以在上面运行各种各样的应用。
今天我非常激动的宣布中国的最顶级的云服务提供商:阿里云、百度和腾讯这三家公司,对人工智能做了巨大投资,而且有着巨大的深度学习的能力的三家公司,这三家公司的研究员和我们已经合作了一段时间,


今日宣布BAT将采纳我们AI计算平台,将基于最新的NVIDIA Volta GPU,它们用我们这个技术开发自己内部的人工智能及其公有云的服务。以便让这些公司的研究人员以及全中国的初创公司都可以受益于全世界最先进的AI架构,而不需要自己建数据中心,这一点非常棒,我很高兴欢迎这三家公司加入我们的NVIDIA AI计算平台。
全世界有很多公司,在中国也是这样,他们还用不了云的原因是他们需要进行控制,控制他们自己的AI基础架构,他们数据太多,或者有些是处于隐私、安全的考虑,使得它们没有办法用云。但是他们希望用自己专门的AI技术架构。
今天我们宣布中国的企业计算领导者华为、浪潮和联想正在使用 NVIDIA 的 HGX 架构,为超大规模数据中心提供基于 Volta 的加速系统,这项服务在中国全面开展。我们和他们进行合作之后,可以将AI计算平台应用于交通行业、健康医疗、金融服务、各个行业。这些行业都能够受益于AI的帮助。



NVIDIA 的愿景是为所有AI研究人员打造一个功能强大且高效的计算平台,进而推动人工智能发展。我们支持所有框架,这是一个基于CUDA的可编程平台,我们可以整合、优化、合作,可以跟全世界框架工程师进行合作,这样一来每个框架都可以在我们平台上得以优化,不管是在单一GPU上、还是可扩展的、多个结点,未来几千个GPU都有可能。不管是Caffe 2、到Chainer、到CNTK, MXNet、PYTORCH、TensorFlow、Theano,在中国我们还和百度合作优化NVIDIA的平台,用的是百度的PaddlePaddle人工智能框架。我们的平台在每个云上都可以登录,而我们也提供给每个系统制造商,所以这个平台几乎每个研究员、每个初创公司都用得上这个平台。
我们还有一个平台叫创始计划,我们和初创企业合作,支持他们努力,共同促进初创企业的工作,也希望打造下一代伟大公司。NVIDIA的创始计划覆盖1900家深度学习初创企业,其中300家是中国企业,覆盖的领域也很广泛,从交通、健康医疗到金融服务、消费者服务、无人机、制造、机器人等,以后这些行业都会因AI而发生革命性的变化。
这就是目前人工智能的进展,我们是在建造一个计算平台,一个非常强大的平台,而使得我们现在可以训练这些复杂的深度学习网络。一旦网络得以创建,下一大挑战就是要去训练网络、放在我们GPU训练平台上,在所有框架上这么做,创造一个计算的图形,该计算的图形对神经网络来说很复杂。有数以百计的参数,而且计算这些复杂的图形有些需要进行识别,要看到文字、看到语音、翻译等。这些神经网络的运营放在任何一个设备都可以。AI 是就是计算的未来 ,可以让我们重新思考各种服务、软件、计算机和设备。在未来我们可以制造各种各样新的产品,而且我们会重新思考全世界现在已有的产品未来变成什么样子。


关于在这些计算机网络上进行的推理,我们从输入信息中可以推导出某些知识,某些洞察。而且还是有情景化的去做推理。这些网络非常复杂,原来的CNN网络AlexNet是一种神经网络,有8层,有能力识别图片,而且能力要超过此前所有识别图象的算法。而今天如果你看一下网络的架构,CNN变得越来越深,变得越来越复杂,而且它们每个层级都进行重新架构,以便我们可以增加精确度,增加神经网络的功能。现在还出现了有长期、短期内存的神经网络,这样一来我们可以看到更长的排序的模型,比如语音语言的翻译工作。翻译语言、还有语音识别,现在达到超人的程度,这都是CNN进展促成的。还有GAN: 一个网络经过训练来进行判别,另一个网络则不断学习生成示例欺骗判别器。最终的生成器可生成图像、语音,去除噪声。强化学习通过反复的试错,并且根据价值函数来进行奖惩,机器人可以利用强化学习进行行为学习。
网络呈现不停歇的爆破发展,今年发表的深度学习论文已超过 3 千篇。网络的复杂性同样也是在呈爆破式发展,图象识别、及其复杂程度从两方面在增长,需要的计算量在增长、需要的内存也在增长。2012年的AlexNet已经实现了超人的视觉能力,再看一下最新一代的CNN——Inception V4,不到五年的时间内,它比过去的复杂性提升了350多倍。这样一来,我们准确程度越来越高。还有语音识别也是经历了同样的爆破式发展,短短三年已达到超人水平,现在它的复杂度是三年前的30倍。
还有翻译,我的梦想就是某一天我可以说英文,声音经由麦克风,传出去就会变成中文了。翻译网络也得到了巨大的增长,例如MOE,复杂度也增加了十倍。还有什么样的技术能够达到这样的水平呢?我们现在的速度超过了摩尔定律,GPU计算的增长速度比摩尔定律还快,神经网络复杂度增长也比摩尔定律要快,这两个爆破式的发展,GPU的增长速度和神经网络的复杂程度,把这两个加在一起,就让我们在整个计算界要经历一个非常复杂的进展。当前的全新进展,以后会完完全全的超过摩尔定律。
这也很好的说明了为什么有这么世界多领先的公司,尤其计算机领域的领先公司都在去支持人工智能和深度学习。还有另外一个原因,深度学习的应用,将能够让我们彻底改变很多的行业。在未来,大家将会看到这些神经网络,尤其是经过训练的神经网络,将会得以部署,它能够给互联网服务带来很多神奇的东西,现在在云上已经有超过2千万的服务器,每一个云上的服务器将成为AI的推理服务器。之后将会有上亿计的自动化机器,比如说现在马路上有20亿台车,这个在交通领域最重要的变革其实已经发生在我们面前了。电动能源、电动车、加上人工智能,能够使得自动驾驶变成现实。现在,它将会彻底改变交通行业。这20亿辆车将会被取代,换成自动化的电动车。



使用自动化机器的技术,将会彻底改变机器人行业,能够完成最后一英里的服务。包括这种智能的无人机也能够自己去导航。最后,每一个传感器,每一个小的设备未来都会与人工智能网络相融合。也许它可能比如说就是一个小的手表,能够测量你的心率,保证你的血压没有问题,也许它能够感知比如说天气、振动等。未来上以万计的传感器将能够结合AI的技术。这就是未来计算机行业的前景。互联网的服务,也将能够变得更加智能,自动化的机器,能够和我们互动,并且能够自动地、非常安全地在各处移动。每一个传感器,从麦克风到温度计、到摄像头、到振动传感器等等,都会用到人工智能的技术。所以这种智能机器未来将会快速的增长。

所以现在我们应当将注意力进行转移,去解决下一大问题,就是推理、网络的推理,并且它的架构在发生变化,并且技术也在快速增长,计算能力也在快速增长。所以从过去超大计算机这种规模,到非常小的这种计算设备上面,都能够支持AI的技术。所以未来我们在计算方面能够支持的范围是非常广泛的。人工智能将能够改变整个计算行业的方方面面。

所以今天,我也非常高兴地向大家介绍NVIDIA Tensor RT 3,这是第三代的产品计划,我们在过去几年一直试图解决这一挑战。TensorRT 是全球首款可编程 AI 推理加速器,能够对神经网络编译器进行优化,这个网络的框架能够对来自于任何框架的计算图形进行处理,不管是TensorFlow、Caffe 2、Chainer、PaddlePaddle、PYTORCH、TensorFlow、Theano,

都可以。我们会对这种复杂的计算图形进行编译、优化。然后来适应CUDA架构。

左边是框架,这是它产生计算的图像,把这个图像注入进去,然后进入到Runtime之后,就能够进入到各种平台当中。无论是你的耗电量、你的性能,还是用户案例什么情况都可以使用,在TensorRT内部,它是一个优化的编译器。

我们优化了很多东西。第一,我们意识到了自己到底针对的是哪些的框架,到底精准度有多高。我们了解目标设备,我们会对它进行精准的调教。之后对图像进行优化,也许我们优化的是层级,或许把它融合到一起,有可能对内核或者Tensor进行优化,也可能会减少甚至移除有些东西。每一个内核都可以用我们的处理器进行加速。内核优化动态调整,它能够帮助图形进行调整,这是非常复杂的过程。并且我们有这种多流的处理的技术。也许是数据中心当中的GPU。比如说可能会有几十亿的查询会来到数据中心,当我们对它的通量进行优化,就可以使它的能耗降到最低。

TensorRT是一个非常复杂的优化处理器。TensorRT最新版本有非常棒的性能,蓝色的是CPU,用的是TensorFlow的性能,比如说你用,无论你训练什么,产生了一个计算的图像,这个图像在CPU上去跑,这个是蓝色的性能。CPU可以每秒计算140张图,大家要记得这个神经网络,实际上是它的计算强度是非常大的。对于一个未编译的、未优化的计算图形的话,当然也是用的TensorFlow,它可以每秒处理300帧。最神奇的是这个东西,因为我们的架构是非常独特的,一个GPU的架构是非常复杂的,它的能力非常强大。但是还是需要一些比较特殊的编译器,这也是为我们创造了CUDA,TensorRT让我们能够来针对所有Volta,这是openNMP自然语言翻译的处理能力,每秒翻译四句话,Volta我们可以翻译25句话,如果用TensorRT进行优化之后,每秒可以翻译550句话。

当然刚刚仅仅谈到了性能和通量,我们还要意识到计算延迟问题也是同样重要的。因为这里涉及到服务质量的问题,当你在用手机通话的时候,当你在手机上进行搜索的时候,你是希望这种响应速度是及时的,如果它是实时的话,那么延迟的程度,延迟程度越低你就会越喜欢这个服务,你就可能会用这个服务用的越多。这种互联网服务供应商,云计算公司是非常愿意用这些技术来保证他们的技术能够提供更好的用户体验的。CPU它的延迟是14毫秒,运行在V100上的TensorRT在处理图像时是7毫秒的延迟,在处理语音时延时不到200毫秒,这是最精彩的。语音识别、自然语言翻译、自然语言理解,所有的这些技术都是和服务质量相关的,CPU是延迟280毫秒,TensorRT 117毫秒。你可以想象一下它可以处理翻译的句子的数量每秒达到550句,大家觉得怎么样?

运行在Volta上的TensorRT 3 在图像分类方面比最快的CPU还要快40倍,在语言翻译方面则快140倍。延迟减少一半(这也就是服务质量提升了1倍)。翻译的时候,所有的这些都要数据库来进行处理,所以这里要考虑到总体拥有成本的问题。比如说160个服务器大概是这么多,成本大概是六七十万美元的样子,考虑到所有的成本,4个机柜、160个CPU服务器,能够每秒处理45000个图片,耗电量是6500W。如果用Tensor Volta的话,用它进行优化之后,前后变化非常明显,我非常喜欢这样一个变化。

谁不喜欢这样的变化呢?通量上升、服务质量更好、排放的碳更少、占用的空间更少、我最喜欢的一部分就是它能够省钱了。网络的种类很多,所以不可能为每一个网络打造一个芯片。所有的格式、样子都不一样。网络的复杂程度也越来越高。所以,这个架构必须要能够支持这种海量的网络数量。从定义上来看,由于NVIDIA的架构最开始就用于神经网络当中的。所以,我们是非常擅长做推理工作的,我们只是需要为推理打造出一些新的指令,一些新的软件工具,新的框架,架构来使得推理的速度能够进一步加快。如果我们这样做的话,我们将能够将通量提升140倍,而成本能够大幅的下降。
第二点想给大家展示的就是它的速度,用了TensorRT优化之后看看多快,给大家放一下这个视频吧。这个就是这个案例,用CPU做处理的,去识别这些花,每个花大概需要花250个毫秒进行识别,也就是四分之一秒,花一秒钟能够识别出4个图片,以人类的标准来看还是挺快的,但是你要知道互联网的速度其实不应该是人类的计算速度。互联网在中国,其实每天的使用次数达到20亿次以上,大家都在向互联网提问,甚至同时进行提问。很明显这样的计算性能可能是不够的。人工智能网络,在识别花方面,我觉得比在座所有人做的都好。所以人工智能确实已经实现了一个,在图象识别方面已经超过人类了。

接下来,让我们来看一下在V100上TensorRT优化之后是什么样的一个效果。<视频播放>。女士们、先生们,这意味着省了很多钱。这就能够很好证明你买GPU越多,你省的钱就越多。

刚才大家看到的是CPU能够分类,每秒分4张图,现在GPU是每秒可以分类560张图,通过TensorFlow加速了,超过了100%的加速,网络是Resnet- 152。图像的识别、语言翻译、语音识别,还有等等其他的领域,我想都可以用得上。但是最令人惊讶的是什么呢?这个平台是可编程的,整个平台允许我们去支持任何一种框架,任何一个网络。而这些网络是基于NVIDIA的架构的。也就是说它在NVIDIA的架构上会运行的非常顺。这是令人惊艳的表现。

我还有另外一个例子,这个是语音识别,这个神经网络应用特别独特,是由Deepgram公司创造的,它的前端是基于CNN,这样一来它就能自动探测和提取,最重要的最相关的语音中的特点,它可以探测到最相关的语音中的特色。因此它的性能以及结果的质量特别优异,它是基于NVIDIA的GPU的,因此它的性能同样也非常惊艳。Deepgram这家公司,可以把服务提供给那些没法上云的公司,比如说那些医院、金融服务,这些公司经常打电话,它希望语音资料放在本地,而不是放在云端。而且这些语音资料也可以加标签,进而实现其他的人工智能服务。这家公司最令人惊艳的一点就是,如果它的性能和准确率,高到一定程度,你就可以做特别令人惊艳的一些事情。在美国,我们喜欢看冰与火之歌,你们大家看过这个剧吗?

想象一下他做的这些事情吧,这个视频是注入了我们的GPU,当然它要被解码才行,在解码的过程中,Deepgram神经网络就在转化每一条语音,将其转化成文字。然后我们再做搜索的时候,它会把整个这些文字全部进行搜索,所以说首先语音转文字,然后我们可以对整个视频进行搜索。这个是TensorRT,是可编程的一个平台,基于我们的GPU,它了解每一个GPU的结构,也了解每个GPU数字上的准确性、多框架、多架构、多GPU的架构,而且这个优化的编译器会用动态的编程优化程序。它的服务质量提高了1倍,而且能够帮你省很多钱。在此时此刻,这种能力特别重要。之所以说它很重要是因为,20亿网络用户在中国,他们使得互联网、使得所有的服务提供商都想给他们提供服务,不管是图片的共享、视频、聊天、新闻,这些各种各样的服务在今天都会和AI进行融合,让他们变得更有用、更有乐趣、更安全。我们需要人工智能走进每一次互联网的交易、每一次互联网的问询,每一次经过数据中心的数据。



在未来,我们会有神经网络,或者有很多神经网络,而每一个神经网络,都是计算密集型的。当深度学习不断发展的时候,云上的数据中心一定要进行重新的结构化、重新的设计,我们要加入推理的加速器,放到每一个结点上,以便这个通量可以持续下去。让工作流、让AI的工作流不断上升的同时,它可以处理这么多量,否则我们要建新的数据中心,又要用地,又要排放二氧化碳,又要用电等等,都会增加成本。

我非常高兴今天宣布所有5个领先的互联网人工智能的公司都已经采用了NVIDIA GPU推理平台。阿里云、腾讯(微信)、百度云、JD.COM、科大讯飞,他们都意识到了深度学习的重要性,都希望把这些能力放到他们消费者的手中,让自己的服务变得更好,变得更有趣。互联网服务是人工智能率先部署的地方,为什么呢?因为云服务的公司有三个特性,首先了解AI人工智能;能够获得大量的客户及其相关数据;第三十拥有计算架构,这三个特色是促进人工智能发展的基础。因此这些公司算是领军者。


在未来,所有的城市都会是人工智能型城市。城市中有各种各样的人工智能,只有这样的话,人们才能体验到便捷,交通也不会堵了。城市的资源会随时转移到需要之处。电网不会断电,断电的情况会更少了,城市会更安全了,你在城市中可以找到任何东西,它就成了一个巨大的人工智能。一个人工智能的城市其中一个功能就是要保持市民的安全,在近期的未来,就是再过几年就会有10亿个摄像头,在全世界都是高清的视频摄像机。他们随时都会播放这些高清视频流。完全不可能让人去监控10亿个摄像头的内容,解决方案就是要用人工智能。

##########NextPage##########


海康威视在智能摄像头领域非常领先,同时也是人工智能的领导者。我们几年前和海康威视一起合作,来建造一个端对端的一个平台。让城市可以从人工智能中受益,我们训练这些网络,创造新的网络,这些新的网络又可以部署到全世界任何角落的终端。这些网络要非常智能、非常有活力,以便我们可以从这些视频流中攫取洞察。

今天我很高兴宣布,我们和海康威视会在AI城市领域打造一个端对端的视频流平台,可以在以后10个亿个摄像头中所产生的视频流中获取洞察。首先它会建造一个学习平台来训练这些网络,然后产生一个可以放在TensorRT的工作流中,有一个优化的网络和优化的架构。它可以用基于Tesla的服务器或者采用Jetson的摄像头,而每一个都有不同的GPU架构,每一个都有不同的大小形状,它的计算能力、性能都不一样,但是TensorRT都可以为每个平台创造相同的网络,这些网络可以部署到全世界,跟摄像头相连。从中也可以发掘洞察。

人工智能城市的应用数量也在增加,不光光只是摄像头。海康威视在开发一些人脸识别技术,如果有人失踪了可以通过这个摄像头去找这个人在哪儿,找到他们的具体位置,找到这个人。在大华公司中,他们在建立智能的录像平台,这是基于NVIDIA的平台,它其实就是创造一个AI的网络,其中有数百个保安关注那些重要活动。所以他们算是虚拟的保安。

华为对交通进行监控,看哪里特别堵。阿里巴巴是去看一下交通堵塞在哪里,然后对交通进行重新的流量的安排。不管是增加城市的交通情况,还是说找哪些失踪人口,或者是保护城市的安全,AI或者说智能视频,智能摄像头会革命化未来城市建造的方式,我们以后把这个城市会叫做人工智能城市,这些应用的数量真是非常的惊人的,很棒的想法很多,我们也和数以百计、大大小小的公司进行合作,他们都是专注视频分析。很难创造一个单一的网络,在各种各样的情况下从中推论,这是不能一刀切的。而从事这些的公司,都没有办法花钱去投资一个特别高质量的CNN核心编码基地,所以我们就要找一个解决方案,我们创造一个工作流程,让所有客户都能够去适应一个刚开始的神经网络,让他们的应用可以在运行在上面。给大家举一个例子,左边是一些神经网络的例子,神经网络核心是有不同的学习案例、使用案例。第一个使用案例是摄像头的角度,它和原来的训练的网络角度不一样。比如放到20英尺高的地方,有一些地方探测不是特别理想,另外一个例子摄像头放在室内,只是放在室内使用,我们原始的网络也很难去识别它,或者这个摄像头是360角度,它可以看到每辆车,车牌识别就不是很理想。我们有一个之前培训过的网络DIGITS,它可以在DGX Station上、用或者任何NVIDIA GPU上使用, DGX Station是一个GPU计算平台,可以把原来预先训练过的网络,加上额外一些自己的用户案例图片,进行更新改变,改成新的网络,新的网络放在TensorRT上,可以对它进行优化,放在以后用的平台上,结果很棒。


刚开始是一个原始核心,特别高质量,你可以对它的进行额外训练,将学习的经验转移到自己的用户案例上,结果特别棒。不管用户案例是什么样子,我们都可以先拿一个核心的预先训练过的网络对它进行适应化工作流的训练,用TensorRT,可以把它放在任何一个计算硬件上,这样你的性能,大小,成本都可以接受,不管有什么要求,这里都有解决方案。


人工智能带来了互联网服务的革命,也将为我们的城市带来革命性的改变,其中NVIDIA做得一个很大的投资领域就是交通领域,这是全世界最大的一个行业,交通是全世界最大的行业。在我们生活当中的方方面面,交通给我们带来的好处,包括基础设施的改变,以及交通所带来的一些间接的成本,实际都是这些技术能够改变的。所有这些实际也是我们面临的一个很大的社会挑战。这也是为什么我们现在花了很大的精力去推动自动驾驶,从五年以前开始做。我们认为人工智能将能够改善我们生活当中非常重要的一环。
在未来一两年,它将会彻底改变这个行业。自动驾驶从长期来看也是非常令人兴奋的趋势,主要是由于两个技术,一个是电气化技术,另外就是自动驾驶的技术。当然由于AI技术的快速发展,这两个技术的结合发展将能够让我们重新去塑造汽车。这个项目大家看到实际是一个真实的项目,我们在和空客合作的项目。这里有三个部分,这个车有三个部分,在下面是驱动系统,电力的驱动系统,因为它是电力的,所以你很容易可以把它分离出来,底盘和驱动体系分开,上面是驾驶室,但是没有方向盘,因为是全自动驾驶。第三部分是电子的翅膀,能够飞翔的翅膀,就像是一个无人机一样。那种电动的机翼自动驾驶的驾驶舱加上电动底盘,如果把刚才提到的两个技术变成现实,未来你需要在手机按一个按键自动驾驶车就来接你,想开到那里就开到那里,到北京另外一个地方不用堵车,自己找到你就能够直接带到北京的另外一端。可能跳过几环,非常令人难以置信。未来自动驾驶汽车一方面非常令人兴奋,另外一方面给社会带来很多好处。
我们愿景是这样,我们打造了一个计算平台,是从底层打造起来的,这个叫DRIVE PX平台,它的功能非常安全,还有一个DRIVE OS是一个失误率非常低的操作系统,再加上我们SDK,加上深度学习,再加上我们这种推理的能力,以及最先进的算法支持,支持包括雷达、摄像头等等各种各样的传感器。我们NVIDIA有成千上万的工程师做这个事情,在中国我们和阿里巴巴也在共同合作,它们现在也在对软件进行开源,这个计算平台能够让我们实现自动驾驶第三级到第五级,第三级车能够自己驾驶,当它能自己驾驶的时候就很安全。汽车公司会对这个汽车性能负完全责任,这个非常重要。L3是自动驾驶非常关键的一个结点,是一个巨大的一步,能够实现L3的话,汽车公司对汽车任何性能负全责。L4已经非常值得信赖,非常可靠。L5就在这个车里面没有所谓驾驶员这个位置了,基于算法、计算能力等,车辆能够自己完成所有的任务。所以L5的话基本是完全不用人操作,所以L3、L4、L5是巨大跨越。
接下来给大家看一个视频剪辑,给大家介绍一下从视觉本地化和规划自动驾驶三个需要完成的最根本任务,要用传感器来看周围的环境,包括雷达和其他传感器,看周围的环境。然后就是了解到你在什么位置,包括你周围的环境,最后来规划你的驾驶路线,如何踩油门,如何到哪里刹车等等,视觉感知加上本地化的环境熟悉,再加上规划。我们作为人类也能够看到环境,能够知道这是在哪里,最后要去开始驾驶,这个基本是驾驶当中三个最重要的任务。
大家看几个视频,看看我们工程团队是如何解决这些问题的?大家看到检测都是3D,绿色、蓝色、红色可以告诉这个车3D的结构,这些都是通过深度学习来了解,可以了解所有这些物体的速度,并且也可以检测得到离你有多远。这是一个3D的检测,你的车也知道能够在哪里可以驾驶,这是用Lidar来检测的。包括你自己的路线和位置和移动方式也能够很清晰的看得到。我们用的是本地的高清地图加上计算机视觉技术,借助Lidar、计算机视觉技术,都能够在本地高清地图上定位,实现多元化和冗余,GPU并行计算的能力让我们能够同时处理很多信息,这个是用AI来告诉你到底应该朝哪里开。这个车要自己去转弯。全部是基于深度学习。


NVIDIA人工智能驾驶平台是一个开放的平台,我们合作伙伴可以利用每个级别的驾驶平台的技术,在上面可以用SDK,或者用一部分或者所有的DRIVE AV算法。因为要想实现L4、L5级别的自动驾驶,我们必须要解决冗余性和多元化的问题。现在我们是从零打造了一个堆栈,同时和合作伙伴一起来应对冗余性和多元性的问题,这样的话才能够保证从功能的层面上来说是安全的,并且没有失灵的时候。
全世界的公司都在用我们的平台,现在已经有145家自动驾驶的汽车公司,包括涉及卡车、汽车、出租车、地图等等。之所以大家都在做原因非常简单,它对社会影响非常巨大,这些技术现在已经出现了。我们面临的问题还是很具挑战性。这些初创企业也是需要不断的去创新,最为重要的是整个这个行业的规模是非常大的,现在在这个领域有145家初创企业,包括在中国要做深度地图的公司DeepMap;Momenta是在做驾驶大脑、实现自动驾驶的功能;Navia在做最后一公里的技术,就是一个摆渡车或者大巴来解决最后一公里的事情。可以用做快递,最后一公里比如说可以用Navia的产品实现;图森未来是解决卡车司机的需求,我们在全世界范围卡车司机数量都不够。随着在线购物市场的发展,商品要运送到仓库,再运送到其他地方,对物流的需求非常高,所以卡车司机的需求很明显是非常多,但是数量是不够的。
ZOOX是用NVIDIA技术打造一种全新的出租车,架构也是全新的,出租车的结构也是全新的,所以加上这个出租车加上服务进行推广。现在145家音视频领域初创企业都在打造基于NVIDIA的技术打造自动驾驶技术。


我们之所以选择自动驾驶汽车来推动自动化技术,因为它是最简单的。自动驾驶车尽管有很大的挑战,但是对于社会会有巨大的影响,其实这也是自动化机器中最简单的一个。当然最根本一个解决问题就是避免碰撞,可以教自动化机器不要和其他机器进行互动,不要和周围车辆进行互动,在你的路线里驾驶,遵循这样的规则,自动驾驶车是所有自动驾驶最简单的一个,但是在这个领域能够大幅改善我们的社会生活。
下一个AI时代会将几个技术进行融合,包括传感器、动态范围、成本都会大幅改善。第二,人工智能网络能够快速的发展;第三,就是电机。这些技术能够让我们去畅想一下未来。我们认为人工智能的下一个时代是自动机器的时代。在这个时代当中AI将能够领先于云技术,并且进入机器里面,这些机器可以和我们互动。帮助我们完成很多的任务,这些东西可能是我们以前做不了。
AI肯定会继续向前发展,大家可以看到强化学习,来自伯克利大学的Peter Bill在VR当中来向机器人展示了比如如何堆几个石头或者砖头之类的东西,只需做几次展示之后机器人用这种强化学习的方式,学会这个技能,并且进行规划,对这个知识进行规划,用到很多其他领域,所以强化学习模仿式学习等等都是基于深度学习,发展速度非常快。
我们认为未来AI要想实现这些,还缺少两个东西。
第一就是处理器,这类计算机将会完全不一样,自动化机器处理器和以前用在手机上的计算机处理器、之前笔记本的处理器完全不一样。自动化机器有很多的高清级别的传感器,并且接收了很多实时信息,并且必须要能够实时看到周围的环境,然后重新搭建对于周围世界的模型,需要用计算机视觉、深度学习、传感器视觉等等。第三必须要做并行计算来了解周围的情境之后采取行动。这个处理器以前是没有过,几年以前我们致力于要做适用于自动化机器的处理器,我们把这个处理器称之为Xavier,它是一个芯片上的超级计算机,我们几百个NVIDIA工程师完成了这一最复杂的项目,毫无疑问复杂程度是史无前例的,并且能效非常高,因为要想实现自动驾驶的话或者自动化,电池寿命非常重要。
它是一个芯片上的超级计算机,能够实现实时功能,我们将在明年一季度将其交付给一些早期开发者,我们的设计已经完成,正在生产过程当中。之后在明年第三、第四季度将全面推出。早期合作伙伴在一季度收到这款处理器。自动化机器就像很多伟大公司都在投,他们意识到现在有一些以前无法解决的问题我们只有用人工智能,用云的计算才能够解决。很多伟大的公司都在和我们合作,比如研究机器人技术,京东也选择我们自动化技术做机器。
现在每天在全世界有300亿的包裹,有几百个叉车在仓库里,以后这些机器都会是自动化,JDX也在建立他们的机器人,可以递餐、将买的菜送到家,也可以降低快递成本。他们也在打造可以配送快递的无人机,我非常激动的欢迎JDX跟我们合作,促进无人机、无人机器的未来。第二个行业就是虚拟仿真器,中间就是今天的深度学习的方式,我们用GPU计算平台,加上一个神经网络,神经网络可以是应用一个机器人,机器人有着像Xavier这样的处理器。但这两点还是不够的,为什么?因为如果我们要教机器人如何运行的话,而且机器人要跟世界互动,机器人可能破坏世界或者伤害自己,自己犯错会伤害其他人,我们就要在虚拟世界中训练他,创造一个照片级真实的世界,让机器人长大的时候学习好,在这样虚拟世界中学习怎么做机器人,怎么样做无人监控的工作。我们可以进入这些虚拟世界,教机器人怎么样学习。这些虚拟世界的仿真器必须像照片一样真实,而且必须是超级实时,我们不能等这些机器人学习成功才能出来,我们要在几分钟、几小时、几天之内训练成功,因此我们要创造一个全新、最先进的虚拟环境。我们把这个叫Isaac,它是来自牛顿的名字,Isaac实验室就是一个虚拟的环境。
大家在这里看到的是Isaac实验室,显示的是一个冰球场。我们让Isaac学习怎么样打冰球,刚开始要花一些时间,Isaac要想怎么样把曲棍抓起来,可以通过CNN来识别,然后不断不断的练习,最后冰球打的不错,这个是强化学习网络,每次进球之后会受到奖励,反之则受到惩罚,当然程序只是数学上的程序,不是真正的程序,这样一来Isaac就知道怎么样打冰球了。
我们还可以教他怎么样打高尔夫球。这是Isaac在学习打高尔夫,他首先看到绿色,我们现在还是在教他怎么样用它的眼睛识别地形,整个高尔夫球场的地形,然后再考虑到草的厚度、球的速度,这些都是他打击力度的一个基础,然后看一下距离有多远,再来一遍。再把Isaac挪远一点,看看它是不是大师级的。我们给它加加油吧,进去了!
这是自动无人机,人工无人机在虚拟中学习,这就是未来无人机器的环境。
我们现在三个环节都有了,可以通过这三个环节来革新化这个区域,我们有深度学习以及深度学习周边的能力,还有一个计算平台,让我们能够创造这些网络、快速训练这些网络;我们还有一个处理器,它是为这些无人机器设计的;我们还有一个环境,这是一个虚拟的环境,在这个环境中机器人可以学习怎么样做机器人。所有的三个技术都有了,我们可以为人工智能的未来奠定基础。
总结一下今天讲的内容,主要有五点:
第一,属于全世界的计算平台。我们的愿景是让身处各地的研究员都能够来促进AI的发展,我们的平台也在以光速往前发展。还有着所有的合作伙伴的支持。
第二,我们讲到了Tensor RT 3——全球首款可编程推理加速器,现在框架很多,这个框架它创造了很多的网络架构,这些架构变得越来越复杂。而目标设备有的是超级计算机、有些是数据中心、有些是汽车和无人机器,我们的目标、框架、整个网络、还有它的复杂性,都在以膨胀式的速度发展。因此我们创造了一个优化的编译器,让所有的这些都可以纳入其中,而创造一个特别优化的编码,通量呈140倍的增加。这样我们才能够扩大规模,来支持膨胀式的工作流程,与此同时还可以大力解决成本!
最大的机遇和最大的挑战就是让人工智能应用于城市,以便我们可以获得效率、安全和便捷。但是现在,有10亿摄像机拍摄的内容没办法用人眼去监督他们,如果每个人要用人眼去监督的话,所有的这些视频流都通过Tesla V100来进行处理的话,这需要花1千万个Tesla V100来推理所有的10亿摄像头的内容。这是市场上特别大的一个挑战,但是却是一个机遇,我们有很棒的合作伙伴,包括阿里巴巴、大华、海康威视、还有华为。
NVIDIA DRIVE自动驾驶平台会为交通行业带来革命性改变,交通行业是全世界最大的一个行业之一,它对全世界会有着影响,对城市的设计、医院、保险、生命的价值等等,都会有影响。我们认为,如果创造一个平台,NVIDIA DRIVE平台,并开放这个平台,让全世界的公司,不管是大的车企、还是出租车公司、还是汽车共享平台,还是DHL这种快递公司,或者145家初创企业,都可以用我们的平台,我们的平台是完完全全开放的,让大家可以基于此展开创新。
最后,人工智能的下一代,这一代中人工智能会从云中走出来,会进入这些无人的机器中,它的处理器必须进行重新设计。这就是我们的Xavier。我们还打造了Project Isaac,现在我们已经有基础了,就可以去设计下一代无人机器。
女士们,欢迎们,感谢大家来参加今年的GTC,我们共创未来吧。谢谢!



您需要登录后才可以回帖 登录 | 注册

本版积分规则

关注0

粉丝2

帖子61

发布主题
阅读排行 更多
广告位

扫描微信二维码

查看手机版网站

随时了解更新最新资讯

在线客服(服务时间 9:00~18:00)

在线QQ客服
电邮:iws@iworkstation.com.cn

Powered by iworkstation.com.cn(京ICP备08005157号)