含光800云服务器世界级AI计算性能全球第一AI推理能效比

2020年6月12日 阿里云服务器 503 views 0

含光800云服务器搭载平头哥自研神经网络芯片AliNPU，全球第一AI推理能效比，世界级AI计算性能优化水平，云服务器吧分享含光800云服务器性能特性、应用场景及最佳实践：

含光800服务器性能/特性

含光800云服务器搭载平头哥含光NPU，提供高性价比AI推理解决方案

单芯片最高AI推理性能

含光NPU采用TSMC 12nm工艺制程，提供全球最高单芯片AI推理性能。 在HGAI模型的推理应用中，含光NPU每秒钟可处理高达78000 IPS的图片，是同类处理器的数十倍性能。

阿里云自研神龙裸金属虚拟化平台

阿里NPU云服务器采用阿里云自研神龙裸金属虚拟化平台，实现全Hypervisor卸载，为用户提供功能无损，性能无损的AI计算加速服务，同时兼容阿里云整体产品生态，为客户提供数据传输、计算、存储等一系列完整解决方案。

完善的自动化开发工具

阿里平头哥HGAI自动化开发工具，支持主流开源框架TensorFlow、Caffe、MXNet和ONNX；支持离线量化、编译以及图优化；支持多模型动态部署以及多设备管理；完善的设备驱动调试工具。

针对业务场景深度优化

针对CNN及视觉类算法，如ResNet-50，SSD/DSSD，Faster-RCNN，DeepLab等模型进行了深度优化。因有效优化了计算、存储密度，可实现大网络模型在一颗NPU上完成计算。

今年3月，阿里云飞天AI加速引擎AIACC与含光800的组合，打败了Google，拿下了斯坦福大学DAWNBench ImageNet推理成本的世界第一，能效比达500IPS/W，是第二名的3.3倍。

AIACC是业界首次统一加速Tensorflow、PyTorch、MXNET、Caffe等主流开源框架的性能加速引擎，AIACC-Inference充分了挥发含光800超高的计算能力，这是阿里云软硬件一体化极致性能优化的又一典范。

含光800云服务器应用场景

含光800云服务器广泛适用于AI推理场景，加速AI在各行业落地：
图像搜索

通过输入具有相同元素或主体内容的图片，在自建图片库中查找相似或相同的图片。如图库网站图像搜索，图片分享和社交类网站通常有大量图片供用户搜索使用，利用图像搜索服务，可快速实现用户的以图搜图需求。

场景识别

场景识别通过深度学习算法，自动识别图像中的数十种常见的场景，如天空、草地、人物等。客户的应用程序可以基于这个功能，轻松实现图片的自动管理、分组和搜索功能，完成大型图像库的智能管理。

视频内容识别

如直播、点播、短视频等违规画面审核。直播、点播、短视频场景中视频中的色情、政治敏感、暴力、武器、恐怖、血腥、爆炸、抽烟、吸毒、画中画等内容进行识别，避免出现的内容带给青少年不良影响。

自然语言处理

自然语言处理目前已成为各类企业及开发者用于文本分析及挖掘的核心工具，已经广泛应用在电商、文化娱乐、金融、物流等行业客户的多项业务中。自然语言处理技术帮助用户搭建内容搜索、内容推荐、舆情识别及分析、文本结构化、对话机器人等智能产品。

含光800服务器商用实践

城市大脑

阿里云城市大脑交通信号机系统使用含光800服务器处理车辆检测、跟踪、车辆品牌识别、车牌识别等算法模型，单张含光800全链路能够支持100路实时视频的分析和特征结构化数据的提取，相比GPU性能提升超过5倍。

电商合规

商品合规业务作为阿里电商平台合规经营的重要保障，建立了多维度全方位的风险识别机制。该业务也运行在NPU芯片上，在算法精度达到同样效果的情况下，端到端性价比是GPU的4倍。