开箱即用AISBench测试展示英特尔至强处理器的卓越推理性能

来源：半岛bandao体育-高频IC卡    发布时间：2024-11-20 14:52:32

  近期,第五代英特尔®至强®可扩展处理器通过了中国电子技术标准化研究院组织的人工智能服务器系统性能测试(AISBench)。英特尔成为首批通过AISBench大语言模型(LLM)推理性能测试的企业。

  中国电子技术标准化研究院赛西实验室依据国家标准《人工智能服务器系统性能测试规范》(征求意见稿)有关要求,使用AISBench2.0测试工具,完成了第五代英特尔至强可扩展处理器的AI大模型推理性能和精度测试。测试中,第五代英特尔至强在ChatGLM V2-6B(60亿参数)以及Llama2-13B(130亿参数)两个模型上均展现出卓越推理性能,能够很好的满足轻量级大语言模型的实时推理要求。

  测试结果:此次单机性能测试中,在满足人类正常阅读速度要求(生成延迟小于100毫秒)的情况下,在封闭测试场景中构造数据集,基于第五代英特尔至强的服务器可实现:

  作为通用处理器,第五代英特尔至强在人工智能、网络、存储、数据库等关键工作负载均能提供出色性能。AISBench2.0的测试结果验证了英特尔至强在运行轻量级大语言模型时展现出的优异推理性能,使得客户能使用基于至强的服务器,构建一个通用AI系统来进行数据预处理、模型推理和部署,从而获得兼具AI性能、效率、准确性和可扩展性的组合。这也彰显了英特尔至强可以为公司可以提供“开箱即用”的功能,即可以在通用系统上部署一部分AI工作负载,从而为用户带来更佳的总体拥有成本(TCO)优势。

  英特尔至强的内置AI加速器使其成为在通用处理器上运行部分AI工作负载的理想解决方案,不仅如此,英特尔还配备了经过优化的、易于编程的开放软件,可降低客户和生态伙伴在数据中心部署从云到智能边缘各种基于AI的解决方案的门槛。

  第五代英特尔至强可扩展处理器充分的发挥了系统级优势(包括缓存、内存等),因此推理速度实现了大幅提升。

  其内置的AI加速器英特尔®高级矩阵扩展(AMX),通过提供专用的矩阵运算加速模块(TMUL),以及支持INT8和BF16这类低精度数据类型,可实现对计算资源的充分的利用,从而大幅度的提高运算效率。

  xFasterTransformer(简称xFT)是英特尔提供的在CPU平台上部署大语言模型的深度优化开放解决方案,通过C++和Python两种API接口,更易于用户使用和将其集成到自有业务框架中。

  AISBench基准是一套应用于AI计算产品的性能测试基准,由中国电子技术标准化研究院牵头研制。与MLPerf等国际先进计算基准类似,该基准用于测试多种AI计算产品形态,并支持丰富的测试场景、模式、类型和指标。

  性能因使用情况、配置和其他因素而异。欲知道更多信息,请访问性能指数网站。性能结果基于截至所示日期的测试,可能没办法反映所有公开可用的更新。请参阅备份以了解配置详情。没有一点产品或组件是绝对安全的。您的成本和结果可能会有所不同。英特尔技术可能需要启用硬件、软件或激活服务。

  （免责声明：此文内容为本网站刊发或转载企业宣传资讯，仅代表作者本人观点，与本网无关。仅供读者参考，并请自己检查相关内容。）

  违法和不良信息举报电话（涉网络暴力有害信息举报、未成年人举报） 举报邮箱：br>

上一篇:非接触式IC卡趋势 CPU卡将替代逻辑加密卡
下一篇:工银“兴农通”信用卡