产品名称：SPEC Cloud IaaS

生产厂商：SPEC产品类别：系统工具

SPEC Cloud® IaaS  基准测试是 SPEC 用于衡量云性能的第二个基准测试套件。基准测试套件的用途针对云提供商、云使用者、硬件供应商、虚拟化软件供应商、应用程序软件供应商和学术研究人员。

SPEC 云 ® IaaS  基准测试解决了基础设施即服务 （IaaS） 云平台的性能问题。IaaS 云平台可以是公共的，也可以是私有的。

基准测试的当前版本是 2019 年 12 月 12 日发布的 1.1 版 。此更新包括错误修复和可用性改进。SPEC Cloud IaaS  基于 2016 年的原始版本构建，具有各种增强功能和新的主要指标。请注意，由于工作负载和指标计算方法的变化，SPEC 云 IaaS  基准测试的结果与 SPEC 云 IaaS 2016 基准测试的结果没有可比性。

此新版本包括可用性改进，可以更轻松地设置 cbtool 框架、运行初始模拟测试运行和生成示例 FDR 报告。cbtool 使在测试人员的云平台上设置工作负载镜像变得更加容易。该版本包含新的和更新的适配器，允许用户测试各种公共云和私有云平台。根据云平台的不同，实例可能会使用物理机、虚拟机或容器。

该基准测试旨在强调使用 I/O 和 CPU 密集型云计算工作负载的云的预置和运行时方面。SPEC 选择了社交媒体 NoSQL 数据库事务和使用 map/reduce 的 K-Means 集群作为云计算中两种重要且具有代表性的工作负载类型：每个工作负载在多个实例中运行，称为应用程序实例。基准测试在运行期间实例化多个应用程序实例。应用程序实例及其生成的负载对云的预置和运行时方面施加压力。运行时方面包括在云中运行的这些实例的 CPU、内存、磁盘 I/O 和网络 I/O。基准测试会运行工作负载，直到达到服务质量 （QoS） 条件。测试器还可以限制在运行期间实例化的最大应用程序实例数。

关键指标

·        Replicated Application Instances （复制的应用程序实例 ） 报告在测试结束时已完成至少一次应用程序迭代的有效 AI 的总数。报告的总副本数是每个工作负载（KMean 和 YCSB）的有效 AI 之和，其中任一工作负载的有效 AI 数量不能超过总数的 60%。其他主要指标是根据达到此有效 AI 数量的条件计算的。

·        性能分数汇总所有有效 AI 的工作负载分数，以表示在报告的复制应用程序实例数下完成的总工作。它是使用参考平台标准化的 KMean 和 YCSB 工作负载性能分数的总和。使用的参考平台值是来自几个不同白盒云和黑盒云的基线指标的组合。由于 Performance Score 已标准化，因此它是一个无单位的量度。

·        Relative Scalability 衡量应用程序实例执行的工作是否在云中线性扩展。在完美的云中，当多个 AI 同时运行时，每个 AI 提供的性能水平与在基准阶段测试人员不引入其他负载时运行类似工作的 AI 所测得的性能水平几乎相同。Relative Scalability （相对可伸缩性） 以百分比表示（满分 100 个）。

·        平均实例预置时间 是所有有效应用程序实例中实例的平均预置时间。每个实例预置时间度量是从初始实例预置请求到端口 22 （ssh） 连接的时间。