产品名称：SPEC Embedded MLMark Benchmark

生产厂商：SPEC产品类别：系统工具

EEMBC MLMark® benchmark测试是一种机器学习 （ML） benchmark测试，旨在衡量嵌入式推理的性能和准确性。开发此benchmark测试的动机源于分析 ML 性能所需的环境缺乏标准化。MLMark 以嵌入式开发者为目标，试图阐明环境，以便不仅促进对当今产品的性能分析，而且跟踪随时间变化的趋势以改进新的 ML 架构。EEMBC 拥有 20 年开发嵌入式benchmark测试的传统，很高兴将机器学习添加到其曲目中，并致力于与行业一起发展。

“延迟”和“吞吐量”对不同的人意味着不同的东西。模型“准确性”也可以这样说，其中使用了地面实况。MLMark 明确定义了每个术语、测量的确切方式以及准确性的计算方式。随着时间的推移，benchmark测试中所有新增的指标都将以相同的方式进行衡量，从而创建推理趋势的历史记录。

MLMark 要求在存储库中公开实施，而不是设置规则并允许个人在私有环境中执行优化。版本 1.0 包括以下源代码（和库）：

·        使用 OpenVINO® 的 Intel® CPU、GPU 和神经计算棒

·        使用 TensorRT 的 NVIDIA® GPU

·        ® 分别使用 Neon™ 技术和 OpenCL™ 的 Arm Cortex-A® CPU 和 Arm Mali™ 系列 GPU。

影响 ML 性能的变量很多很多，其中神经网络图（模型）是最重要的。考虑一个用于图像分类的残差网络：网上有很多这样的网络，ResNet-50 是一个流行的模型。ResNet-50 具有许多变体和优化（不同的输入层步幅），以及模型格式（Caffe、Tensorflow）和不同的训练数据集。为了提供一致的测量，EEMBC 选择了目前最常见且有据可查的特定模型，以及最有可能在边缘硬件上运行的模型。

发布实施不仅可以确保透明度，还有助于培训从事性能分析的人员。许多拥有数十年经验的嵌入式工程师被要求处理这项新技术，而且学习曲线很陡峭。通过整合多个目标的模型和代码，并使实施尽可能简单，MLMark 提供了对不同 SDK 之间推理细节的广泛见解。

MLMark 已获得许可，任何人都可以免费使用。由于 EEMBC 是一个由会员费和许可费资助的非营利性联盟，因此我们为任何希望在特定产品的营销和公关资料中使用 MLMark 分数的公司提供公司许可证。