第一章第五点特性说得好:任何基准的挑战并不是执行基准,而是实现经受快速变化的基准方法,而我做的语音识别模型基准测试系统就是要适应各种改变,测出准确的结果。

对延迟测算的准确率的信心。训练和推理都是多跑几次。

测量它是否遵守规则执行基准过程,首先你说的基准测试流程比较准确,令人信服,然后检测结果是否按照基准测试流程走,没有就不准确,是按照基准测试流程走,就准确,这是为了判断很多不是本人做的测试工作是否标准用到的方法,你这个就是一个基准测试的标准自动化流程机器,凡是走完这个流程的,其结果就是准确的,难道有什么影响结果准确性的因素,这你得自己判断和寻找,然后设计和实现出来。

大论文灵感不够都可以回来MLPerf的基准测试论文看看,万一能凑点字数呢?

总结四大推理场景:单流模式一次一个推理请求,那一个推理请求里只有一个输入数据;多流模式一次多个推理请求,每一个推理请求里有一个输入数据;服务器模式的推理请求到达的时间分布呈正态分布;离线模式一次一个推理请求,那一个推理请求里有多个输入数据。

创建于2023.3.29/11.52,修改于2023.4.13/22.48