怎样加快 onnx 模型在 cpu 上的推理速度啊

[ns2250225]

我已经问过 AI 了，已经把 onnx 模型进行了剪枝，进行了 int8 动态量化，开启了 cpu 多线程推理，速度由原来的 3s 优化到现在的 1.3s ，感觉到极限了，可是老板的要求是 500ms ，大佬快救救孩子

[gargar]

让老板出钱换更好的 CPU 、GPU

[ns2250225]

@gargar 哈哈哈，这样老板要换掉我了

[frayesshi1]

可以推理加速啊

[ns2250225]

@frayesshi1 #3 怎么搞，求指导

[frayesshi1]

@ns2250225 #4 硬件加速啊，trt 开启后 bf16 的 onnx 在 nano 板子随便跑

[ns2250225]

@frayesshi1 好滴，我试试，感谢