CoreML 模型 ML Program 格式加载耗时比 Neural Network 格式长很多…

32 天前
 shengkai

我不知道是不是转换的问题，转换的脚本除了输出格式外其他完全一样，加载的时间差异在 15 倍以上…就算是初次加载这个时间也有点难以接受了，更何况图中还是中位数…

有大手子指导一下么？非常感谢！

P.S. 已经提了 issue 暂时还没人管…

1367 次点击
所在节点    iDev
1 条回复
keakon
32 天前
一些观点：
1. NN 图层更静态，加载时的动态处理较少。
2. INT8 等精度需要重新量化。
3. 支持 ANE 时会生成一个高度特化的 Metal-Shading-Language 内核，速度会慢一个数量级。第一次启动时可以使用 cpuAndGPU 的方式启动，后台再编译 cpuAndNeuralEngine 供后续加载加速。
4. ct.SpecializationStrategy.FastPrediction 可以减少设备特化时间。

这是一个专为移动设备优化的页面（即为了让你能够在 Google 搜索结果里秒开这个页面），如果你希望参与 V2EX 社区的讨论，你可以继续到 V2EX 上打开本讨论主题的完整版本。

https://ex.noerr.eu.org/t/1139045

V2EX 是创意工作者们的社区，是一个分享自己正在做的有趣事物、交流想法，可以遇见新朋友甚至新机会的地方。

V2EX is a community of developers, designers and creative people.

© 2021 V2EX