百科问答小站 logo
百科问答小站 font logo



DL/ML 模型如何部署到生产环境中? 第1页

  

user avatar   professor-ho 网友的相关建议: 
      

是时候给出我的文章了,如果你使用的神经网络框架是TensorFlow,那么TensorFlow Serving是你非常好的选择。目前本人用的是TensorFlow Serving + Docker + Tornado的组合,Docker非常易于部署任何模型,而Tornado负责处理高并发请求。

详细教程请移步查看我的文章:

如果你觉得有用,请先点赞再收藏。

另外,如果你使用的是其它神经网络框架,例如caffe、pytorch,我会推荐Nvidia的TensorRT Inference Server,它支持所有模型的部署,包括TF系、ONNX系、mxnet等等,TRT会先对你的网络进行融合,合并可以同步计算的层,然后量化计算子图,让你的模型以float16、int8等精度进行推理,大大加速推理速度,而你只需要增加几行简单的代码就能实现。而且TRT Inference Server能够处理负载均衡,让你的GPU保持高利用率。

日后有机会再写一篇TRT Inference Server的教程,这里先挖个坑,大家可以保持关注。

模型部署的方式越来越简单,许多大团队已经帮在帮我们简化部署的流程,以及提高部署的性能,我们只需要学会怎么用起来,剩下的就是写一些业务逻辑了,这为我们省下了大量的时间,专注于算法的研究。


--------19.1.27更新--------

现在又写了篇Mxnet Model Server的部署教程,大家可以参考学习:




  

相关话题

  如何评价沐神他们写的《动手学深度学习》这本书? 
  如何看待Geoffrey Hinton的言论,深度学习要另起炉灶,彻底抛弃反向传播? 
  如何看待多所 985 大学开设人工智能专业? 
  如何用自然语言处理判断一句话是否符合中文口语习惯? 
  三维重建怎么入门? 
  计算机视觉研一,只学过Python基础,目前代码能力很差,要不要换导师,不换的话如何毕业? 
  如何判断两个Deep Learning 数据集的数据分布是否一致? 
  深度学习对图像的处理,为什么大多基于RGB,而没有其他色彩空间,比如HSV? 
  如何看待 Uber 发生全球首例自动驾驶致死事件? 
  如何证明对任意给定的正数e,存在M上的矩阵范数||A||,满足不等式||A||<=谱半径+e? 

前一个讨论
SQLite 的读写效率很高,有哪些使用其他数据库的理由?
下一个讨论
如何看待《工作细胞 第一季》将在2021年2月13日于CCTV-6播出?





© 2025-05-04 - tinynew.org. All Rights Reserved.
© 2025-05-04 - tinynew.org. 保留所有权利