百科问答小站 logo
百科问答小站 font logo



DL/ML 模型如何部署到生产环境中? 第1页

  

user avatar   professor-ho 网友的相关建议: 
      

是时候给出我的文章了,如果你使用的神经网络框架是TensorFlow,那么TensorFlow Serving是你非常好的选择。目前本人用的是TensorFlow Serving + Docker + Tornado的组合,Docker非常易于部署任何模型,而Tornado负责处理高并发请求。

详细教程请移步查看我的文章:

如果你觉得有用,请先点赞再收藏。

另外,如果你使用的是其它神经网络框架,例如caffe、pytorch,我会推荐Nvidia的TensorRT Inference Server,它支持所有模型的部署,包括TF系、ONNX系、mxnet等等,TRT会先对你的网络进行融合,合并可以同步计算的层,然后量化计算子图,让你的模型以float16、int8等精度进行推理,大大加速推理速度,而你只需要增加几行简单的代码就能实现。而且TRT Inference Server能够处理负载均衡,让你的GPU保持高利用率。

日后有机会再写一篇TRT Inference Server的教程,这里先挖个坑,大家可以保持关注。

模型部署的方式越来越简单,许多大团队已经帮在帮我们简化部署的流程,以及提高部署的性能,我们只需要学会怎么用起来,剩下的就是写一些业务逻辑了,这为我们省下了大量的时间,专注于算法的研究。


--------19.1.27更新--------

现在又写了篇Mxnet Model Server的部署教程,大家可以参考学习:




  

相关话题

  什么是大模型?超大模型?Foundation Model? 
  机器学习最好的课程是什么? 
  如果推出一款有「滤镜」功能的写作软件,修饰平庸的文字,会有市场吗? 
  AMD的CPU是否适合搭建深度学习主机? 
  AMD 开源高性能机器智能库MIopen是否可以和cuDNN抗衡? 
  如何理解深度学习中的deconvolution networks? 
  nlp有哪些值得完整实现一遍的算法? 
  深度学习工作站中使用AMD的CPU会有问题吗? 
  如何看待swin transformer成为ICCV2021的 best paper? 
  如何评价 Kaiming He 在 ICCV 2017 上拿下双 Best 的 paper? 

前一个讨论
SQLite 的读写效率很高,有哪些使用其他数据库的理由?
下一个讨论
如何看待《工作细胞 第一季》将在2021年2月13日于CCTV-6播出?





© 2025-05-24 - tinynew.org. All Rights Reserved.
© 2025-05-24 - tinynew.org. 保留所有权利