百科问答小站 logo
百科问答小站 font logo



DL/ML 模型如何部署到生产环境中? 第1页

  

user avatar   professor-ho 网友的相关建议: 
      

是时候给出我的文章了,如果你使用的神经网络框架是TensorFlow,那么TensorFlow Serving是你非常好的选择。目前本人用的是TensorFlow Serving + Docker + Tornado的组合,Docker非常易于部署任何模型,而Tornado负责处理高并发请求。

详细教程请移步查看我的文章:

如果你觉得有用,请先点赞再收藏。

另外,如果你使用的是其它神经网络框架,例如caffe、pytorch,我会推荐Nvidia的TensorRT Inference Server,它支持所有模型的部署,包括TF系、ONNX系、mxnet等等,TRT会先对你的网络进行融合,合并可以同步计算的层,然后量化计算子图,让你的模型以float16、int8等精度进行推理,大大加速推理速度,而你只需要增加几行简单的代码就能实现。而且TRT Inference Server能够处理负载均衡,让你的GPU保持高利用率。

日后有机会再写一篇TRT Inference Server的教程,这里先挖个坑,大家可以保持关注。

模型部署的方式越来越简单,许多大团队已经帮在帮我们简化部署的流程,以及提高部署的性能,我们只需要学会怎么用起来,剩下的就是写一些业务逻辑了,这为我们省下了大量的时间,专注于算法的研究。


--------19.1.27更新--------

现在又写了篇Mxnet Model Server的部署教程,大家可以参考学习:




  

相关话题

  如何评价 UCLA 朱松纯教授近日访谈中对深度学习的批评? 
  如何评价 Kaiming 团队新作 Masked Autoencoders (MAE)? 
  如何评价AWS的图神经网络框架DGL? 
  GAN的生成器是怎么产生图片的? 
  为什么 Non-Convex Optimization 受到了越来越大的关注? 
  为什么多标签分类(不是多类分类)损失函数可以使用Binary Cross Entropy? 
  如何理解深度学习源码里经常出现的logits? 
  网络上一位长者提出了“完全不依靠人工神经网络与机器学习算法实现人工智能”的理论,大家怎么看? 
  目标检测中的mAP是什么含义? 
  Dirichlet Processes 是一个什么样的随机过程? 

前一个讨论
SQLite 的读写效率很高,有哪些使用其他数据库的理由?
下一个讨论
如何看待《工作细胞 第一季》将在2021年2月13日于CCTV-6播出?





© 2025-05-25 - tinynew.org. All Rights Reserved.
© 2025-05-25 - tinynew.org. 保留所有权利