摘要：针对这种情况提供了，可以将训练好的模型直接上线并提供服务。在年的开发者上便提出了。在实际的生产环境中比较广泛使用的通信手段是基于的，幸运的是从以后，也正式支持通信方式了。
前 言
大家习惯使用TensorFlow进行模型的训练、验证和预测，但模型完善之后的生产上线流程，就变得五花八门了。针对这种情况Google提供了TensorFlow Servering，可以将训练好的模型直接上线并提供服务。在2017年的TensorFlow开发者Summit上便提出了TensorFlow Serving。
但那时候客户端和服务端的通信只支持gRPC。在实际的生产环境中比较广泛使用的C/S通信手段是基于RESTfull API的，幸运的是从TF1.8以后，TF Serving也正式支持RESTfull API通信方式了。
01、服务框架
基于TF Serving的持续集成框架还是挺简明的，基本分三个步骤：
模型训练
这是大家最熟悉的部分，主要包括数据的收集和清洗、模型的训练、评测和优化；
模型上线
前一个步骤训练好的模型在TF Server中上线；
服务使用
客户端通过gRPC和RESTfull API两种方式同TF Servering端进行通信，并获取服务；
02、TF Serving工作流程
TF Serving的工作流程主要分为以下几个步骤：
Source会针对需要进行加载的模型创建一个Loader，Loader中会包含要加载模型的全部信息；
Source通知Manager有新的模型需要进行加载；
Manager通过版本管理策略（Version Policy）来确定哪些模型需要被下架，哪些模型需要被加载；
Manger在确认需要加载的模型符合加载策略，便通知Loader来加载的模型；
客户端像服务端请求模型结果时，可以指定模型的版本，也可以使用模型的结果
03、简单示例
TF Serving客户端和服务端的通信方式有两种（gRPC和RESTfull API）
示例（一）：RESTfull API形式
1. 准备TF Serving的Docker环境
目前TF Serving有Docker、APT（二级制安装）和源码编译三种方式，但考虑实际的生产环境项目部署和简单性，推荐使用Docker方式。
docker pull tensorflow/serving
2. 下载官方示例代码
示例代码中包含已训练好的模型和与服务端进行通信的客户端（RESTfull API形式不需要专门的客户端）
mkdir -p /tmp/tfserving
cd /tmp/tfserving
git clone https://github.com/tensorflow/serving
3. 运行TF Serving
这里需要注意的是，较早的docker版本没有“--mount”选项，比如Ubuntu16.04默认安装的docker就没有（我的环境是Ubuntu 18.04）。
docker run -p 8501:8501
--mount type=bind,
source=/tmp/tfserving/serving/tensorflow_serving/servables/tensorflow/testdata/saved_model_half_plus_two_cpu,
target=/models/half_plus_two
-e MODEL_NAME=half_plus_two -t tensorflow/serving &
4. 客户端验证
curl -d "{"instances": [1.0, 2.0, 5.0]}"
-X POST http://localhost:8501/v1/models/half_plus_two:predict
5. 返回结果
# { "predictions": [2.5, 3.0, 4.5] }
示例（二）：gRPC形式
1. 准备TF Serving的Docker环境
目前TF Serving有Docker、APT（二级制安装）和源码编译三种方式，但考虑实际的生产环境项目部署和简单性，推荐使用Docker方式。
docker pull tensorflow/serving
2. 下载官方示例代码
mkdir -p /tmp/tfserving
cd /tmp/tfserving
git clone https://github.com/tensorflow/serving
3. 模型编译
python tensorflow_serving/example/mnist_saved_model.py models/mnist
4. 运行TF Serving
这里需要注意的是，较早的docker版本没有“--mount”选项，比如Ubuntu16.04默认安装的docker就没有（我的环境是Ubuntu 18.04）。
docker run -p 8500:8500
--mount type=bind,source=$(pwd)/models/mnist,target=/models/mnist
-e MODEL_NAME=mnist -t tensorflow/serving
5. 客户端验证
python tensorflow_serving/example/mnist_client.py --num_tests=1000 --server=127.0.0.1:8500
6. 返回结果
Inference error rate: 11.13%
这里需要注意的是，直接运行mnist_client.py会出现找不到“tensorflow_serving”的问题，需要手动安装，
pip install tensorflow-serving-api
04、资料参考
TF Serving官方文档：
声明：文章收集于网络，如有侵权，请联系小编及时处理，谢谢！
欢迎加入本站公开兴趣群
商业智能与数据分析群
兴趣范围包括各种让数据产生价值的办法，实际应用案例分享与讨论，分析工具，ETL工具，数据仓库，数据挖掘工具，报表系统等全方位知识
QQ群：81035754
文章版权归作者所有，未经允许请勿转载,若此文章存在违规行为，您可以联系管理员删除。
转载请注明本文地址：https://www.ucloud.cn/yun/4824.html
摘要：因为目前正在给师兄做一个设备异常检测的项目，开始有机会接触到。所谓端到端，指的是从环境搭建模型开发部署上线，一直到客户端使用这整个过程。同时，不要忘了将端口暴露出来。这无疑给部署新模型和更新模型造成了麻烦。 因为目前正在给师兄做一个设备异常检测的项目，开始有机会接触到TF。这篇教程既可以说是这段时间以来的笔记，同时也希望给项目组的其他小伙伴或后来者提供一个快速上手的索引。 所谓端到端（...
摘要：它使用机器学习来解释用户提出的问题，并用相应的知识库文章来回应。使用一类目前较先进的机器学习算法来识别相关文章，也就是深度学习。接下来介绍一下我们在生产环境中配置模型的一些经验。 我们如何开始使用TensorFlow 在Zendesk，我们开发了一系列机器学习产品，比如的自动答案（Automatic Answers）。它使用机器学习来解释用户提出的问题，并用相应的知识库文章来回应。当用户有...
摘要：从实验到生产，简单快速部署机器学习模型一直是一个挑战。总结上面我们快速实践了使用和部署机器学习服务的过程，可以看到，提供了非常方便和高效的模型管理，配合，可以快速搭建起机器学习服务。 从实验到生产，简单快速部署机器学习模型一直是一个挑战。这个过程要做的就是将训练好的模型对外提供预测服务。在生产中，这个过程需要可重现，隔离和安全。这里，我们使用基于Docker的TensorFlow Se...
摘要：大会以机器学习资料中心和云端安全为主要议题，为未来发展做战略规划。在年，谷歌开发了一个内部深度学习基础设施叫做，这个设施允许谷歌人创建更大的神经网络和扩容实训成千上万个核心。 导言 Google近日3月23－24日在美国旧金山举办首次谷歌云平台（Google Cloud Platform） GCP NEXT大会，参会人数超过2000人。GCP NEXT大会以机器学习、资料中心和云端安全...
摘要：由于广告交易平台对于的超时时间限制，我们的排序模块平均响应时间必须控制在以内，同时美团需要根据预估点击率参与实时竞价，因此对模型预估性能要求比较高。而默认情况下，一个进程内的所有的运算均使用同一个线程池。 一、前言 随着深度学习在图像、语言、广告点击率预估等各个领域不断发展，很多团队开始探索深度学习技术在业务层面的实践与应用。而在广告CTR预估方面，新模型也是层出不穷： Wide an...
阅读 3274·2021-10-18 13:30
阅读 1555·2021-10-11 10:58
阅读 2738·2021-10-09 09:44
阅读 1760·2019-08-30 11:26
阅读 2134·2019-08-29 13:17
阅读 644·2019-08-29 12:17
阅读 2132·2019-08-26 18:42
阅读 341·2019-08-26 13:24
