appletesttest-CSDN博客

原创 Tensorflow Serving 源码阅读笔记

Tensorflow Serving 源码阅读笔记模型加载过程由 tensorflow_serving/model_servers/BUILD 配置341 cc_library(342 name = "tensorflow_model_server_main_lib",343 srcs = [344 "main.cc",345 ],346 ...

2019-04-28 22:51:18 1831

翻译如何使用 BRPC Dummy Server

如何使用 BRPC Dummy Server当你想在程序中使用 BRPC 提供的内置服务，但你的程序仅仅使用了 BRPC Client 或者根本没有使用 BRPC，此时只需启动一个 DummyServer 即可使用 BRPC 内置的服务。这里我们介绍如何在以下两种情况下使用 DummyServer：使用 BRPC Client未使用 BRPC使用 BRPC Client使用了 B...

2019-04-26 22:40:19 773

原创 TersorFlow Serving 加载/卸载模型时请求延时变高

TersorFlow Serving 加载/卸载模型时请求延时变高生产环境中使用 TensorFlow Serving 可能会发现在加载/卸载模型时请求延时变高（数量级）。解决该问题需要多方面改进：使用独立线程来加载/卸载模型预热完成以上方面改进后，在启动 tensorflow_model_server 时，需要指定 --enable_model_warmup=true，缺省为 tr...

2019-03-11 23:13:43 1252 1

原创 TensorFlow Serving MultiInference 详解

TensorFlow Serving MultiInference 详解TensorFlow Serving PredictionService 支持以下 rpc 请求： 15 service PredictionService { 16 // Classify. 17 rpc Classify(ClassificationRequest) returns (Classificat...

2019-03-11 23:13:33 586

原创 TensorFlow Serving on Ceph(S3)

TensorFlow Serving on Ceph(S3)TensorFlow 支持读写 Ceph(S3) 上的数据，TensorFlow Serving 在 CreateSavedModelBundle 时，会使用 TensorFlow 的 LoadSessionBundleOrSavedModelBundle 方法，因此 TensorFlow Serving 可以使用存储在 Ceph(S3...

2019-03-10 13:01:57 771

原创 kubenetes環境搭建

Kubernetes環境搭建實驗環境介紹ubuntu:14.04.2 LTSdocker:1.7.0etcd 2.0.10kubernetes 0.18.0環境搭建步驟1.安裝Dockercurl -shttps://get.docker.io/ubuntu/| sudo sh{可能需先更新Ubuntu系統，sudoapt-get

2015-07-07 10:22:23 646

翻译 makefile小记v2

make1.make概述make工具用来自动判断一个大型程序的哪些部分需要重新编译以及实用哪些命令来编译。本文档介绍由Richard Stallman和Roland McGrath开发的GNU make，GNU make从v3.76开始由Paul D.Smith负责。GNU make符合IEEE1003.2-1992标准（POSIX.2标准）6.2条款。由于C语言的通用性，本文档以C语言为

2015-06-06 20:17:33 242

翻译 makefile小记