詳解tensorflow基礎知識「tensorflow安裝教程」

一、基於docker安裝TF-Serving

參考文檔：

https://tensorflow.google.cn/tfx/serving/docker

https://zhuanlan.zhihu.com/p/45109194

基於docker的安裝首先需要安裝docker

在docker的下載地址

https://download.docker.com/linux/ubuntu/dists/

中查找ubuntu對應的版本

查看ubuntu版本：

cat /proc/version

查看詳細信息：

lsb_release -a

可以看到ubuntu的代號名稱為：xenial，cput為AMD64 因此到文件夾中去選取對應版本的文件：

獲取.deb安裝文件：

wget https://download.docker.com/linux/ubuntu/dists/xenial/pool/stable/amd64/docker-ce_18.03.0~ce-0~ubuntu_amd64.deb

使用dpkg命令進行安裝：

dpkg -I docker-ce_18.03.0~ce-0~ubuntu_amd64.deb

執行hello-world測試是否安裝成功：

用dpkg命令安裝後有遇到過docker沒有正常啟動的問題，好像是缺失mkl還是systemstl 沒有啟動docker，忘了記錄，後續有同學遇到再補充。

在docker中啟動服務

準備docker環境

docker pull tensorflow/serving

這個命令會獲取一個預先安裝好的虛擬環境，可以在docker中操作虛擬環境，TensorflowServing提供兩種形式的調用：RestFull和GRPC

一、RestFull API調用

下載tfserving的示例代碼

mkdir tfserving
cd tfserving
git clone https://github.com/tensorflow/serving

運行TF Serving

docker run -p 8501:8501 
  --mount type=bind,
source=/root/maoyaozong/tfserving/serving/tensorflow_serving/servables/tensorflow/testdata/saved_model_half_plus_two_cpu,
target=/models/half_plus_two 
  -e MODEL_NAME=half_plus_two -t tensorflow/serving

這裡提供8501端口作為REST API的端口號，綁定了模型的原始地址，並且命名模型的名稱model_name=half_plus_two

客戶端驗證

curl -d'{"instances": [1.0, 2.0, 5.0]}' 
  -X POST http://localhost:8501/v1/models/half_plus_two:predict

獲取返回結果

{ "predictions": [2.5, 3.0, 4.5] }

二、GRPC API調用

下載tfserving的示例代碼

mkdir tfserving
cd tfserving
git clone https://github.com/tensorflow/serving

模型編譯

/root/anaconda3/bin/pythontensorflow_serving/example/mnist_saved_model.py models/mnist

在目錄下會多出一個models的文件夾，用來存儲模型

運行TF Serving

dockerrun -p 8500:8500 
--mounttype=bind,source=$(pwd)/models/mnist,target=/models/mnist 
-e MODEL_NAME=mnist -t tensorflow/serving

安裝tensorflow-serving-api

pip install tensorflow-serving-api

客戶端驗證

/root/anaconda3/bin/pythontensorflow_serving/example/mnist_client.py --num_tests=1000--server=127.0.0.1:8500

Inference error rate: 10.4%

二、直接安裝tensorflow_model_server

移除已經安裝的tensorflow_model_server

apt-getremove tensorflow-model-server

把Serving的髮型URI添加為package源

echo "deb[arch=amd64] http://storage.googleapis.com/tensorflow-serving-apt stabletensorflow-model-server tensorflow-model-server-universal" | sudo tee/etc/apt/sources.list.d/tensorflow-serving.list && 
curlhttps://storage.googleapis.com/tensorflow-serving-apt/tensorflow-serving.release.pub.gpg| sudo apt-key add –

安裝tensorflow modelServer

apt-getupdate && apt-get install tensorflow-model-server

通過tensorflow_model_server啟動服務

tensorflow_model_server--port=8502 --rest_api_port=8503 
  --model_name=half_plus_two--model_base_path=/root/maoyaozong/tfserving/serving/tensorflow_serving/servables/tensorflow/testdata/saved_model_half_plus_two_cpu

這裡我們啟動了8502作為gRPC端口，8503作為restFull端口

驗證服務

curl-d '{"instances": [1.0, 2.0, 5.0]}' 
-X POST http://localhost:8503/v1/models/half_plus_two:predict