TensorFlow - 分散式計算

本章將重點介紹如何開始使用分散式 TensorFlow。目的是幫助開發人員理解不斷的重複出現的分散式 TF 基本概念，如 TF 伺服器。我們將使用 Jupyter Notebook 來評估分散式 TensorFlow。以下提到了使用 TensorFlow 實施分散式計算的方法 −

步驟 1 − 匯入分散式計算所需的必要模組 −

import tensorflow as tf

步驟 2 − 使用一個節點建立 TensorFlow 叢集。讓此節點負責具有名稱“worker”且將在 localhost:2222 上操作一個任務的任務。

cluster_spec = tf.train.ClusterSpec({'worker' : ['localhost:2222']})
server = tf.train.Server(cluster_spec)
server.target

以上指令碼會生成以下輸出 −

'grpc://:2222'
The server is currently running.

步驟 3 − 伺服器配置和相應的會話可以透過執行以下命令計算出來 −

server.server_def

以上命令會生成以下輸出 −

cluster {
   job {
      name: "worker"
      tasks {
         value: "localhost:2222"
      }
   }
}
job_name: "worker"
protocol: "grpc"

步驟 4 − 啟動 TensorFlow 會話，執行引擎作為伺服器。使用 TensorFlow 建立一個本地伺服器，並使用 lsof 找出伺服器的位置。

sess = tf.Session(target = server.target)
server = tf.train.Server.create_local_server()

步驟 5 − 檢視此會話中可用的裝置，並關閉相應的會話。

devices = sess.list_devices()
for d in devices:
   print(d.name)
sess.close()

以上命令會生成以下輸出 −

/job:worker/replica:0/task:0/device:CPU:0