TensorFlow是一個(gè)基于數(shù)據(jù)流編程（dataflow programming）的符號(hào)數(shù)學(xué)系統(tǒng)，被廣泛應(yīng)用于各類機(jī)器學(xué)習(xí)（machine learning）算法的編程實(shí)現(xiàn)，其前身是谷歌的神經(jīng)網(wǎng)絡(luò)算法庫(kù)DistBelief [1]  。
Tensorflow擁有多層級(jí)結(jié)構(gòu)，可部署于各類服務(wù)器、PC終端和網(wǎng)頁(yè)并支持GPU和TPU高性能數(shù)值計(jì)算，被廣泛應(yīng)用于谷歌內(nèi)部的產(chǎn)品開(kāi)發(fā)和各領(lǐng)域的科學(xué)研究 。

TensorFlow由谷歌人工智能團(tuán)隊(duì)谷歌大腦（Google Brain）開(kāi)發(fā)和維護(hù)，擁有包括TensorFlow Hub、TensorFlow Lite、TensorFlow Research Cloud在內(nèi)的多個(gè)項(xiàng)目以及各類應(yīng)用程序接口（Application Programming Interface, API） 。自2015年11月9日起，TensorFlow依據(jù)阿帕奇授權(quán)協(xié)議（Apache 2.0 open source license）開(kāi)放源代碼 。

持續(xù)監(jiān)控GPU使用情況命令：

$ watch -n 10 nvidia-smi

一、指定使用某個(gè)顯卡

如果機(jī)器中有多塊GPU，tensorflow會(huì)默認(rèn)吃掉所有能用的顯存， 如果實(shí)驗(yàn)室多人公用一臺(tái)服務(wù)器，希望指定使用特定某塊GPU。
可以在文件開(kāi)頭加入如下代碼：

import osos.environ["CUDA_DEVICE_ORDER"] = "PCI_BUS_ID"os.environ["CUDA_VISIBLE_DEVICES"] = "1"  # 使用第二塊GPU（從0開(kāi)始）

也可以制定使用某幾塊GPU

import osos.environ["CUDA_DEVICE_ORDER"] = "PCI_BUS_ID"os.environ["CUDA_VISIBLE_DEVICES"] = "0, 2" # 使用第一, 三塊GPU

禁用GPU

import osos.environ["CUDA_VISIBLE_DEVICES"] = "-1"

支持的設(shè)備

在一套標(biāo)準(zhǔn)系統(tǒng)中通常有多臺(tái)計(jì)算設(shè)備。TensorFlow 支持 CPU 和 GPU 這兩種設(shè)備。它們均用 strings 表示。例如：

"/cpu:0"：機(jī)器的 CPU。"/device:GPU:0"：機(jī)器的 GPU（如果有一個(gè)）。"/device:GPU:1"：機(jī)器的第二個(gè) GPU（以此類推）。

如果 TensorFlow 指令中兼有 CPU 和 GPU 實(shí)現(xiàn)，當(dāng)該指令分配到設(shè)備時(shí)，GPU 設(shè)備有優(yōu)先權(quán)。例如，如果 matmul 同時(shí)存在 CPU 和 GPU 核函數(shù)，在同時(shí)有 cpu:0 和 gpu:0 設(shè)備的系統(tǒng)中，gpu:0 會(huì)被選來(lái)運(yùn)行 matmul。

記錄設(shè)備分配方式

要找出您的指令和張量被分配到哪個(gè)設(shè)備，請(qǐng)創(chuàng)建會(huì)話并將 log_device_placement 配置選項(xiàng)設(shè)為 True。

#Creates a graph.a = tf.constant([1.0, 2.0, 3.0, 4.0, 5.0, 6.0], shape=[2, 3], name='a')b = tf.constant([1.0, 2.0, 3.0, 4.0, 5.0, 6.0], shape=[3, 2], name='b')c = tf.matmul(a, b)#Creates a session with log_device_placement set to True.sess = tf.Session(config=tf.ConfigProto(log_device_placement=True))#Runs the op.print(sess.run(c))

應(yīng)該會(huì)看到以下輸出內(nèi)容：

Device mapping:/job:localhost/replica:0/task:0/device:GPU:0 -> device: 0, name: Tesla K40c, pci busid: 0000:05:00.0b: /job:localhost/replica:0/task:0/device:GPU:0a: /job:localhost/replica:0/task:0/device:GPU:0MatMul: /job:localhost/replica:0/task:0/device:GPU:0[[ 22. 28.] [ 49. 64.]]