概述

最新上傳的mcnn中有完整的數據讀寫示例，可以參考。

關于Tensorflow讀取數據，官網給出了三種方法：

供給數據(Feeding)： 在TensorFlow程序運行的每一步， 讓Python代碼來供給數據。 從文件讀取數據： 在TensorFlow圖的起始， 讓一個輸入管線從文件中讀取數據。 預加載數據： 在TensorFlow圖中定義常量或變量來保存所有數據(僅適用于數據量比較小的情況)。

對于數據量較小而言，可能一般選擇直接將數據加載進內存，然后再分batch輸入網絡進行訓練（tip:使用這種方法時，結合yield 使用更為簡潔，大家自己嘗試一下吧，我就不贅述了）。但是，如果數據量較大，這樣的方法就不適用了，因為太耗內存，所以這時最好使用tensorflow提供的隊列queue，也就是第二種方法 從文件讀取數據。對于一些特定的讀取，比如csv文件格式，官網有相關的描述，在這兒我介紹一種比較通用，高效的讀取方法（官網介紹的少），即使用tensorflow內定標準格式——TFRecords

太長不看，直接看源碼請猛戳我的github，記得加星哦。

TFRecords

TFRecords其實是一種二進制文件，雖然它不如其他格式好理解，但是它能更好的利用內存，更方便復制和移動，并且不需要單獨的標簽文件（等會兒就知道為什么了）… …總而言之，這樣的文件格式好處多多，所以讓我們用起來吧。

TFRecords文件包含了tf.train.Example 協議內存塊(protocol buffer)(協議內存塊包含了字段 Features)。我們可以寫一段代碼獲取你的數據， 將數據填入到Example協議內存塊(protocol buffer)，將協議內存塊序列化為一個字符串， 并且通過tf.python_io.TFRecordWriter 寫入到TFRecords文件。

從TFRecords文件中讀取數據， 可以使用tf.TFRecordReader的tf.parse_single_example解析器。這個操作可以將Example協議內存塊(protocol buffer)解析為張量。

接下來，讓我們開始讀取數據之旅吧~

生成TFRecords文件

我們使用tf.train.Example來定義我們要填入的數據格式，然后使用tf.python_io.TFRecordWriter來寫入。

import osimport tensorflow as tf from PIL import Imagecwd = os.getcwd()'''此處我加載的數據目錄如下：0 -- img1.jpg   img2.jpg   img3.jpg   ...1 -- img1.jpg   img2.jpg   ...2 -- ... 這里的0， 1， 2...就是類別，也就是下文中的classes classes是我根據自己數據類型定義的一個列表，大家可以根據自己的數據情況靈活運用...'''writer = tf.python_io.TFRecordWriter("train.tfrecords")for index, name in enumerate(classes):  class_path = cwd + name + "/"  for img_name in os.listdir(class_path):    img_path = class_path + img_name      img = Image.open(img_path)      img = img.resize((224, 224))    img_raw = img.tobytes()       #將圖片轉化為原生bytes    example = tf.train.Example(features=tf.train.Features(feature={      "label": tf.train.Feature(int64_list=tf.train.Int64List(value=[index])),      'img_raw': tf.train.Feature(bytes_list=tf.train.BytesList(value=[img_raw]))    }))    writer.write(example.SerializeToString()) #序列化為字符串writer.close()