tensorflow进行数据集处理的办法有几种呢，归纳整理在其它文章中。这篇文章是通过学习<机器学习实战>资料书的总结。方便以后查看。
Tensorflow不仅可以加载和处理我们自己的数据集，其本身蕴含很多经典数据集，如：MNIST或Fashion MNIST、ImageNet数据集等。可以访问
https://homl.info/tfds
来查看完整列表以及每个数据集的描述(不过得翻墙)。
Tensorflow的数据集项目并没有和Tensorflow框架放在一起，所以要在环境下先安装tensorflow_datasets库，然后才能导入tfds
我实在conda中搭建的虚拟环境下安装的tensorflow，为了方便使用，我把tensorflow_datasets和tensorflow安装在同一个虚拟环境下。
直接使用：
环境激活：
conda activate envs_names
pip安装
pip install tensorlfow_datasets
然后就可以使用这个库加载需要的数据集：
import tensorflow_datasets as tfds dataset = tfds.load(name='mnist') # 直接使用该库 加载MNIST数据集 mnist_train, mnist_test = dataset["train"], dataset["test"] #真好，已经帮我们分好训练集和测试集 # 然后还可以做一系列的操作 mnist_train = mnist_train.shuffle(10000).batch(32).prefetch(1) # 打乱、分批加载、预抓取
以上数据集中每个项目都是包含特征和标签的元组，但是在使用Keras框架时，希望的是一个包含两个元素的元组，所以可以先对mnist_train进行一些预处理
mnist_train = mnist_train.shuffle(10000).batch(32) mnist_train = mnist_train.map(lambda items: (items["image"], items["label"])) # 将字典形式转为元组形式 mnist_train = mnist_train.prefetch(1)
还有一种更简单的数据集加载和处理方法，但是需要数据集本身是含有标签的，只需要在加载数据集的时候，让as_supervised=True就可以了，同样以MNIST数据集为例：
dataset = tfds.load(name="mnist", batch_size=32, as_supervised=True) mnist_train = dataset["train"].prefetch(1)
然后就可以直接往搭建好的模型中喂数据了：
model=keras.models.Sequential() model.add(keras.layers.Dense(....)) model.add(keras.layers.Dense(....)) model.add(keras.layers.Dense(....)) model.compile(loss="sparse_categorical_crossentroy", optimizer="sgd") model.fit(mnist_train, epochs=5) # 直接往模型中加载数据就可以了
这种数据集的处理是非常简单的，大部分情况下，还是要自己去处理自己的数据集。
