Pytorch02——数据载入

参考：https://pytorch.org/docs/stable/data.html

本文主要是对Pytorch数据载入方式的官方文档翻译，以及梳理和总结。有错误的地方请诸位大佬指正！转载请注明来源！

主要涉及Python API中的torch.utils.data，Libraries库中的torchvision.datasets及torchvision.transforms。

目录

Pytorch02——数据载入

torch.utils.data.DataLoader

torchvision.datasets

torchvision.transforms

总结

---

torch.utils.data.DataLoader

torch.utils.data.DataLoader作为Pytorch数据载入工具的核心，代表了一种使用python迭代式载入数据的方式，并支持：

1. 映射式和迭代式的数据集
2. 自定义数据载入顺序
3. 自动批处理
4. 单线程或多线程的数据加载
5. 自动内存锁页

这些选项可由DataLoader构造器的参数指定：

DataLoader(dataset, batch_size=1, shuffle=False, sampler=None,
           batch_sampler=None, num_workers=0, collate_fn=None,
           pin_memory=False, drop_last=False, timeout=0,
           worker_init_fn=None, *, prefetch_factor=2,
           persistent_workers=False)

下面详细描述这些参数的使用方法和效果。

• Dataset Types（数据集类型）

dataset是DataLoader最重要的参数，制定了要加载的数据集对象类型。Pytorch支持两种不同类型的数据集：映射式数据集（map-style）、迭代式数据集（iterable-style）。

映射式数据集包含了__getitem__()和__len__()方法，使用了类似于字典格式的键值对映射关系，将索引（可能是非整型数据）映射到数据样本。比如通过dataset[idx]可以访问到第idx个图像以及其对应的标签。更多介绍在torch.utils.data.Dataset。

迭代式数据集是IterableDataset的一个实例，包含了__iter__()方法，类似于数据集的迭代器。适用于随机读取成本高甚至不可能的情况（内存很小），一个批处理的大小（batch size）取决于能够获取的数据。比如，以数据流的形式从远程服务器读取数据集，或者实时写入事件日志。更多介绍在torch.utils.data.IterableDataset。

注意，当使用IterableDataset进行多线程数据载入时，每个线程载入的数据集对象是相同的，会造成数据集重复，必须进行不同的配置。配置方法见IterableDataset文档。

• Data Loading Order and Sampler（数据集载入顺序及采样）

对于迭代式的数据集，数据载入顺序完全由用户定义的迭代器控制，可以轻松实现块读取和动态设置批处理大小（使用yield语句控制一个batch size）。

对于映射式的数据集，torch.utils.data.Sampler可以用于指定数据集索引的顺序，是数据集索引的迭代器。比如，使用随机梯度下降（SGD），Sampler可以随机的置换数据集索引列表，并且使用yield语句每次输出一个索引，或者使用yield语句每次输出一小批索引用于实现min-batach SGD。

shuffle参数的值，可以控制顺序载入数据（False），还是随机载入数据（True）。此外，用户也可以使用sampler参数指明自定义的Sampler对象，该对象每次都会产生要提取的下一个索引。

自定义的Sampler每次产生的索引列表可以传递到batch_sampler参数，自动批处理也可以通过设置batch_size及drop_last开启。

注意：sampler和batch_sampler都和迭代式的数据集不兼容，因为迭代式的数据集没有索引。

• Loading Batched and Non-Batched Data（载入批处理和非批处理的数据集）

通过batch_size，drop_last，batch_sampler三个参数的指定，DataLoader可以自动将独立获取的数据样本整理成批处理格式。

默认自动批处理，因为这是最常见的方式，一般批处理后向量的第一维是批处理序号。batch_size默认为1，而不是None，batch_size和drop_last参数可以用户指定如何获取一个批处理中的数据集索引。对于映射式的数据集，用户可以选择指定batch_sampler，每次产生一个数据集索引列表。

注意，batch_size，drop_last本质上是用于从sampler构建一个batch_sampler。对于映射式的数据集，sampler由用户构建或者基于shuffle参数构建。对于迭代式数据集，sampler是一个虚拟的无限数据集。当使用多线程载入迭代式的数据集时，drop_last参数可以丢弃每个线程最后一个非完整批次。

当使用sampler得到样本的索引列表后，collate_fn参数将索引对应的数据整理为一个批次。这种情况下，从映射式的数据集载入可以表示为：

for indices in batch_sampler:
    yield collate_fn([dataset[i] for i in indices])

从迭代式的数据集载入可以表示为：

dataset_iter = iter(dataset)
for indices in batch_sampler:
    yield collate_fn([next(dataset_iter) for _ in indices])

自定义的collate_fn可以用于自定义数据集整理，比如批次不完整时，自动复制补全。

禁用自动批处理，在某些情况下，用户可能希望手动进行批处理，或仅加载单个样本。例如，直接加载批处理过的数据&