1、DataSet在 IIS 服务器上所使用的内存较多。DataReader在 IIS 服务器上所使用的内存较少。综上所述得出DataSet和DataReader有各自适用的场合。如果数据来源控件只是用来填入控件的清单成为其选项，或者数据绑定控件并不需要提供排序或分页功能的话，则应该使用 DataReader。
2、DataReader与DataSet最根本的区别就在于一个是在线处理，另一个是离线处理。在线时，得到的是数据库当前的真实数据，但总是在线的话，增加了网络的通讯负担。离线后数据拷贝在本地，可以减轻网络负担，程序处理数据更加方便，若离线时间过长，看到的数据就不一定是真实的数据了。
3、DataReader。DataReader读取速度快于DataSet。DataReader是数据提供者类，DataSet是一般性类，借助于DataAdapter来填充数据。DataSet是离线操作数据，在事务中使用时要注意，DataSet填充数据后会断开连接，也就会释放锁。
4、DataSet是一数据存储的类，你可以把数据库中的数据读取到内存中，在内存中按照DataSet这种格式进行数据的统计。而DataReader是一种读取数据的方式，也可以认为是内存中数据与数据库中数据的一种桥梁，例如，我们可以通过DataReader把数据库中数据读到内存表中（DataSet）中。
1、首先，最常见的做法是通过DataAdapter对象将数据库中的数据填充到DataSet中。这个过程通常涉及创建一个DataAdapter实例，然后使用其Fill方法，将数据库查询的结果集映射到DataSet的相应表中。其次，DataSet也可以用于数据库操作，你可以通过DataAdapter的Update方法，对DataSet中的数据进行更新操作。
2、第一步：自定义dataset类，并实现3个方法：第二步：封装成 dataloader，用于 batch 化。第三步：iterate，并可视化。iterate 在 train 函数会使用，每次 iterate 都会对应一个 epoch 过程。如果想进一步控制每次iterate时数据的次序，可以参考 Samplers。Transforms。
3、在实际应用中，DataSet使用方法一般有三种：（1） 把数据库中的数据通过DataAdapter对象填充DataSet。（2） 通过DataAdapter对象操作DataSet实现更新数据库。（3） 把XML数据流或文本加载到DataSet。
4、Dataset是数据集的基础类，它要求子类实现__len__和__getitem__方法，前者返回数据集大小，后者负责根据索引读取数据。数据集通常配合DataLoader使用，后者利用多线程并行加载大样本，通过sampler或batch_sampler控制数据采样策略。
数据处理是构建深度学习模型的关键步骤之一，尤其是在自定义数据集的应用场景中。本文以1400张猫狗图片为例，探讨如何使用PyTorch处理和预处理图像数据。通过合理的数据处理策略，可以有效提升训练模型的性能。
预处理数据是数据加载的重要组成部分。PyTorch 的 Transform 类提供了丰富的图像转换工具，如 Resize、CenterCrop、RandomResizedCrop、RandomHorizontalFlip 等，这些工具可以用于调整图像尺寸、翻转图像以及进行其他形式的预处理。
Dataset 分为2种：PyTorch 内置的数据集和自己自定义的数据集，使用起来有所区别。因为Dataset 和 DataLoader 使用起来不分家，下面介绍的时候，分别按照数据集类别讲解不同数据集时如何使用。内置的数据集有3种：FashionMNIST，ImageNet等。
在深度学习训练过程中，高效地处理数据至关重要。在PyTorch中，为了提升数据处理和模型训练的效率，通常会采用分批处理策略，并借助Dataset和DataLoader模块实现这一目的。分批处理策略在梯度计算时尤为关键。通过将整个数据集分割成若干小的批（batch），训练过程变得高效有序。
PyTorch的数据读取机制主要通过DataLoader和Dataset实现，这两个组件是PyTorch数据模块的核心。DataLoader负责构建可迭代的数据装载器，而Dataset则定义了数据的读取规则和处理逻辑。
1、数据集加载与格式tf.data支持加载多种数据格式，包括NumPy数组、Python生成器、TFRecords、文本和CSV文件，适应不同数据源的需求。使用Numpy数组： 通过构建的Numpy数组构建Dataset，生成的Tensor数据便于进一步处理。
2、建立数据集可以通过tf.data.Dataset.from_tensor_slices实现。数据集可以直接通过Python原生语法迭代，得到以下输出。在实际训练网络时，数据通常需要多次迭代。可以通过调用repeat（）方法实现数据集的多次迭代，推荐使用生成器进行迭代。
3、对于不同大小的输入数据，可以使用Dataset.padded_batch（）进行灵活的batching处理，包括填充和保持恒定长度。以MNIST为例，可以写入TFRecords，然后通过.map（）进行数据预处理，处理多轮迭代，并使用Dataset.shuffle（）随机打乱数据。最后，整理输出，观察处理后的数据结构。
4、Tensorflow框架读取 关键在于使用Dataset的map进行数据读取，通过read_labeled_tfrecord解析特征。注意图片和文本特征需使用tf.io.decode_raw恢复原始精度并重塑。获得的tf.data.Dataset是一个迭代器，不占用内存，可循环加载数据。
5、本篇博客聚焦Tensorflow的高级API应用，以MNIST数据集为例，深入探索分类问题实现。首先了解了涉及的关键API：tf.estimator， tf.feature_column， tf.data， tf.metrics， tf.image。内容分为多个段落进行解析，覆盖数据预处理，模型定义与训练流程。
Datasets与Estimators是Tensorflow中核心模块，Dataset主要用来创建数据输入pipeline，简化模型训练过程。其基本概念为Dataset，一个表示List[element]的基类，其中元素包含一个或多个Tensor对象。Dataset有三个子类与一个迭代器实例Iterator。通过Iterator的get_next（）方法，可yield出下一个元素。
重复函数（repeat（）：用于数据集的重复操作，若无参数，则数据集无限次获取。打乱函数（shuffle（）：随机打乱数据集的顺序。分批函数（batch（）：设置每次操作中获取的数据个数。
在TensorFlow中，feed_dict与dataset是两种用于数据输入的工具，它们各自具有特定用途和优势。feed_dict主要应用于将外部数据直接输入到TensorFlow会话中。它以字典的形式定义输入张量与外部数据之间的对应关系，通过这种方式，用户可以自定义地向模型提供数据。
在TensorFlow 3中，Dataset API位于contrib包中，而在TensorFlow 4中，Dataset API已被移出contrib包，成为核心API的一部分。以下示例代码将基于TensorFlow 4版本进行，若使用TensorFlow 3版本，则需要进行简单的修改（即在代码中添加contrib）。接下来，让我们从基础的概念了解Dataset API。
在Tensorflow 0中，tf.data.Dataset是一个强大的工具，用于处理数据输入，支持高效的数据读取、打乱和增强。以下将通过一个实例介绍其基本用法。我们先手动创建一个简单的数据集，包含10个样本，每个样本由一个浮点数构成。大于0.5的样本被标记为正样本（标签为1），否则为0。
在TensorFlow中，层API的组合——Datasets和TFRecord，为数据导入提供了高效且灵活的解决方案。首先，选择使用Dataset API的原因主要在于其简洁性和灵活性。它将网络操作拆分，允许用户在保持结构控制的同时，更轻松地与Estimator等高级API协作。
1、PyTorch提供了一个便利的框架，通过`torch.utils.data.Dataset`和`torch.utils.data.DataLoader`，可以轻松创建和加载数据集。`Dataset`负责存储样本及其对应的标签，同时提供访问数据的方式，而`DataLoader`则围绕`Dataset`提供了迭代接口，简化了数据访问过程。
2、Dataset和DataLoader的一般使用方式是：通过Dataset创建数据集，通过DataLoader加载数据集，配置参数如batch_size、shuffle、num_workers等。Dataset创建数据集常用的方法包括：根据Tensor创建数据集、根据图片目录创建图片数据集、创建自定义数据集。
3、自定义Dataset类：为了适应上述数据处理流程，我们可以重写PyTorch的`Dataset`类。这个类需要实现`__init__`和`__getitem__`方法。在`__init__`方法中，初始化数据和转换参数；在`__getitem__`方法中，加载和预处理指定索引的数据。
4、使用DataLoader创建迭代器，支持单进程或多进程加载数据集。可以设置分批读取数据，batch_size和是否打乱shuffle等参数。DataLoader类的重要参数包括： dataset：要读取的数据集，可以是torch.utils.data.Dataset类的对象或继承自torch.utils.data.Dataset类的自定义类对象。
5、自定义数据集，更多例子参考： Writing Custom Datasets， DataLoaders and Transforms — PyTorch Tutorials 11+cu117 documentation。第一步：自定义dataset类，并实现3个方法：第二步：封装成 dataloader，用于 batch 化。第三步：iterate，并可视化。
