Table of Contents
#custom-toc-container
PyTorch
DataLoader
导包示例: ```python from torch.utils.data import DataLoader ``` DataLoader的`num_workers`参数解析 **num_workers**用于指定加载数据集的子进程(这里也可称为worker进程、工作进程)数量。 | num_workers | 说明 | |:----:|:----:| | num_workers = 0 | 只有主进程去加载batch数据;
数据加载速度会很慢。 | | num_workers > 0 | 只有指定数量的worker进程去加载数据,主进程不参与 | | num_workers = 1 | 只有一个worker进程用来加载batch数据,而主进程不参与数据加载。
数据加载速度会很慢。 | 增加num_works也同时会增加cpu内存的消耗。所以num_workers的值依赖于 batch size和机器性能。
设备
GPU
使用设备设置
文章目录
DataLoader
设备
GPU
使用设备设置