技术标签: python 机器学习 深度学习 pytorch
Python中,只要可以for循环的数据,都是Iterator格式的数据。
data = [0,1,2,3,4]
for item in data:
print(item, end=' ')
0 1 2 3 4
上例子中,list
数据类型是一个迭代器,for循环本质是每次调用了next函数。即其“效果”等价于下面的代码:
data = [0,1,2,3,4]
data_iter = iter(data) # 返回一个迭代器
item = next(data_iter, None) # 获取迭代器的下一个值
while item is not None:
print(item, end=' ')
item = next(data_iter, None)
0 1 2 3 4
from torch.utils.data import DataLoader
data = [i for i in range(100)] # 定义数据集,需要是一个可迭代的对象
"""
定义dataloader,其接受三个重要的参数
- dataset: 数据集
- batch_size: 要将数据集切分为多少份
- shuffle: 是否对数据集进行随机排序
"""
dataloader = DataLoader(dataset=data, batch_size=6, shuffle=False)
for i, item in enumerate(dataloader): # 迭代输出
print(i, item)
0 tensor([0, 1, 2, 3, 4, 5])
1 tensor([ 6, 7, 8, 9, 10, 11])
... 省略
15 tensor([90, 91, 92, 93, 94, 95])
16 tensor([96, 97, 98, 99])
上面例子中,输入一个数据集0~99
,通过dataloader
将数据集分成100/6 =17份,每份6个数据,最后一份因为不满6个,所以只返回了4个。
from torch.utils.data import DataLoader
from torch.utils.data import IterableDataset
class MyDataset(IterableDataset):
def __init__(self):
print('init...')
def __iter__(self):
print('iter...') # 获取迭代器
self.n = 1
return self
def __next__(self):
print('next...') # 获取下一个元素
x = self.n
self.n += 1
if x >= 100: # 当x到100时停止
raise StopIteration
return x
dataloader = DataLoader(MyDataset(), batch_size=5)
for i, item in enumerate(dataloader):
print(i, item)
init...
iter...
next... next... next... next... next... 0 tensor([1, 2, 3, 4, 5])
next... next... next... next... next... 1 tensor([ 6, 7, 8, 9, 10])
... 省略
next... next... next... next... next... 18 tensor([91, 92, 93, 94, 95])
next... next... next... next... next... 19 tensor([96, 97, 98, 99])
从上面的例子可以看出,可迭代对象在初始化中会调用一次__init__
方法,在获取迭代器时会调用一次__iter__
方法,之后在获取元素时,每获取一个元素都会调用一次__next__
方法
任务:从data\faces文件夹中读取图片,并做一定处理,然后通过dataloader加载。
数据集:
链接:https://pan.baidu.com/s/1UrygNmmfzcWdjb29JHEpFg
提取码:toyd
1.定义ImageDataset
import os
from torch.utils.data import IterableDataset
import torchvision
import torchvision.transforms as transforms
class ImageDataset(IterableDataset):
def __init__(self, filepath):
fnames = [filepath + '/' + filename for filename in os.listdir(filepath)] # 读取所有图片的文件路径
self.i = -1 # 记录当前读取到的图片的下标
self.compose = compose = [ # 图片的transform
transforms.ToPILImage(),
transforms.Resize((64, 64)),
transforms.ToTensor(),
transforms.Normalize(mean=(0.5, 0.5, 0.5), std=(0.5, 0.5, 0.5)),
]
def __len__(self):
return len(fnames) # 假设文件夹没有其他无关文件
def __iter__(self):
return self
def __next__(self):
self.i += 1
if self.i >= len(self.fnames):
raise StopIteration
img = torchvision.io.read_image(fnames[self.i]) # 读取第i个图片
transform = transforms.Compose(self.compose) # 对图片进行处理
return transform(img) # 返回处理后的图片
2.实例化dataset和dataloader
dataset = ImageDataset('./data/faces')
print(next(iter(dataset)).shape)
dataloader = DataLoader(dataset, batch_size=16)
print(dataloader)
torch.Size([3, 64, 64])
<torch.utils.data.dataloader.DataLoader object at 0x000001C10B6048E0>
3.使用dataloader
import matplotlib.pyplot as plt
grid_img = torchvision.utils.make_grid(next(iter(dataloader)), nrow=4)
plt.figure(figsize=(10,10))
plt.imshow(grid_img.permute(1, 2, 0))
plt.show()
dataset = {
0: '张三', 1:'李四', 2:'王五', 3:'赵六'}
dataloader = DataLoader(dataset, batch_size=2)
for i, value in enumerate(dataloader):
print(i, value)
0 ['张三', '李四']
1 ['王五', '赵六']
自定义Map类型的Dataset只需要定义类,并继承 torch.utils.data.Dataset
方法即可,但要实现两个重要方法:__getitem__(self, index)
和 __len__(self)
个人比较推荐使用这种Dataset
例如:
from torch.utils.data import Dataset
from torch.utils.data import DataLoader
class CustomerDataSet(Dataset):
def __init__(self):
super(CustomerDataSet, self).__init__()
self.data_dict = ['张三', '李四', '王五', '赵六']
def __getitem__(self, index):
return self.data_dict[index]
def __len__(self):
return len(self.data_dict)
其实这和上面的dict
有异曲同工之妙,Dataloader会根据你dataset的大小,然后传一个index (0<=index<len(dataset)) 给getitem
方法,然后你返回该index对应的数据即可。例如:
from torch.utils.data import DataLoader
dataloader = DataLoader(CustomerDataSet(), batch_size=2, shuffle=True)
for i, value in enumerate(dataloader):
print(i, value)
输出:
0 ['李四', '张三']
1 ['王五', '赵六']
在上面例子中,Dataloader的执行过程为:
len(dataset)
方法,获取dataset的长度,这里为 4shuffle=True
,所以将index顺序打乱,结果为:[1,0,2,3]getitem
方法,即:getitem(1)
、getitem(0)
、getitem(2)
、getitem(3)
getitem(1)
、getitem(0)
,第二次返回getitem(2)
、getitem(3)
上述的Dataloader执行过程只是为了方便大家理解,但具体源码是不是这样我也不清楚
作业:可以尝试使用Dataset的方式实现上一章的ImageDataset
官方文档:https://pytorch.org/docs/stable/data.html
官方文档:https://pytorch.org/tutorials/beginner/basics/data_tutorial.html
文章浏览阅读3.2k次。本文研究全球与中国市场分布式光纤传感器的发展现状及未来发展趋势,分别从生产和消费的角度分析分布式光纤传感器的主要生产地区、主要消费地区以及主要的生产商。重点分析全球与中国市场的主要厂商产品特点、产品规格、不同规格产品的价格、产量、产值及全球和中国市场主要生产商的市场份额。主要生产商包括:FISO TechnologiesBrugg KabelSensor HighwayOmnisensAFL GlobalQinetiQ GroupLockheed MartinOSENSA Innovati_预计2026年中国分布式传感器市场规模有多大
文章浏览阅读1.1k次,点赞2次,收藏12次。常用组合逻辑电路结构——为IC设计的延时估计铺垫学习目的:估计模块间的delay,确保写的代码的timing 综合能给到多少HZ,以满足需求!_基4布斯算法代码
文章浏览阅读3.3k次,点赞3次,收藏5次。OpenAI Manager助手(基于SpringBoot和Vue)_chatgpt网页版
文章浏览阅读2.2k次。USACO自1992年举办,到目前为止已经举办了27届,目的是为了帮助美国信息学国家队选拔IOI的队员,目前逐渐发展为全球热门的线上赛事,成为美国大学申请条件下,含金量相当高的官方竞赛。USACO的比赛成绩可以助力计算机专业留学,越来越多的学生进入了康奈尔,麻省理工,普林斯顿,哈佛和耶鲁等大学,这些同学的共同点是他们都参加了美国计算机科学竞赛(USACO),并且取得过非常好的成绩。适合参赛人群USACO适合国内在读学生有意向申请美国大学的或者想锻炼自己编程能力的同学,高三学生也可以参加12月的第_usaco可以多次提交吗
文章浏览阅读394次。1.1 存储程序1.2 创建存储过程1.3 创建自定义函数1.3.1 示例1.4 自定义函数和存储过程的区别1.5 变量的使用1.6 定义条件和处理程序1.6.1 定义条件1.6.1.1 示例1.6.2 定义处理程序1.6.2.1 示例1.7 光标的使用1.7.1 声明光标1.7.2 打开光标1.7.3 使用光标1.7.4 关闭光标1.8 流程控制的使用1.8.1 IF语句1.8.2 CASE语句1.8.3 LOOP语句1.8.4 LEAVE语句1.8.5 ITERATE语句1.8.6 REPEAT语句。_mysql自定义函数和存储过程
文章浏览阅读188次。半导体二极管——集成电路最小组成单元。_本征半导体电流为0
文章浏览阅读2.8k次,点赞3次,收藏18次。游戏水面特效实现方式太多。咱们这边介绍的是一最简单的UV动画(无顶点位移),整个mesh由4个顶点构成。实现了水面效果(左图),不动代码稍微修改下参数和贴图可以实现岩浆效果(右图)。有要思路是1,uv按时间去做正弦波移动2,在1的基础上加个凹凸图混合uv3,在1、2的基础上加个水流方向4,加上对雾效的支持,如没必要请自行删除雾效代码(把包含fog的几行代码删除)S..._unity 岩浆shader
文章浏览阅读5k次。广义线性模型是线性模型的扩展,它通过连接函数建立响应变量的数学期望值与线性组合的预测变量之间的关系。广义线性模型拟合的形式为:其中g(μY)是条件均值的函数(称为连接函数)。另外,你可放松Y为正态分布的假设,改为Y 服从指数分布族中的一种分布即可。设定好连接函数和概率分布后,便可以通过最大似然估计的多次迭代推导出各参数值。在大部分情况下,线性模型就可以通过一系列连续型或类别型预测变量来预测正态分布的响应变量的工作。但是,有时候我们要进行非正态因变量的分析,例如:(1)类别型.._广义线性回归模型
文章浏览阅读69次。环境保护、 保护地球、 校园环保、垃圾分类、绿色家园、等网站的设计与制作。 总结了一些学生网页制作的经验:一般的网页需要融入以下知识点:div+css布局、浮动、定位、高级css、表格、表单及验证、js轮播图、音频 视频 Flash的应用、ul li、下拉导航栏、鼠标划过效果等知识点,网页的风格主题也很全面:如爱好、风景、校园、美食、动漫、游戏、咖啡、音乐、家乡、电影、名人、商城以及个人主页等主题,学生、新手可参考下方页面的布局和设计和HTML源码(有用点赞△) 一套A+的网_垃圾分类网页设计目标怎么写
文章浏览阅读614次,点赞7次,收藏11次。之前找到一个修改 exe 中 DLL地址 的方法, 不太好使,虽然能正确启动, 但无法改变 exe 的工作目录,这就影响了.Net 中很多获取 exe 执行目录来拼接的地址 ( 相对路径 ),比如 wwwroot 和 代码中相对目录还有一些复制到目录的普通文件 等等,它们的地址都会指向原来 exe 的目录, 而不是自定义的 “lib” 目录,根本原因就是没有修改 exe 的工作目录这次来搞一个启动程序,把 .net 的所有东西都放在一个文件夹,在文件夹同级的目录制作一个 exe._.net dll 全局目录
文章浏览阅读1.5k次。本文为转载,原博客地址:http://blog.csdn.net/hujingshuang/article/details/46910259简介 BRIEF是2010年的一篇名为《BRIEF:Binary Robust Independent Elementary Features》的文章中提出,BRIEF是对已检测到的特征点进行描述,它是一种二进制编码的描述子,摈弃了利用区域灰度..._breif description calculation 特征点
文章浏览阅读4.1k次,点赞21次,收藏79次。本文是《基于SpringBoot的房屋租赁管理系统》的配套原创说明文档,可以给应届毕业生提供格式撰写参考,也可以给开发类似系统的朋友们提供功能业务设计思路。_基于spring boot的房屋租赁系统论文