pytorch: 四种方法解决RuntimeError: CUDA out of memory. Tried to allocate ... MiB_cuda out of memory. tried to allocate 1.38 gib (gp-程序员宅基地

Bug：RuntimeError: CUDA out of memory. Tried to allocate … MiB

解决方法：

法一：

调小batch_size，设到4基本上能解决问题，如果还不行，该方法pass。

法二：

在报错处、代码关键节点（一个epoch跑完…）插入以下代码（目的是定时清内存）：

import torch, gc

gc.collect()
torch.cuda.empty_cache()

法三（常用方法）：

在测试阶段和验证阶段前插入代码 with torch.no_grad()（目的是该段程序不计算参数梯度），如下：

def test(model,dataloader):
    model.eval()
    with torch.no_grad(): ###插在此处
        for batch in tqdm(dataloader):
			……

法四（使用的别人的代码时）：

如果怎么修改，都会出现题中bug，甚至跑了几轮之后突然出现 cuda out of
memory，查看代码中是否存在一下代码（通常出现在main.py 或者数据加载的py文件中：

kwargs = {
    'num_workers': 6, 'pin_memory': True} if torch.cuda.is_available() else {
    }

将"pin_memory": True改为False，具体原因原博：

pin_memory就是锁页内存，创建DataLoader时，设置pin_memory=True，则意味着生成的Tensor数据最开始是属于内存中的锁页内存，这样将内存的Tensor转义到GPU的显存就会更快一些。
主机中的内存，有两种存在方式，一是锁页，二是不锁页，锁页内存存放的内容在任何情况下都不会与主机的虚拟内存进行交换（注：虚拟内存就是硬盘），而不锁页内存在主机内存不足时，数据会存放在虚拟内存中。显卡中的显存全部是锁页内存,当计算机的内存充足的时候，可以设置pin_memory=True。当系统卡住，或者交换内存使用过多的时候，设置pin_memory=False。因为pin_memory与电脑硬件性能有关，pytorch开发者不能确保每一个炼丹玩家都有高端设备，因此pin_memory默认为False。

本文链接：https://blog.csdn.net/xiyou__/article/details/118529350

原作者删帖不实内容删帖广告或垃圾文章投诉

智能推荐

R语言入门——NA、NAN、Inf（缺失值的识别）_r语言na和nan-程序员宅基地

文章浏览阅读2.7w次，点赞15次，收藏47次。目录00引言1、Inf2、NAN（Not a Number）3、NA与逻辑运算符4、总结00引言这篇的主角是R语言中缺失值(NA)的识别与提取。先介绍NAN、Inf及其运算。在最终介绍缺失值（NA），毕竟重要的都压轴嘛。1、Inf在实数轴上除了确定的有限点，还有两个无限：正无穷、负无穷。用Inf、-Inf表示。> Inf[1] Inf> -Inf[1] -Inf>..._r语言na和nan

Linux CentOS7 安装 Qt 5.9.2-程序员宅基地

文章浏览阅读1.8k次，点赞2次，收藏7次。Linux CentOS7 安装 Qt 5.9.2 参考链接 http://doc.qt.io/qt-5/linux.htmlsudo yum groupinstall "C Development Tools and Libraries"sudo yum install libgl libgl-develsudo yum install mesa-libGL-devel mesa-libG..._centos7 #error "qt requires c++11 support

android studio 报错 AAPT: error: style attribute ‘attr/colorPrimary (aka com._aapt: error: attribute android:style not found.-程序员宅基地

文章浏览阅读1.7w次，点赞5次，收藏4次。是因为把这个 implementation 'androidx.appcompat:appcompat:1.2.0' 给删掉了。dependencies { implementation 'androidx.appcompat:appcompat:1.2.0'}_aapt: error: attribute android:style not found.

2023编程语言趋势_各程序设计语言最新发展趋势-程序员宅基地

文章浏览阅读3.5w次，点赞73次，收藏121次。Python持续霸榜，PHP依旧颓势，Java雄风不再，Rust热度不减，汇编迅速崛起，C语言地位稳固_各程序设计语言最新发展趋势

前方高能！2023开放原子开发者大会亮点攻略，一触即发-程序员宅基地

文章浏览阅读5.1k次，点赞25次，收藏22次。12月16-17日中国 · 无锡。

layui框架学习（35：数据表格_列参数设置）_layui表格-程序员宅基地

文章浏览阅读2.6k次。学习并记录layui框架中内置模块的数据表格模块中与列相关的主要参数设置方式。_layui表格