CornerNet跑自己数据集笔记-程序员宅基地

技术标签: python  深度学习  项目经验  

  • 原repos地址为:https://github.com/princeton-vl/CornerNet
  • 为了在服务器的cuda10电脑上用自己的数据集跑这份代码,主要有三点:
    1. 修改数据集接口
    2. 适应cuda10和pytorch1.5
    3. 训练配置
  • 接下来就分点详述:

修改数据集接口:

  • 有四个文件要修改:
    • models/CornerNet.py:
      • 72行model类的outdim变量改为自己数据集的类别数,如果类别加上背景为n+1,那么改为n
    • config/CornerNet.json
      • “train_split” 和 “val_split”(这里改为什么后面会提到)
      • "categories"改为自己数据集的类别数,也是,如果加上背景是n+1那么改为n
    • db/detection.py
      • self._configs[“categories”] 设为自己的数据集的类别数,同上
    • db/coco.py
      • 这个是根据自己的数据集的路径灵活修改的,我以我的为例子,我先将我的数据集的标注转为coco格式的数据集,也就是有两个json文件分别是训练集train.json和测试集的标注test.json(根据我的需要我没有设验证集,有需要的灵活应变),此外还有所有的图片文件无论是训练集还是测试集全放在同一个文件夹中,总的来说,repos目录下的data文件夹中,有两个文件夹,一个是cocoapi所在文件夹,一个是vhr(我的数据集),vhr文件夹中有两个文件夹,images和annotations,images里面是所有的图片,annotations里面是两个json文件
      • 根据上述路径,需要修改的是coco.py里MSCOCO类里面的几个变量:
        • self._dataset:这个变量其实是一个字符串,原来的写法是为了,利用config 的json文件里面的train_split和val_split作为键从字典中取出对应路径的字符串,这个字符串对应着你标注文件的前缀,由于我的标注文件是train.json和test.json,所以我把self._dataset设为
          self._dataset = {
                      
                  "train": "train",
                  "test": "test"
              }[self._split]
          
          同时将前面提到的CornerNet.json文件里面的两项设为:
          "train_split": "train",
                  "val_split": "test",
          
        • self._coco_dir :这个变量是为了指出数据集文件夹的名称,为了配合后续的label_dir和image_dir而使用的,因此我设为:self._coco_dir = os.path.join(data_dir, "vhr")
        • self._label_dir 和 self._label_file:label_dir是为了配合label_file指出json文件的路径和文件名的,只要最终label_flie这个变量指向你json文件即可,我设为:self._label_dir = os.path.join(self._coco_dir, "annotations") self._label_file = os.path.join(self._label_dir, "{}.json") self._label_file = self._label_file.format(self._dataset)
        • self._image_dir 这个变量最终要指向图片所在的文件夹的路径,所以我设为:self._image_dir = os.path.join(self._coco_dir, "images")
        • self._cat_ids 如果你的标注的cat_id是0到n-1的不间断的数字,那么这里设为[i+1 for i in range(n)]即可,其中n要替换为你的类别数,自此数据集接口修改大功告成

适应cuda10和pytorch1.5:

  • 这个我找了很久才找到的方法,即使你按照repos给的环境安装指引去安装,只要你GPU的驱动依赖的是cuda10,就会出错,而且还不会告诉你错在哪里,就是训练卡了半小时最后告诉你unhandled cuda error,所以我在原来的环境的基础上,用这句命令行把pytorch从0.4更新为最新的1.5同时用cuda10:conda install pytorch torchvision cudatoolkit=10.1 -c pytorch并且重新编译了相关环境
  • 但是这样是会出错的,原因是它的cptool本来就是写在pytorch0.4和cuda8上面的,所以要改cptool,简单的方法就是把cornernet-lite这个repos里写在pytorch1.0上的cptool直接覆盖掉原来的cptool,在这里添加链接描述,把新代码的_cptools文件夹覆盖到原来的_cptools文件夹上就行了
  • 但是这样会出现新的问题,它不停地报warning,而且按网上说的方法去组织python报warning并没有用。warning的原因是新的_cptools是在pytorch1.0上写的,但是pytorch1.0以后已经抛弃了1.0中用kByte作为mask的做法而需要改为kBool,具体是两步修改:
    • 把_cptools中*_pool.cpp,也就是说4个都要,中的kByte改为kBool
    • 把sample/coco.py中77行的tagmasks改为np.tools
      tag_masks = np.zeros((batch_size, max_tag_len), dtype=np.bool)
    • 这样就大功告成了

其他配置

  • 最后再讲一下其它配置,本来不需要说但是有一个地方有点坑,CornerNet.json里面的chunk_size看起来不明所以不知道是什么其实指的是每张卡上的batchsize,可以看出原来是在10张卡上训练的,但是多数人没有10张卡,所以会出错,我有4张卡,所以是:"chunk_sizes": [4, 4, 4, 4],,同时要把batch_size改为chunk_sizes的加和,我是16
  • 此外还有就是如果是在服务器上挂后台训练并且把log输出到文件中,由于它用了tqdm,不够友好,所以我把train.py里面的tqdm去掉了
版权声明:本文为博主原创文章,遵循 CC 4.0 BY-SA 版权协议,转载请附上原文出处链接和本声明。
本文链接:https://blog.csdn.net/weixin_44326452/article/details/106272719

智能推荐

计算机丢失concrt140,小编教你解决concrt140 dll 【解决教程】 的技巧_-程序员宅基地

文章浏览阅读4.5w次。近日有小伙伴发现电脑出现问题了,在突然遇到concrt140 dll时不知所措了,对于concrt140 dll带来的问题,其实很好解决concrt140 dll带来的问题,下面小编跟大家介绍concrt140 dll解决方法:丢失CONCRT140.dll,怎么办?答:分析及解决:网上下载这个DLL文件,将其放置到system32目录下面。 重启系统,或者在CMD下面运行regsvr32*.dl..._concrt140.dll下载教程

微信小程序源码案例大全_微信小程序switch页面demo-程序员宅基地

文章浏览阅读4.3k次,点赞4次,收藏62次。微信小程序demo:足球,赛事分析 小程序简易导航 小程序demo:办公审批 小程序Demo:电魔方 小程序demo:借阅伴侣 微信小程序demo:投票 微信小程序demo:健康生活 小程序demo:文章列表demo 微商城(含微信小程序)完整源码+配置指南 微信小程序Demo:一个简单的工作系统 微信小程序Demo:用于聚会的小程序 微信小程序Demo:Growth 是一款..._微信小程序switch页面demo

SLAM学习笔记(Code2)----刚体运动、Eigen库_eigen.determinant-程序员宅基地

文章浏览阅读2.2k次。2.1除了#include<iostream>之外的头文件#include <Eigen/Core>//Core:核心#include <Eigen/Dense>//求矩阵的逆、特征值、行列式等#include <Eigen/Geometry>//Eigen的几何模块,可以利用矩阵完成如旋转、平移/***其他***/#include <ctime>//可用于计时,比较哪个程序更快#include <cmath>//包含a_eigen.determinant

图像梯度-sobel算子-程序员宅基地

文章浏览阅读1w次,点赞12次,收藏61次。(1)理论部分x 水平方向的梯度, 其实也就是右边 - 左边,有的权重为1,有的为2 。若是计算出来的值很大 说明是一个边界 。y 竖直方向的梯度,其实也就是下面减上面,权重1,或2 。若是计算出来的值很大 说明是一个边界 。图像的梯度为:有时简化为:即:(2)程序部分函数:Sobelddepth 通常取 -1,但是会导致结果溢出,检测不出边缘,故使..._sobel算子

cuda10.1和cudnn7.6.5百度网盘下载链接(Linux版)_cudnn7.6网盘下载-程序员宅基地

文章浏览阅读3.6k次,点赞17次,收藏8次。cuda10.1和cudnn7.6.5百度网盘下载链接(Linux版)在官网下载不仅慢,,,主要是还总失败。。终于下载成功了,这里给出百度网盘下载链接,希望可以帮到别人百度网盘下载链接提取码: vyg5_cudnn7.6网盘下载

Python正则表达式大全-程序员宅基地

文章浏览阅读9.3w次,点赞69次,收藏427次。定义:正则表达式是对字符串(包括普通字符(例如,a 到 z 之间的字母)和特殊字符(称为“元字符”))操作的一种逻辑公式,就是用事先定义好的一些特定字符、及这些特定字符的组合,组成一个“规则字符串”,这个“规则字符串”用来表达对字符串的一种过滤逻辑。正则表达式是一种文本模式,该模式描述在搜索文本时要匹配的一个或多个字符串。上面都是官方的说明,我自己的理解是(仅供参考):通过事先规定好一些特殊字符的匹配规则,然后利用这些字符进行组合来匹配各种复杂的字符串场景。比如现在的爬虫和数据分析,字符串校验等等都需要用_python正则表达式

随便推点

NILM(非侵入式电力负荷监测)学习笔记 —— 准备工作(一)配置环境NILMTK Toolkit_nilmtk学习-程序员宅基地

文章浏览阅读1.9w次,点赞27次,收藏122次。安装Anaconda,Python,pycharm我另一篇文章里面有介绍https://blog.csdn.net/wwb1990/article/details/103883775安装NILMTK有了上面的环境,接下来进入正题。NILMTK官网:http://nilmtk.github.io/因为官方安装流程是基于linux的(官方安装流程),我这里提供windows..._nilmtk学习

k8s-pod 控制器-程序员宅基地

文章浏览阅读826次,点赞20次,收藏28次。如果实际 Pod 数量比指定的多那就结束掉多余的,如果实际数量比指定的少就新启动一些Pod,当 Pod 失败、被删除或者挂掉后,RC 都会去自动创建新的 Pod 来保证副本数量,所以即使只有一个 Pod,我们也应该使用 RC 来管理我们的 Pod。label 与 selector 配合,可以实现对象的“关联”,“Pod 控制器” 与 Pod 是相关联的 —— “Pod 控制器”依赖于 Pod,可以给 Pod 设置 label,然后给“控制器”设置对应的 selector,这就实现了对象的关联。

相关工具设置-程序员宅基地

文章浏览阅读57次。1. ultraEdit设置禁止自动更新: 菜单栏:高级->配置->应用程序布局->其他 取消勾选“自动检查更新”2.xshell 传输文件中设置编码,防止乱码: 文件 -- 属性 -- 选项 -- 连接 -- 使用UTF-8编码3.乱码修改:修改tomcat下配置中,修改: <Connector connectionTimeou..._高级-配置-应用程序布局

ico引入方法_arco的ico怎么导入-程序员宅基地

文章浏览阅读1.2k次。打开下面的网站后,挑选要使用的,https://icomoon.io/app/#/select/image下载后 解压 ,先把fonts里面的文件复制到项目fonts文件夹中去,然后打开其中的style.css文件找到类似下面的代码@font-face {font-family: ‘icomoon’;src: url(’…/fonts/icomoon.eot?r069d6’);s..._arco的ico怎么导入

Microsoft Visual Studio 2010(VS2010)正式版 CDKEY_visual_studio_2010_professional key-程序员宅基地

文章浏览阅读1.9k次。Microsoft Visual Studio 2010(VS2010)正式版 CDKEY / SN:YCFHQ-9DWCY-DKV88-T2TMH-G7BHP企业版、旗舰版都适用推荐直接下载电驴资源的vs旗舰版然后安装,好用方便且省时!) MSDN VS2010 Ultimate 简体中文正式旗舰版破解版下载(附序列号) visual studio 2010正_visual_studio_2010_professional key

互联网医疗的定义及架构-程序员宅基地

文章浏览阅读3.2k次,点赞2次,收藏17次。导读:互联网医疗是指综合利用大数据、云计算等信息技术使得传统医疗产业与互联网、物联网、人工智能等技术应用紧密集合,形成诊前咨询、诊中诊疗、诊后康复保健、慢性病管理、健康预防等大健康生态深度..._线上医疗的定义