KITTI 3D目标检测数据集入门_kitti vision benchmark suite-程序员宅基地

下载地址与描述

数据集官网下载地址：
The KITTI Vision Benchmark Suite

在这里插入图片描述

3D目标检测数据集由7481个训练图像和7518个测试图像以及相应的点云数据组成，包括总共80256个标记对象。
上图红色框标记的为我们需要的数据，分别是彩色图像数据（12GB）、点云数据（29GB）、相机矫正数据（16MB）、标签数据（5MB）。其中彩色图像数据、点云数据、相机矫正数据均包含training（7481）和testing（7518）两个部分，标签数据只有training数据。

需要填写邮箱，然后会给发送下载链接（但是很慢）！！！
可以通过—KITTI数据集下载（百度云）
KITTI数据集下载（百度云）_u013086672的博客-程序员宅基地

3D点云用于目标检测的算法历程

在这里插入图片描述

其中上半部分主要是利用了图片以及激光雷达作为输入。
然后下半部分是仅仅利用了激光雷达的点云作为输入，其中同理分为两种类型，一是基于无规则的点云直接提取特征做检测即Point-based，另一种是Voxel-based，其主要先把无规则点云处理为有规则的，然后再提取特征。

LIDAR和Image融合的开山之作无疑是百度的MV3D，而后便是AVOD，它们的检测精度大于LIDAR Only的VoxelNet。

这里注意的是AP主要是car的检测，再者行人检测还没有这么好的效果，因为很多物体和人比较相似所以误差较大。

KITTI数据集的采集

KITTI数据集的数据采集平台装配有2个灰度摄像机，2个彩色摄像机，一个Velodyne 64线3D激光雷达，4个光学镜头，以及1个GPS导航系统。

在这里插入图片描述

为了生成双目立体图像，相同类型的摄像头相距54cm安装。由于彩色摄像机的分辨率和对比度不够好，所以还使用了两个立体灰度摄像机，它和彩色摄像机相距6cm安装。为了方便传感器数据标定，规定坐标系方向如下：
• Camera: x = right, y = down, z = forward
• Velodyne: x = forward, y = left, z = up
• GPS/IMU: x = forward, y = left, z = up

在这里插入图片描述

(雷达采集数据时，是绕着竖直轴旋转扫描，只有当雷达旋转到与相机的朝向一致时会触发相机采集图像。不过在这里无需关注这一点，直接使用给出的同步且校准后的数据即可，它已将雷达数据与相机数据对齐，也就是可以认为同一文件名对应的图像数据与雷达点云数据属于同一个场景。)

数据集介绍

1）images文件

在这里插入图片描述

2）velodyne文件

根据devkit_odometry中readme.txt中所述：雷达点云是以二进制形式存储的，后缀为.bin，每行数据表示一个雷达点：x, y, z, intensity，其中（x, y, z）单位为米，intensity为回波强度，范围在0 ~ 1.0之间。回波强度大小与雷达距离物体的远近和物体本身的反射率有关，一般情况下用不到，此处可以忽略intensity这一列的内容。图像数据是以.png格式存储的，可直接查看。图像已经进行了畸变校正，在此以双目视觉的左图像为例，进行雷达点云与图像数据的融合处理。

效果如下：

3）calib文件

在这里插入图片描述

注：这里可以将label中照相机标注的3D目标检测框的中心坐标通过上面公式映射到点云中物体的真实检测框，这样的话都是三位坐标系的转换，那么对于2D目标检测框如何从点云中来得到的，这是个问题！！！！------这段理解是错的。。
应该是：
从雷达坐标系变换到xx号相机的图像坐标系的公式：
设X为雷达坐标系中的齐次坐标，Y为对应在xx号相机的图像坐标系的齐次坐标，则在这里插入图片描述

以上是对于raw data，对于目标检测其转换是：

在这里插入图片描述

(R|T) ：雷达坐标系 -> 0号相机坐标系
R_rect_00： 0号相机坐标系 -> 矫正后的0号相机坐标系
P_rect_0x：矫正后的0号相机坐标系 -> x号相机的图像平面
从上面可以看出主要是从三维到二维平面的转换！！！
效果图：待！！
重要注意：补充理解：
在经过了之后的资料查询，有了之间的大体关系的认知，先重新将部分理解的梳理一遍：
校准文件如上面所示，其主要包括，从3D激光雷达的点云坐标x映射到0号相机的坐标系Tr_velo_to_cam * x（因为两者的三维空间的坐标系的标定是不一样的，可能不对）；R0_rect Tr_velo_to_cam * x，其中校准是为了使多个摄像机的图像位于同一平面上，即所对应的图片*；**然后可以将其投影到对应的图片上，P_rect_2 * R0_rect *Tr_velo_to_cam * x ，注（等价将投影面向左移动同时保持针孔位置不变，即可投影到彩色摄像机的图片上）。
然后在这里的两个测试：
第一个测试是将3D边界框从标签文件投影到图像上。
第二项测试是将点云坐标中的一个点投影到图像上。
代数很简单，如下所示
第一个等式用于将3D绑定框投影到与camera_2图像协调的参考摄像机中。
第二个方程将Velodyne坐标点投影到camera_2图像中。
y_image = P2 * R0_rect * R0_rot * x_ref_coord
y_image = P2 * R0_rect * Tr_velo_to_cam * x_velo_coord
在上面，R0_rot是要从对象坐标映射到参考坐标的旋转矩阵。”
重要注意：补充理解2：
内参矩阵+外参矩阵点云到相机的坐标转换：
见处理点云数据(五)：坐标系的转换_听说你爱吃芒果-程序员宅基地

本文链接：https://blog.csdn.net/qq_38890412/article/details/120543274

原作者删帖不实内容删帖广告或垃圾文章投诉

智能推荐

生活垃圾数据集（YOLO版）_垃圾回收数据集-程序员宅基地

文章浏览阅读1.6k次，点赞5次，收藏20次。【有害垃圾】：电池（1 号、2 号、5 号）、过期药品或内包装等；【可回收垃圾】：易拉罐、小号矿泉水瓶；【厨余垃圾】：小土豆、切过的白萝卜、胡萝卜，尺寸为电池大小；【其他垃圾】：瓷片、鹅卵石（小土豆大小）、砖块等。文件结构|----classes.txt # 标签种类|----data-txt\ # 数据集文件集合|----images\ # 数据集图片|----labels\ # yolo标签。_垃圾回收数据集

天气系统3------微服务_cityid=101280803-程序员宅基地

文章浏览阅读272次。之前写到通过封装的API 已经可以做到使用redis进行缓存天气信息但是这一操作每次都由客户使用时才进行更新不友好所以应该自己实现半小时的定时存入redis 使用quartz框架首先添加依赖build.gradle中// Quartz compile('org.springframework.boot:spring-boot-starter-quartz'..._cityid=101280803

python wxpython 不同Frame 之间的参数传递_wxpython frame.bind-程序员宅基地

文章浏览阅读1.8k次，点赞2次，收藏8次。对于使用触发事件来反应的按钮传递参数如下：可以通过lambda对function的参数传递：t.Bind(wx.EVT_BUTTON, lambda x, textctrl=t: self.input_fun(event=x, textctrl=textctrl))前提需要self.input_fun(self,event,t):传入参数而同时两个Frame之间的参数传..._wxpython frame.bind

cocos小游戏开发总结-程序员宅基地

文章浏览阅读1.9k次。最近接到一个任务要开发消消乐小游戏，当然首先就想到乐cocosCreator来作为开发工具。开发本身倒没有多少难点。消消乐的开发官网发行的书上有专门讲到。下面主要总结一下开发中遇到的问题以及解决方法屏幕适配由于设计尺寸是750*1336，如果适应高度，则在iphonX下，内容会超出屏幕宽度。按宽适应，iphon4下内容会超出屏幕高度。所以就需要根据屏幕比例来动态设置适配策略。 onLoad..._750*1336

ssm435银行贷款管理系统+vue_vue3重构信贷管理系统-程序员宅基地

文章浏览阅读745次，点赞21次，收藏21次。web项目的框架，通常更简单的数据源。21世纪的今天，随着社会的不断发展与进步，人们对于信息科学化的认识，已由低层次向高层次发展，由原来的感性认识向理性认识提高，管理工作的重要性已逐渐被人们所认识，科学化的管理，使信息存储达到准确、快速、完善，并能提高工作管理效率，促进其发展。论文主要是对银行贷款管理系统进行了介绍，包括研究的现状，还有涉及的开发背景，然后还对系统的设计目标进行了论述，还有系统的需求，以及整个的设计方案，对系统的设计以及实现，也都论述的比较细致，最后对银行贷款管理系统进行了一些具体测试。_vue3重构信贷管理系统

乌龟棋题解-程序员宅基地

文章浏览阅读774次。题目描述原题目戳这里小明过生日的时候，爸爸送给他一副乌龟棋当作礼物。乌龟棋的棋盘是一行 NNN 个格子，每个格子上一个分数（非负整数）。棋盘第 111 格是唯一的起点，第 NNN 格是终点，游戏要求玩家控制一个乌龟棋子从起点出发走到终点。乌龟棋中 MMM 张爬行卡片，分成 444 种不同的类型（ MMM 张卡片中不一定包含所有 444 种类型的卡片，见样例），每种类型的卡片上分别标有 1,2,3,41, 2, 3, 41,2,3,4 四个数字之一，表示使用这种卡片后，乌龟棋子将向前爬行相应的格子数

随便推点

python内存泄露的原因_Python服务端内存泄露的处理过程-程序员宅基地

文章浏览阅读1.5k次。吐槽内存泄露 ? 内存暴涨 ? OOM ?首先提一下我自己曾经历过多次内存泄露，到底有几次？我自己心里悲伤的回想了下，造成线上影响的内存泄露事件有将近5次了，没上线就查出内存暴涨次数可能更多。这次不是最惨，相信也不会是最后的内存的泄露。有人说，内存泄露对于程序员来说，是个好事，也是个坏事。怎么说？好事在于，技术又有所长进，经验有所心得…. 毕竟不是所有程序员都写过OOM的服务…. 坏事..._python内存泄露

Sensor (draft)_draft sensor-程序员宅基地

文章浏览阅读747次。1.sensor typeTYPE_ACCELEROMETER=1 TYPE_MAGNETIC_FIELD=2 (what's value mean at x and z axis)TYPE_ORIENTATION=3TYPE_GYROSCOPE=4 TYPE_LIGHT=5(in )TYPE_PRESSURE=6TYPE_TEMPERATURE=7TYPE_PRO_draft sensor

【刘庆源码共享】稀疏线性系统求解算法MGMRES(m) 之矩阵类定义三(C++)_gmres不构造矩阵-程序员宅基地

三分钟带你看完HTML5增强的【iframe元素】_iframe allow-top-navigation-程序员宅基地

文章浏览阅读1.7w次，点赞6次，收藏20次。HTML不再推荐页面中使用框架集，因此HTML5删除了<frameset>、<frame>和<noframes>这三个元素。不过HTML5还保留了<iframe>元素，该元素可以在普通的HTML页面中使用，生成一个行内框架，可以直接放在HTML页面的任意位置。除了指定id、class和style之外，还可以指定如下属性：src 指定一个UR..._iframe allow-top-navigation

Java之 Spring Cloud 微服务的链路追踪 Sleuth 和 Zipkin（第三个阶段）【三】【SpringBoot项目实现商品服务器端是调用】-程序员宅基地

文章浏览阅读785次，点赞29次，收藏12次。Zipkin 是 Twitter 的一个开源项目，它基于 Google Dapper 实现，它致力于收集服务的定时数据，以解决微服务架构中的延迟问题，包括数据的收集、存储、查找和展现。我们可以使用它来收集各个服务器上请求链路的跟踪数据，并通过它提供的 REST API 接口来辅助我们查询跟踪数据以实现对分布式系统的监控程序，从而及时地发现系统中出现的延迟升高问题并找出系统性能瓶颈的根源。除了面向开发的 API 接口之外，它也提供了方便的 UI 组件来帮助我们直观的搜索跟踪信息和分析请求链路明细，

烁博科技|浅谈视频安全监控行业发展_2018年8月由于某知名视频监控厂商多款摄像机存在安全漏洞-程序员宅基地

文章浏览阅读358次。“随着天网工程的建设，中国已经建成世界上规模最大的视频监控网，摄像头总数超过2000万个，成为世界上最安全的国家。视频图像及配套数据已经应用在反恐维稳、治安防控、侦查破案、交通行政管理、服务民生等各行业各领域。烁博科技视频安全核心能力：精准智能数据采集能力：在建设之初即以应用需求为导向，开展点位选择、设备选型等布建工作，实现前端采集设备的精细化部署。随需而动的AI数据挖掘能力:让AI所需要的算力、算法、数据、服务都在应用需求的牵引下实现合理的调度，实现解析能力的最大化。完善的数据治理能力：面_2018年8月由于某知名视频监控厂商多款摄像机存在安全漏洞