1、下载数据集：

Login – Cityscapes Dataset (cityscapes-dataset.com)，需要先注册登录

注意解压的时候最好一个一个解，然后把License和readme拖到对应的文件夹中，变成这样：

对应相机参数、深度图像、真值、RGB图像。每个文件夹下都有train、val、test，我只使用train和val。

文件夹中对应的目录含义可以参照这个回答，大概就是这样：(54 封私信 / 1 条消息) cityscapes数据集如何使用？ - 知乎 (zhihu.com)

要是想自己设置标签类别和数量，可以看这个制作cityscapes标签数据集！！！（自主分类）_cityscapes 标签类别-程序员宅基地

2、排序：

我需要格式如下：

Cityscape/

|——RGB/                                             # RGB图像

|——|——0001.png

|——|——0002.png

|——|——.....

|——Depth/                                           # 深度图像

|——|——0001.png

|——|——0002.png

|——|——.....

|——Label/                                            # 标签图像

|——|——0001.png

|——|——0002.png

|——|——.....

|——camera/                                         # 相机参数

|——|——0001.json

|——|——0002.json

|——|——.....

|——train.txt                                         # 训练序号，意思就是这里面序号的图像用作训练集

|——val.txt                                           # 验证序号，意思就是这里面序号的图像用作验证集

所以我需要对子文件图像进行提取、排序并编号，以RGB为例（注意是在dataset_root下运行）：

#!/bin/bash
# 提取训练图像到RGB/train中
mkdir RGB
cd ./RGB
mkdir train
cd ..
find ./leftImg8bit/train/ -type f -name "*.png" -exec cp {} RGB/train/ \;

# 编号 0-2974
cd ./RGB/train

counter=0
for file in *; do
    if  [[ -f $file && $file != "rename.sh" ]] ; then
        new_name=$(printf "%04d" $counter)
        mv "$file" "$new_name.${file##*.}"
        ((counter++))
    fi
done

# 提取验证集图像到RGB/test中
cd ..
mkdir test
cd ..
find ./leftImg8bit/val/ -type f -name "*.png" -exec cp {} RGB/test/ \;

#编号 2975-3474
cd ./RGB/test

counter=2975
for file in *; do
    if  [[ -f $file && $file != "rename.sh" ]] ; then
        new_name=$(printf "%04d" $counter)
        mv "$file" "$new_name.${file##*.}"
        ((counter++))
    fi
done

# 移动图像并删除子文件夹
cd ..
cd ..
cp -r ./RGB/train/* RGB
cp -r ./RGB/test/* RGB

rm -r ./RGB/train
rm -r ./RGB/test

将以上代码保存为process_RGB.sh，使用bash process_RGB.sh运行。同理对应的Label、Depth、Camera都可以基于此修改。

然后创造训练和验证需要文件：

seq -w 0 2974 > train.txt
seq -w 2975 3474 > train.txt

整个操作完之后，应该是这样子的，画红圈的是有用的文件：

3、深度信息恢复

这一部分参照的是这个链接:The requirement of cityscapes RGBD dataset · Issue #1 · charlesCXK/RGBD_Semantic_Segmentation_PyTorch (github.com)

要理解代码推荐去看matlab版本的函数charlesCXK/Depth2HHA: Use MATLAB to convert depth image into HHA image. In this repo, I will use NYU Depth V2 dataset as an example. (github.com)

注意关键点是：深度数据保存时为小数，所以*1000从而保存为png，其中D的单位都要是m，而不是图像中呈现的灰度数值

 # 恢复真实的深度值
    disp = cv2.imread(img_path+"{:04d}.png".format(i), cv2.IMREAD_UNCHANGED)  # 读取16位深度图像
    disp = np.array(disp).astype(np.float64)
    disp[disp > 0] = (disp[disp > 0] - 1) / 256  # convert the png file to real disparity values, according to the official documentation.
    camera_file=param_path+"{:04d}.json".format(i)
    with open(camera_file,'r') as file:
        camera_params=json.loads(file.read())
        # depth = camera_params['extrinsic']['baseline'] * camera_params['intrinsic']['fx'] / disp[disp!=0]
        depth=np.where(disp!=0,camera_params['extrinsic']['baseline'] * camera_params['intrinsic']['fx'] / disp,0)
    depth[depth == np.inf] = 0
    depth[depth == np.nan] = 0

4、生成HHA图像

使用Depth2HHA代码进行HHA转化，然后里面注意要改这些地方

（1）camera_metrix用数据集的相机参数算

（2）depth（单位m），首先要进行预处理，把遥远的天空距离最大值设置成为100m

（3）getHHA中要改I的数值

# 获取相机参数
def get_camera(camera_param):
    fx_rgb = camera_params['intrinsic']['fx']
    fy_rgb = camera_params['intrinsic']['fy']
    cx_rgb = camera_params['intrinsic']['u0']
    cy_rgb = camera_params['intrinsic']['v0']
    C = np.array([[fx_rgb, 0, cx_rgb], [0, fy_rgb, cy_rgb], [0, 0, 1]])

    return C

def getHHA(C, D, RD):
    missingMask = (RD == 0);
    pc, N, yDir, h, pcRot, NRot = processDepthImage(D * 100, missingMask, C);

    tmp = np.multiply(N, yDir)
    acosValue = np.minimum(1, np.maximum(-1, np.sum(tmp, axis=2)))
    angle = np.array([math.degrees(math.acos(x)) for x in acosValue.flatten()])
    angle = np.reshape(angle, h.shape)

    '''
    Must convert nan to 180 as the MATLAB program actually does. 
    Or we will get a HHA image whose border region is different
    with that of MATLAB program's output.
    '''
    angle[np.isnan(angle)] = 180

    pc[:, :, 2] = np.maximum(pc[:, :, 2], 100)
    I = np.zeros(pc.shape)

    # opencv-python save the picture in BGR order.
    I[:, :, 2] = 20000 / pc[:, :, 2]*6
    I[:, :, 1] = h/20
    I[:, :, 0] = (angle + 128 - 90) + 10

    # print(np.isnan(angle))

    '''
    np.uint8 seems to use 'floor', but in matlab, it seems to use 'round'.
    So I convert it to integer myself.
    '''
    I = np.rint(I)

    # np.uint8: 256->1, but in MATLAB, uint8: 256->255
    I[I > 255] = 255
    HHA = I.astype(np.uint8)
    return HHA

depth=np.minimum(depth,100)
D=depth
RD=depth
camera_matrix=get_camera(camera_params)
hha = getHHA(camera_matrix, D, RD)
cv2.imwrite('HHA_city/{:04d}.png'.format(i), hha)

5、结果展示

我和论文可视化结果比较了一下，应该是对的把......要是哪里有问题欢迎指出！

6、疑惑点

在处理HHA图像的时候，这个函数:

获取的是灰度图像，为什么是使用color的参数呢？