PaddleViT用于语义分割数据集加载问题

[peach-xiao]

您好！我在使用PaddleViT语义分割用于自己的数据集的时候遇到了问题，希望您可以抽空帮我解决一下

1.使用自己的数据集用于语义分割，或者Cityscapes，ADE20K等数据集，lable标签载入应该是彩色的图片，还是已经将颜色（如0，255，255）转换为对应类别（如类别1，）后的黑色图片呢？目前我没有在代码中找到label标签颜色和类别转换的代码。

2.为什么使用数据增强策略，在模型是val的时候，图片进行了数据增强，而label没有对应的也进行相应的变换。而是直接open图片？如在semantic_segementation/src/datasets/ade.py和vaihingen.py

if self.mode == 'val':
img, _ = self.transforms(img=image_path) # --> img进行相应的缩放，裁剪等数据增强策略
label = np.asarray(Image.open(label_path)) #--> label为什么不做对应的数据增强，如缩放，裁剪
label = label - 1
label = label[np.newaxis, :, :]
return img, label

期待开发者团队您的回复！ @xperzy

[xperzy]

Hello, 感谢使用PaddleViT，您的问题我们已经收到。

@wutianyiRosun 能否尽快看一下并处理这个问题？Thanks！

[wutianyiRosun]

@xiaoguoguo2018
关于问题1： label是指单通道的map, 范围是0,..., Num_Class -1.
关于问题2：在验证测试时label一般不做数据增强，一方面我们期待模型为输入图像做分割预测，输入你怎么变换都可以，但label要保持原始的。另一方面，如果label也做数据增强，那精度评估就不公平了，因为不同人使用数据增强也有差异。