栏目分类:
子分类:
返回
名师互学网用户登录
快速导航关闭
当前搜索
当前分类
子分类
实用工具
热门搜索
名师互学网 > IT > 软件开发 > 后端开发 > Python

Mask R-CNN读取数据缓慢的问题解决方法(针对单张图片目标很多的数据集)

Python 更新时间: 发布时间: IT归档 最新发布 模块sitemap 名妆网 法律咨询 聚返吧 英语巴士网 伯小乐 网商动力

Mask R-CNN读取数据缓慢的问题解决方法(针对单张图片目标很多的数据集)

 在 Mask R-CNN 的 Dataset 类有一个函数 draw_mask(),利用三个 for 循环重写mask,造成训练及数据加载的瓶颈,在此对draw_mask函数修改。

我的数据集是用labelme标注的,使用labelme的json_to_dataset.py文件转换获得原始图片、yaml、mask图(8位),此处可能不适用于coco格式的数据集。

我该下面源码的原因有两个:

1、如果要使用数据集增强办法扩张数据集,得到的mask图很可能变成24位的mask图,不能使用原Mask RCNN的代码读取数据

8位图是255种调色板中差异最大的颜色,虽然像素值也看可以表示为(R,G,B),但当24位图转换为8位图时会将相似的颜色转换为同一种映射存储,用原Mask RCNN的代码读取8位图的数据只需要查看每个颜色的映射值(RGB共同映射为一个值)的大小即可,但该代码不能处理24位图,因此加载24位图时get_obj_index()函数就会错误,默认最大的映射值是物体数量,但24位图中不是如此。

因此要处理24位的mask图需要另外的遍历方法,此处获得物体数量的方法就用标签数量代替,所以数据集中不要有空标签。

2、原Mask RCNN的代码读取数据使用了三个for循环,读取数据缓慢

下面代码的思路是构建哈希表存储每种第一次遇到的颜色,遍历mask图的每一个像素点,每个像素点通过一个简单的映射关系获得一个哈希值表示这种颜色,如下:

at_pixel = image[row, col, 0] * 0.1 + image[row, col, 1] + image[row, col, 2] * 10

因为mask已经在load_mask()函数中初始化完了,变成一个(w,h,num_ojb)的0矩阵,所以绘制mask 时只需要将每一个遍历到像素点在mask矩阵中相应的位置绘制出来,即如下:

mask[row, col, hashMap.get(at_pixel)] = 1

完整代码如下:

    # 8位深图兼24位深图处理方式
    def draw_mask(self, num_obj, mask, image, image_id):
        image = cv2.cvtColor(np.asarray(image), cv2.COLOR_BGR2RGB)
        hight = image.shape[0]
        width = image.shape[1]
        hashMap = {0: -1}  # 预先将背景像素0映射为-1
        k=0
        for row in range(hight):
            for col in range(width):
                if image[row, col,0]==0 and image[row, col, 1] ==0 and image[row, col, 2]==0:
                    continue
                at_pixel = image[row, col, 0] * 0.1 + image[row, col, 1] + image[row, col, 2] * 10
                if not hashMap.__contains__(at_pixel): # 若该像素值未存在哈希表则加入哈希表
                    hashMap[at_pixel]=k
                    k+=1
                mask[row, col, hashMap.get(at_pixel)] = 1  # 将at_pixel对应的层(哈希值),对应位置赋值1
        return mask


 #重写load_mask
    def load_mask(self, image_id):
        info = self.image_info[image_id]
        img = Image.open(info['mask_path'])
        # num_obj = self.get_obj_index(img) # 以最大像素值作为物体数量,0表示背景
        labels=[]
        labels=self.from_yaml_get_class(image_id)
        labels_form=[]
        for i in range(len(labels)):
            if labels[i].find("particle")!=-1:
                labels_form.append("particle")
        class_ids = np.array([self.class_names.index(s) for s in labels_form])

        # num_obj表示该图实例数(P模式像素值范围0~num_obj,含背景则有num_obj+1层,不含背景则是num_obj层)
        # class_ids表示该图标签数(真实实例数,而不含背景)
        num_obj = len(class_ids) # num_obj表示有效标签数量 = len(class_ids)表示有效标签
        mask = np.zeros([np.shape(img)[0], np.shape(img)[1], num_obj], dtype=np.uint8)
        mask = self.draw_mask(num_obj, mask, img, image_id)

        return mask, class_ids.astype(np.int32)

本代码对于实例越多的mask,加速读取数据的效果越明显,但是我训练时的速度还是很慢,猜测原因是CUP在调整框的位置时计算量太大,又不能用GPU计算而导致的,如果有知道其他训练太慢的原因和解决方法,请大佬告知!

转载请注明:文章转载自 www.mshxw.com
本文地址:https://www.mshxw.com/it/499154.html
我们一直用心在做
关于我们 文章归档 网站地图 联系我们

版权所有 (c)2021-2022 MSHXW.COM

ICP备案号:晋ICP备2021003244-6号