请图片处理/Core ML/机器学习的大佬进来答疑解惑

196 天前
 magic3584

我现在想在静态图片上用 CoreML 去掉人体(能打码最好),进行了以下尝试,但有些问题不太懂

  1. 用 Vison 里的人体分割识别,可以实现人体透明,但是对其中的参数不太理解。

    现象:分割前传入 image size 为 1920*1080 px, 识别后返回 mask size 为 2016 * 1512 。最后渲染的时候根据宽高比进行 scale 后实现效果。

    问题:为什么 mask size 和原始图片比例不一样?但是最后又能实现效果。还是说其中有些像素差了但是我并没有察觉吗?

  2. 使用了 DeepLabV3 模型。模型要求输入 Image (Color 513 × 513) ,输出 MultiArray (Int32 513 × 513)。其实 renderView 还是 200*200pt 。

    现象:我传入了 19201080 的 image, renderView 是拿返回的 513513 数据渲染的。可以实现人体的黑色范围标记。

    	//renderView render
    	//200*200
    	let size = self.bounds.size
            
            //513
            let segmentationmapWidthSize = segmentationmap.segmentationmapWidthSize
            let segmentationmapHeightSize = segmentationmap.segmentationmapHeightSize
            
            let w = size.width / CGFloat(segmentationmapWidthSize)
            let h = size.height / CGFloat(segmentationmapHeightSize)
            
            for j in 0..<segmentationmapHeightSize {
                for i in 0..<segmentationmapWidthSize {
                	//这里是模型返回的标记的 class 类型
                    let value = segmentationmap[j, i].int32Value
    
                    let rect: CGRect = CGRect(x: CGFloat(i) * w, y: CGFloat(j) * h, width: w, height: h)
    
                    let color: UIColor = segmentationColor(with: value)
    
                    color.setFill()
                    UIRectFill(rect)
                }
            }
    

    问题:

     1. 为什么传入比例明明不是 513*513 ,返回的数据进行如上处理后可以和原来图片重合?是内部自动将图片先处理成 513*513 的了吗?
     - 如果没处理,为什么通过以上方法后可以和原图重叠?现在返回类别里透明的和原图背景都是 0 ,我怎么去区分透明的和原图的背景?
     - 如果处理了,它又怎么保证和原图对得上?
    

请大佬帮我答疑解惑。如果打字太多,直接甩我一些链接或者关键字也可以。

352 次点击
所在节点    机器学习
0 条回复

这是一个专为移动设备优化的页面(即为了让你能够在 Google 搜索结果里秒开这个页面),如果你希望参与 V2EX 社区的讨论,你可以继续到 V2EX 上打开本讨论主题的完整版本。

https://www.v2ex.com/t/988195

V2EX 是创意工作者们的社区,是一个分享自己正在做的有趣事物、交流想法,可以遇见新朋友甚至新机会的地方。

V2EX is a community of developers, designers and creative people.

© 2021 V2EX