如何评价FAIR提出的MaskFormer，在语义分割ADE20K上达到SOTA：55.6 mIoU？ 第1页
1
xiaohuzc 网友的相关建议:
之前大部分的语义分割都是用pixel classification，这篇工作的创新之处是看成了一个instance mask prediction，思路挺新奇的。
一点额外想说的是，语义分割本身是没有instance区分的，标注也没有区分instance，那么如果看成instance mask预测的话，就只能简单地根据类别生成K个不同的mask，即各个类别的mask，这里也不区分类内的instance。这个instance mask prediction中的instance就是相对同一类的了，预测的mask也是固定为K，此时N queries其实也可以简化为K queries。
如果再往前的话，K queries可以固定为每个类别的queries，那么训练的loss就可以变成简单的K个sigmoid loss，即区分图像中是不是含有这个类别。每个类别的query和全局特征结合得到该类别的mask prediction。和论文里面说的fixed match基本类似。
而论文提出的方案更通用化，毕竟可以用于全景分割上。
1
相关话题
如何看待周志华等人的新书《机器学习理论导引》？如何评价陈天奇团队新开源的TVM？
从应用的角度来看，深度学习怎样快速入门？
现在的人工智能水平，能代替程序员写代码吗？如果有一天能写代码，是否会促使它发展自己的思维？
编程新手如何提高编程能力？
如何评价 DeepMind 的新工作 AlphaCode?
如何看待 AI 换脸软件「ZAO」的爆火？
如何证明马尔科夫链一定会达到稳态？
如何理解链接预测（link prediction）？
阿里的TDM树深度模型为什么很少有人用，是有哪些问题吗？
相关的话题
如何看待傅首尔对智能汽车的吐槽？智能汽车如何真正为出行带来便利？未来10-20年开发岗程序员会被AI人工智能取代吗？
未来 3~5 年内，哪个方向的机器学习人才最紧缺？
如何评价DeepMind新推出的用于训练通用智能体的XLand？
Meta 公布 AI 概念「Builder Bot」，能够通过语言建造 VR 世界，技术方向上有亮点？
深度学习应用在哪些领域让你觉得「我去，这也能行！」？
防贪腐的治标之策，权宜之策听得太多了，但治本之策到底是什么？为何全世界都找不到治贪腐的终极解决方案？
如何评价新Nature子刊Nature Machine Intelligence的出现？
基于深度学习的自然语言处理在 2016 年有哪些值得期待的发展？
如何评价沐神他们写的《动手学深度学习》这本书？
强化学习和自适应控制的关系是什么？
你见过最差的算法工程师能差到什么程度？
劳荣枝二十年后被抓，容貌和20年前变化很大，警方是怎么判定她是劳荣枝的？
如何评价今年各科技企业举办的开发者大会？
当人工智能复杂到超出任何人类的理解能力时应该如何管理？
如何看待人工智能系统 Libratus 战胜四位德州扑克顶级选手，获得最终胜利？
实验室一块GPU都没有怎么做深度学习？
如何评价旷视开源的YOLOX，效果超过YOLOv5?
如何评价扎克伯格自己写的 Jarvis AI？
做底层 AI 框架和做上层 AI 应用，哪个对自己的学术水平（或综合能力）促进更大？
CV方向多模态融合有哪些好的paper？
如何评价谷歌用30亿数据训练的20亿参数ViT-G/14模型在 ImageNet 达到新的 SOTA？
如何激怒一位人工智能（机器学习、深度学习、强化学习等）爱好者？
FC 游戏《中国象棋》中，困难难度是真的在计算棋谱吗？
交通银行机器人是如何做到如此智能的？
为什么有些学数学的看不惯甚至鄙视 Deep Learning？
AlphaGo 战胜了李世石，人工智能突破了围棋领域，这意味着什么？
如何评价CUHK以及Yuanjun Xiong提出的Trajectory Convolution？
resnet（残差网络）的F（x）究竟长什么样子？
为什么蚂蚁集团会投资 AI 服务商瑞莱智慧？