Segment Anything

Segment Anything官网,model,github,論文,meta sam AI圖像分割模型

什么是Segment Anything?

最近 Meta 提出的分割一切模型（Segment Anything Model，SAM）突破了分割界限，极大地促进了计算机視觉基礎模型的發展。SAM 是一个提示型模型，其在 1100 万張圖像上訓练了超过 10 亿个掩碼，實现了强大的零样本泛化。許多研究人员认為「这是 CV 的 GPT-3 时刻，因為 SAM 已經学会了物体是什么的一般概念，甚至是未知的物体、不熟悉的場景（如水下、細胞顯微镜）和模糊的情况」，并展示了作為 CV 基本模型的巨大潛力。

Segment Anything官网: https://segment-anything.com/

Segment Anything論文: https://arxiv.org/abs/2304.02643

Segment Anything github專案地址:

https://github.com/facebookresearch/segment-anything

Segment Anything 做為Facebook 推出的object分割模型（SAM）和資料集（SA-1B），万物可分割。基于NLP的思路，SAM提出了promp的交互的概念，即透過提示返回有效的mask，提示如point, box等，可以用于下遊任務。

Segment Anything使用方法

Segment Anything（SA）專案：一种新的圖像分割任務、模型和資料集。在資料采集循環中使用我们的高效模型，我们建立了迄今為止最大的分割資料集，在1100万許可和尊重隐私的圖像上有超过10亿个掩碼。该模型被設计和訓练為可提示的，因此它可以將zero-shot transfer零样本迁移到新的圖像分布和任務。我们評估了它在許多任務上的能力，并發现它的零样本性能令人印象深刻，通常与之前的完全监督的結果相当，甚至更優。我们正在發布Segment Anything Model（SAM）和相应的資料集（SA-1B），其中包含10亿个掩碼和1100万个圖像，以促进计算机視觉基礎模型的研究。

Segment  Anything借助了NLP任務中的Prompt思路，透過给圖像分割任務提供一下Prompt提示来完成任意目标的快速分割。提示可以是前景/背景点集、粗略的框或遮罩、任意形式的文本或者任何指示圖像中需要进行分割的信息。该任務的输入是原始的圖像和一些提示语，输出是圖片中不同目标的掩碼信息。