美東時間19日周三，meta發布第三代"分割一切"模型Segment Anything Models（SAM）——SAM 3，實現了重大突破，首次支持用戶通過自然語言描述和圖像示例來識別、分割和追蹤視頻中的任何物體。meta同時發布了用于3D重建的開源模型SAM 3D，并計劃將這些技術整合到Instagram視頻創作應用Edits和meta AI應用中。

SAM 3最核心的創新在于引入了簡稱PCS的"可提示概念分割"（promptable Concept Segmentation）能力。用戶只需輸入“條紋紅色雨傘”這類自然語言提示詞，模型就能自動識別并分割圖像或視頻中所有符合條件的實例，突破了傳統模型依賴固定標簽集的限制。

在處理速度方面，SAM 3模型在一塊英偉達H200 GPU上處理含100多個物體的單張圖像僅耗時30毫秒，在約五個并發目標物體的視頻場景中，可維持接近實時的性能。

meta發布的SA-Co基準測試顯示，SAM 3的性能相比現有系統提升了一倍。在LVIS數據集的零樣本分割任務中，SAM 3的準確率達到47.0，顯著超越此前的38.5。在用戶偏好測試中，SAM 3的輸出效果以約三比一的比例優于最強基準模型OWLv2。

meta介紹，上述技術突破將率先應用于Facebook Marketplace的新功能"房間預覽"（View in Room），幫助用戶在購買家居裝飾品前將產品在個人空間中的擺放效果可視化。meta還推出了Segment Anything Playground平臺，讓普通用戶無需技術背景即可體驗這些前沿AI模型的能力。

突破固定標簽限制，支持開放詞匯分割

傳統圖像分割模型面臨的最大挑戰是難以將自然語言與圖像中的具體視覺元素關聯。現有模型通常只能分割"人"等預定義概念，卻難以理解"條紋紅色雨傘"這類更細致的描述。

SAM 3通過引入可提示概念分割能力解決了這一局限。該模型接受短語形式的文本提示和圖像示例提示，完全擺脫了固定標簽集的束縛。為評估大詞匯量檢測和分割性能，meta創建了SA-Co基準數據集，包含21.4萬個獨特概念、12.4萬張圖像和1700個視頻，概念覆蓋范圍達到現有基準的50倍以上。

該模型同時支持多種提示方式，既包括簡單名詞短語和圖像示例等概念提示，也支持SAM 1和SAM 2引入的點、框、掩碼等視覺提示。這大大提升了分割的靈活性和可用性，特別是對于罕見或難以用文字描述的概念。

SAM 3還可作為多模態大語言模型的感知工具，處理更復雜的提示，例如"坐著但沒有拿禮物盒的人"。當與多模態大語言模型配合使用時，SAM 3在ReasonSeg和OmniLabel等需要推理的復雜文本分割基準測試中表現優于此前研究，且無需在任何指代表達分割或推理分割數據上進行訓練。

創新數據引擎，人機協作提速5倍

獲取帶有分割掩碼和文本標簽的高質量標注圖像是一項重大挑戰，特別是在視頻中詳盡標注每個物體類別的出現位置既耗時又復雜。構建覆蓋大量多樣化詞匯和多個視覺領域的全面數據集需要大量時間和資源。

meta通過創建可擴展的數據引擎解決這一問題，該引擎將SAM 3、人類標注者和AI模型結合在一起，顯著加快了標注速度。對于負提示（圖像或視頻中不存在的概念），標注速度比純人工快約5倍，對于正提示即使在具有挑戰性的細粒度領域也快36%。這個人機混合系統使團隊能夠創建包含超過400萬個獨特概念的大規模多樣化訓練集。

由包括SAM 3和基于Llama的圖像描述系統在內的AI模型組成的流水線會自動挖掘圖像和視頻，生成描述，將描述解析為文本標簽，并創建初始分割掩碼。人類和AI標注者隨后驗證和修正這些提議，形成快速擴展數據集覆蓋范圍的反饋循環，同時持續提升數據質量。

AI標注者基于經過專門訓練的Llama 3.2v模型，在標注任務上達到或超過人類準確度，例如驗證掩碼質量或檢查圖像中某概念的所有實例是否已被詳盡標記。通過將部分人類標注任務委托給AI標注者，吞吐量相比純人工標注流水線提高了一倍以上。

SAM 3D開創物理世界3D重建新標準

SAM 3D包含兩個新的業界領先模型：用于物體和場景重建的SAM 3D Objects，以及用于人體姿勢和形狀估計的SAM 3D Body。這兩個模型在物理世界場景的3D重建方面樹立了新標準。

SAM 3D Objects代表了一種處理視覺定位3D重建和物體姿態估計的新方法，能夠從單張自然圖像重建詳細的3D形狀、紋理和物體布局。該模型的創新來自于突破了長期存在的物理世界3D數據障礙。通過構建強大的數據標注引擎，結合為3D設計的新多階段訓練方案，SAM 3D Objects標注了近100萬張不同的圖像，生成了約314萬個模型參與的網格。

在頭對頭的人類偏好測試中，SAM 3D Objects相對其他領先模型的勝率至少達到5比1。該模型通過擴散捷徑和其他工程優化，可在幾秒鐘內返回質量相當的完整紋理重建，這使得3D近實時應用成為可能，例如作為機器人的3D感知模塊。

SAM 3D Body專注于從單張圖像進行準確的3D人體姿勢和形狀估計，即使在涉及異常姿勢、遮擋或多人場景的復雜情況下也能勝任。該模型支持交互式輸入，如分割掩碼和2D關鍵點，使用戶能夠引導和控制模型的預測。

SAM 3D Body利用大規模高質量數據實現了準確穩健的3D人體姿勢和形狀估計。研究團隊從包含數十億張圖像的大型數據集開始，使用來自大規模多樣化照片集合的圖像、各種多攝像頭捕捉系統的高質量視頻以及專業構建的合成數據。然后使用可擴展的自動化數據引擎挖掘高價值圖像，選擇具有異常姿勢和罕見捕捉條件的圖像。團隊組建了約800萬張圖像的高質量訓練數據集，訓練模型對遮擋、罕見姿勢和多樣化服裝具有魯棒性。SAM 3D Body在多個3D基準測試中的準確性和魯棒性實現了階躍式提升，表現超越了以往模型。

應用拓展至野生動物保護和海洋研究

SAM 3已開始應用于科學研究領域。meta與Conservation X Labs和Osa Conservation合作，結合現場野生動物監測與SAM 3構建了一個開放的研究級原始視頻數據集。公開的SA-FARI數據集包含超過1萬個相機陷阱視頻，涵蓋100多個物種，每一幀中的每只動物都標注了邊界框和分割掩碼。

FathomNet是由蒙特雷灣水族館研究所（MBARI）領導的獨特研究合作項目，致力于推進海洋探索的AI工具。專為水下圖像定制的分割掩碼和新的實例分割基準現已通過FathomNet數據庫向海洋研究界開放。SA-FARI和FathomNet可供更廣泛的AI社區使用，以開發創新的方法來發現、監測和保護陸地和海洋野生動物。

meta還與Roboflow合作，使用戶能夠標注數據、微調并部署SAM 3以滿足特定需求。作為代碼發布的一部分，meta分享了微調方法，供社區利用這些方法使SAM 3適應其用例。

盡管取得了顯著進展，SAM 3在某些場景下仍存在局限。該模型難以以零樣本方式泛化到細粒度的領域外概念，特別是需要專業領域知識的特定術語，如醫學或科學圖像中的"血小板"。應用于視頻時，SAM 3以類似SAM 2的方式追蹤每個物體，這意味著推理成本隨被追蹤物體數量線性增長。每個物體單獨處理，僅利用共享的每幀嵌入，沒有物體間的通信。