螞蟻集團已推出20億參數多模態遙感基礎模型SkySense,這是螞蟻百靈大模型在多模態領域最新的研發成果,其論文已被世界計算機視覺頂會CVPR 2024接收。SkySense可用于地貌、農作物觀測和解譯等,有效輔助農業生產和經營。
據介紹,SkySense在總計17項國際權威公開數據集進行了測評,其測試任務類型包括了土地利用監測、高分辨率目標識別、地物變化檢測等7種常見遙感感知任務,并與國際上已發布的包括IBM和NASA聯合研發的Prithvi等共18個全球主流同類模型做了測試結果比較。數據顯示,17項測評中SkySense均名列第一。譬如,在國際高清遙感地物檢測榜單FAIR1M 2.0中,SkySense平均精度(mAP)領先第二名超3%。
在剛剛公布的CVPR2024論文入選結果上,SkySense的研究成果亦被收錄。據了解,螞蟻集團正在計劃開放Skysense模型參數,與行業共建,促進智能遙感技術與應用發展。
SkySense由螞蟻AI創新研發部門NextEvo與武漢大學聯合研發。NextEvo是螞蟻AI核心技術研發團隊,主導了螞蟻百靈大模型的研發工作,其研發方向涉及CV、NLP、多模態、AIGC、數字人、AI工程化等核心技術。去年,該部門升級了多模態團隊,由楊銘帶隊全面布局多模態技術。