涵盖21万地理目标武大等开源大幅面高清卫星影像数据集

作者： 2024年06月21日网红浏览

AI卫星影像知识生成模型数据集稀缺的问题，又有新解了。

来自武汉大学、上海AI实验室、西工大等9家机构共同推出了该领域的大型数据集，涵盖了21万个地理目标和40万个目标-关系三元组。

而且像机场、港口、立交桥等这样复杂地理空间场景，也都包括在了数据集当中。

具体来说，该数据集名为，主要面向卫星影像中的 目标检测 （OBD）和 场景图生成 （SGG）任务。

SGG有助于促进模型对地理空间场景从感知到认知的智能理解，但一直缺乏大幅面、超高分辨率的卫星影像数据。

而RSG的出现很好地填补了这一空白，一同提出的还有 基于上下文感知的逐级认知（CAC）框架 ，以及配套的 SGG工具包 。

有关论文已经在arXiv公开发布，相应的数据集和工具包也已经开源。

大幅面超高分辨率卫星影像数据集

在卫星影像（SAI）领域当中，场景图生成（SGG）技术可以促进对地理空间场景从感知到认知的智能理解。

在SAI中，地理目标的尺度和纵横比变化大，地理目标之间（甚至是空间不相交的地理目标之间）存在丰富的关联，这使得SGG有必要在大幅面超高分辨率卫星影像中整体进行。

然而现实情况是， 大幅面超高分辨率卫星影像的SGG数据集比较缺乏 ，这无疑限制了SGG在SAI中的进展。

又由于大幅面超高分辨率卫星影像的复杂性，挖掘 目标-关系三元组 <目标1,关系,目标2>严重依赖于远程上下文推理，传统为小幅面自然图像设计的SGG模型，不能直接适用于大幅面卫星影像。

注：下图是大幅面超高分卫星影像中的SGG示意图，其中第一行分别展示了大幅面超高分卫星影像的目标检测和场景图生成结果，第二行为对应的局部细节展示。在第二行末尾图中，黑色箭头表示仅依赖于孤立目标对可预测的关系，而红色箭头表示需要借助上下文推断的复杂关系。

于是，为了解决数据集稀缺问题，研究团队构建了首个面向大幅面超高分卫星影像的大规模场景图生成数据集RSG。

该数据集影像幅面跨越512×768到27,860×31,096像素，包含超过 21万个地理目标和超过40万个目标-关系三元组 。

△RSG数据集中目标分布(a)和关系分布(b)统计

内容上，RSG收集了空间分辨率为0.15-1m范围的卫星影像，涵盖了全球范围内与人类活动密切相关的 11类复杂地理空间情景 。

这些场景包括机场、港口、核电站、火电站、风力发电站、水坝和服务区、立交桥、水面桥、施工工地和体育运动场景等。

△RSG数据集中影像采样的地理分布和示例

在遥感领域专家的指导下，研究团队将所有地理目标划分为48个细粒度类，并使用定向边界框（OBB）进行精确标注，所有关系按照8个大类、58个细粒度类进行标注。

提出上下文感知框架

为了进一步实现大幅面超高分卫星影像中的SGG，研究团队还提出了一个基于上下文感知的逐级认知（CAC）框架。

该框架从三个层面深入理解卫星影像——目标检测（OBD）、目标对剪枝和关系预测：

在RSG测试集上的结果表明，在目标检测任务中，无论是基于水平框（HBB）还是有向框（OBB）的检测器，团队提出的HOD-Net框架都取得了总成绩和多个单项的SOTA。

注释：1.表格中，b_b为boarding_bridge, l_t表示lattice_tower, s_l为ship_lock, g_d为gravity_dam。2.所有实验都基于标准的“1x”(12epochs)训练设置。3.†表示主干网络为Swin-L，其他的主干网络都为ResNet50。4.下划线表示下方的方法使用该模型作为基础检测器。

同时测试结果还表明，HOD-Net方法也优于一些其他的训练方式。

下面的图更加直观地展示了不同目标检测策略的可视化结果。

剪枝任务上，团队提出的PPG策略也在多个模型上运行的测试中超越了传统方法。

生成情景当中，团队设计的的RPCM网络在基于HBB和OBB检测器的所有指标上，同样优于先前的主流SGG方法。

下图是不同SGG模型在RSG数据集中情景生成结果的可视化展示。

此外，为了促进大幅面超高分辨率卫星影像中SGG的发展，研究团队还发布了面向大面超高分辨率卫星影像的 SGG工具包 （其中包含约30种OBD方法和10种SGG方法），并基于RSG数据集进行了的全面基准测试。

数据集和相关工具包都已开源，可到项目主页中了解详情。

论文地址：https://arxiv.org/abs/2406.09410项目主页：https://linlin-dev.github.io/project/RSGGitHub：https://github.com/Zhuzi24/SGG-ToolKit

武汉大学的介绍？

武汉大学是华中第一高校。武汉大学是中央部属高校，教育部直属重点综合性大学，是国家“985工程 ”和“211工程 ”重点建设高校。学校占地面积5167亩，建筑面积252万平方米。中西合璧的宫殿式建筑群古朴典雅，巍峨壮观， 26栋早期建筑被列为 “ 全国文物重点保护单位 ”。近年来，法学大楼、经管大楼、外语大楼、计算机大楼等武大雪景(20张)拔地而起，成为学校迈入新世纪的标志性建筑。 2000年经合校组建后，，校园增加到四个校区分别为：文理学部（即原国立武汉大学校区）、工学部、信息学部、医学部。武汉大学学科门类齐全、综合性强、特色明显，涵盖了哲、经、法、教育、文、史、理、工、农、医、管理等11个学科门类。学校设有人文科学、社会科学、理学、工学、信息科学和医学六大学部36个学院（系）。有112个本科专业。 5个一级学科被认定为国家重点学科，共覆盖了29个二级学科，另有17个二级学科被认定为国家重点学科。 6个学科为国家重点（培育）学科。 36个一级学科具有博士学位授予权。 203个二级学科专业具有博士学位授予权，296个学科专业具有硕士学位授予权。有32个博士后流动站。设有三所三级甲等附属医院。目前普遍认为的理工类的较强势院系有：测绘学院、遥感信息工程学院、计算机学院、生命科学学院、化学与分子科学学院、水利水电学院、国际软件学院、物理科学与技术学院；文科社科类院系则是武汉大学的传统优势优势领域，如新闻与传播学院、法学院、经济管理学院等。老图书馆武汉大学名师荟萃，英才云集。学校现有专任教师3500余人，其中正副教授2300余人，有5位中国科学院院士（本校，非双聘）、8位中国工程院院士（本校、非双聘）、2位欧亚科学院院士、9位人文社科资深教授、8位“973 项目 ”首席科学家（含国家重大基础研究计划）、4位 “863 项目 ”计划领域专家、3个国家基金委创新群体、24位国家杰出青年科学基金获得者、10位国家级教学名师。在学生的文化生活方面，有学生喜爱的“四大名嘴”、“珞珈讲坛”为代表的教会大学生思考的学者与讲坛，还有藏书丰富，建筑风格古朴的图书馆让学生迷恋。更有丰富多彩的社团、文化节，让学生的生活多姿多彩。武汉大学科研实力雄厚，成就卓著。学校有5个国家重点实验室、2个国家工程技术研究中心、2个国家野外科学观测研究站、9个教育部重点实验室和4个教育部工程研究中心；还拥有7个教育部人文社会科学重点研究基地、10个国家基础科学研究与人才培养基地、5个国家级实验教学示范中心和1个国家大学生文化素质教育基地。 2000年以来，学校获得国家自然科学奖、国家发明奖和国家科技进步奖三大奖17项， SCI论文数和国家自然科学基金项目数均位列全国高校前列，在第一、二、三届教育部人文社会科学优秀成果奖评选中获奖数均居全国高校第三位，第四届居第二位，国家社科基金课题、教育部社科课题均居全国高校前列，并有数十项成果获得国家“ 五个一 ”工程奖、国家图书奖、中国图书奖。学校连续十次荣获深圳国际高新技术成果交易会优秀产品奖（成交奖）和优秀组织奖。武汉大学积极利用自身的科技、智力资源优势，通过科技成果转化与产业化的方式，与企业和科研机构开展多层次、多领域的合作，共同建设高新技术产业发展的平台，联合创办了70多家高新技术企业，取得了良好的社会效益和经济效益，同时也促进了学校的发展。学校参与了三峡工程、南水北调、西电东输等国家重点工程项目的科学研究和工程建设，在南北极科学考察、重大传染性疾病防治等科技攻关中不断取得新的突破，马协型、红莲型杂交稻、高频地波监测雷达、GPS全球卫星定位与导航、高性能混合动力电池等应用型科技成果不仅具有重大的科学理论价值，还产生了巨大的社会经济效益。人文社会科学的专家学者充分发挥“ 智囊团 ”和“ 思想库 ”的作用，积极探索关系国家经济建设、社会发展和人类进步的重大理论与现实问题，取得了一批具有重大理论意义与应用价值的科研成果，为国家经济建设和社会发展提供了强大的理论保证和智力支持。大型汉语工具书《故训汇纂》、译著《康德三大批判新译》、学术专著《马克思劳动价值论的历史与现实》等成为新时期学校人文社会科学研究的标志性成果。新图书馆求知在武大，成才在珞珈。武汉大学率先提出 “ 创造、创新、创业 ” 教育的新理念，培养 “ 厚基础、宽口径、高素质、创新型 ”复合人才，积极探索适应经济与社会发展的人才培养模式。学校现有普通本科生人，硕士研究生人，博士研究生6736人，其中包括港澳台侨学生566人（截止2008年武汉大学录取港澳台侨学生总人数连续五年居全国内地普通高校之首），有外国留学生 1491 人。建校以来，学校共培养了30多万名各类高级专门人才，仅两院院士就有100余人，为国家建设和社会进步做出了重要贡献。令人瞩目的高水平办学成就，为武汉大学赢得了广泛的国际声誉，国际交流与合作日益频繁，学校与36个国家和地区的293所大学、科研机构建立了合作关系。传承百年辉煌，尽展名校风采。面对新的发展机遇和挑战，武汉大学更加以科学发展观为导向，明确了如何将成为国内外知名高水准大学的总目标，重新确立了建设综合性、研究型、国际化大学的发展定位，致力于推动学者、学科、学术、学风、学生的协调发展，不断提高学校综合实力和核心竞争力，各项工作在稳定中发展，在创新中前进，学郸姬策肯匕厩察询畅墨校整体呈现出快速发展的崭新局面。百余年的风雨，百余年的磨砺，百余年的辉煌。武汉大学正充满信心，豪迈地迈向美好未来！