让 AI 描出每栋楼

这篇教程搭了一条完整流水线,把一张原始航拍照片,变成每栋建筑都被单独描出轮廓、还带面积和朝向的可分析数据。

从天上拍的高分辨率航拍图(NAIP,美国一个每隔几年给全境拍一遍的公开航拍项目)里,人眼一眼能看出哪儿是房子。但要让电脑把成千上万栋楼的轮廓一栋栋精确描下来、存成能计算的数据,是另一回事。

这篇由科技博客 MarkTechPost 发布的教程,用一个叫 geoai 的开源工具包(专门做地理空间 AI 的 Python 库)从头到尾走了一遍:下载影像、教模型认建筑、在没见过的新场景上预测、再把结果清理成整齐的建筑多边形。它的价值不在某一步,而在把散落的环节串成一条能复用的流水线。

流水线怎么跑

整条流水线就五步:备数据、切图、训练、在新图上预测、再清理成规整轮廓。

原始航拍图动辄几千像素见方,整张直接喂给模型吃不下。所以先把大图切成 512 像素见方的小图块,每块之间还留 256 像素重叠,免得切在建筑正中间漏掉边角;同时按人工标注生成配套的'答案图'——每个像素都标好是不是建筑。

有了成对的图块和答案,就能训练模型。训练完,在一张全新的航拍图上滑动扫描、逐块预测,最后把预测出的像素块清理、取直,变成一栋栋规整的建筑多边形。关键是这五步首尾相接,换一片区域也能照跑一遍。

① 下载数据 航拍影像 + 人工标注的建筑轮廓 ② 切成图块 512 像素见方,块间重叠 256 像素 ③ 训练模型 U-Net 学会逐像素认建筑 ④ 滑窗预测 在没见过的新场景上逐块扫描 ⑤ 清理成轮廓 去噪、取直、规整成建筑多边形 换一片新区域,同一条流程可以照跑一遍
这张图告诉你整条流水线的主干:从下载影像到吐出规整建筑轮廓,共五步。对应原文 STEP 1、3、4、6、7。

教模型认建筑

用带标注的样本反复训练一个叫 U-Net 的模型,让它学会逐像素判断'这里是不是建筑'。

教程训练的是 U-Net(一种常用于图像切分的神经网络,擅长逐像素做判断)。它干的活叫 语义分割:给图上每个像素贴一个标签——是建筑,还是背景。

模型不是看一遍就学会,而是把训练样本反复过 12 遍(过一遍叫一个 epoch)。每过一遍,教程都记录它在'没参与训练的验证数据'上的准确度,画成学习曲线。曲线走向能看出学好了没:训练准确度在涨、验证准确度反而掉,是死记硬背(过拟合);两条都上不去,是没学够(欠拟合,得多训几遍或换更大的模型)。

从像素团到规整轮廓

模型直接吐出的是毛糙的像素团,还得'取直加规整',才变成横平竖直、带属性的建筑多边形。

模型预测出来的原始结果,是一团团锯齿状的像素,边界毛糙,看着不太像楼。教程接着做两步收拾:先把太小的噪点区域(小于 50 个像素的碎块)删掉,再把剩下的像素团描成多边形。

但描出来的多边形边线还是歪歪扭扭。于是再做一次'取直'和'规整',把边线拉成接近横平竖直的规矩形状,更像真实建筑。最后还给每栋楼算上面积、周长、朝向等属性。这一步之后,它才从一堆像素,变成能拿去做统计和分析的数据。

之前 清理 之后 形状 锯齿状像素团 取直的规整多边形 边界 毛糙不齐 接近横平竖直 能不能用 只是一堆像素 带面积、朝向属性
这张图告诉你清理这一步改变了什么:同一份预测结果,从毛糙像素团变成能做分析的规整轮廓。对应原文 STEP 7。

准不准怎么量

用 IoU 和 F1 两个指标打分,而且只该看'建筑类'的分数——背景类的分数天生虚高,别被骗。

光看着像还不够,得有数。教程用两个指标:IoU(交并比)和 F1,拿模型的预测和人工标注的真实答案逐像素比对。

这里有个坑:一张航拍图里,绝大多数像素是背景——路、草地、空地,真正是建筑的只占一小块。所以'背景类'的分数几乎永远很漂亮,没什么参考价值。真正该盯的是'建筑类'的分数,那才反映模型认楼认得准不准。

不训练也能圈楼

换一条路,连训练都省了:直接打字'building、house、rooftop',AI 就能把楼圈出来。

前面那条路要先备数据、再训练,费工夫。教程还演示了一条捷径,叫 zero-shot(零样本,意思是不给它任何本地训练样本就直接干活)。

做法是把两个现成的大模型接起来:Grounding DINO 负责'听懂文字、找到目标',SAM(Segment Anything Model,一个能把任意物体从图里抠出来的模型)负责精确描边。你只要输入 building、house、rooftop 这几个词,它就在图上找出对应的楼并圈出来。整个过程不训练、不标注,靠的是这两个模型出厂就带的通用视觉知识。

三条路,怎么选

自训、零样本、现成模型三条路各有取舍;还得分清'圈出建筑区域'和'数清每一栋'是两回事——选哪条,取决于你到底要回答什么问题。

教程一共摆出三种提取建筑的路子:

  1. 自己训练 U-Net:得先有本地标注、花时间训,但能贴合特定地区,最可控。
  2. 零样本(Grounding DINO 加 SAM):不训练,打字指定目标,手头没标注、想快速试的时候用。
  3. 现成的 Mask R-CNN:直接用别人在全美建筑上训好的模型,拿来就用。

还有个容易被忽略的关键区别:U-Net 做的语义分割,会把连成一排的相邻屋顶并成一整团;而 Mask R-CNN 做的实例分割,会把它们拆成一栋、一栋、一栋分开数。所以两条路数出来的建筑栋数不一样,是正常的——你要的是'这片区域有多大面积被建筑覆盖',还是'这里到底有几栋房子',决定了该走哪条。

3 从航拍图提建筑轮廓的三种范式
这张图告诉你教程的核心结构:自训 U-Net、零样本、现成 Mask R-CNN 三条路。对应原文 STEP 4、9、10。
范式 要不要训练 怎么指定目标 适合场景 自训 U-Net 要,先用 本地标注训练 从样本里学 '建筑长啥样' 有本地标注、 要贴合特定地区 零样本 (DINO+SAM) 不训练 打字'building/ house/rooftop' 手头没标注、 想快速试 现成 Mask R-CNN 不训练, 直接用训好的 模型自带 '全美建筑'知识 拿来就用、 要一栋栋数清
这张表告诉你三条路各自的取舍:训不训练、怎么指定目标、适合谁。对应原文 STEP 4、9、10。