(19)国家知识产权局 (12)发明 专利申请 (10)申请公布号 (43)申请公布日 (21)申请 号 202210227250.3 (22)申请日 2022.03.08 (71)申请人 浙江水利水电学院 地址 310018 浙江省杭州市下沙学林街583 号 (72)发明人 邢晨　马艳娜　卢克　袁琳　 (74)专利代理 机构 杭州浙科专利事务所(普通 合伙) 33213 专利代理师 陈洁 (51)Int.Cl. G06T 17/00(2006.01) G06T 7/73(2017.01) G06N 3/08(2006.01) G06N 3/04(2006.01) G06V 20/52(2022.01)G06K 9/62(2022.01) G06V 10/80(2022.01) G06V 10/82(2022.01) (54)发明名称 一种抽沙船在河道数字孪生模型中三维重 建与定位的方法 (57)摘要 本发明属于三 维建模技术领域， 公开了一种 抽沙船在河道数字孪生模型中三维重建与定位 的方法。 用目标识别神经网络对监控视频流进行 解读， 识别出视频中出现的抽沙船， 目测距算法 用来计算识别到的抽沙船与摄像头的距离， 结合 摄像头的具体位置计算出抽沙船的定位。 三维模 型选择模块用来匹配预置模型库中挖沙船对应 的三维模型， 结合目标识别过程中抽取的目标要 素对模型进行渲染。 处理得到的结果一并放入河 道数字孪生模 型中， 最终实现抽沙船在河道数字 孪生模型中的拟真三维重建。 本发 明方法整合目 标识别深度学习神经网络、 单目摄像头测距技术 和三维模型， 构建了一个河道实时监控数字孪生 解决方案。 具有虚实结合、 实时性强、 易于理解、 使用门槛低等特点。 权利要求书2页 说明书6页 附图5页 CN 114627240 A 2022.06.14 CN 114627240 A 1.一种抽沙船在河道数字孪生模型中三维重建与定位的方法， 其特征在于， 包括如下 步骤： 步骤1： 视频监控目标识别神经网络： 目标识别神经网络由三个模块组成： Backbone、 Neck和Head； Backbone模块的任务是在不同图像细粒度上聚合并生成图像特征的卷积神经 网络； Neck模块由一系列混合和组合图像特征的网络层 组成， 它将Backbone模块生成的图 像特征进 行拼接、 上采样操作， 然后将处理过的图像特征传递到Head模块； Head模块对图像 特征进行预测， 生成边界框和预测类别； 步骤2： 单目摄像头抽沙船测距： 将抽沙船识别神经网络的输出作为输入， 利用单目测 距算法计算抽沙船相对摄像头的距离和偏移， 结合摄像头在河道中的位置推算出抽沙船在 河道的位置， 然后将该 数据传递给后续数字 孪生合成模块进行处 理； 步骤3： 基于单图的抽沙船三维重建网络： 该端到端网络将单张彩色图像作为输入， 输 出带颜色的三维模型。 2.根据权利要求1所述的抽沙船在河道数字孪生模型中三维重建与定位的方法， 其特 征在于， 所述步骤1部署在工作环境中的目标识别神经网络只负责对监控图像进行目标识 别， 神经网络的构建、 训练、 更新工作离线完成， 每次神经网络在训练环境完成进化后更新 程序通过网络将新的模型参数 上传到工作环境。 3.根据权利要求1所述的抽沙船在河道数字孪生模型中三维重建与定位的方法， 其特 征在于， 所述步骤1包括Focus模块， 所述Focus模块在视频监控图像进 行卷积处理之前对其 进行切片操作， 操作的具体步骤是对图片进行隔行取值， 一张监控视频图像经过处理能得 到四张互补的图像， 将图像的RGB三 通道扩展成12个通道后再送入卷积层进行操作。 4.根据权利要求1所述的抽沙船在河道数字孪生模型中三维重建与定位的方法， 其特 征在于， 所述步骤1包括BottleneckCSP 模块， 所述BottleneckCSP 模块利用跨阶段局部网络 的思想将残差结构块进行组合， 具体的方法是将基础层的特征图划分为两个部分， 然后利 用跨阶段层次结构将它 们合并以实现上述目标。 5.根据权利要求1所述的抽沙船在河道数字孪生模型中三维重建与定位的方法， 其特 征在于， 所述步骤1包括SPP模块， 所述SPP模块为空间金字塔池化模块， 所述SPP模块将不同 分辨率的特征进行融合以得到更丰富的信息， 所述SPP模块中的核心为三种不同尺寸的池 化层， 每个池化层的padding都不同以适应不同大小的核， 保证三个池化层输出特征图的长 宽能够相同。 6.根据权利要求1所述的抽沙船在河道数字孪生模型中三维重建与定位的方法， 其特 征在于， 所述步骤2 通过假设目标的大小尺寸， 利用小孔 成像和相似三角形的几何比例关系 估算出抽沙船的距离， 具体步骤如下： 平面ABCD是监控摄像头拍摄到的平面梯形区域， ABU为地表平面， O为监控摄像头镜头 中心点， OG连线为监控摄像头光轴， G为监控光轴 与地表平 面的交点， I为监控摄像头在地表 平面的垂直投影位置； 平面投影关系中abcd合 围出的区域即为Y轴方向上投影关系中ABCD 合围出的范围， 平面投影关系图像的高宽分别为H与W， 点g对应Y轴 方向上投影关系图中的 点G， 为图像平面坐标原点； 目标位置P在abcd内的坐标为(xp,yp)， 点py为影像平面上的目 标P在视野纵向对称线 上的投影， 直线ML与光轴OG垂 直， 假设监控镜头垂 直方向视角范围为 α0， 俯仰角的余角为γ0， 由此计算出角度α和线段OG、 IG， 最后求得目标到监控摄像头的相对权　利　要　求　书 1/2 页 2 CN 114627240 A 2水平距离IPy的值， 相关计算公式如下： IG＝h×tan(γ0)                (3) IPy＝h×tan(γ0+α )               (4) 相对垂直距离的计算方法同水平 距离相同。 7.根据权利要求1所述的抽沙船在河道数字孪生模型中三维重建与定位的方法， 其特 征在于， 所述步骤3的基于单图的抽沙船三 维重建网络分成两个部 分： 目标颜色提取和三 维 模型渲染： 当网络收到抽沙船二维图像后先采取两个独立的操作， 分别对目标二维图像进行三维 投影估算和表面颜色回归估计； 网络主体是一个标准的编 码器‑解码器结构， 编 码器部分由 6个卷积模块组成将输入的二 维图像处理成一个长度为512的潜向量并传给解码 器， 解码器 有三个三维卷积模块组成， 解码器最后会输出尺寸为32 ×32×32的特征矩阵， 利用该特征 矩阵来生成模型 的三维投影和颜色估计值， 最后将三维投影、 颜色估计值与三维模型素体 进行合并计算， 得到最终渲染过的三维模型； 假设K为包含了焦距与像主点信息的给定内参矩阵， [R  T]为给定外参矩阵用于映射三 维世界坐标与三维镜头坐标， 图像中二维点 的二维像素位置由矩阵[u  v 1]T表示， 三维世 界坐标由[x  y z 1]T表示， 二维像素位置与三维世界坐标之间的对应关系如公式5所示： 具体三维映射损失函数计算方法为： 其中S为模型表面体素的数量， Viproj代表第i个体素的三维到二维映射流向量， 是该体素映射的估计值； 表面颜色回归估计通过训练模型实现对目标表面颜色信 息的回归估计， 这些信 息可以 用于使用镜像的思想来生成目标没有被摄像头捕捉到的部 分的颜色， 表面颜色回归训练 时 候使用的损失函数见公式7， Vicolor代表第i个体素的颜色向量， 是该体素颜色的回归 估计值， 权　利　要　求　书 2/2 页 3 CN 114627240 A 3