行知
个人空间/AI 视觉分析 · 技术路线
回到主页 ↗
← AI 工坊 / 技术路线

ENGINEERING NOTE / 03 · 2026.10

视频抓拍与场景异常识别

这个平台最初用于辅助检查道路塌方、落石等异常:定时从视频中抓取图片,与正常基准图一起交给 AI 分析。本文记录平台的实现方式,并讨论岗位执勤、通道占用等场景需要增加的配置与验证。

视频抓拍与多图分析

系统按任务周期抓拍,将当前图与人工确认的正常参考图一并送入模型。分析结果包含是否需要提醒、原因和处置建议,由业务平台保存并供人工复核。

五张正常参考图与当前抓拍进入多图模型,形成异常提醒的示意
REFERENCE → OBSERVE → REVIEW

5 张正常参考图
与 1 张当前抓拍

输入:5 张正常参考图 + 1 张当前图
判断:任务提示词 + 多模态模型
输出:异常判断、原因、建议与证据

实际链路已实现 · 扩展场景待验证

观察与代码核对:2026 年 10 月 8 日。公开页使用重新绘制的示意图,不包含现场照片、项目名称、设备编号、服务地址或密钥。本文分享实现思路,未提供该平台源码下载。

平台分工与数据流程

  1. 01摄像机与视频平台WVP / ZLMediaKit 接入与播放,提供当前抓拍
  2. 02独立视觉服务Python / FastAPI 编排抓拍、基准、图像与模型调用
  3. 03多图模型按场景提示词比较 5 张参考图和当前图
  4. 04业务平台Go 后端调度、校验、保存结果并生成告警记录
任务调度
任务关联摄像机通道、分析周期、模型配置与提示词。手动与定时执行走同一条业务链路;集成模式由业务端统一调度,避免两端重复运行。
图像处理与模型调用
读取已确认基准,抓取当前图,把用于模型的图片副本压缩成 JPEG,再组成一次多图请求。模型配置与任务分开管理,任务仅引用配置 ID。
结果校验与入库
结构化结果经校验后写入运行历史;异常结果生成业务告警记录。图片留在视觉服务,业务端保存引用、哈希与当次版本,用于回看。
通知通道配置
告警入库和短信、消息等外部通知是两个环节,通知通道、频率与收件人需要单独配置和验收。
标靶位移分析
平台也有标靶位移分析,用图像几何计算形变量。它与 AI 场景判断分别配置;不能把模型“看起来变了”当作毫米级测量结果。

应用场景与扩展方案

下面用六组示意图说明“正常状态 → 可见变化 → 复核动作”。道路是最初的需求,其余是基于当前架构的扩展设计,尚不能当作已验证的识别能力。

最初的需求

道路落石与异常堆积

正常基准 · 示意实际任务使用 5 张已确认参考图
当前抓拍 · 示意图形为讲解用,不是真实监控截图
基准要求
固定机位下,道路边界清楚,通行区域没有新增堆积物。基准应覆盖现场正常的明暗变化。
示例变化
当前图的路面区域出现新增块状堆积,和正常参考图明显不同。
复核与处理
提示现场核查异常位置与通行条件,由值班人员按既有预案处置。
误判因素
阴影、湿路面、车辆经过和机位偏移都可能形成视觉差异。单张图片不能证明边坡稳定,也不能预测塌方。
后续开发
加入同机位时序复核;需要形变量时,另走标靶测量与传感器链路。
查看此场景的提示词草案 +

比较参考图与当前图的道路及坡脚区域。关注新增落石、土体堆积、明显路面破损和通行障碍;描述可见的位置与变化,不推断画面之外的地质状况。

这是待现场验证的场景配置示例,不表示这些扩展已上线。

扩展设想 · 待验证

值守区域人员监测

正常基准 · 示意实际任务使用 5 张已确认参考图
当前抓拍 · 示意图形为讲解用,不是真实监控截图
基准要求
明确岗亭或值班区域、应值守时段、正常交接与巡查安排;参考图应覆盖正常有人值守的外观。
示例变化
当前示意图中,指定值守区域没有可见人员。
复核与处理
先检查是否轮休、交接或授权巡查;满足业务持续时间条件后再提醒负责人。
误判因素
“这一帧没看到人”不等于脱岗。遮挡、外出巡查和视野盲区都会造成误判;不据此自动认定违纪、处罚或生成个人绩效。
后续开发
接入排班,补充连续观察、授权离岗与人工确认。只判断区域是否有人,不做身份、情绪或工作态度识别。
查看此场景的提示词草案 +

仅检查预先约定的值守区域是否存在可见人员。描述遮挡与可见范围;未见人员时给出需要复核的事实,不判断人员身份、工作态度或是否违规。

这是待现场验证的场景配置示例,不表示这些扩展已上线。

扩展设想 · 待验证

通道占用检测

正常基准 · 示意实际任务使用 5 张已确认参考图
当前抓拍 · 示意图形为讲解用,不是真实监控截图
基准要求
提前指定需要保持畅通的通道,参考图记录正常边界、门扇和允许摆放的固定物。
示例变化
当前图中,原本空出的通道出现一组新增箱体。
复核与处理
通知现场核对物品位置、通行影响与是否需要清理。
误判因素
临时经过的人车和开门动作不等同于持续堵塞。图片也不能直接给出精确净宽或消防合规结论。
后续开发
补充禁放区域、持续占用规则与清理后复拍,形成提醒—处理—复核流程。
查看此场景的提示词草案 +

只比较指定通道。指出新增物体的位置及是否遮挡通行区域;忽略正常背景变化,不根据图片推算精确通道宽度。

这是待现场验证的场景配置示例,不表示这些扩展已上线。

扩展设想 · 待验证

货物倾斜与散落检测

正常基准 · 示意实际任务使用 5 张已确认参考图
当前抓拍 · 示意图形为讲解用,不是真实监控截图
基准要求
为明确的堆放区建立参考,记录正常货堆轮廓、边界和允许的作业变化。
示例变化
当前图中的一组箱体倾斜,物品散落到堆放边界外。
复核与处理
提示现场检查堆放状态,并核对是否为正在进行的装卸作业。
误判因素
正常装卸会频繁改变场景;仅靠外观无法判断承载能力、内部损坏或结构安全。
后续开发
结合仓储作业状态过滤计划变更,按区域记录问题与复核结果。
查看此场景的提示词草案 +

对照指定堆放区,识别明显倾斜、倒伏、散落或越界变化。区分可见事实与原因猜测,不判断不可见的内部状态。

这是待现场验证的场景配置示例,不表示这些扩展已上线。

扩展设想 · 待验证

积水范围变化

正常基准 · 示意实际任务使用 5 张已确认参考图
当前抓拍 · 示意图形为讲解用,不是真实监控截图
基准要求
参考图记录沟渠、低洼处或设备区的正常可见水面,尽量覆盖倒影和常见光照。
示例变化
当前图中的积水范围扩大,并进入原本干燥的区域。
复核与处理
复查当前画面与排水情况;需要数值判断时结合水位计或标定后的读数。
误判因素
反光、阴影和雨滴会干扰判断。未做标定时,图片不能可靠推算真实水深或流速。
后续开发
融合降雨、水位与连续抓拍结果,分别表达视觉异常和仪表读数。
查看此场景的提示词草案 +

比较指定区域的可见水面与积水边界,指出范围变化和遮挡;不得从未标定的图像估算水深或流速。

这是待现场验证的场景配置示例,不表示这些扩展已上线。

扩展设想 · 待验证

设备外观与开闭状态检查

正常基准 · 示意实际任务使用 5 张已确认参考图
当前抓拍 · 示意图形为讲解用,不是真实监控截图
基准要求
为单个设备或围栏区域建立正常外观参考,明确检查对象与正常开闭状态。
示例变化
当前图中,原本关闭的设备门处于打开状态。
复核与处理
核对是否为计划检修;非计划状态交由维护人员复核。
误判因素
外观变化不等于内部故障。不要把没有可见异常解释为设备运行正常。
后续开发
接入检修计划,分别配置门体状态、围挡破损、异物等小任务,避免一个提示词包办所有检查。
查看此场景的提示词草案 +

检查约定设备的可见外观与开闭状态,描述相对于参考图的变化;不判断内部电气状态、温度或剩余寿命。

这是待现场验证的场景配置示例,不表示这些扩展已上线。

基准图管理与结果留存

基准确认与版本
每个版本固定 5 张参考图,由人工确认正常后才能启用。每次结果记录当时的基准版本与图片哈希,更新当前基准不会改写历史证据。
参考图选择
选择同机位、同观察目标下的真实正常状态,覆盖必要的光照差异,避开遮挡与模糊。正常状态过于多样时,考虑拆任务或按时段管理场景,并另行实现相应策略。
配置变更验证
机位、焦距、观察区域或业务定义变化后重新检查基准。当前修改提示词或模型可保留参考图,但保留不代表效果自动有效,应重新跑验收样本。
分析状态
模型成功时才有“提醒 / 不提醒”的判断。抓拍失败、模型超时或输出不合法记录为分析失败,不能归为正常。
图片留存
当前实现对普通分析图按 3 天阈值清理,告警当前图与当次参考图长期保留。扩展到人员场景前,需要另行明确授权范围、访问控制和到期清理策略。
结构化返回示例 · 人工编写,非真实分析结果
{
  "should_alert": true,
  "alert_reason": "道路区域出现疑似落石或堆积物,可能影响通行。",
  "disposal_advice": "提示现场核查异常位置与通行条件,由值班人员按既有预案处置。",
  "confidence": 0.86
}

confidence 是模型返回的分数,不是经现场校准的准确率,也不能单独作为自动处置依据。当前输出契约会检查字段类型、布尔值与分数范围。

新场景的配置与验证

任务范围
给每个任务写清观察区域、正常变化、需要提醒的变化、无法判断的情况,以及提醒后由谁做什么。先做一个能验收的小任务。
时序与告警规则
计划补充连续多次异常、持续时间、告警合并与冷却、恢复确认。岗位值守尤其需要排班与授权巡查上下文;这些不由单帧模型替代。
验收样本
收集经过授权的正常、异常、困难样本,保留独立验收集;覆盖白天、夜间、雨雾、遮挡、镜头脏污和正常作业变化,避免用基准图本身证明效果。
评估指标
分别统计误报、漏报、分析失败率、提醒延迟与每次成本。按场景记录人工复核结果,再决定抓拍频率、模型与提示词是否适合。
试运行与人工复核
试运行期间只记录分析建议,与人工巡检结果比对。达到约定标准后再接入通知,保留人工确认、撤回和复核记录。

实现依据:作者提供的平台协作记录及同日代码核对。公开内容已去敏;场景扩展、提示词与时序规则属于方案建议,不代表生产部署或识别效果承诺。

查看对应知识笔记(需登录) ↗