开题与计划
1. 研究定位：有空间，但不是无人区
这个方向基本算研究空白，但不能表述为“完全没人做过事故场景的开放词汇检测”。已有工作大致分为三类：
| 相关方向 | 已有工作 | 仍缺少的部分 |
|---|---|---|
| 事故 / 异常检测数据集 | DoTA 提供 4,677 个 dashcam 视频、异常目标框、类别与起止时间 | 主要服务事故或异常检测，还没有统一的开放词汇危险目标协议 |
| 风险目标定位与文本解释 | DRAMA 涉及 driving scene 中的 risk localization 和自然语言解释 | 类别与风险语义仍未形成开放词汇检测基准 |
| corner case / OOD 感知 | CODA-LM 评测 LVLM 的感知、区域理解和建议生成；Grounding DINO、YOLO-World 也被用于异常道路场景 | 开放词汇模型在高风险驾驶场景中的泛化边界仍不清楚 |
因此，论文中更稳妥的研究缺口是：
现有工作往往关注事故 / 异常事件分类、固定类别的风险目标定位，或一般道路异常物体；仍缺少一个面向高风险驾驶场景，同时支持开放词汇类别、自然语言风险描述和事故前时序定位的目标检测基准。
2. 题目与核心任务
建议题目为 面向高风险驾驶场景的开放词汇危险目标检测，英文暂定为 Risk-OVD: Open-Vocabulary Hazardous Object Detection in High-Risk Driving Scenarios。如果后续完全围绕事故数据，也可以使用 Accident-OVD。
给定 dashcam 视频 / 关键帧和开放文本查询，模型需要：
- 找到与潜在事故相关的目标框；
- 返回开放词汇类别或自然语言描述；
- 估计目标风险程度；
- 在视频设置下给出风险开始时间或事故前提前量。
例如，查询可以是 the pedestrian about to cross、a vehicle cutting into the ego lane、an obstacle dropped on the road，输出则包含框、标签和风险分数。它与普通 OVD 的区别不是“检测更多物体”，而是判断“哪个目标可能造成事故”。
3. Prompt 依赖是研究问题，不是实现细节
传统开放词汇检测确实是 prompt-conditioned detection：prompt 会影响模型寻找的类别、框与文本的绑定以及哪些候选被返回。人工 prompt 又不可能枚举所有长尾目标，更无法单独表达“同一个 car 在什么运动关系下才危险”。
所以需要把“目标发现”和“目标命名”拆开：
- Class-agnostic proposal：先发现所有可能的物体区域，不预设它一定是车、人或掉落物；
- Open-vocabulary labeling：用文本 embedding 给候选区域匹配
debris、fallen object、road obstacle等描述； - Risk reasoning：结合相对位置、运动方向、closing speed、TTC、ego path 和遮挡关系，判断它是否是风险源。
这使 prompt 不再是唯一入口，也把 prompt 覆盖不全转化为可以量化的研究问题。实验至少包含四种设置：
| 设置 | 示例 | 需要回答的问题 |
|---|---|---|
| 标准 prompt | the vehicle ahead braking suddenly | 明确风险描述能否准确 grounding |
| 同义改写 | a car cutting in / a vehicle merging into the ego lane | 语义等价改写会造成多大性能下降 |
| 抽象 prompt | dangerous object / traffic hazard | 模型能否根据风险语义找目标 |
| 缺失 / 未知类别 | 只给泛化风险描述，或不给具体类别 | class-agnostic proposal 能保留多少未知风险召回 |
研究结论不应是“构造一个覆盖所有风险的 prompt 列表”，而应是：测量 prompt 依赖、组合式 prompt 的泛化边界，以及未知风险 fallback 的有效性。
4. 数据集与 benchmark 设计
主线建议使用 DoTA，因为它同时具备事故视频、异常目标框、事故类型和异常起止时间，适合“事故前危险目标检测”。其他数据集承担文本补充、corner case 或外部验证角色。
| 数据集 | 事故 / 风险 | 目标框 | 文本 | 时序 | 计划用途 |
|---|---|---|---|---|---|
| DoTA | 是 | 是 | 少，可改造 | 是 | 主数据集与事故前评测 |
| DRAMA | 风险场景 | 是 | 是 | 弱 | 风险描述与文本解释 |
| CODA / CODA-LM | corner case | 部分 | 是 | 弱 | 语言与区域理解补充 |
| CCD / DADA-2000 / A3D | 是 | 部分或可改造 | 少 / 有类别 | 是 | 外部验证 |
| COOOL / COOOLER | 是 | 有 | 有 | 弱 | 开放集补充 |
| RoadAnomaly / RoadObstacle / LostAndFound | 弱或无 | 有 | 少 | 弱 | OOD 与开放世界泛化 |
统一 benchmark 的标签层次包括：原始事故类别、同义词、属性、空间关系、风险描述、base / novel 类别，以及正常、near-miss、事故样本分层。
建议先定义两套目标标签：
- 基础目标：
car、truck、pedestrian、cyclist； - 新目标与风险关系：
fallen object、animal、open door、wrong-way scooter、construction machine、vehicle drifting into ego lane、pedestrian occluded by parked car。
每个目标尽量保留四种文本视角：类别（car）、属性（white sedan）、关系（car directly ahead of ego）和风险（vehicle braking suddenly in ego lane）。
5. 预期贡献
贡献一：任务定义
提出“高风险场景开放词汇危险目标检测”任务，明确区分事故检测、异常检测、固定标签风险定位、普通开放词汇检测与事故前风险理解。
贡献二：数据集与评测协议
在 DoTA 等数据上构建统一的开放词汇标签和评测协议，覆盖 base / novel 类别、同义改写、风险关系、正常 / near-miss / 事故分层，并报告事故前 1、2、3 秒的定位能力。
贡献三：风险感知的轻量方法
不急于大改检测器，而是研究“风险感知 prompt 扩展 + 时序一致性 + hard negative mining”：用 LLM 扩展事故类别与风险描述，用 Grounding DINO / YOLO-World 等生成候选框，用时序跟踪过滤瞬时误检，再用场景上下文对候选排序。
关键 hard negative 例子是：
| 正例 | Hard negative |
|---|---|
| car braking suddenly in front of ego | car parked on roadside |
| pedestrian crossing into ego path | pedestrian walking on sidewalk |
| object falling from truck ahead | harmless object beside the road |
6. 六周执行路线
第 1 周：文献与数据集审计
不先写复杂代码，先完成数据集能力矩阵、标签字段盘点、许可与下载记录，并确认 DoTA 的异常目标和时间标注能否支撑事故前评测。交付物是一张可供老师检查的审计表。
第 2 周：最小 2D 任务
只处理事故前 1–3 秒的关键帧，不做完整视频理解。使用 DoTA 的 500–1,000 个片段，运行 Grounding DINO、YOLO-World、OWL-ViT 三个 zero-shot baseline，先回答“现有检测器能否找到事故相关目标”。
第 3–4 周：Prompt 与标签体系
把 rear-end、cut-in、head-on、pedestrian collision 等固定事故类扩展为类别、属性、关系、风险四类文本。同步建立组合式风险本体：目标类别、行为、空间关系和风险关系。
第 5–6 周：基线分析与失败模式
重点观察 prompt 敏感性、小目标和遮挡漏检、同类目标的危险 / 非危险区分、事故前 1 / 2 / 3 秒性能变化，以及文本描述是否能提升风险目标选择。这些失败模式比一开始追求 SOTA 更可能形成论文核心实验。
7. 生成模型的边界
生成应当是辅助模块，而不是主线模型：
- 生成稀有 hard positive，例如后车快速接近、cut-in、行人横穿、路面障碍物和逆行车辆；
- 用 LLM 批量生成同义词、属性、关系、风险与干扰描述，测试 prompt robustness；
- 生成“同类但无风险”“文本说有风险但视觉没有”“视觉有风险但描述错误”等 hard negative。
这样既保留生成模型的价值，也避免把研究重新拖回大规模视频生成、3D occupancy 或复杂物理一致性评估。
8. 与旧项目的关系
原 danger-affordance / RiskAffordance 项目不必删除，但应冻结为辅助研究资产：
- TTC、closing speed、危险源定义保留为风险标注规则；
theta参数和危险代理注入转为后续数据扩增工具；- occupancy diffusion 暂停作为主线；
- 如果新检测方向取得结果，再将旧工作包装为“风险先验与反事实生成辅助模块”。
换句话说，旧项目从主模型降级为风险语义和数据构造工具，研究故事仍然连续。
9. 汇报口径与阶段结论
可以向老师这样汇报：
调研后，我认为高风险场景的开放词汇目标检测比继续推进三维 occupancy 生成更适合当前阶段。DoTA 提供事故视频、异常目标框和时序标注，但主要服务事故检测和异常检测；DRAMA、CODA-LM 涉及风险解释和 corner case 理解，却还没有系统覆盖“开放词汇危险目标检测”。因此我先基于 DoTA / DRAMA / CODA 构建 benchmark，评测 Grounding DINO、YOLO-World、OWL-ViT 在事故前危险目标定位上的表现，再研究风险感知 prompt 扩展、时序一致性和 hard negative。生成模型后续只用于稀有危险场景扩增，不再作为主线。
最终路线是：先做 benchmark 和 baseline，再做轻量的风险排序与 prompt 鲁棒性方法；不把目标设成穷举所有危险 prompt，而是量化 prompt 缺失、改写和未知类别带来的性能变化，并用 class-agnostic proposal 与 risk reasoning 建立 fallback。