一、评估总原则（先抓住 3 个核心）

1. 先评单个模块准不准（地基）
2. 再评 “地理 + 意图” 绑得对不对（核心）
3. 最后评端到端业务能不能用（落地）

模型是否正确把 “地理约束” 应用到 “用户意图” 上。

二、第一层：基础模块评估（地理 / 意图各自准确率）

1）地理信息理解评估指标

• Geo-NER
  • 精确率 P、召回率 R、F1（实体级别 / 词级别）
• 地理消歧准确率
  • 正确识别 “长安 = 西安长安区” 而非东莞长安镇的比例
• 空间关系识别 F1
  • 附近、周边、从 A 到 B、南边、2 公里内 等关系抽得对不对

2）用户意图抽取评估指标

• 意图分类
  • 准确率 Acc、Macro-F1
• 槽位抽取 F1
  • 起点、终点、品类、距离、品牌等槽位是否抽全、抽对

三、第二层：核心 —— 地理 + 意图联合效果评估

1）地理–意图对齐准确率（核心）

地理信息 + 意图类别 + 空间关系 三者完全匹配正确 才算对。

• 正确：
  意图 = 周边推荐，地理 = 深圳南山，关系 = 附近 2 公里
• 错误：
  意图 = 地点查询 或 地理 = 深圳福田 或 关系 = 10 公里
  → 只要一个错，联合对齐就算错。

2）槽位–地理绑定正确率

• 对：起点 = 上海站，终点 = 迪士尼
• 错：起点 = 迪士尼，终点 = 上海站 → 绑定错误

3）联合任务统一 F1

• 只有全部字段都正确，才算一条 True Positive
• 再计算 P/R/F1

4）端到端结果正确率（直观）

• 搜索：返回的 POI 是否符合 “地理 + 意图”
• 导航：起点终点是否正确
• 推荐：范围 / 品类 / 位置是否正确

四、第三层：业务落地评估（上线必须看）

• 用户反问率
  模型因地理 / 意图不清而反问用户的比例（越低越好）
• 自动纠错率
  模型自动修正 “地理歧义 / 口误” 的比例
• POI / 结果匹配准确率
  最终返回的地点完全符合地理 + 意图的比例
• 用户无操作退出率
  给出结果后用户直接退出，说明理解错了

五、第四层：鲁棒性评估（边界 Case）

1. 地理歧义样本
   如 “长安”“西湖”“人民广场”
2. 模糊地理表达
   “这边”“南边一点”“附近那条街”
3. 多意图 + 多地理
   “先去故宫再去天安门，附近找吃饭的”
4. 口语化 / 省略
   “海淀火锅”（省略 “附近”）
5. 跨区域意图
   “北京到上海的高铁”

难样本集上的 联合对齐准确率 / 端到端正确率

六、一套可直接用的评估数据集格式

{
  "query": "深圳南山附近2公里海底捞",
  "intent": "周边推荐",
  "geo": {"city":"深圳", "district":"南山", "relation":"附近", "radius":"2km"},
  "slots": {"category":"火锅", "brand":"海底捞"},
  "is_correct": true
}

1. 预测出 intent、geo、slots
2. 与标注做全字段严格匹配
3. 统计：正确率、联合 F1、对齐准确率

七、较简总结（直接拿去用）

1. 基础指标：Geo-NER F1、意图分类 Acc、槽位 F1
2. 核心联合指标：地理–意图对齐准确率（重要）
3. 端到端指标：结果是否满足用户真实需求
4. 业务指标：反问率、纠错率、匹配准确率

• 一套对应场景的评估指标权重
• 一份可直接标注的测试集模板
• 一段Python 自动评估代码