# 海关处罚数据补漏与全量收集方案

> 平台：zhifa.aijin-jcc.com（海关行政处罚查询系统 customs-penalty.html + 执法大数据驾驶舱 cockpit.html）
> 制定：2026-09-06 ｜ 数据基准：439 条海关处罚记录

## 一、当前数据现状（2026-09-06）

| 维度 | 现状 |
|---|---|
| 海关处罚库总数 | **439 条**（customs-penalty.html） |
| 其中「申报不实·农药出口」 | **138 条**（上海关区台账 2024-09~2026-09 全量） |
| 覆盖海关名 | 103 个（洋山/宁波/杭州/黄浦/榕城/北仑/大榭/梅山/桐庐/建德/越秀/青岛/天津/烟台/胶州/金华/张家港/厦门等） |
| 主要来源 | 逐关公示列表页 WebFetch + 搜索引擎镜像 + 人工台账 Excel 收编 |
| 驾驶舱聚合 | 107 条精选（4 库）→ 并入海关源后 **247 条**、聚合口径 ≈563/5 库 |

## 二、覆盖缺口清单（按优先级）

### P0 — 农药出口申报不实台账（本案相关度最高）
1. **关区缺口**：现有 138 条**全部为上海关区**。农药出口主力口岸中，以下关区无专项台账：
   - 青岛海关（山东农药出口大省：润丰、海利尔总部所在地）
   - 天津海关、大连海关、南京海关（连云港）、黄埔/广州、深圳、厦门
   - 宁波已有零星入库（甬字头 23 条），但未按农药关键字全量过滤建台账
2. **时段缺口**：台账仅 2024-09 ~ 2026-09；2024-09 之前未回溯（2020-269 号公告后出口农药高速增长的 2021-2023 完全空白）
3. **原文链接缺口**：138 条中多数 u 指向上海海关公示栏目页而非逐条原文（入库时台账无原文 URL）

### P1 — 海关库整体覆盖
4. **关区覆盖度**：439 条覆盖 103 个海关名，但 42 个直属海关中仍有大连、沈阳、长春、哈尔滨、乌鲁木齐、拉萨、西安、重庆、成都、昆明、郑州、武汉、南昌、合肥、海口等**未收录或极少收录**（历史缺口，非农药出口主线）
5. **类型均衡度**：走私/固体废物/知识产权/检验检疫集中于少数关；保税违规、加工贸易违规类少

### P2 — 跨执法主体
6. **农业执法出口类**：农业部门查处的出口农药违规（无登记证出口、标签违规等，与本案直接相关）未进入驾驶舱——需从各省农业农村厅「行政处罚公示」单独建台账

## 三、全量收集路径（官方源）

### 3.1 直属海关公示栏目（逐关抓取主链路）
统一路径：`海关总署 → 各直属海关官网 → 政府信息公开 → 行政处罚（/行政处罚决定/走私违规行政处罚）`，已实测可用 URL 模板：

| 关区 | 栏目 URL 特征 |
|---|---|
| 上海 | shanghai.customs.gov.cn/shanghai_customs/zwgk/.../shgk78/423512/ |
| 宁波 | ningbo.customs.gov.cn/ningbo_customs/{yyyy}-{mm}/{dd}/article_*.html（列表页 index.html） |
| 杭州 | hangzhou.customs.gov.cn/hangzhou_customs/{yyyy}-{mm}/{dd}/article_*.html |
| 黄浦（广州） | huangpu.customs.gov.cn/...（部分关镜像挂载在 huangpu 域） |
| 福州 | huangpu.customs.gov.cn/fuzhou_customs/...（镜像） |

**抓取要点**：列表页取「决定书文号 + 标题 + 日期」→ 逐条进详情页提取正文 → 结构化入库。详情页字段：海关单位/文书编号/当事人/违法类型/违法事实/处罚决定/日期/原文 URL。

### 3.2 农药出口专项台账（关键字过滤）
对上述各关全量处罚记录，按**农药特征词**过滤建专项：
`乳油|悬浮剂|可湿性粉剂|水分散粒剂|颗粒剂|微乳剂|可溶液剂|原药|除草剂|杀虫剂|杀菌剂|植物生长调节剂|种衣剂|%` 
再按「出口申报不实 + 品名/含量不符」二次归类。目标：**青岛、天津、黄埔、深圳、宁波、大连、南京** 7 大口岸补齐后，农药出口台账可从 138 → 预计 500+ 条。

### 3.3 回溯补抓
- 各关公示列表支持按年翻页 → 从 2020 年起按季度回溯
- 农业执法：各省农业农村厅「行政执法公示/双公示」栏目，按《农药管理条例》处罚关键字抓取

### 3.4 去重规则（已有工具链，固化）
1. **主键**：决定书文号（唯一）
2. **三重校验**：海关单位 + 当事人 + 处罚日期 同时命中视为重复
3. 防漏规则：同一公司多案（不同文号）必须全收，不可按公司去重

## 四、入库流程（固化脚本链）

```
① 抓取/台账 Excel → ② 解析结构化（build_pest.py 模式：编号+续行合并+日期序列转 ISO）
→ ③ 去重入库（merge/rebuild .cjs：文号 Set 过滤 → 追加 → 源+dist 双写）
→ ④ node --check 语法校验 → ⑤ jsdom 冒烟测试（0 错误 + 计数断言）
→ ⑥ deploy_folder 部署 → ⑦ curl 线上核验（?t=random 绕过 CDN 缓存）
```
金额字段注意：`d` 内罚款金额**不要带千分位逗号**（parseAmt 正则 `罚款人民币([\d.]+)(万元|元)` 不识别 `72,000`）。

## 五、更新节奏建议

| 频率 | 动作 | 预计增量 |
|---|---|---|
| 每周 | 上海/宁波/杭州/黄埔 4 关 delta 抓取 + 台账 Excel 收编 | 5~20 条/周 |
| 每月 | 逐关回溯补漏 1-2 个关区（农药关键字过滤） | 30~80 条/月 |
| 季度 | 全面盘点覆盖度 vs 42 直属关，更新缺口清单 | — |
| 按需 | 农业执法出口类专项 | 与案件相关 |

## 六、自动化选项（待用户确认频率后建）

- **每日 09:00**：抓 4 关当日公示 → 去重 → 若新增 ≥1 条自动入库并部署
- **每周一 09:00**：全量 delta + 覆盖度报告推送
- 可托管为 EdgeOne 定时任务（需确认：是否启用、频率、是否需要钉钉/企微推送）

## 七、缺口速查（cockpit 已内嵌）

驾驶舱「海关出口农药 · 处罚专题」底部 ⚠ 区块已实时显示：当前覆盖关区（5 个上海属关）、主要缺口（42 直属关仅覆盖上海台账、2024-09 前未回溯、原文链接缺失）与补漏路径。
