作品集 工程记录 04 / 04

评测 / 不确定性 · 一份报表的每一格 · 独立开发

摘数:把「不确定」变成可以分配的东西

报表抽取通常被当成一个问题:准确率能不能从 88% 提到 92%。这个问法问错了—— 真正决定产品形态的是哪一部分机器可以自己下、哪一部分必须有人看。 这一页讲三件事:判据怎么先于代码写下来、真踩到的错、以及接上模型之后它错在哪一类。

打开复核台(模型版)→
18张真实 PDF
1480个金标格(1264 人工复核)
95.1%模型抽对
0静默零 / 幻觉

01 交付了什么

先写边界,再谈判断

输入是 18 张从广州市统计局公开 PDF 里裁出来的单页表(《广州统计信息手册 2026》分区表:11 个区 + 全市,1978–2025 的时间序列也在里面)。输出是 1694 个字段,每个字段带值、单位、所属行列、原文坐标、原文串——坐标这一项是留给复核台的:点开就能看见这个数字在原文里被高亮出来。

链路是四段:PDF 文本层 → 行列重建 → 闭合校验 → 置信度 → 复核队列。中间任何一段没有证据,后面的数字就不许入库。跑一次 0.02 秒/页,纯本地,不联网、不调 API。

另外两件交付不是代码:SPEC.md(什么算对:判据 C1–C6、错误分类 E1–E8、发布门槛)和 LABELING.md(标注规则:两条独立通路、κ 一致率、仲裁)。判据写在代码之前,这条顺序是这套东西唯一不能省的地方。

02 动手前先写下的判据

每一条都能被一条命令判死,不靠感觉

判据怎么测结果
值、单位、行列都对,才算这一格对 逐格与原文比对,只容忍千分位、全角、负号这类字符差异 已复核 1264 / 1694 字段
不许编:空值输出 0 是最严重的错 E7 静默零 单独成一类,发布门槛写死为 0;缺失格只许输出 ∅ 并标 blank_kind 空值 9 个,全部标注,0 个被填成 0
两种校验分开担保,不许相加 算术闭合(字段级)与结构约束(表级)分别统计覆盖率 25.7% / 100%,并集不当作可自动面积
准确率只许报「已复核子集」 accuracy.py 强制按 checked 数取分母,并打印「不能外推」 1264/1694 = 74.6% 覆盖

03 真的错过的四处

每条都按「现象 → 怎么发现的 → 改成什么 → 现在拿什么证明」写

01数字是右对齐的,整列错位到隔壁

怎么发现的
表 12 重建出 3 列,而原文只有 2 列。查坐标才发现:32039.46 的左沿在 193.7,317.02 的左沿在 205.1——同一列的数字左沿差 11 磅,按左沿聚类就把一列拆成两列,7710.27 又被塞进第 1 列。
改成了什么
改成按右沿聚类(x + 估宽),表头祖先关系仍用每列左沿的中位数去匹配。这一改让全语料字段数从 1706 变成 1694、结构缺失从 21 降到 9。
现在的证据
12 表恢复成 2 列,逐格与原文对得上;同一套聚类跑在另外 17 张表上没有回归。

02脚注正则把整张时序表吃掉了

怎么发现的
表 7 重建出 0 行数据、只剩一堆「注」。原因是判脚注用的 ^\d+[..、]:数据行 1978 | 43.09 去掉空格正好是 197843.09,开头是数字加点,被判成「1. 注」。
改成了什么
收紧成 ^\d{1,2}[..、];同时补了一条:行首是年份且行内有 ≥2 格时,首格当行 key,且这些年份格不参与列聚类——否则行标签本身会被当成一个数据值吞掉。
现在的证据
7 表 252 个字段全部重建,1978–2025 逐年与原文对得上。

03越秀区的空行,把整个区变成了子行

怎么发现的
13 表重建出来只有 5 个区。越秀区的「第一产业」整行在原文里就是空的(数值一个都没有),于是这行没被当成数据行,而被当成小标题,父级被重置——后面的区名全成了它的子行。
改成了什么
加 INDICATOR 形态判断:长得像「第一产业 / #工业 / 其中:…」的行,即使一个数字都没有,也是数据行,只是全格为 ∅ 且 blank_kind='missing',且不重置父级。另外父子关系只认这些关键词,不认缩进——pdf 文本层里每个区名前面都有空格,缩进根本不可靠。
现在的证据
13 表 30 行 × 4 列全部重建,越秀「第一产业」四格显示为 ∅ 而不是 0,和原文一致。

04交叉比对报出来的 27 处「错」,全是我的口径错

怎么发现的
把抽取结果和《广州经济看板》里已经人工核对过的成品数据对撞,第一版 116 组里 27 组不一致。
改成了什么
逐条查完:拿「农林牧渔业总产值」比「第一产业增加值」(总产值 ≠ 增加值)、拿「规模以上工业总产值」比「工业增加值」(差 3–4 倍)、把户籍人口那行当常住人口。删掉这三类不可比的比较,其余全部对齐。
现在的证据
100 组比对 100/100 一致。这条比准确率有用:自动化最容易骗过自己的地方不是抽错,是抽对了却拿去和错的东西比。

04 规则版最重要的一个数字:机器敢自己下多少

不是准确率,是「有多少格它能自己负责」

真跑出来的 · 不是推演

自动入库 96%,但只有 26.8% 被真正复算过

阈值从 0.50 扫到 1.00,看两件事:机器敢自己下多少、人要复核多少。t=0.80 时自动入库 96.0%,看着很美——但其中只有 26.8% 是「被同一张表里其它数字复算验证过」的,剩下 73% 只是「表没散架」。

把口径换一下就更清楚了:若要求自动入库必须被复算验证(完全不看置信度),能自动的只有 25.7%,其余 1259 个字段要人看 = 69.9 字段/页。

所以置信度不是让可自动面积变大的旋钮,它只决定先看谁。这条结论直接改了产品形态:复核台不是兜底,它是主界面——所以第四件作品的首页就是复核台,而不是报表。

05 接上模型之后:判据一条没改,只换被验的东西

真跑出来的 · DeepSeek API · 1480 个金标格逐格对账

真跑出来的 · 不是推演

1480 个金标格,抽对 1408 个 = 95.14%;静默零 0、幻觉 0

喂给模型的不是我的列聚类结果,是带坐标的原始文本行(y=398.9 [75.8]全市 [171.0]598.04)。 如果把我算好的结构也喂进去,测出来的只会是「模型会不会填表」,不是「模型能不能读版面」。

18 张表里只有一张没抽对:表 7,71.4%。但它的数字一个都没抄错——错的是列名: 模型把 #工业 排到了 第三产业 前面,于是「第三产业」这个列名下面挂的是工业的数。 我拿原文的 x 坐标验过金标是对的(表头 第三 x=228.3、#工业 x=268.8)。 这类错肉眼看不出来,只有逐格比才露——下游拿这一列算占比,结论会直接反掉。

准确率不是一次到位的:58.0% → 69.1% → 85.4% → 95.1%。第二步只改了对账口径 (行怎么配对、列名去掉「(%)」后缀),模型一个字没动——所以报告里我写死了这句: 「其中一部分是对账口径的修正,不只是模型变好」。

40 道题 · 开卷 vs 闭卷

同一批题问两遍:给检索片段 82.5%,只靠记忆 0 分

40 道题 = 20 单值(覆盖 11 张表、8 个口径)+ 8 道「原文就是空的」+ 12 道应当拒答(越界年份 / 别的城市 / 语料没有的指标)。 答案由金标现场解析,解析不到就构建失败——题集里不许出现一个手抄错的数字。

开卷:整卷 82.5%(33/40);单值题值对 90%、引用对 70%; 缺格 8/8 全认出(没写 0);应拒 12/12 全拒;幻觉 0。 闭卷:整卷 50%——但这个 50% 是假的,它把 19 道题全拒了,而「该拒答」这类拒了就算对。 这就是为什么拒答率不能单独当指标,必须跟值正确率一起看(闭卷值正确率 0%)。

开卷错的 7 道里,没有一道是「数字抄错」:3 道是行和列写反(这几张表是行=年份、列=指标), 2 道是数字对、出处错——最危险的一种:答案看着对,复核的人按引用去原表查,查不到,也没法否掉。 所以引用不是装饰,它是可核对的前提。

成本

¥0.1170 / 18 页 ≈ 0.65 分一页,40 道问答 ¥0.0627

抽取 18 次调用、输入 35 795 token、输出 15 125 token。钱不是重点,重点是它和复核负载要一起算: 模型把值对了 95%,但引用只对 70%——落到复核台上,人不是「从头看」,是「只看它指得对不对」。 这笔账能不能成立,取决于引用正确率,不取决于抽取准确率。

06 复核的证据层:为什么只看真页

「看起来对」和「复算对」是两件事

人坐在这里做的事只有一件:拿原文和右边那个录入值对照。所以第一个要问的不是「界面好不好用」,是 左边这个东西本身会不会和抽取一起错。三条通路对着摆一下,答案很清楚:

你看到的怎么来的和抽取同源吗能不能当证据
真页pypdfium2 把 PDF 页面渲成位图,读的是字形,不读 ToUnicode 文本层不同源能,以它为准
整表缩略图把文本层的每个文字块按 x/y 放回去(不重新聚列)同源不能,只能定位
右侧录入值模型(或规则)从同一份文本层里抽的同源被审对象

缩略图不会错在「哪一列是哪列」上——它根本不聚列,只是照着坐标摆字;但它会错在「字」上: 如果解析把 8 读成 3,缩略图画出 3、模型看到的也是 3, 左右一对照正好「一致」——这就是循环论证。所以对照关系只能是 真页 ↔ 录入值;缩略图 ↔ 录入值 只能发现错行、错列、漏格、空值写 0 这类结构错。

设计动作(不是只承认缺陷):桌面上只给真页,缩略图按钮不出现、R 不生效; 手机上才出缩略图(390 宽放不下整页),且图例里直接写「这一层和抽取同源,只能定位、不能当证据」。 一句话:复核的证据层只有真页(PDF 渲染);文本层重排与抽取同源,只能定位、不能作证。

07 局限