qingjian/docs/notes/domain-words.md

领域词：从输入日志人工挑进基础词库（2026-09-12）

短语层（phrase-layer.md）并入后，冻结日志里选过 ≥ 2 次仍不在词库的还有 262 条。按公开语料（LCCC + 中文维基）次数分三档： ≥ 20 次 131 条、1–19 次 73 条、0 次 58 条。0 次的多是隐私与碎片（我压缩 / 就听你的 / 朱军龙），只留在个人词库；其余人工过一遍。

挑法

• 只收词：碎片（是不 / 看一 / 的不 / 而不 / 是是）、了 / 的 结尾的动词短语（完成了 / 额外的）、动词 + 到 / 成（切换到 / 压缩成）、代词开头的组合（我把 / 你都）不要。
• 语料 ≥ 20 次的按语料次数写，与 dict.tsv 词频同一尺度；不到 20 的输入法 / 开发术语（上屏 14、模糊音 9、大模型 9、候选框 1、账套 3）按 20 计，不然排在最后。
• 多音字（行数 hang shu、长句 chang ju、这俩 zhe lia、永乐大典 yong le da dian）拼音给全，lexicon 给了就不按字猜。
• 结果 48 条在 assets/lexicon/domain_words.tsv：看看 / 再也 / 在此 / 线上 / 最新 / 给出 / 做成 / 尽可能 / 或者说 / 不合理 / 不一致 / 只需要 / 对不上 / 按理说 / 等一下 / 这俩 / 对齐 / 后端 / 词库 / 分词 / 翻页 / 平铺 / 源码 / 数据包 / 设计图 / 详情页 / 搜索框 / 架构图 / 指示器 / 组合键 / 长句 / 上屏 / 候选框 / 模糊音 / 大模型 / 自签 / 自签证书 / 过期时间 / 中英 / 中英文 / 玩法 / 行数 / 收起 / 跳过 / 闲时 / 西格玛 / 账套 / 永乐大典。

进语言模型：当 token 统计会伤整句

领域词是真词，第一版让 bigram 正常把它们当 token 统计。整句评测集掉 0.1 个点（退步 15 句 / 进步 9 句），退步的全是低频词： 词库（语料 77 次）当 token 之后，语料里的 词 + 库 都归了这个 token，二元 (词, 库) 的证据没了，而 77 次的一元又太弱， zhuciku 出 助词哭、cikuli 出 次苦力；长句（43 次）同理出 长局，模糊音 出 莫和隐喻。这正是短语层笔记里的机制 ①。

改成领域词也走 bigram --phrases 的合成路（--phrases 可重复给）：分词时摘掉、统计完按成分合成一元 / 二元。整句里它们的得分与原来的两词路径一样， 词级多了个能整块选的词。两把尺子都回来了：

	整句评测集首选	字准确率	回放 词	回放 整句	回放 英文
短语层后基线	37.6%	76.8%	8064	2977	222
领域词当 token	37.5%	76.7%	8096	2979	222
领域词走合成（采用）	37.6%	76.9%	8098	2983	222

回放词级 +34：后端 8、对齐 7、候选框 7、尽可能 5、账套 / 模糊音 / 西格玛 各 2；整句 +6（组合键 / 平铺 / 不一致 / 长句 / 状态不一致）。 退步 9 条冷查询与基线完全一样，是回放里学习状态不同带来的（早先几次选到词而不是整句，学的东西变了）。

还留着的两件事

• 「整段输入恰好是一个词时不出整句候选、由词级排序定」这条规则（plain_sentence）在 token 方案下会咬人：行数 输给 行书、再也 输给 在也、分词 输给 分次。 走合成路之后冷查询全回来了（行数 / 再也 / 分词 / 而是 / 不对 都是首选）：合成的 (上文, 词) 二元让词级得分与原路径相等，词级排序与 Viterbi 的判断一致。不用动引擎。
• 语料只有几次的术语（上屏 9、长句 39、模糊音 7）语言模型认识但概率低，shangping 仍出 上平（上屏 第二）；这是数据如实的结果，选一次个人学习就顶上去，不给它们编次数。
• 语料 0 次的（微软拼音 / 悬浮条 / 全半角 / 输入日志）明显不是隐私，但按「基础词库只收公开语料里有的词」的规矩没进；要进得另立一个不看语料的白名单。

复现

assets/lexicon/QINGJIAN.md 第 4d 步；评测命令同 phrase-layer.md。