2 Commits

Include renames

Author	SHA1	Message	Date
yenharvey	5380636c82	领域词：从输入日志人工挑 48 条（对齐 / 后端 / 词库 / 候选框 / 看看 / 再也）进基础词库，语言模型走短语同款合成计数 ... - assets/lexicon/domain_words.tsv：日志里选过 ≥ 2 次、词库与短语层都没有、公开语料里出现过的词；次数用语料次数，不到 20 的按 20，多音字拼音给全 - bigram --phrases 可重复给：领域词当 token 统计会吸走成分词的二元证据（词库 77 次 → 词 + 库 路径没了，整句出 助词哭），走合成路整句得分与原路径一样 - 回放 词 8064 → 8098、整句 2977 → 2983，整句评测集 37.6% 持平（字准确率 76.8 → 76.9）；同步 dict.tsv 与领域词库 - 记录：docs/notes/domain-words.md、QINGJIAN.md 4d	2026-09-12 12:04:10 +08:00
yenharvey	209cfa63b7	短语层：dict-convert phrases 从语料挖 5398 条人整块打的组合（我的 / 好的 / 不知道）进基础词库，品牌词 青简；语言模型按成分合成短语计数 ... - phrases 子命令：两遍扫语料数相邻两三词，总次数与 LCCC 对话语料次数都 ≥ 2000，边界规则 + 笑声串不配对，读音由成分词拼出；--refresh 重跑 - lexicon --extra-words 文件加第三列拼音；assets/lexicon/phrases.tsv、brand.tsv（青简 210） - bigram --phrases：分词摘掉短语、统计完合成一元 / 二元（P(短语|v)=P(a|v)P(b|a)），合成行另加不占真实行名额；--brand 写一元与句首二元 短语当 token 重训会让 二十 压过 而是、部队 压过 不对，见 docs/notes/phrase-layer.md - 整句评测集持平 37.6%，回放词级 8032 → 8064；qingjian 出 请见 / 青简 / 请柬	2026-09-12 10:54:17 +08:00