mirror of
https://github.com/qingjian-team/qingjian.git
synced 2026-11-06 16:13:55 +00:00
- 召回归因(sentence::diagnose,Engine::diagnose_sentence):没出对的整句里打分输掉占 70~92%、格子剪枝 6~25%,缺词与切分各约 1~3%;每格放宽到 12 个剪枝几乎消失但首选不变 - 词图 N-best 原来只差最后一个词:要的条数超过束宽时每个词留 NBEST_HISTORIES = 4 条来路、束宽同比放大 - 接了选词模型时长输入给 CHOICE_SENTENCE_CANDIDATES = 16 条整句由知意带上文重排,重排后只留前 3 条,第一页仍留给词 - 开发集(均衡档)正确句进第一页 devA 67.8→74.8、项目文档 51.7→61.2、新闻 81.0→90.1、新闻无上文 74.1→84.3,首选 +0~2.6;冻结回放整句 78.6→78.4、词 90.3→90.2 持平 - 代价:CLI 查询多 12~16 ms;正确句已在候选里时知意只选中 70~84%,下一步在重排 - CLI 评测 details 记 loss / loss_detail / path_rank,报告按 loss 计数 - 整句的先后本就是词图按语言模型排的,重排再加三元分与位置先验等于数三遍:挑错的里三到四成是知意对、被这两项压下(维基 → 危机) - 只对整句候选乘 SENTENCE_TERMS_SCALE = 0.5,词的打分不动;开发集离线模拟两项各 0.25~1 扫过,0.5 最好,只信知意反而更差 - 开发集(均衡档)devA 65.7→66.0、devAnc 64.2→64.6、项目文档 48.8→49.7、文档无上文 40.6→40.3、新闻 78.8→80.3、新闻无上文 70.4→73.0 - 冻结回放整句 78.4→79.4(+32 条)、词 90.2→90.1(−16 条,整句先验减轻后偶尔排到词前面) - Engine::last_choice_scores 记每条候选的知意 / 语言模型 / 位置先验分,CLI 评测 details 写进 choice 字段