返回写作
实践札记已修订

做统计问答系统时,我把出处留在了检索链路里

第一版已经能生成流畅回答,但回到课程资料里检查时,我发现引用必须从资料进入系统的那一步就开始保留。

  • RAG
  • 检索
  • 项目札记

第一版看起来已经不错

统计问答系统的早期版本很快就能给出完整回答。页面顺,语气也像那么回事。可我回到课程资料里逐句检查时,发现有些说法只是模型补得合理,材料里并没有足够依据。

当时的引用是在回答完成后再补。这样很容易变成先有结论,再去找一段看起来相关的材料。

我把出处往前移

我后来改了资料处理流程。文本切块时就保留来源标识;知识关系也要能回到对应材料;检索层交给模型的是一组带出处的证据。

页面上的引用只是最后显示出来的一步。需要守住的是来源在采集、切块、检索和生成之间没有丢。

完成标准跟着变了

修改以后,我也换了验收方式。除了示例问题能不能答,我会检查资料不足时系统怎样收住、引用能不能回到原文,以及同一组问题在更新后有没有退步。

这次改动让我记住了一件很具体的事:出处要在数据进入系统时开始设计,等回答写完再补已经太晚了。