测试目标
区分抓取、候选信源与正文引用
服务器日志只能说明一次请求发生过;搜索结果或回答界面中的明确 URL 才能支持“候选信源”判定;答案正文对该来源的明确指向,才支持“正文引用”判定。这三层不能互相替代。
三条硬规则
- 答案观点相似不算引用。
- 只有明确出现 URL 或信源记录,才算候选信源。
- 只有答案正文明确引用该来源,才算正文引用。
固定实验条件
每轮测试保存什么
- 固定问题词
- 为每个实验建立版本化问题清单。回测期内不改写问题;必须修改时另开版本,避免把提示词变化误判为信源变化。
- 固定平台
- 同一轮在预先登记的平台、入口、账号状态与可用模型上测试;平台或模型变化单独记录。
- 回测周期
- 按实验预先声明的周期复测。临时加测可以保留,但不与固定周期样本混算。
- 原始回答保存
- 保存完整原始回答、测试时间、平台、入口、模型标识(若可见)与必要截图,不只摘录支持结论的片段。
- 信源 URL 保存
- 逐条保存平台明确展示的 URL、标题、出现位置和访问时间;重定向 URL 同时保存最终 canonical URL。
- 首次出现日期
- 记录某 URL 首次满足候选信源或正文引用标准的日期,不用首次抓取日期代替。
- 连续出现次数
- 按固定周期连续满足同一判定标准才累加;漏测、平台故障和问题版本变化会中断或标记序列。
判定与来源规范
候选信源和正文引用分别记账
候选信源:平台在本次回答、搜索结果或“阅读资料”区域明确展示可辨认的源见 URL。只出现站名、相似标题或相似观点,不通过。
正文引用:回答正文中的具体陈述,通过脚注、编号、链接或平台可展开的引用标记明确指向该 URL。只在侧栏列出来源、不与正文建立对应关系时,不通过。
来源记录至少包含原始 URL、最终 canonical URL、页面标题、平台显示位置、测试时间和证据文件。失效链接、聚合转载与无法还原的跳转要单独标记。
链接编辑规范
让读者能回到原始证据
实验记录链接到具体文章或证据页,不只链接首页。页面标题、URL 或 canonical 发生变化时保留变更记录;编辑不得补写平台当时没有展示的链接,也不得用截图中的相似文字反推 URL。
纠错机制
原始证据不覆盖,结论可更正
发现漏记、误判或平台界面解释错误时,保留原始回答与旧判定,新增更正记录,写明更正时间、原因、责任人和影响范围。更正后的连续出现次数重新计算;不静默修改历史结论。
局限性
测试结果不是普遍排名结论
- 平台结果可能受时间、地区、账号、模型版本、联网开关和个性化影响。
- 固定问题提高可比性,但不能代表所有真实用户问法。
- 抓取或进入候选信源不等于被索引、被信任、获得稳定排名或促成业务转化。
- 小样本中的连续出现只能描述本实验,不应外推为全平台覆盖率。
- 平台未展示完整检索链路时,源见只能记录可见证据,不能推断内部模型行为。