题目
如何为文档和分块补充标题、关键词、时间及来源等元数据?
答案
先区分文档级与分块级信息。文档级包括文档 ID、来源 URL、作者、版本、生效时间和权限;分块级包括标题路径、页码、段落位置、父块 ID 和内容哈希。 标题和关键词可从原文提取,也可由模型补充,但模型生成的标签应标记来源,不能把推测当成原始事实。生效时间、发布时间和抓取时间要分别保存,它们不是同一件事。 可筛选字段尽量规范化,例如时间统一格式、产品使用稳定 ID、部门使用枚举。否则“研发部”和“技术研发部门”可能被当作不同过滤值。 元数据服务于过滤、排序、引用和更新。不要给每个块塞入大量无用标签;先明确在线查询会使用哪些字段,再制定校验规则和缺失值处理方式。