先做字符规范化、编码修复和空白整理，再根据文档结构识别噪声。多页重复出现且位置固定的内容通常是页眉页脚，但合同条款和表格标题不能仅凭重复就删除。 精确重复可用内容哈希识别；近似重复可结合相似度、文档版本和来源判断。相似内容可能属于不同生效日期，不能只留一份却丢失版本信息。 乱码严重、文字过少或 OCR 质量低的页面应隔离处理，不要让清洗程序把残缺文本当正常知识入库。代码、公式和表格需要单独规则，避免错误删除符号。 保留原始文档、清洗版本和处理日志，并用抽样对照检查是否误删。清洗的目标是去掉干扰，同时保留能影响含义的条件、例外、单位和注释。