题目
如何选择分块方式、Chunk 大小和重叠范围?
答案
先按文档的自然结构分块,例如标题、段落、条款、代码函数或表格,再用 Token 上限约束过长内容。只按固定字符数切分,容易把结论和适用条件拆开。
块太小,检索容易命中关键词,但模型拿不到完整背景;块太大,多个主题混在一起,检索精度和上下文利用率可能下降。
重叠用于保留边界附近的信息,适合连续长文本,但会增加索引体积和重复召回。对于独立 FAQ 或短条款,未必需要重叠。

可以从几组候选大小开始,用真实问题比较检索召回、最终正确率、延迟和成本。没有适用于所有知识库的固定最佳值;产品手册、合同和代码应分别调整。统计长度时使用实际模型或 Embedding 服务对应的 Token 计算方式。
