题目
如何选择分块方式、Chunk 大小和重叠范围?
答案
先按文档的自然结构分块,例如标题、段落、条款、代码函数或表格,再用 Token 上限约束过长内容。只按固定字符数切分,容易把结论和适用条件拆开。 块太小,检索容易命中关键词,但模型拿不到完整背景;块太大,多个主题混在一起,检索精度和上下文利用率可能下降。 重叠用于保留边界附近的信息,适合连续长文本,但会增加索引体积和重复召回。对于独立 FAQ 或短条款,未必需要重叠。 ![分块大小要同时照顾检索和阅读](https://cs-wiki.oss-cn-shanghai.aliyuncs.com/question/agent-development/extra-chunk-boundaries-aba696f3dfc4b833.png) 可以从几组候选大小开始,用真实问题比较检索召回、最终正确率、延迟和成本。没有适用于所有知识库的固定最佳值;产品手册、合同和代码应分别调整。统计长度时使用实际模型或 Embedding 服务对应的 Token 计算方式。