分块在 RAG 应用中的重要性。对于提高 LLM 性能至关重要，能使 RAG 应用更智能、更快速、更高效。
固定大小分块
-
方法：将文本分割成固定大小的块，不考虑内容的自然断点或结构。 -
优点：简单、成本效益高。 -
缺点：缺乏上下文意识。 -
改进：使用重叠块，让相邻块共享部分内容。
递归分块
-
方法：先用主要分隔符（如段落）分割，如果块太大，再用次要分隔符（如句子）递归分割。 -
优点：尊重文档结构，灵活适用于各种场景。
基于文档结构的分块
-
方法：根据文档的自然分区（如标题或章节）创建块。 -
优点：对结构化数据（如 HTML、Markdown、代码文件）非常有效。 -
缺点：对缺乏明确结构的数据效果较差。
语义分块
-
方法：将文本分成有意义的单位（如句子或段落），向量化后基于余弦距离合并成块。 -
特点：当检测到明显的上下文转换时形成新块。
基于LLM的分块
-
方法：使用语言模型生成语义独立的句子或命题作为块。 -
优点：高度准确。 -
缺点：计算需求最高。
