FastRAG：高效半结构化数据处理新范式，轻松提升检索生成效率

01

 简介

02

方法

FastRAG 的整体框架如上图所示，其主要由分块采样（Chunk sampling）、模式学习（Schema learning）、脚本学习（Script learning）和信息检索（Information Retrieval）这四部分组成。下面详细介绍每一组成部分。

1. 分块采样（Chunk sampling）

• 数据预处理：对源数据进行预处理，例如去除无关字符、分词等。

• 关键词提取：使用 K-means 聚类算法将预处理后的数据分割成多个聚类，并选择每个聚类中与质心最近的  个词作为关键词。关键词代表了文本中的重要信息。
• 样本选择：
• 计算 TF-IDF 向量：对每个聚类中的文本计算 TF-IDF 向量，用于评估每个文本的重要性。
• 计算熵值：计算每个文本的熵值，用于评估每个文本的多样性。
• 选择样本：选择包含所有关键词且熵值最大的  个文本作为样本。样本选择算法旨在选择具有代表性的文本，涵盖源数据的语法特征。

2. 模式学习（Schema learning）

• 生成模式：将样本文本提交给 LLM，生成初始的 JSON 模式。

• 评估模式：使用 LLM 评估生成的模式的质量，例如是否包含所有实体类型、属性描述是否准确等。

• 修改模式：根据评估结果修改模式，例如添加或删除实体类型、修改属性描述等。

• 重复迭代：重复执行生成模式、评估模式和修改模式的步骤，直到获得最佳结构。

3. 脚本学习（Script learning）

• 生成代码：将源数据样本提交给 LLM，生成初始的解析代码。

• 评估代码：使用 LLM 评估生成的代码的质量，例如是否能够正确解析源数据、是否能够生成结构化数据等。

• 修改代码：根据评估结果修改代码，例如修复解析错误、改进代码结构等。

• 重复迭代：重复执行生成代码、评估代码和修改代码的步骤，直到获得最佳解析效果。

4. 信息检索（Information Retrieval）

• 实体节点创建：在JSON对象中识别的每个实体都作为一个节点插入到KG中，实体类型作为节点的标签。
• 属性节点创建：实体的简单类型属性直接作为节点的属性赋值，而属性本身为对象的，则作为子节点插入，并与其父节点连接。

• 文本节点创建：对于每个实体的输入数据属性中的每一行，都创建一个相应的节点，并链接到父实体节点。这些输入数据节点将用于利用NLP方法进行文本搜索。

• 图查询：使用 LLM 生成 GQL 语句，从知识图谱中检索相关信息。
• 文本搜索：使用 LLM 生成一个仅利用文本搜索功能的 GQL 语句，利用文本搜索功能检索相关信息。
• 混合查询：同时执行图查询和文本搜索，并将结果合并生成最终答案。

• Hybrid 查询：结合了KG查询和文本搜索的能力，指示LLM生成一个能够利用两种方法的任何相关功能的GQL语句。

03

总结