【RAG】通过RAG构建垂直领域的LLM Agent的方法探索

# [llama index](https://github.com/run-llama/llama_index)
`llama_index`（现称为 llama_index，以前称为 GPT Index）是一个用于构建、检索和操作文本数据索引的工具。它的核心作用是在大型语言模型（如GPT-3）之上创建高效的数据索引和查询接口，以便更快速和智能地处理文本数据。以下是llama_index的一些主要作用：

* 索引构建：
llama_index 可以从大文本数据集中提取有用的信息并构建索引。这个索引可以用来加速文本数据的查询和检索。
它支持多种数据格式的索引构建，包括文档、网页、数据库等。

* 高效检索：
通过构建的索引，llama_index 能够实现对大规模文本数据的高效检索。用户可以快速找到与查询相关的信息，而不需要遍历整个数据集。

* 智能查询接口：
llama_index 提供了与GPT-3等大型语言模型的集成，能够通过自然语言查询从索引中提取信息。这样，用户可以使用类似对话的方式进行数据检索。

* 数据增强与转换：
它还可以对数据进行各种增强和转换操作，例如提取摘要、关键词提取、情感分析等。这些操作可以帮助用户更好地理解和利用数据。

* 应用集成：
llama_index 可以与各种应用和系统集成，提供强大的文本数据处理能力。它可以用于搜索引擎优化、聊天机器人、知识库建设等多个领域。

# [Trulens](https://github.com/truera/trulens)

`TruLens` 是一个用于对语言模型应用（如对话代理、文本生成系统等）进行透明化评估和解释的工具。它帮助开发者了解和改进语言模型的行为和性能。以下是 TruLens 的主要功能和作用：

* 解释模型决策：
TruLens 提供了工具和方法来解释语言模型的决策过程。这可以帮助开发者理解模型是如何得出特定答案的，并识别潜在的问题或偏见。

* 性能评估：
通过对模型输出进行定量和定性评估，TruLens 帮助开发者评估模型的性能。它可以自动生成性能报告，涵盖准确性、流畅性、一致性等方面。

* 可视化工具：
TruLens 提供了一系列可视化工具，帮助开发者直观地分析模型的输出。例如，热图、注意力图等，帮助识别输入与输出之间的关系。

* 定制评估指标：
开发者可以定义和使用自定义的评估指标来评估模型的表现。这使得评估过程更具灵活性和针对性。

* 集成与扩展：
TruLens 可以与多种模型和框架集成，支持对不同类型的语言模型进行评估和解释。它还提供了扩展功能，允许开发者根据需要添加新的功能和工具。

* 作用与应用场景
	* 调试和改进模型：TruLens 帮助开发者识别模型的弱点和错误，并提供改进的方向。例如，通过分析错误样本，开发者可以针对性地调整模型或训练数据。
	* 确保模型的公平性和透明性：通过解释模型决策和评估模型表现，TruLens 帮助开发者识别和减轻模型中的偏见和不公平现象。这对于部署在现实世界中的应用尤其重要。
	* 提升用户信任：当用户知道模型的决策过程是透明且可解释的，他们对模型的信任度会增加。TruLens 提供的解释和评估功能有助于提升用户对模型的信任。
	* 学术研究和实验：在研究和实验环境中，TruLens 可以帮助研究人员深入分析和理解语言模型的行为，为学术研究提供数据支持。

![](/media/202407/2024-07-03_143715_7136090.4646259377938323.png)

![](/media/202407/2024-07-03_144701_7267170.4999713326474018.png)

![](/media/202407/2024-07-03_174707_4107350.6930181630348018.png)

![](/media/202407/2024-07-04_145811_8450600.02630101222233805.png)

# Annexe
* https://www.bilibili.com/video/BV1dz421B7ro?p=3&vd_source=c551ef751ac5907298e9c711d193f9cd

* https://www.bilibili.com/video/BV1tw4m1q7PC/?spm_id_from=333.788.recommend_more_video.0&vd_source=c551ef751ac5907298e9c711d193f9cd

* https://www.bilibili.com/video/BV1XC411n72m/?spm_id_from=333.788.recommend_more_video.1&vd_source=c551ef751ac5907298e9c711d193f9cd

* https://www.bilibili.com/video/BV1Yi4y1B7RC/?spm_id_from=333.999.0.0

* [llama index](https://github.com/run-llama/llama_index)

* [trulens](https://github.com/truera/trulens)

* [Chain-of-Thought Prompting Elicits Reasoning in Large Language Models](https://ar5iv.labs.arxiv.org/html/2201.11903)

* [Automatic Chain of Thought Prompting in Large Language Models](https://ar5iv.labs.arxiv.org/html/2210.03493)

* [Self-Consistency Improves Chain of Thought Reasoning in Language Models](https://ar5iv.labs.arxiv.org/html/2203.11171)

* https://www.trulens.org/trulens_eval/getting_started/core_concepts/1_rag_prototype/

* [Building-and-Evaluating-Advanced-RAG-Applications](https://github.com/kevintsai/Building-and-Evaluating-Advanced-RAG-Applications)

【RAG】 通过RAG构建垂直领域的LLM Agent的方法探索

【RAG】通过RAG构建垂直领域的LLM Agent的方法探索