【CAIS】关于Compound AI Systems的思考

# Brief

符合人工智能CAIS一词是由BAIR实验室与2024年提出的一篇博客。博客中阐述了`什么是复合人工智能系统`，`什么类型的工程产品属于符合人工智能系统`, `复合人工智能系统的组成部分`, `构建复合人工智能系统和核心与挑战`等多个方面阐述了这一新名词。
https://bair.berkeley.edu/blog/2024/02/18/compound-ai-systems/
The Shift from Models to Compound AI Systems, BAIR, 2024

* 文中的核心观点是说：目前LLM的能力还存在诸多的不足，并且在针对指定能力或者是指定点上进行整体提升上还存在着不少的困难，例如编程能力、考试能力。所以通常会使用，RAG，CoT或者是使用一些工具如计算器等方法提升最总输出结果的准确性。所以复合人工智能系统的方法通过使用各种各样的人工智能算法如机器学习、深度学习、自然语言处理、图像识别等等各种手段提升最终输出的结果正确性和准确率。当然还包括当前构建一个强大能力的单体AI模型和使用复合人工智能系统模型的投入产出比。

* 博客中提到，诸如AlphaCode2 AlphaGeometry Medprompt Gemini onMMLU ChatGPT Plas Bing 等等这些广为人知的应用产品都是使用了复合人工智能智能，而非单一的完全依靠单个模型的强大能力去解决所有问题。

* 提到挑战，作者将使用复合人工智能系统所面临的核心挑战进行了分类。首先是`设计方面`，以RAG为例，那构建信息提取方法和自然语言模型的选择、提高信息提取输出质量的方法、提高大语言模型生成结果的提升方法每个环节都涉及到大量选择。这对于开发者进行设计时是一个复杂的设计空间。其次是`优化方面`，针对于哪个环节进行优化，如数据、方法、输出、硬件、软件都是复杂的问题；再次是`操作或者说是评价标准`，原来的机器学习方法中，对一个任务模型输出结果的评价相对简单，但是当前模型本身的数据，开发者如何对模型的中间过程进行监控以及模型本身输出涉及到的评价标准尤其是安全相关，都使得对系统输出结果的分析变得困难。`新范式`：这是一个重点的总结归纳，作者将CAIS范式的组成部分做了如下归纳，下面是一些作者的表述以及基于我重点想总结归纳的我自己的见解和理解所添加的内容的整合。

# CAIS

* 应用构建框架：langChain、llamaIndex。作为应用构建的最终入口，这些工具可以帮助开发者或使用者，直接通过多个复合的prompt或者对LLM的调用，直接输出应用；
* 智能体框架：AutoGPT、MetaGPT、BabyAGI。使得LLM可以驱动应用构建框架，当然更广义的对于智能体框架的作用还包含了对于多个智能体的管理、智能体的自我进化等；
* 控制LM输出的工具：Guardrails、Outlines、LMQL and SGLang；
* 输出策略：CoT、self-consitency 自我批判、WikiChat、RAG等等

# 各种项目
Databricks，AI Gateway，LangSmith，Phoenix Traces，MT-Bench，Fava and ARES