【BI/DI】LLM Using in BI Testing Scenario (On going)

# Description

本篇文章的技术重点将放在大预研模型针对BI流程的一些实测，以及一些针对性的验证以确认目前大语言模型的能力是否能对BI场景进行效率提升和优化。

大语言模型用于BI其实是一个非常好的场景，但是后来不少人经过测试或者一些经验发现大语言模型不能有效的解决复杂的BI问题，主要原因我细细总结下来有几点：
1. （针对使用人群）对于当前的用户其实更多是需要描述需求的业务人员，当业务人员无法清晰的表达业务需求时，大语言模型无法依赖它已经获取的知识和对结构化和非结构化的数据库对信息进行检索和组装；
2. （针对实现方案）平常都是BI技术人员将业务人员的需求转化为具体的脚本或者功能，由于后端的数据不论是结构化还是非结构化的数据，有可能复杂度非常高，使得在进行一些复杂业务拆解时往往需要多个人共同商讨，或者针对相关业务需求，应该使用哪些字段如果提高搜随准确性和效率，也体现了不同BI支持人员对于数据的理解以及对于技术的理解。于此同时，对于不同的实现方案，有些可能业务可以进行自我修改解决之后的延展问题，有些可能仍然需要BI技术人员的支持，并且他们之间的交互往往是通过直接传递脚本（权限足够能够对数据库进行访问）或者报表和系统中的某个新按钮或者新功能；
3. （紧迫性）看似不重要其实也很重要，毕竟互联网公司最不缺的就是支持BI的各种技术人员，一方面他们能够熟练并快速的实现各种复杂业务需求，以至于对于LLM解决复杂BI场景的痛点并没有足够的分析；本篇文章的重点内容放在LLM对于一些BI流程的效率提升和复杂场景的问题优化。

所以，大家希望的BI效率提升，当然是希望能够直接以自然语言的方式表达需求，而模型直接返回需要的脚本，或者直接是满足需要特定格式，曲线或者图表的结果。一方面自然语言的灵活的，尤其是中文的灵活度很高，一方面希望直接端到端的给出结果这个难度其实更高。

最近，有几个毫不相关的事让我对这个命题有了一点自己的认识和理解：
* 1. 听了几个脱口秀演员的播客，播客当中有视频创作工作者、有文字工作者也有一切其他的人，大家对于文字创作和文字表达本身都认为是一件很难的事，所以对于与大模型交互所需要的prompt其实是模型是否能给你一个你想要的结果的一个重要输入。如果你无法将你的需求，清晰的通过prompt进行构建，模型是很难给你一个令你满意的结果；
* 2. 最近在开发基于Jetson AGX Orin的相关扩展板卡的适配以及驱动开发，之前虽然了解一些，但是其实对于很多的细节其实并不了解。因为要想完整的实现板卡在AGX Orin，以及在树莓派上的适配，需要具备很多知识能力。板卡的版本、软件驱动版本、内核版本、设备树配置、驱动修改；再涉及到和摄像头相关的串行解串、寄存器配置、驱动、v4l2框架等等。本身这个过程是非常复杂的，基于一款硬件做整个链路的完整工作，原来经常是一个人一个小团队几周甚至数月的工作量，包含了大量的技术文档的阅读等等。然而，我却用了不到10天时间完成了从0到1的大量工作，其中LLM给了我大量的帮助。
	* 复盘了一下我的整个经历：
	1. 先通过大模型基于他已经构建的知识体系，了解相关任务的核心环节；
	2. 基于梳理出的核心环节，找相关专家详细了解核心步骤、重点技术和经验；
	3. 有了相关信息，就可以引导大模型针对核心环节给出更明确的方案；
	4. 利用大模型强大的推理能力，尽可能利用源码、技术文档和清晰的技术需求，由大模型完成相关工作，之后进行验证；
	5. 遇到的问题再在社区上进行文旦，或直接将社区结果接入大模型，由模型对相关信息进行整合和总结。
	以上过程不仅使我快速并详细了解了一整套技术链路，同时能快速针对模型无法解决的细节做聚焦排查，掌握技术路径上的核心经验。这一过程中，让我对大模型的整合推理能力有了更感性的认识。
* 3. 对MetaGPT、Lanchain和AutoGPT等智能体框架进行研读，尤其是MetaGPT。对于智能体的工作，一方面是智能体设计，其次是大模型能力（推理、逻辑、整合、coding等等），同时还有一个重要因素，也就是智能体角色的提示词（prompt）架构和文字组织，这对于智能体是否能充分通过多智能体交互实现自我引导，达到最终目的非常重要；
* 4. 对之前收集的自动驾驶数据集的结果进行了一些基于LLM的测试。这也是这边文章后面会展开详细说明的技术点。先说结论：`对于BI是否需要使用RAG，这个等之后再写一篇文章说明。只是针对LLM本身，在token充分且不担心后端设计本身的信息安全和知识产权的情况下，给gpt4o够越详细的描述当前的数据表，并提供表格创建源码，同时针对每个表格的中表头定义以及关联关系进行详细的解释说明，并对业务需求进行描述进行详细描述，模型能够非常准确的给出所需要的BI代码。这一点是非常重要的，这对于LLM是否能够解决复杂场景BI的问题来说是非常关键的。而至于复杂度，如果是基于Scaling Laws，和无线上下文，以及多模态能力，我认为BI环节还是有希望直接被LLM取代，并给出端到端的报表结果的。`

# Introduction

# Scenario

# Conclusion

# Last but not Least