复合人工智能系统：专业化智能的未来

自 2022 年中期爆炸性出现以来，生成式人工智能迅速吸引了全球的目光。最初以语言模式为中心，后来扩展到令人兴奋的新领域，包括图像、音频和视频模型。2023 年初，人们开始猜测这项技术对各行各业业务的潜在影响，同时还出现了令人兴奋的早期应用案例。随着越来越多的开发人员开始使用这些模型构建解决方案，人们的普遍看法转向了不断出现更新、更大、更好的最广泛使用的模型版本。.

进入 2024 年，一个重要的洞察力已经显现：部署人工智能并不是简单地采用现成的最新、最大的模型。虽然人们普遍认为人工智能解决方案是现成的，或者增加模型规模会自动带来更好的结果，但这种方法很少能满足大多数企业的特殊需求。实际上，成功的应用需要量身定制、灵活高效的人工智能解决方案。.

为此，我们求助于 复合人工智能系统. .与单一的单体模型不同，复合人工智能系统集成了多个专门的人工智能组件，每个组件都针对特定角色进行了优化。这种结构可确保高度的可定制性、适应性和精确性，将人工智能从通用工具转变为专用解决方案。通过组合更小的、相互关联的人工智能组件，企业可以实现远远超出现成模型范围的性能和结果。因此，为了在各行各业产生最佳业务影响，我们认为，战略愿景应优先考虑更智能的系统设计，而不是简单地构建更大、计算要求更高的模型。.

伯克利人工智能研究实验室（BAIR）将复合人工智能系统定义为一个系统 “使用多个交互组件（包括多次调用模型、检索器或外部工具）处理人工智能任务”. .例如, 检索增强生成（RAG）系统 是一个复合系统，它结合了大语言模型 (LLM)、信息检索机制和矢量化 database。相比之下，生成式人工智能模型是一个 统计模型; 例如，LLM 根据训练 data 预测文本中的下一个标记。.

在这种情况下，一个模型可以被看作是一个单独的模块，而一个复合人工智能系统更像是由多个构件组成的机器，每个构件都有特定的功能，以实现系统的总体目标。.

模型与人工智能复合系统。. 资料来源

在处理特定应用或行业需求时，依靠像 GPT-4 这样的通用人工智能模型可能是不够的。这类模型虽然功能强大，但其设计目的是处理广泛的任务，可能缺乏特定应用所需的专业知识，导致超过一定程度后收益递减。.

例如，一家金融机构希望开发一个用于投资分析或财富管理的聊天机器人，它需要一个既有专业知识又有企业特定专长的系统。鉴于该行业的性质，隐私（公司可能要求使用内部解决方案和专用开放模型）、准确性（解决方案的准确性必须无可挑剔）和效率都是需要考虑的问题。即使将最强大的语言模型作为独立解决方案使用，也绝对不是最佳选择。相反，通过整合多个专业组件，如检索-增强生成（RAG）系统和量身定制的人工智能代理，复合人工智能系统可以发挥巨大作用。这种方法可确保系统的每个部分都针对其特定作用进行了优化。.

当系统采用模块化组件构建时，更换或升级单个部件就会变得简单得多。这一原则同样适用于由多个模块构建而成的复合人工智能系统。如果复合人工智能解决方案中的某个组件已经过时或无法满足新的合规要求，则可以进行更换，而无需对整个系统进行全面检修。例如，如果有了更合适的新模型，就可以将其集成到系统中，取代旧版本。同样，如果开发出一种更有效的信息检索机制，也可以将其替换进来，而不必中断整个系统的设置。这种灵活性不仅适用于模型和检索系统，也适用于其他组件，如 data 处理单元、分析引擎或合规模块。.

复合人工智能系统的模块化特性在可扩展性方面具有显著优势。通过允许单个组件独立扩展，这些系统可以有效地管理不断增加的 data 容量和复杂性，而无需进行全面检修。.

一个系统可以通过复制到系统网络中进行扩展，理论上可以实现无限扩展。这就是为什么一个单一的语言模型，无论它有多大或功能有多强（就目前而言），都无法有效地在一个非常大的 database 中搜索特定的信息。要扩大模型的搜索能力，就不可避免地需要创建一个多组件系统来增强搜索功能。如果连最简单的任务（如信息检索）都无法通过单个模型进行有效扩展，那么单个组件本身显然无法支持大规模的复杂应用。.

从商业角度来看，采用复合人工智能系统不仅仅是技术上的复杂性，它还能提供直接与商业目标相一致的战略优势。甚至可以说，如果企业希望利用生成式人工智能，就别无选择，只能构建（或购买）一个复合系统。虽然这看似简单明了，但却挑战了企业的普遍假设，即独立的现成模型足以满足专门需求。.

最先进的人工智能模型本身无法创造个性化体验。只有通过复合系统才能实现这一目标，该系统能够提供高度定制化和与上下文相关的客户体验。例如，微软的 自定义神经语音 它将通用 LLM 与定制语音训练相结合，使品牌能够创建与其独特语气和风格相匹配的数字助理。这种定制水平在面向客户的行业（如广告业）中尤为强大，因为客户会对感觉自己与众不同和被理解产生积极的反应。从商业角度来看，将这种技术与添加语境的能力相结合，可以产生个性化的结果，最终提高客户满意度。.

与以固定成本提供固定质量水平的单个模型不同，复合人工智能提供灵活的成本-质量配置。例如，企业可以将较小的、经过指令调整的模型与搜索启发式等专业组件整合在一起，从而以低于大型独立模型的成本获得高质量的结果。通过这种灵活性，可以使用较小的、可能是开源的模型，通过有针对性的工程设计，可以提供与更昂贵的解决方案相媲美的结果。.

对于企业来说，人工智能输出结果的可靠性和可信度至关重要。如果仅仅依靠单个模型，就很难获得始终符合事实、格式规范的结果。例如，一位教育行业的老客户曾经要求提供一种解决方案，根据学校的 data 和信息自动填写申请表。起初，我花了几个月的时间，根据先进的提示工程设计了一个顺序系统，但没有使用复合方法。结果有所改善，但始终无法接近我们所能提供的完整填写申请表的效果。直到引入了 RAG 概念，完全受控的结果才开始出现。然而，仅有 RAG 还是不够的，还需要额外的组件来对信息进行分类、保持上下文的一致性以及处理其他细微差别。只有这样，我们才能达到客户所需的可靠性和精确性。.

研究当前人工智能在工业应用中的情况可以发现一个明显的趋势：依靠单一模型来执行复杂的功能往往证明是不可靠的。随着使用案例变得越来越复杂，企业采用人工智能的情况也越来越多，对高度专业化、功能强大的人工智能解决方案的需求必将增加。为满足这一需求，我们必须协调解决方案架构，将增强型和专业化模型纳入其中，避免出现范围狭隘、片面的弊端。.

从医药到零售，开发者社区都在热议各种令人兴奋的应用，所有这些应用都是通过将较小的专用组件组装成功能强大、量身定制的解决方案而构建的。.

即使是人工智能本身，也不足以实现战略性业务目标。它必须辅之以更高形式的协调智能。.

下面收集了一些有影响力且有趣的复合人工智能系统，它们凸显了这一概念的实用性。无论开发人员使用的是哪种基础架构，目的都是为了观察如何将多个人工智能组件与其他工具相结合，以实现非常具体的目的。.

RAG 通过提供从模型原始训练 data 之外的矢量化 data 库中获得的特定上下文来增强 LLM 的输出。LLM 在大量 data 数据集上进行训练，并利用数十亿个参数生成响应，而 RAG 则在此基础上更进一步。它使 LLM 能够访问和参考特定的最新信息，无论是特定领域的信息还是来自组织内部知识库的信息。这一过程大大提高了生成内容的相关性、准确性和实用性，而且无需重新训练模型。.

拥有大型 data 集的企业需要一种高效的方法来组织内部知识，可以在内部部署这一解决方案，使用自己选择的模型来检索精确的信息。例如，财务分析师可以快速查找历史 reports 中的相关 data，而无需手动逐一筛选。通过这种上下文信息增强的模型还能生成更准确、更有用的回复，从而简化整个信息检索过程。.

以下是典型的 RAG 架构：

一般 RAG 架构

下表列举了一些常见的复合人工智能系统 (消息来源):