本文是AI LLM框架架构序列的第二篇:通信模块
(相关资料图)
人工智能(AI)框架日益受到欢迎,因为它们简化了智能应用和代理的构建过程。这些框架的一个关键组成部分是通信模块,它允许用户与AI系统之间的互动。
1、通信模块 —— AI与外界交流的桥梁“沟通是人生中最重要的技能。” —— 史蒂芬·R·科维
试想你正在和一个朋友交谈。你说话,你的朋友仔细听,处理你说的内容,思考回应,然后大声回答。
现在想象用一个人工智能系统来替代你的朋友。AI如何接收你的话并智能地回应你呢?这就是通信模块的作用 —— 它充当AI对外界的桥梁。
通信模块负责无缝地将AI模型与用户接口相连接。就像两个说不同语言的人之间的翻译一样,该模块通过将输入和输出转化为双方都能理解的形式来实现互动。
具体来说,通信模块承担了几个关键角色:
输入:模块从各种形式如文本、声音、图像等接收输入。它可能使用ASR来处理口语,或使用计算机视觉算法来解读照片。理解:接下来,它分析输入并将其转化为AI模型能够理解的标准格式,使用诸如自然语言处理的技术。路由:处理过的输入被引导至AI模型的相关部分。生成回应:AI模型确定一个合适的回应,并发送回通信模块。输出:回应被转化为自然的、人类可读的语言或其他适当的格式。这可能依赖于TTS、会话代理、文本格式化等技术。合成:最后,通过适当的通信渠道向用户展示输出,例如通过语音助手大声说出。通信模块使AI系统能够通过我们首选的沟通媒介与人类进行实时对话。其在输入、输出和集成方面的多方面角色使它成为AI难题中的关键部分。
2、通过实际例子理解通信模块为了更好地理解通信模块的角色和价值,让我们看一些实际的例子:
AI销售助手“这是一个工具,它时刻观察潜在的客户,分析他们业务的具体内容,并准备由决策层批准的销售提案。这类AI助手应该寻找关系和联系,以实现首次销售接触。”
管理这样的助手可以通过两个渠道来完成:
公司的CRM系统:其中一个引导机制将与应用和AI助手集成。员工将通过表格和按钮来处理交互。利用公司的即时通讯系统上的讨论:为与AI助手互动而设立的专用渠道。AI 知乎讨论摘要应用“一个智能应用,应能够分析知乎上的讨论,总结结论、任务、负责人和下一步的步骤。”
服务台AI助手“一个AI应用程序,是处理服务台请求时的第一级支持。它可以接收用户的请求,询问附加问题,并根据公司的知识库提供答案。如有必要,它可以将消息转发给员工。”
在这种情况下,通信通常通过一个专用的服务台系统进行,任务在其中被创建。对于通信模块,新增请求或增加评论会通过API生成一个新消息发送给应用程序,而通过API报告的回应会是请求者评论中的回应。
网页实时聊天AI应用“近期非常受欢迎的解决方案 —— 放置在网站页面上的聊天框。在这种情况下,AI可以自动化首次接触,根据组织的知识库和程序提供答案,如有必要,将消息转发给员工。”
在这种情况下,通信将通过一个外部系统和通过API的集成进行。使用WebSocket或SSE技术将是有价值的。
3、与AI应用的通信通信是人工智能(AI)系统运作的基石。就像人与人之间的互动,AI应用理解请求并提供有意义的回应的能力完全依赖于所使用的界面。因此,在设计一个AI系统时,选择一个最佳的通信方式是至关重要的。
常见的沟通界面“我的语言的极限意味着我的世界的极限。” —Ludwig Wittgenstein
AI系统中常用的几种通信界面包括:
聊天式— 支持会话式互动,例如聊天机器人。这里会使用NLP技术。基于文档— 使用提供的文档作为输入数据。基于图像— 分析如照片和视频的视觉输入。这里会使用CV技术。基于文本— 允许文本消息交换,例如通过聊天。这是一种简单直观的交互方式。基于语音— 使用语音识别和合成技术与用户进行语音交流。用户界面— 通过按钮、菜单等图形元素进行交互。API— 允许系统间通信的编程界面。允许与现有系统集成。通信协议— 例如 MQTT、AMQP、HTTP、SMTP、IMAP等。这些是为系统互操作性制定的标准协议。与现有系统的集成通信模块可以与组织现有的IT基础设施集成。这使得AI应用能够通过既定的企业渠道进行沟通,如客户门户或内部聊天平台。
4、通信模块的要求从之前的例子和关于通信流程的要求中,我们可以看出通信模块需要具备一些关键能力:
易于扩展“简单,是最高的巧妙。” — 莱昂纳多·达·芬奇
该解决方案应使得添加新的通信方式变得简单,只需提供必要的接口即可。这样就能轻易地添加如即时通讯软件或智能客服这样的新通道。
支持多渠道考虑到现代的多用户在线服务模式,这个模块应能同时连接不同的通信方式,并为每一种方式提供合适的设置和登陆信息。
协议中立无论是REST APIs、消息队列等,该模块都应能与其无缝配合。重要的是,它与特定的协议之间不应有过于紧密的绑定。
5、开放且适用于大企业除了满足基础需求外,还要能够针对大公司的特定场景进行定制,如增强的安全性、审计跟踪、数据分析等。
解耦设计这个通信模块应当能简化各种通信方式的细节,把它们变得像常规的交互方式。系统里的其他部分不需要过多担心通信的各种小问题。跟渠道交流需要的信息和工具应当在接收到的消息里都包含有。
异步和可靠因为现在的语言模型反应比较慢,通信要能异步进行,不让用户等太久。这个模块应当能快速告知用户消息已收到,并保证消息传送的靠谱性。
可扩展和高性能虽然一开始的小规模操作很简单,但当越来越多人用的时候,难度就上来了。这个模块要能随时加大规模,不仅能应对小应用,还能处理大公司的大流量需求。
简单说,这个通信模块既要简单易用,又要能扩展功能。同时也得稳定、不过于复杂,并随时准备上线。细致的设计和异步处理消息是实现这个目标的关键。
6、总结通信模块就像是人和机器之间的翻译员。人与人之间的交流如此重要,同样,这个模块在人和AI之间的交互中也起着关键作用。随着AI越来越普及,好的通信模块可以帮助人们更自然、顺畅地使用这些智能系统。