ChGPT技术框架？ trpcgo框架？

谷歌提出AGI的6大原则,和5大能力等级

1、谷歌提出的AGI的5大能力等级是： 初级：与不熟练的人类差不多或略胜，对应狭窄AI中的早期专家系统和通用AI中的大型语言模型。 熟练：超过50%熟练成人的表现，尚无通用AI达到此等级。 专家：超过90%熟练成人的表现，尚无通用AI达到此等级。 大师：超过99%熟练成人的表现，尚无通用AI达到此等级。

2、从性能强度和通用性两个维度，研究团队将人类和AI的关系划分为5个阶段。大语言模型，如openai的Chatgpt、谷歌Bard、Meta的Llama，属于第一个通用AI阶段：AGI雏形。它们在通用性上展示了AGI的潜力，能够在广泛的各类任务中表现出色，同时具备像学习新技能这样的“元认知”能力。

3、该论文提出了6条定义AGI的标准，并根据AI能力将其分为5个等级，这为后续讨论和研究提供了清晰的框架。论文还强调了评估AGI风险的重要性，考虑了人机互动模式的多样性以及模型能力与人机互动模式之间的相互作用。AGI的概念与人工智能的进步紧密相连，它朝着更大范围的普遍性发展，旨在超越人类的认知能力。

实操用LangChain,vLLM,Fastapi构建一个自托管的Qwen-7B-Chat

1、部署模型并使用FastAPI启动web服务，处理请求并生成LLM响应。API在端口5001上运行，确保离线推理过程已经完成，无需重复下载模型。借助Langchain增加知识库功能，通过FAISS库构建向量数据库，并利用embedding模型将知识转换为向量形式。导入知识后，将向量数据库集成到代码中，引导LLM考虑背景知识。

2、解决方案：在启动vLLM服务时设置api-key参数，并确保其安全性。chatbox接口配置问题：不能使用自定义的接口方式配置chatbox，否则包头在vLLM端无法解析。解决方案：按照vLLM的要求选择OpenAI的接口进行配置。安全性提醒：设置一个既安全又独特的api-key密码，避免使用简单粗暴的密码。

ChatGLM-6B是如何生成回复的?技术详解

1、ChatGLM-6B生成回复的两种接口分别为stream_chat（）和chat（），默认使用stream_chat（）接口，但用户可以根据需要进行调整。

2、加载模型：通过transformers库加载ChatGLM-6B的Tokenizer和model，并进行必要的预处理和配置。进行对话：使用model的chat方法与用户进行对话，传入tokenizer和用户的输入文本，即可获得模型的

3、ChatGLM-6B是由清华大学团队开发的开源大语言模型，基于Transformer架构，支持中英文双语对话与问它拥有62亿个参数，采用GLM架构，并通过模型量化技术，可在普通显卡上运行（仅需6GB显存）。经过1T中英双语训练，结合监督微调、反馈自助及强化学习等技术，ChatGLM-6B在中文问答与对话方面表现出色。

4、ChatGLM6B是一个由清华大学团队开发的开源大语言模型，基于Transformer架构。它支持中英文双语对话与问拥有62亿个参数，采用GLM架构，并可通过模型量化技术在普通显卡上运行。训练实操：算力购买：可直接在海光提供的超算互联网上购买算力进行训练，价格亲民。

容器中的大模型(二)|利用大模型,使用自然语言查询SQL数据库

1、本文将通过介绍LangChain和Ollama框架，展示如何在本地或云服务器环境中利用大型语言模型（LLMs）构建一个端到端的Text2SQL流程，让开发者和最终用户能够轻松实现自然语言到SQL查询的转换。

2、针对数据表信息过大：mac-SQL采用了一个单独的Selector Agent对表和表字段进行筛选，以减少模型需要处理的信息量。针对复杂用户问题：MAC-SQL采用了一个DecomPOSer Agent来将复杂问题拆解成多个简单的子问题，并逐步生成最终的SQL查询。

3、企业积累了大量的关系型数据库数据，传统上，业务人员需要通过IT部门提需求，通过应用开发或BI数据报表来获取数据。

4、大语言模型（如CodeLlama-7B）经过微调后，可以适应SQL语法生成任务。微调过程中，需要调整模型的参数，使其更好地理解和生成符合SQL语法的查询语句。 图神经网络的使用 图神经网络（如R-GCN）在AI生成SQL模型中用于建模表间外键关系，以优化多表JOIN路径。

5、另一种方法是基于SQLDatabaseChain，这种方法利用大模型的能力将自然语言查询转化为SQL语句，连接数据库进行查询，并通过大模型对结果进行润色和优化，最终生成答案。然而，这种方法在处理复杂查询时可能面临稳定性、可靠性、数据安全等问题。基于Agent的方法提供了一种更灵活的与SQL数据库交互的方式。