Skip to content

beautistart/zulong_beta5

Folders and files

NameName
Last commit message
Last commit date

Latest commit

 

History

116 Commits
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 

Repository files navigation

Zulong Logo

祖龙 (ZULONG) v2.1.0

给 AI 代理装上能保持跨年级别完整记忆的"海马体"

100K+ 行 Python | 一个设计师用 AI 搓出来的

License Python VS Code GitHub release Discord Stars

English | 简体中文


祖龙不是又一个 Agent 框架。祖龙给 AI 代理装上了能保持跨年级别完整记忆的"海马体",让长周期复杂陪伴变成现实。

Join Discord

📖 掘金技术解析 · 知乎深度解析


为何一个室内设计师,敢去造 AI 大脑?

我是一名室内设计师,用 2 个月的时间,独立开发了祖龙 100000+ 行代码

不用感到不可思议,因为设计师的素养就是作为项目的"总工程师"规划蓝图,让各个专业板块的人士去落地蓝图。

我设计了祖龙的架构蓝图,让智能编程 IDE 帮我实现的代码:

  • 千问桌面端:项目顾问
  • trae:前期后端代码工程师
  • qoder:后期项目纠偏 + 功能板块实现
  • codearts:后期项目纠偏 + 代码审查 + 功能板块实现

祖龙是什么?

祖龙是一个具有统一记忆图谱并采用赫布学习、艾宾浩斯衰减等算法,在动态注意力控制的系统下,实现了年级别完整记忆的 AI 代理认知系统,并且在系统层面实现了无限上下文,可以运行完整的记忆 + 推理 + 多模态能力等。

🎬 视频演示

祖龙系统三层注意力机制和超复杂项目记忆文件展示

1分钟看懂祖龙

👆 点击图片观看视频


📢 v2.1.0 正式发布(2026-06-09)

祖龙 v2.1.0 是一次次版本升级,聚焦于版本号统一文档一致性修复项目规范化

核心更新

  • 版本号全面统一 — README.md、package.json、CHANGELOG.md 等全部对齐至 v2.1.0
  • zulong-ide 版本号修正 — VS Code 扩展版本号从 0.2.0 修正为 2.1.0
  • 文档架构更新 — zulong_github_readme.md 架构描述对齐 v2.x(L1-B预判 + L2统一主链)
  • 代码行数更新 — 82K+ → 100K+,项目目录 beta4 → beta5
  • 多处文档一致性修复 — 清除过时引用与旧版残留

详见 CHANGELOG.md


✨ 核心亮点

1. 🔮 统一记忆图谱 (MemoryGraph)

  • 持久化统一记忆图谱(LMDB + GraphML 存储)
  • 赫布学习引擎:共激活计数 ≥ 3 自动创建 ASSOCIATION 边
  • 艾宾浩斯遗忘曲线:6 级重要度半衰期(TRIVIAL 6h → MUST_REMEMBER ∞)
  • 双路径检索:热路径 BFS(<50ms)+ 冷路径 FAISS(<200ms)
  • 语义边自动发现:后台余弦相似度 > 0.7 自动创建 SEMANTIC 边

2. 🛡️ CircuitBreaker 死循环检测器

6 信号综合熔断机制:相同调用重复、模式循环、信息增益递减、上下文压力、经过时间、无进度空转

状态机:GREEN → YELLOW(注入警告) → RED(强制停止)

项目 检测方式
祖龙 6 信号综合熔断 + 信息增益检测
LangChain max_iterations 硬限制
CrewAI max_iterations 硬限制
OpenDevin 时间/步数限制

3. 🎯 交互式任务编排 (v2.0 新特性)

借鉴 codex、OpenHands 的设计理念,支持:

  • 权限分级审批:操作自动分类为安全/需确认/危险级别,对应自动执行/弹窗确认/强制拒绝
  • 进度实时跟踪:任务卡片系统 (Approval/Interaction/Startup/Summary) 提供完整的任务生命周期可视化
  • 智能工具路由:ToolBag 根据上下文预测所需工具,减少 LLM 工具选择延迟
  • 安全执行桥接:VS Code Extension 作为执行宿主,代码在受控环境运行
用户输入 → 对话编排器 → L1-B工具预判 → L2推理/FC循环/TaskGraph规划
                ↓              ↓
           交互卡片渲染    工具袋预测加载
                ↓              ↓
           审批白名单检查  VS Code执行桥接
                ↓              ↓
           记忆镜像绑定    事件存储持久化

4. ⏸️ 跨天级任务挂起/恢复

支持:暂停 → 关机 → 第二天开机 → 恢复继续执行

适用场景:24 小时陪伴式机器人、超长程项目管理(跨周/跨月)、中断后环境变化自动重评估

5. 🧠 统一推理主链 + FC 循环

L1-B 工具预判 → L2 统一主链(单次模型决策)
  ├─ 自然语言回复 → 本轮结束
  └─ 真实 tool_call → 进入 FC 循环 + TaskGraph 自动规划

配套 5 层防护链(CB 强制收敛、RuleGuardian 过早完成拦截、InfoGap 信息缺口检测等)

  • 不再做会话意图分类(CHAT/COMPLEX/RESUME 分类已废弃)
  • L1-B 输出工具预判与上下文信号,不输出意图分类标签
  • L2 是唯一负责推理、回复生成与工具执行决策的层

6. 🎙️ 语音交互能力(TTS + ASR)

  • TTS (Kokoro-82M):82M 参数,<0.3s (CPU),zf_xiaoxiao 中文女声
  • ASR (SenseVoice-Small):244M (ONNX INT8 量化),中/英/日/韩/粤语 + 情感识别 + 事件检测
  • 整体延迟:3-4s (端到端,云端API调用)

7. 🤖 具身机器人能力

祖龙定位为具身机器人认知大脑后端,通过四层架构实现从传感器到认知决策的完整闭环:

  • L0 设备层:USB 摄像头 / 麦克风 / 扬声器驱动,GPU 加速光流运动检测(RTX 3060, 150+ FPS),多关节执行器模拟
  • L1 模块化插件架构:松耦合热插拔设计,4 级优先级调度(CRITICAL > HIGH > NORMAL > LOW)
    • L1-A 感知与受控反射层:障碍物自动刹车(<50ms 响应),紧急停止,跌落保护,音频融合控制,运动控制
    • L1-B 调度与意图守门层:三层注意力机制,ALBERT-tiny 15类细粒度意图分类,事件风暴削减 ~90%
    • L1-C 静默视觉注意层:YOLOv10 → MediaPipe姿态/手势(10种) → MobileNetV4-TSM动作分类 → 交互意图判断(5类)
    • L1-D 听觉层:音频采集 → YAMNet(521类) → VAD → SenseVoice-Small(转录+情感+事件+语种) → 交互意图判断
    • L1-E 安全层:MQ-2烟雾传感器 → CRITICAL事件穿透,60秒冷却
  • L2 认知层:推理与决策,不做意图判断
  • L3 导航专家:A* 路径规划 + DWA 动态窗口避障(2s 轨迹预测,0.5m 安全距离)

🏗️ 系统架构

四层推理模型

L3 专家层 (Expert Layer)           - 专家模型池,热切换 < 10ms
  ↓
L2 认知层 (Cognitive Layer)        - FC循环 + TaskGraph + 5层防护 + 记忆系统
  ↓
L1-B 调度层 (Scheduler Layer)      - Gatekeeper + AttentionController + ToolPredictor
  ↓
L1-A 反射层 (Reflex Layer)         - 障碍物刹车/紧急停止/运动控制
L1-C 视觉层 (Vision Layer)         - YOLOv10 → MediaPipe → MobileNetV4-TSM
L1-D 听觉层 (Auditory Layer)       - YAMNet → VAD → SenseVoice-Small
L1-E 安全层 (Safety Layer)         - MQ-2 气体检测 → CRITICAL 穿透
  ↓ → 输出(文本/语音/动作)
L0 设备层 (Device Layer)           - USB 摄像头/麦克风/扬声器驱动

前后端分离架构

VS Code Extension (前端)  ←WebSocket→  Python Backend (后端)
  ├─ Zulong Web 主交互                ├─ FastAPI + WebSocket
  ├─ 交互卡片系统                        ├─ L2 推理引擎 (FC循环合并)
  ├─ 审批白名单 UI                       ├─ MemoryGraph 记忆系统
  ├─ 记忆图谱可视化                      ├─ 工具袋 (ToolBag)
  └─ 工具执行 + UI 渲染                  └─ TTS/ASR 语音交互

🚀 快速开始

环境要求

  • Python 3.10+
  • Node.js 18+
  • VS Code
  • 推荐设备:AI MAX 395 128G(可纯 CPU 运行)

安装步骤

# 1. 克隆仓库
git clone https://github.com/beautistart/zulong.git
cd zulong

# 2. 安装 Python 后端依赖(三端按平台选择)
# Windows:
.\scripts\setup_windows.ps1

# Linux:
bash scripts/setup_linux.sh

# macOS:
bash scripts/setup_macos.sh

# 3. 安装 VS Code 后台桥依赖
cd zulong-ide
npm install

# 4. 构建 VS Code 后台桥扩展
npm run protos                      # 生成 TypeScript proto 文件
node esbuild.mjs --production       # esbuild 打包
npx @vscode/vsce package --no-dependencies --allow-missing-repository --skip-license

# 5. 安装扩展到 VS Code
code --install-extension zulong-ide-0.1.0.vsix --force

启动服务

# 统一启动脚本(位于项目根目录)
python start.py

# 或使用带传感器模拟模式
python start.py --mock-sensors

# 打开 VS Code,点击祖龙图标启动会话

配置文件

编辑 config/zulong_config.yaml

# LLM 配置
llm:
  backend: "vllm"  # 可选: ollama, lm_studio, openai
  model_id: "Qwen/Qwen2.5-7B-Instruct"
  
# WebSocket 端口
ide_server:
  port: 8090
  host: "127.0.0.1"
  
# 语音配置
audio:
  tts:
    backend: kokoro
    voice: zf_xiaoxiao
  asr:
    backend: sensevoice
    language: zh

🆚 竞品对比

维度 祖龙 LangChain CrewAI MemGPT/Letta AutoGPT
统一记忆图谱 ✅ LMDB + GraphML ❌ 内存 DAG ❌ 单路向量 ❌ 基于文件
赫布学习 ✅ 共激活增强
艾宾浩斯衰减 ✅ exp 衰减
双路径检索 ✅ BFS + FAISS ❌ 单路 ❌ 单路
死循环检测 ✅ 6 信号熔断 ❌ 硬限制 ❌ 硬限制 ❌ 硬限制
任务挂起/恢复 ✅ 跨天级
审批白名单 ✅ 分级审批
语音交互 ✅ TTS + ASR
具身机器人能力 ✅ L0-L3 四层 + 导航

📂 项目结构

zulong/
├── zulong-ide/                 # VS Code 后台执行桥 (React + TypeScript)
├── zulong/                     # Python 后端核心
│   ├── ide/                    # IDE 模式 (WebSocket 服务 + 工具注册)
│   ├── l2/                     # L2 推理引擎 (FC循环 + 记忆 + 熔断 + 任务图)
│   ├── memory/                 # 记忆系统 (MemoryGraph + RAG)
│   ├── l0/                     # L0 设备层 (摄像头/麦克风/执行器/运动检测)
│   ├── l1a/ / l1b/ / l1c/     # 感知层 (音频融合/调度/视觉)
│   ├── l3/                     # L3 多专家模型层
│   ├── plugins/                # L1 插件实现 (视觉/语音/气体)
│   ├── events/                 # 事件存储 (EventStore)
│   ├── tools/                  # 工具系统 (ToolBag + IDE桥接)
│   ├── launcher/               # 启动器 (对话编排器/交互存储/记忆镜像)
│   └── core/                   # 核心 (EventBus + 统一协议)
├── config/                     # 配置文件
├── docs/                       # 技术文档与使用指南
└── requirements.txt            # Python 依赖

🔧 核心模块

模块 文件 核心能力
MemoryGraph zulong/memory/memory_graph.py 双路径检索、赫布学习、艾宾浩斯衰减、BFS 扩散激活
CircuitBreaker zulong/l2/circuit_breaker.py 6 信号检测、状态机 (GREEN→YELLOW→RED)
TaskGraph zulong/l2/task_graph.py 无限深度递归树、模板节点、任务依赖管理
InferenceEngine zulong/l2/inference_engine.py 两阶段推理、记忆检索、注意力窗口、FC 循环、5 层防护
FC Runner zulong/l2/fc_runner.py 重构后统一 FC 执行器,合并 IDE/Web 双轨
ConversationOrchestrator zulong/launcher/conversation_orchestrator.py 多轮对话编排、任务生命周期管理
ToolBag zulong/tools/tool_bag.py 工具智能路由、预测加载
MemoryMirror zulong/launcher/memory_mirror.py 会话窗口与记忆节点实时绑定
EventStore zulong/events/event_store.py 持久化事件流、回放与审计

🛠️ 工具系统

内部工具(后端执行):task_create_plan | task_add_node | task_mark_status | recall_memory | read_memory_node | save_memory_note | discover_related | navigate_attention

远程工具(前端执行):read_file | write_to_file | execute_command | search_files | browser_action

v2.0 新增tool_bag (工具袋预测路由) | ide_bridge (IDE执行桥接) | read_file_tool (安全文件读取)


📖 MCP 协议支持

祖龙提供独立的 MCP Server,可在其他 IDE 中使用祖龙记忆能力:

# mcp_server.py
Server("zulong-memory")

# 7 个 MCP 工具
- zulong_memory_search    # 项目级记忆搜索
- zulong_memory_save      # 保存项目记忆
- zulong_task_search      # 历史任务搜索
- zulong_experience_search # 经验库搜索
- zulong_knowledge_query  # 知识库查询
- zulong_graph_query      # 记忆图谱查询
- zulong_entity_link      # 实体关联

📚 详细文档

技术文档

使用指南

开发文档


🤝 贡献指南

欢迎贡献!请查看 CONTRIBUTING.md 了解详情。

开发路线图

  • 扩展 MCP 工具集(7 → 30+)
  • 添加基准测试数据
  • TaskGraph UI 可视化增强
  • 多 Agent 协作支持
  • 性能优化(关键路径 Rust/Cython 重写)
  • 记忆图谱可视化面板更多交互功能

📄 许可证

本仓库采用分层许可:

  • 核心代码 (zulong/): AGPL-3.0
  • VS Code 扩展 (zulong-ide/): MIT
  • 文档 (docs/): CC BY-NC-SA 4.0

详见 LICENSE 文件。


👨‍💻 作者

一个室内设计师,用 AI 助手在 2 个月内独立开发了祖龙系统


致谢

祖龙系统的开发离不开众多优秀的开源项目与社区贡献。在此向以下项目团队表示诚挚感谢:

核心基础框架

  • Cline v3.82.0 - 祖龙 IDE 基于 Cline 框架开发,感谢 Cline 团队的优秀工作
  • PyTorch - 深度学习框架,提供模型推理与计算核心
  • FastAPI + Uvicorn - 高性能异步 Web 服务框架
  • Hugging Face Transformers - 预训练模型加载与推理

记忆系统与向量计算

  • NetworkX - 记忆图谱核心图计算引擎
  • LMDB - 高性能嵌入式键值数据库(图谱持久化)
  • FAISS - Facebook AI 向量相似度搜索引擎
  • Qdrant - 向量数据库与语义检索

语音交互能力

  • FunASR / SenseVoice - 阿里巴巴达摩院开源语音识别引擎(ASR 主引擎)
  • Kokoro-82M - 轻量级文本转语音模型(TTS 主引擎,82M 参数)
  • edge-tts - 微软云端 TTS 备选方案
  • Whisper - OpenAI 开源多语言语音识别模型(备选 fallback)

前端与 UI

开发工具与基础设施

模型与权重

意图与推理模型

语音交互模型

  • SenseVoice-Small - 阿里巴巴达摩院开源语音识别引擎(ASR 主引擎,244M 参数,ONNX INT8 量化,支持中/英/日/韩/粤语 + 情感识别 + 事件检测)
  • sherpa-onnx - 语音识别 ONNX 推理引擎
  • Kokoro-82M - 轻量级文本转语音模型(TTS 主引擎,82M 参数,CPU 实时推理 <0.3s)
  • Whisper - OpenAI 开源多语言语音识别模型(ASR 备选 fallback)
  • edge-tts - 微软云端 TTS 备选方案

向量与嵌入模型

  • BAAI BGE 系列 - 北京智源研究院文本嵌入模型(记忆图谱向量检索)

视觉与多模态模型

  • MediaPipe - Google 开源跨平台机器学习管道(人脸/手部/姿态检测)

Agent 框架与编排

  • LangGraph - 图式 AI Agent 编排框架
  • LangChain - 多 LLM 应用开发框架
  • VLLM - 高性能 LLM 推理与服务引擎

视觉与多模态

  • OpenCV - 计算机视觉库(摄像头模块与运动检测)

自然语言处理

  • NLTK - 自然语言处理工具包
  • jieba - 中文分词工具

数值计算与科学计算

  • NumPy - 数值计算与多维数组
  • SciPy - 科学计算与线性代数

安全与解析

  • PyJWT - JSON Web Token 创建与验证
  • Tree-sitter - 增量代码解析器生成器

AI 编程工具

感谢以下 AI 编程工具在祖龙开发过程中的帮助:

  • 千问桌面端 - 项目顾问
  • trae - 前期后端代码工程师
  • qoder - 后期项目纠偏+功能板块实现
  • codearts - 后期项目纠偏+代码审查+功能板块实现

⭐ Star History

如果这个项目对你有帮助,请给一个 ⭐ Star 支持一下!

Star History Chart


Made with ❤️ by a Interior Designer turned AI Developer

祖龙 - 让 AI 拥有真正的记忆

About

No description, website, or topics provided.

Resources

License

Unknown, MIT licenses found

Licenses found

Unknown
LICENSE
MIT
LICENSE_MIT.txt

Contributing

Stars

Watchers

Forks

Releases

No releases published

Packages

 
 
 

Contributors