架构与运行时基座
自研云边端协同 Agent 框架 / 桌面视觉操控底座 / 端侧 Runtime / 决策治理终端
01
SES · 云边端协同现代 Agent 框架(新媒体行业版)
自研云边端协同现代 Agent 框架。7 层决策大脑+边缘感知执行,深度赋能新媒体工业级交付。
自研 Agent 框架
云边端协同
PromptVault 密室
Diver 粗剪管线
- 框架定位与商业价值
-
自研云边端协同现代 Agent 架构基座:将全局规划、三层记忆、多模型调度与资产密室置于云端(7 层金字塔),边缘端专注极速感知与物理执行,高安全、高可用。
商业 IP 密室与技能自进化:独创 PromptVault 机制,提示词在云端加密并在内存瞬时注入,永不落边缘端,物理级杜绝逆向与外泄;自动捕获修正并离线蒸馏企业 SOP。
新媒体垂直行业深度专项适配:热点聚类、脚本分镜推演、Diver 7-Agent 音画装配到剪映原生工程导出(.zip保留分轨/关键帧),粗剪从小时级压至秒级。
- 核心架构体系
-
云端 7 层金字塔大脑:FastAPI 网关 → 依赖注入 → PromptVault 密室 → Supervisor SOP 角色集群 → AI Gateway 8 级熔断降级 → PostgreSQL 状态机 → 云边协议。
NSFA 双核 Hybrid RAG + 思维树:叙事长文与图谱解耦,四路路由穿透 Dense / BM25 / 图谱实体并重排;Reflexion + Tree of Thoughts 启发式剪枝。
核心子系统与深度架构
PromptVault · 提示词防泄漏保险箱
边缘端只持有抽象 slug。提示词在云端 Fernet 加密,仅在 AI Gateway 组装请求时于内存注入。提示词与密钥永不落地边缘。
NSFA 双核 Hybrid RAG
叙事长文核心(Parent-Child + CCH)与原子结构核心解耦。双层路由(规则 <5ms + LLM 降级)把查询分成 FACTUAL / AGGREGATE / REASONING / CREATIVE,再按权重走 Dense、BM25、实体 Trie 与 Leiden 社区报告,经 RRF 与 BGE-Reranker 重排。
三层记忆与技能自进化
CRAG 三级把关 & 轻量 GraphRAG
Correct 直接生成 / Ambiguous 子图精化 / Incorrect 自动重写查询。低层 Trie 实体 + 高层 Leiden 社区报告,降低 Token 消耗并压制幻觉。
Reflexion 与思维树
Act → Evaluate → Reflect → Retry,配合情景记忆库与 Tree of Thoughts 广度探索、启发式剪枝。
云端 7 层金字塔
L7 FastAPI 199+ 端点 → L6 依赖注入 → L5 PromptVault → L4 Supervisor 与 10 大 SOP 角色 → L3 AI Gateway → L2 PostgreSQL(65 模型)→ L1 协议层。
AI Gateway 与 8 模块降级链
统一 15+ Provider 路由,FALLBACK_CHAINS、120s 超时熔断、多 Key 轮换与 Redis Streams,秒级自愈。
L0–L4 动态风控
放行 → 警告 → 降级 → 挂起 72h → 吊销。IP / MAC / HWID / 用户五维级联封禁,带紧急 KILL_SWITCH。
RBAC + ABAC 与多租户
SuperAdmin / Admin / Operator / Viewer,默认拒绝。JWT + 三层 Token 撤销缓存,租户边界防越权。
Diver 7-Agent 粗剪管线
Director 出蓝图,Screening 做 APEX 筛选,Cutter 建双坐标系并吸附 SenseVoice CTC 字级切点;Sound / Subtitler / VisualAsset 三路并行。
剪映草稿协议与 8 层降级
导出原生工程 .zip。103 项转场映射、ASS 动态字幕;JSON 修复 → 阶段重试 → 导出降级 → 断点续跑。
AutoPilot 6 阶段无人值守
选题 → 大纲 → 分镜 → 资产装配 → 粗剪 → 分发。SSE 进度、暂停与回滚。
02
Trending · 全网热点雷达与时序预测
全网多源热点感知与时序预测。5 级处理管线、5 阶段生命周期状态机与 Holt 峰值预测。
5 级处理管线
跨平台聚类
Holt 峰值预测
三层风险审计
- 商业情报与决策价值
-
全网多源热点情报雷达:多源聚合微博、知乎、抖音、B站、36Kr、TopHub 等 50+ 平台实时热榜,打破单平台信息茧房。
5 阶段生命周期与机会评分:状态机划分为 EMBRYO(萌芽)/ BREAKOUT(爆发)/ PEAK(顶峰)/ DECAY(衰退)/ TAIL(尾声),配合 OpportunityScore 算法精准锁定切入窗口。
三层风险扫描与真实性审计:规则初筛 + LLM 深度审计 + 兜底降级,杜绝虚假炒作与违规敏感事件。
- 技术架构体系
-
5 级智能富化管线:L0.5 HTTP 回源富化 → L1 规则过滤 → L2 实体/情绪分类 → L2.5 VLM 封面多模态分析 → L3 LLM 深度打标。
Holt 时序预测与自学习校准:双参数指数平滑预测 6h/24h 峰值 ETA 与衰退拐点;MAPE 自学习引擎自动修正历史偏差。
实体归一化与 RAG 沉淀:DB 别名缓存穿透多平台异构表述,自动归档沉淀为 Agent 选题与创作知识底座。
03
Computer Use · 桌面视觉操控引擎
看屏幕、点按钮、打字。人一碰鼠标它就让路。4 层定位全在本地,支持 MCP 协议接入。
UIA <5ms
OCR + YOLO
人机让路
MCP 协议
- 产品价值
-
自然语言操控 Windows:点击、粘贴中文、拖拽、热键、打开路径、启动应用。先截图再动手,不盲点。
人在用电脑时自动停:钩子区分真实硬件输入和模拟输入,你一动鼠标键盘,智能体让路。
防误触:屏幕四角甩鼠标紧急停止;悬浮窗划入排除区,避免点到自己。
- 技术架构
-
四层短路定位:Layer 0 Windows UIA 控件树(<5ms)→ Layer 1 截图后 RapidOCR 与 YOLO OmniParser 并行、NMS 融合 → Layer 2 模糊匹配。失败返回,由 Agent 重新扫屏。
VLM 不参与点击:视觉语言模型只做感知和后验证,定位 100% 走本地快路径。
动作沙箱:DPI 感知坐标、防睡眠锁、23 种动作、三层后验证。
04
SmartPCAgent · 端侧助理 Harness
本地常驻助理。找文档、跑重复活。手和眼交给 Computer Use。
- 产品价值
- 端侧助理:检索本地文档、笔记,执行重复电脑任务。
零外泄:单机轻量运行。
- 技术架构
- 约 120 行 Tool-Calling 循环:异步 Runtime 封装多家模型。
Qdrant 嵌入式检索 + Computer Use:OCR 与键鼠驱动。
05
perspectiveTUI · 决策治理终端
一百多种思维模型,在终端里把重大决策推演一遍。
- 产品价值
- 破除主观盲区:芒格模型、10-10-10、六顶思考帽等。
时空对抗推演:10 分钟 / 10 个月 / 10 年后,输出风险清单。
键盘流 TUI:无干扰,专注高密度思考。
- 技术架构
- 决策 SOP 引擎:思维模型形式化为状态机。
运行时增强:采样分层、多 Key 轮询、工具进度心跳。
垂直 Agent 应用
中医经方辨证诊断 / 情感单轮清醒决策 / 出货前制裁实体筛查
06
中医 LLM Wiki Agent · 专业经方辨证
专业化经方辨证诊断与理法方药推导。以古籍知识图谱构建严密可解释的临床证据链。
经方辨证
理法方药
古籍图谱溯源
- 临床辨证价值
-
专业化经方辨证诊断:基于《伤寒杂病论》六经辨证与《金匮要略》脏腑辨证体系,推导严谨的方药配伍与加减剂量。
古籍溯源与证据链对照:从主诉证候、舌脉特征到条文出处逐级对齐,提供理法方药完整的可解释白话与经典对照。
抑制泛化幻觉:以严格的医学实体图谱与多路召回约束生成边界,拒绝通用大模型的随意拼凑。
- 技术架构
-
知识图谱 + 多路混合检索:《伤寒》《金匮》《黄帝内经》实体图谱,结合 BM25 与向量重排。
本地 NVIDIA NIM 网关:并发与 Key 隔离,辨证推理会话不出域,保障医疗级数据隐私。
07
怎么回 · 情感咨询导师
难受先算数。再想今晚回不回。不做夸夸机,单轮给出清醒对策。
看法 Wiki
情绪承接
单轮交付
- 产品价值
-
拒绝空洞哄哄机:市场上的夸夸机与陪聊难解决真痛点。先把难受说清楚、抽离盲区(人人生而平等、先祛魅、再自立)。
单轮决策交付:一单只问一轮。先给两三句接地气的情绪承接,再给一句今晚能直接发出的消息(或明确讲清今晚先别回的理由)。
边界清晰:情绪承接只服务当下真实困境,不教把情绪做成武器,不是心理治疗,不替对方认错。
- 技术架构
-
看法 Wiki 知识底座:基于真实情感咨询经验库蒸馏出观点体系,独立知识底座,严控通用模型的泛化鸡汤。
极简流式交付:FastAPI + 本地轻量化大模型蒸馏,轻量即开即用,渐进式字级渲染。
08
外贸筛 · 制裁实体筛查
出货前 30 秒查黑名单,出具不可篡改的单页 PDF。
- 产品价值
- 规避扣货退单:出货前排查海外买家。
存证 PDF:时间戳、唯一编号与免责声明。
- 技术架构
- 六大官方名单离线快照:OFAC SDN / BIS、联合国、欧盟、英国 OFSI。
NFKC 剥离与三态输出:清洗 Co., Ltd / 有限公司,输出 block / review / clear。
运维与智能家居
服务器群事件自愈 / 米家智能家居极客中枢 / 私域客资流
09
mtagentsPC · 服务器群运维
平时待命。机器报警才毫秒级唤醒,破坏性操作必须人批。
- 产品价值
- 7×24 事件驱动:无异常极低占用,报警才诊断自愈。
防误触:只读自动,写入必须授权。
- 技术架构
- 事件流 + LangGraph:PostgreSQL Checkpoint 崩溃可续。
Write Gate:拦截高危命令,对接哪吒探针。
10
mijia hub · 米家智能家居极客中枢
全屋智能家居自动化避坑库。拆解传感器状态死锁,用极简直连与拓扑存证终结逻辑打架。
全屋智能家居
米家极客版
自动化 Skill
拓扑冲突存证
- 智能家居实操价值
-
全屋智能家居避坑实战库:针对米家极客版在多设备、多传感器联动中的状态死锁(如人进灯不亮、无人不关灯、晾衣架状态打架),沉淀一套现场实战验证的自动化 Skill 库。
终结逻辑死锁与拓扑冲突:告别 Web 端裸 ID 混乱配置与中间态打架,采用原子直连、条件幂等与分支解耦。
- 技术架构
-
变量语义反查引擎:将底层十六进制与哈希 ID(如
V0Udy4JZFDc)语义化映射为直观的设备与场景实体。
DOM 虚拟化与画布存证:自动化保存前自动截图并做拓扑逻辑冲突校验,实现全屋智能规则的可视化追踪与容灾回滚。
11
xhslistener · 小红书客资
多账号私信 3 秒推到企业微信。只读监听,不自动回复。
- 产品价值
- 线索极速响应:意向识别后推业务员。
零封号策略:绝不自动私信回复。
- 技术架构
- 端侧 ADB 嗅探:uiautomator2 听通知流并去抖。
去重与意图提取:FastAPI + SQLite,正则加语义抽手机号 / 微信号,Webhook 转发。
活码与互动生态
动态分发 / 品牌 H5 / Canvas 物理微游戏
12
OmniLink · 智能活码与功能入口
把实体二维码升级为超级流量入口。动态承接 AI 问答、数据可视化、互动游戏与私域分流,印刷后终身热更新。
实体物料活化
超级流量入口
科技功能分发
HMAC 防刷
- 商业定位与功能承接
-
从静态死码到超级流量入口:跳出单一加好友局限,将实体海报/包装/名片上的印刷二维码转化为可编程的商业流量入口与科技能力分发中枢。
全场景科技功能动态承接:后台一键切换承接场景——无缝分发至 AI Agent 咨询、品牌数据可视化 H5、Canvas 微游戏裂变或多生态客服群。
物料终身免换:印刷物料永久有效,后台毫秒级热更新路由规则与承载页面,彻底规避物料报废成本。
- 技术架构
-
多维度端侧环境嗅探:智能识别微信 / 抖音 / 小红书 / 原生浏览器,执行纯函数极速分流。
HMAC-SHA256 安全网关:365 天访客指纹追踪,拦截恶意脚本注入与 SSRF 自环攻击。
13
惠蓝天然矿泉水 · 企业落地中间页
精美企业落地中间页。无缝跳转视频号与线上商城,沉淀品牌调性并留存客户联系方式。
企业落地中间页
视频号无缝跳转
商城直达
获客留存
- 商业转化价值
-
全链路落地中间页:作为扫码后的品牌第一触点,以精美水质数据可视化与高级视觉沉淀品牌心智。
私域生态无缝跳转:深度打通微信生态,支持一键无缝直达视频号(溯源直播/品牌故事)与官方商城(即刻下单)。
高效线索留存:集成一键拨号、微信客服添加与企业定制表单,扫码即咨询,不错失潜在客户。
- 技术架构
-
约 300ms 极速秒开:单文件轻量化架构,资源渐进懒加载,完美适配微信内置浏览器。
瓶身微交互与自适应:沉浸式视觉交互,保障低网速与各种手机屏幕上的丝滑体验。
14
人群大作战
真物理倍增门射击。拒绝假跑酷广告,扫码即玩。
- 产品价值
- 可玩复刻:弹道分裂,不是买量壳。
免下载:微信和手机浏览器秒开。
- 技术架构
- 原生 Canvas:同屏数百独立碰撞。
60 FPS:低配机也顺。
15
二维码休闲小游戏集合
展会大屏吸客。通关后把人导进商户微信群活码。
- 产品价值
- 展会跳板:路人停留,通关进群。
轻量矩阵:多款即开即玩。
- 技术架构
- 极速加载:接入 OmniLink 路由参数。
跨设备触控:微信分享与优惠券回调。
方法论与架构规范
AI 编程决策治理 / LLM 竞速网关二开
16
SAGE-dgd 决策治理开发
给长会话里的 AI 编程加门禁。防编造、防漂、防乱改。
YQdevkit
opencode-SAGE
agyopt
四层 Hook
- 范式价值
- 根治长会话失控:指令漂移、凭空捏造接口、破坏既有契约。
可追溯交付:结构驱动开发门禁、SPARC 起草、对抗验证、分阶段推进。
- 治理体系
- 三件套:全局规程 + 边界拓扑 + 硬约束。
四层 Hook:启动锚定、工具前拦截、工具后存证、停止验收。
YQdevkit · Claude
治长上下文疲劳与漂移。四层心跳;针对 Opus 4.6 / 4.7 做 v46 / v47 双版本。
yqdevkit-codex · OpenAI
治盲目大跨度修改。强制 CodeGraph 预扫描,低风险直改、跨模块强审。
opencode-SAGE · Grok
治超自主蜂拥。Runtime Governor 默认单任务,Lean 模式与显式仪式分流。
agyopt · Antigravity
针对 Google 双模 Agent 与工作区隔离。三件套上下文与 Handoff,跨轮次可恢复。
yq-cu-server · Computer Use MCP
端侧自动化桥接。规范化桌面操作 Tool-Calling 循环与物理级人机让路门禁。
17
LiteLLM 分层并发竞速路由(网关深度二开)
解决 LLM 首字延迟长尾与假死。深入 LiteLLM Proxy 内核二开,多通道分层并发竞速,首字胜出秒级熔断输家。
LiteLLM 二开
Hedged Request
TTFT 竞速
流式熔断
- 二开业务价值
-
终结 TTFT 首字长尾:常规 Fallback 必须等前序 Provider 彻底超时报错才切换,导致严重假死。二开竞速路由对同一请求并发扇出多路 Provider,首个有效 token 立即胜出推流。
分层对冲与成本控制:Stage 0 由低成本/快速模型组并发竞速;整组超时或异常再无缝升级到 Stage 1 高阶模型组。
零算力浪费与连接释放:Winner 判定后毫秒级主动 Cancel 输家请求,释放本地连接与并发配额,杜绝持续空耗。
- 核心技术改造
-
RaceGroupRouter 内核扩展:深度植入 LiteLLM Proxy 核心路由层,完全兼容 OpenAI 协议流式请求(
stream: true)。
可观测与指标体系:响应头注入x-litellm-race-*追踪;支持 Attempt 级计费归因、组级 TTFT 超时控制与全局防穿透配额限制。