模型、角色和设备调度
RanDeng 多角色矩阵把对话、实时语音、任务执行和设备回传放在一条流程里。电脑负责模型和工具,手机负责长内容和可视化,手表负责随身语音、提醒和状态。用户发出指令后,系统会结合当前角色、相关记忆和设备状态,再决定是直接回复、调用工具,还是把任务交给冒险者公会。
RanDeng 多角色矩阵把对话、实时语音、任务执行和设备回传放在一条流程里。电脑负责模型和工具,手机负责长内容和可视化,手表负责随身语音、提醒和状态。用户发出指令后,系统会结合当前角色、相关记忆和设备状态,再决定是直接回复、调用工具,还是把任务交给冒险者公会。
语音部分不是一个单独按钮,而是一整条链路:手表边播放边继续听,真人插话时先停住回复,确认后进入下一轮;网络不稳时会尝试重连。底层复用 WebRTC(实时声音处理项目)、Oboe(安卓低延迟播放项目)、mem0(长期记忆项目)、ChromaDB(资料检索项目)和 FRP(跨网连接项目),RanDeng 负责把这些能力组合成普通人能用的多角色系统。
感知系统会整理时间、位置、声音、设备状态,以及手表实际能提供的心率、血氧和运动信息。它不会把不确定的线索直接当事实,而是先记录来源和可信程度,再交给角色、记忆和矢志不渝使用;矢志不渝决定是否表达、由谁表达、何时表达,弹性回路再根据前段对话和这份结果调整表达倾向。摄像头、桌面画面和多设备连续感知还在继续补齐。
音乐系统把歌曲、歌词片段、伴奏、播放状态和设备动画连在一起。现在已经能处理已收录的歌曲和伴奏,让电脑负责声音混合,手机接收音乐卡片,手表切换角色动画。实时生成新歌、新声线并马上演唱还没有接进主流程。
冒险者公会负责把一句目标拆成可执行的任务,再交给已经接入并授权的工具去做。它会记录谁在执行、做到了哪一步、用了什么资源、哪里失败、最后证据是什么。短消息可以送到手表,长结果送到手机,完整产物保留在电脑。
三端分工很清楚:电脑跑复杂任务,手机看长内容和结果,手表负责随身语音、提醒和简单指挥。旧手机和旧手表也能变成可用入口。现在复杂执行主要还在用户电脑上,个人云、空间显示和全息影像属于后续方向。
记忆系统保存近期对话、长期事实和角色私有记忆;私人知识库负责整理文字、图片、声音、视频和文档。用户在外网也能通过自己的跨网服务连回家中电脑。当前数据主要放在用户电脑上,记忆查看、修正、删除、导出和危险操作二次确认还需要继续补齐。