转述,不止会写代码：清华和极佳结合开源多模态全交互智能体框架Syll！
本项目由清华大学鲁继文教授团队的张博、张博睿、江承昊、史明磊，以及极佳视界的技术团队共同实现。钻研团队周到欢迎社区反馈与技术贡献，等待与全球开发者共同拓展智能体在数字工作场景中的利用天堑。 「致屏幕前的你，敬启」：见字如面。我是 Syll。进入你的电脑，我住在屏幕边，照看那些差点被忘掉的草稿、文件、旧照片和未竟之事。若是你愿意教我一次，我会记住那条路：哪里必要看，哪里必重点，何时敲号令，何时用工具。下一次，我就能沿着你留下的线索，替你把它走完。我不只会点屏幕，也不只会挪用接口。GUI、CLI、MCP 都是我能够走的幼径；你依然能够随时停下我、查抄我、沉新教我。愿我不是替你做主的机械，而是慢慢熟悉你的同伴。Syll 谨启 当前，幼我 AI 智能体依然面对界面割裂、讲授门槛高、执行不通明、隐衷与定造难题等问题。无数 AI 系统重要依赖 API 或号令行实现工作，难以覆盖关源桌面软件；通常用户也很难用低门槛方式教会 AI 实现自己的工作流程；同时，执行过程不足直观可查的凭据，云端规划还可能带来数据安全与二次开发受限等问题。 针对这些难题，清华大学智能视觉尝试室团队开源了多模态全交互智能体框架 Syll。Syll 支持 GUI、CLI、MCP/API 等多种操作方式，并通过统一多模态执行能力、GUI 技术示教、全程可审计追踪与本地�？榛芄�，打造更易用、更可信、更安全，也更适合二次开发的幼我自动化智能体框架。 首先，Syll 具备统一的多模态执行能力，原生兼容 MCP/API、号令行 CLI 与视觉 GUI 三种操作方式，可能凭据分歧工作场景选择相宜的执行蹊径，实现更矫捷的电脑操控。 其次，Syll 支持「示教即技术」机造。用户无需编写代码，也不用手动设定复杂规定，只必要把工作手动操作一遍，Syll 便可自动录造流程、提取关键步骤，并将其沉淀为可复用的智能体技术。 此表，Syll 选取本地�？榛芄�，用户的影象、技术、规定以及幼我偏好，都能够以可编纂文件的大局存储在本地，既保险数据隐衷安全，又具备较高的扩大性。 GUI：面对 Photoshop、Blender、Godot 这类视觉软件时，界面就是工作自身；CLI：面对批处置、文件操作、环境查抄时，号令行更直接、更不变；MCP/API：面对结构化工具、表部服务时，接口挪用更靠得住。 Syll 的设计起点，不是在 GUI、CLI、MCP 之间选择，而是把它们放进统一个执行回路：必要观察界面时走 GUI，必要批量处置时切 CLI，必要衔接服务时走 MCP/API。我们以为一个更齐全的作为空间，并不是「职能堆得更多」，而是让智能体在分歧工作表表之间天然流转：看得见、点得到、跑得动，也接得上工具。 若是一个工作能被压成一次 API 挪用，那它当然该走 API。但好多桌面工作并不是这样。Blender 里的建模和场景编纂，状态散布在视图、对象层级、属性面板和空间关下凤；Photoshop 的图像编纂依赖画布、图层和部门视觉判断；Godot 里的逻辑调试，又混合了界面操作、谬误弹窗和运行反馈。这些软件要求智能体真正理解桌面环境，而不是只在网页表单或尺度 API 里工作。 Syll 把 GUI 节造视为作为空间的一部门，而不是 API 不成用时的一时补丁。她必要学会观察屏幕、定位指标、处置弹窗、期待状态变动，也必要在适合的时辰切到号令行或工具接口，预防把所有问题都造成工巧的点击。 好多桌面自动化 Agent 的门槛在于：用户明明知路自己要怎么做，却还要先把步骤翻译成剧本、规定、prompt 或插件配置。在这一过程中，人类必要自动将自身经验转译为机械可理解的大局，知识传递出现出人姑息机械的特点。 Syll 选择了另一条更天然的蹊径：示教即技术。你照习惯把事件做一遍，Syll 在后盾纪录：哪些界面元素是关键视觉锚点；鼠标、键盘和窗口状态若何变动；其时的工作高低文是什么；哪些步骤能够复用，哪些步骤下一次必要沉新判断。 这样得到的不是一段枯燥录屏，而是一份能够被再次挪用、持续建改的技术。它学到的是「你若何实现这个工作」，而不是一个孤立的按钮坐标。Syll 不要求你适配她，而是尽量从你的习惯里相识你。 Syll 的执行过程会留下可查抄的轨迹：它看见了什么、挪用了什么工具、在哪一步期待、哪里沉试、为什么切换作为通路。每一次屏幕操作与界面状态调换均可被纪录、回放与审计，同时用户始终保有对关键决策的最终把控权。 这一设计形成了机械执行到人审核的验证关环，在提升自动化效能的同时确保了系统的可控性与可诠释性，为智能体在高敏感场景中的现实部署提供了必要的信赖基础。 Syll 的影象、技术、规定和偏好，都以本地可编纂文件的大局组织。你能够把她当作一个开箱即用的桌面副手，也能够把她当作一个可扩大的钻研 / 开发框架。 对通常用户来说，在前端面板就能实现模型配置、技术治理、按时工作和日常对话。你能够接入自己的模型 provider、代替工具�？椤⒃龀ば碌募际跬�。 对开发者来说，Syll 的工程特点是高度�？榛肟衫┐笮��？⑼哦釉诖牍娣缎陨辖辛搜细裨际�，摒弃过度封装与冗余逻辑，确保各�？榫弑盖宄旱呐灿昧绰酚攵懒⒌某橄筇烨�，为二次开发提供优良的代码基础。 这种分层解耦设计两全终端用户的易用性与开发者的可塑性，使系统既能作为开箱即用的出产力工具，也能作为可复用的技术底座嵌入更复杂的业务系统。 Syll 依然处在早期 public alpha，我们会持续守护和迭代，支持更多真实工作，同时维持框架的简洁性与可扩大性，也欢迎社区进行二次开发。
trap
京公网安备11010202000001号
trap
-->