本名堂由清华大学鲁继文老师团队的张博、张博睿、江承昊、史明磊,以及极佳视界的技能团队共同完成。征询团队热忱接待社区反应与技能孝顺,期待与众人缔造者共同拓展智能体在数字责任场景中的哄骗鸿沟。Syll 是一个居住在你电脑屏幕边的智能体,它匡助督察那些差点被渐忘的草稿、文献、旧相片和未竟之事。若是你悠然教它一次,它会记取旅途:那儿需要看,那儿需重心,何时敲敕令,何时用器具。下一次,它就能沿着你留住的痕迹完成任务。Syll 不单会点屏幕,也不单会调用接口。GUI、CLI、MCP 皆是它不错走的小路;你仍然不错随时停驻它、搜检它、再行教它。愿它成为你的伙伴,而不是替你作念主的机器。

现时个东说念主 AI 智能体濒临界面割裂、素养门槛高、推行不透明、阴私与定制艰辛等问题。无数 AI 系统主要依赖 API 或敕令行完成任务,难以障翳闭源桌面软件;平素用户也很难用低门槛形貌教化 AI 完成我方的责任进程;推行过程穷乏直不雅可查的依据,云表决议还可能带来数据安全与二次缔造受限等问题。

为料理这些难题,清华大学智能视觉实验室团队开源了多模态全交互智能体框架 Syll。Syll 补助 GUI、CLI、MCP/API 等多种操作形貌,并通过斡旋多模态推行智力、GUI 技巧示教、全程可审计跟踪与土产货模块化架构,打造更易用、更的确、更安全且更适应二次缔造的个东说念主自动化智能体框架。

Syll 的中枢机划理念包括:

Syll 具备斡旋的多模态推行智力,原生兼容 MCP/API、敕令行 CLI 与视觉 GUI 三种操作形貌,大略凭据不同任务场景选拔合适的推行旅途,已毕更活泼的电脑操控。

Syll 补助「示教即技巧」机制。用户无需编写代码或手动设定复杂规则,只需把任务手动操作一遍,Syll 便可自动录制进程、索求重要要津,并将其千里淀为可复用的智能体技巧。

Syll 搭配多模态审计体系,AI 推行的每一步操作皆会留住显然可查的记载,全程透明可视化,让使用过程看得见、更的确。

Syll 经受土产货模块化架构,世界杯(中国)用户的记挂、技巧、规则及个东说念主偏好皆不错以可剪辑文献的形状存储在土产货,既保险数据阴私安全,又具备较高的膨胀性。

Syll 议论最先不是在 GUI、CLI、MCP 之间选拔,而是把它们放进肃清个推行回路:需要不雅察界面时走 GUI,需要批量处理时切 CLI,需要贯穿做事时走 MCP/API。这么造成一个更完好的手脚空间,让智能体在不同责任名义之间当然流转。

Syll 把 GUI 截止视为手脚空间的一部分,而不是 API 不能用时的临时补丁。它需要学会不雅察屏幕、定位主义、处理弹窗、恭候景色变化,并在合适的期间切换到敕令行或器具接口,幸免把总共问题皆变成低能的点击。

Syll 选拔了另一条更当然的旅途:示教即技巧。用户照民俗把事情作念一遍,Syll 在后台记载重要视觉锚点、鼠标键盘窗口景色变化、任务险峻文等信息,生成可复用的技巧。学到的是「怎么完成任务」,而不是伶仃的按钮坐标。
开云体育(中国)官方网站
Syll 的推行过程会留住可搜检的轨迹,确保每次屏幕操作与界面景色变更均可被记载、回放与审计。用户恒久保有对重要决策的最终把控权,造成机器推行到东说念主审核的考证闭环,进步自动化成果的同期确保系统的可控性与可讲明性。
Syll 的记挂、技巧、规则和偏好皆以土产货可剪辑文献的形状组织。对平素用户来说,在前端面板就能完成模子建设、技巧料理、定时任务和日常对话。对缔造者来说,Syll 的工程特色是高度模块化与可膨胀性,提供细腻的代码基础。
Syll 仍然处在早期 public alpha世界杯(中国),会抓续小器和迭代,补助更多真正任务,同期保抓框架的随和性与可膨胀性,也接待社区进行二次缔造。它会少量点变得更懂你,巧合帮你完成复杂进程,巧合仅仅轻轻指示一句。