Midscene.js - AI大模型驱动的UI自动化

任万新字数: 8194 阅读耗时: 20 分钟 2025/11/14 2025/11/14 博客独享热度: 2 评论: 0

简介

Midscene.js是字节跳动 Web Infra 团队全新开源的一款 UI 自动化工具，它最大的亮点在于引入了多模态 AI 推理能力。

Midscene.js 的核心开发语言为 TypeScript

以往编写自动化测试脚本，需要掌握专业的编程知识，这对很多测试人员来说是个不小的挑战。但 Midscene.js你只需用自然语言描述自动化步骤，它就能理解你的指令，并在网页上精准执行相应操作。

能够深度理解网页结构，并根据提示生成所需数据结构，在进行数据抓取或测试时，从网页中提取特定数据是常见需求。而Midscene.js 提供了强大的数据提取功能，你可以描述想要的数据结构，它会以 JSON 格式将数据返回给你。

无需编写选择器，告别“锚点依赖症”；

提供动画回放、步骤详情，支持在报告中直接调试，方便用户调试和优化测试流程。

内置对公共多模态大语言模型（如 GPT-4）和开源模型（如 UI-TARS）的支持。

MIT协议，支持私有化部署，数据不出本地。

如果想快速体验 Midscene.js 的核心功能，安装 Chrome 扩展是个不错的选择。

打开 Chrome 浏览器，进入 Chrome 网上应用店，搜索 “Midscene.js”，找到对应的扩展程序后，点击 “添加到 Chrome” 按钮，按照提示完成安装。

配置大模型API Key即可使用

npm install midscene.js

# 克隆项目
git clone https://github.com/web-infra-dev/midscene.git
cd midscene

# 安装依赖
npm install

# 启动本地服务（可选）
npm run dev