这是名为 Web LLM 的 Linux 应用程序，其最新版本可以作为 v0.2.0.zip 下载。 它可以在免费的工作站托管提供商 OnWorks 中在线运行。
免费下载并在线运行这个名为 Web LLM with OnWorks 的应用程序。
请按照以下说明运行此应用程序：
- 1. 在您的 PC 中下载此应用程序。
- 2. 在我们的文件管理器 https://www.onworks.net/myfiles.php?username=XXXXX 中输入您想要的用户名。
- 3. 在这样的文件管理器中上传这个应用程序。
- 4. 从此网站启动OnWorks Linux online 或Windows online emulator 或MACOS online emulator。
- 5. 从您刚刚启动的 OnWorks Linux 操作系统，使用您想要的用户名转到我们的文件管理器 https://www.onworks.net/myfiles.php?username=XXXXX。
- 6. 下载应用程序，安装并运行。
截图：
网络法学硕士
描述：
WebLLM 是一个模块化、可定制的 JavaScript 包，可通过硬件加速将语言模型聊天直接带入 Web 浏览器。 一切都在浏览器内运行，无需服务器支持，并通过 WebGPU 进行加速。 我们可以带来很多有趣的机会，为每个人构建人工智能助手，并在享受 GPU 加速的同时实现隐私。 WebLLM 提供了一个极简且模块化的界面来访问浏览器中的聊天机器人。 WebLLM 包本身不附带 UI，而是以模块化方式设计，可以挂钩任何 UI 组件。 以下代码片段演示了一个在网页上生成流响应的简单示例。
項目特色
- WebLLM 附带对 WebWorker 的 API 支持，因此您可以将生成过程挂钩到单独的工作线程中，这样 WebWorker 中的计算就不会破坏 UI
- 您可以在示例/简单聊天中找到完整的聊天应用程序示例
- WebLLM 作为 MLC LLM 的姊妹项目
- 它重用模型工件并构建 MLC LLM 流程
- 从源代码构建 WebLLM 包
- WebLLM 包是专为 MLC LLM 设计的 Web 运行时
程式语言
打字稿
分类
该应用程序也可以从 https://sourceforge.net/projects/web-llm.mirror/ 获取。 它已托管在 OnWorks 中，以便从我们的免费操作系统之一以最简单的方式在线运行。