这是名为 VLLM 的 Windows 应用程序，其最新版本可以作为 v0.2.1.post1sourcecode.zip 下载。 它可以在免费的工作站托管提供商 OnWorks 中在线运行。
免费下载并使用 OnWorks 在线运行名为 VLLM 的应用程序。
请按照以下说明运行此应用程序：
- 1. 在您的 PC 中下载此应用程序。
- 2. 在我们的文件管理器 https://www.onworks.net/myfiles.php?username=XXXXX 中输入您想要的用户名。
- 3. 在这样的文件管理器中上传这个应用程序。
- 4. 从本网站启动任何 OS OnWorks 在线模拟器，但更好的 Windows 在线模拟器。
- 5. 从您刚刚启动的 OnWorks Windows 操作系统，使用您想要的用户名转到我们的文件管理器 https://www.onworks.net/myfiles.php?username=XXXXX。
- 6. 下载应用程序并安装。
- 7. 从您的 Linux 发行版软件存储库下载 Wine。 安装后，您可以双击该应用程序以使用 Wine 运行它们。 您还可以尝试 PlayOnLinux，这是 Wine 上的一个花哨界面，可帮助您安装流行的 Windows 程序和游戏。
Wine 是一种在 Linux 上运行 Windows 软件的方法，但不需要 Windows。 Wine 是一个开源的 Windows 兼容层，可以直接在任何 Linux 桌面上运行 Windows 程序。 本质上，Wine 试图从头开始重新实现足够多的 Windows，以便它可以运行所有这些 Windows 应用程序，而实际上不需要 Windows。
SCREENSHOTS
Ad
VLLM
商品描述
vLLM 是一个快速且易于使用的 LLM 推理和服务库。 高吞吐量服务于各种解码算法，包括并行采样、波束搜索等。
功能
- 最先进的服务吞吐量
- 使用 PagedAttention 高效管理注意力键和值内存
- 连续批处理传入请求
- 优化的 CUDA 内核
- 与流行的 HuggingFace 模型无缝集成
- 对分布式推理的张量并行支持
程式语言
Python
分类
该应用程序也可以从 https://sourceforge.net/projects/vllm.mirror/ 获取。 它已托管在 OnWorks 中，以便从我们的免费操作系统之一以最简单的方式在线运行。
