这是名为 llama2-webui 的 Linux 应用程序,其最新版本可以作为 v0.1.14Release.zip 下载。它可以在免费的工作站托管提供商 OnWorks 中在线运行。
使用 OnWorks 免费下载并在线运行名为 llama2-webui 的应用程序。
请按照以下说明运行此应用程序:
- 1. 在您的 PC 中下载此应用程序。
- 2. 在我们的文件管理器 https://www.onworks.net/myfiles.php?username=XXXXX 中输入您想要的用户名。
- 3. 在这样的文件管理器中上传这个应用程序。
- 4. 从此网站启动OnWorks Linux online 或Windows online emulator 或MACOS online emulator。
- 5. 从您刚刚启动的 OnWorks Linux 操作系统,使用您想要的用户名转到我们的文件管理器 https://www.onworks.net/myfiles.php?username=XXXXX。
- 6. 下载应用程序,安装并运行。
SCREENSHOTS
Ad
llama2-webui
商品描述
从任何地方(Linux/Windows/Mac)在 GPU 或 CPU 上使用 gradio Web UI 运行 Llama 2。
产品优势
- 支持所有 Llama 2 型号(7B、13B、70B、GPTQ、GGML),具有 8 位、4 位模式
- 使用 llama2-wrapper 作为生成代理/应用程序的本地 llama2 后端; 合作实验室示例
- 在 Llama2 模型上运行 OpenAI 兼容 API
- 支持型号:Llama-2-7b/13b/70b、所有Llama-2-GPTQ、所有Llama-2-GGML
- 支持模型后端:transformers、bitsandbytes(8位推理)、AutoGPTQ(4位推理)、llama.cpp
- 演示:在 MacBook Air 上运行 Llama2; 在免费的 Colab T2 GPU 上运行 Llama4
程式语言
Python
分类
这是一个也可以从 https://sourceforge.net/projects/llama2-webui.mirror/ 获取的应用程序。 它已托管在 OnWorks 中,以便从我们的免费操作系统之一以最简单的方式在线运行。