这是名为 CTranslate2 的 Linux 应用程序,其最新版本可以作为 CTranslate23.20.0.zip 下载。 它可以在免费的工作站托管提供商 OnWorks 中在线运行。
免费下载并使用 OnWorks 在线运行名为 CTranslate2 的应用程序。
请按照以下说明运行此应用程序:
- 1. 在您的 PC 中下载此应用程序。
- 2. 在我们的文件管理器 https://www.onworks.net/myfiles.php?username=XXXXX 中输入您想要的用户名。
- 3. 在这样的文件管理器中上传这个应用程序。
- 4. 从此网站启动OnWorks Linux online 或Windows online emulator 或MACOS online emulator。
- 5. 从您刚刚启动的 OnWorks Linux 操作系统,使用您想要的用户名转到我们的文件管理器 https://www.onworks.net/myfiles.php?username=XXXXX。
- 6. 下载应用程序,安装并运行。
SCREENSHOTS
Ad
C翻译2
商品描述
CTranslate2 是一个 C++ 和 Python 库,用于使用 Transformer 模型进行高效推理。 该项目实现了一个自定义运行时,应用了许多性能优化技术,如权重量化、层融合、批量重新排序等,以加速和减少 Transformer 模型在 CPU 和 GPU 上的内存使用。 由于许多高级优化:层融合、填充去除、批量重新排序、就地操作、缓存机制等,在支持的模型和任务上,执行速度明显快于通用深度学习框架,并且需要更少的资源。模型序列化和计算支持精度降低的权重:16 位浮点 (FP16)、16 位整数 (INT16) 和 8 位整数 (INT8)。 该项目支持 x86-64 和 AArch64/ARM64 处理器,并集成了针对这些平台优化的多个后端:Intel MKL、oneDNN、OpenBLAS、Ruy 和 Apple Accelerate。
产品优势
- 支持的编码器-解码器模型
- 支持 GPT-2、GPT-J、GPT-NeoX、OPT、BLOOM
- 自动CPU检测和代码调度
- 在 CPU 和 GPU 上快速高效地执行
- 量化和降低精度
- 多CPU架构支持
- 动态内存使用
- 并行和异步执行
程式语言
C + +中
分类
该应用程序也可以从 https://sourceforge.net/projects/ctranslate2.mirror/ 获取。 它已托管在 OnWorks 中,以便从我们的免费操作系统之一以最简单的方式在线运行。