Đây là ứng dụng Linux có tên CTranslate2 có bản phát hành mới nhất có thể được tải xuống dưới dạng CTranslate23.20.0.zip. Nó có thể được chạy trực tuyến trong nhà cung cấp dịch vụ lưu trữ miễn phí OnWorks dành cho máy trạm.
Tải xuống và chạy trực tuyến ứng dụng này có tên CTranslate2 với OnWorks miễn phí.
Làm theo các hướng dẫn sau để chạy ứng dụng này:
- 1. Đã tải ứng dụng này xuống PC của bạn.
- 2. Nhập vào trình quản lý tệp của chúng tôi https://www.onworks.net/myfiles.php?username=XXXXX với tên người dùng mà bạn muốn.
- 3. Tải lên ứng dụng này trong trình quản lý tệp như vậy.
- 4. Khởi động trình giả lập trực tuyến OnWorks Linux hoặc trình giả lập trực tuyến Windows hoặc trình mô phỏng trực tuyến MACOS từ trang web này.
- 5. Từ Hệ điều hành OnWorks Linux mà bạn vừa khởi động, hãy truy cập trình quản lý tệp của chúng tôi https://www.onworks.net/myfiles.php?username=XXXXX với tên người dùng mà bạn muốn.
- 6. Tải xuống ứng dụng, cài đặt và chạy nó.
MÀN HÌNH
Ad
CDịch2
MÔ TẢ
CTranslate2 là thư viện C++ và Python để suy luận hiệu quả với các mô hình Transformer. Dự án triển khai thời gian chạy tùy chỉnh áp dụng nhiều kỹ thuật tối ưu hóa hiệu suất như lượng tử hóa trọng số, hợp nhất các lớp, sắp xếp lại hàng loạt, v.v., để tăng tốc và giảm mức sử dụng bộ nhớ của các mô hình Transformer trên CPU và GPU. Quá trình thực thi nhanh hơn đáng kể và yêu cầu ít tài nguyên hơn so với các khung học sâu đa năng trên các mô hình và tác vụ được hỗ trợ nhờ nhiều tối ưu hóa nâng cao: hợp nhất lớp, loại bỏ phần đệm, sắp xếp lại hàng loạt, vận hành tại chỗ, cơ chế lưu vào bộ nhớ đệm, v.v. trọng số hỗ trợ tính toán với độ chính xác giảm: dấu phẩy động 16 bit (FP16), số nguyên 16 bit (INT16) và số nguyên 8 bit (INT8). Dự án hỗ trợ bộ xử lý x86-64 và AArch64/ARM64, đồng thời tích hợp nhiều chương trình phụ trợ được tối ưu hóa cho các nền tảng này: Intel MKL, oneDNN, OpenBLAS, Ruy và Apple Accelerate.
Tính năng
- Hỗ trợ các mô hình bộ mã hóa-giải mã
- Hỗ trợ GPT-2, GPT-J, GPT-NeoX, OPT, BLOOM
- Tự động phát hiện CPU và gửi mã
- Thực thi nhanh chóng và hiệu quả trên CPU và GPU
- Lượng tử hóa và giảm độ chính xác
- Hỗ trợ nhiều kiến trúc CPU
- Sử dụng bộ nhớ động
- Thực thi song song và không đồng bộ
Ngôn ngữ lập trình
C + +
Danh Mục
Đây là một ứng dụng cũng có thể được tải xuống từ https://sourceforge.net/projects/ctranslate2.mirror/. Nó đã được lưu trữ trên OnWorks để có thể chạy trực tuyến một cách dễ dàng nhất từ một trong các Hệ điều hành miễn phí của chúng tôi.
