Aceasta este aplicația Linux numită CTranslate2 a cărei ultimă versiune poate fi descărcată ca CTranslate23.20.0.zip. Poate fi rulat online în furnizorul de găzduire gratuit OnWorks pentru stații de lucru.
Descărcați și rulați online această aplicație numită CTranslate2 cu OnWorks gratuit.
Urmați aceste instrucțiuni pentru a rula această aplicație:
- 1. Ați descărcat această aplicație pe computer.
- 2. Introduceți în managerul nostru de fișiere https://www.onworks.net/myfiles.php?username=XXXXX cu numele de utilizator pe care îl doriți.
- 3. Încărcați această aplicație într-un astfel de manager de fișiere.
- 4. Porniți emulatorul online OnWorks Linux sau Windows online sau emulatorul online MACOS de pe acest site web.
- 5. Din sistemul de operare OnWorks Linux pe care tocmai l-ați pornit, accesați managerul nostru de fișiere https://www.onworks.net/myfiles.php?username=XXXXX cu numele de utilizator dorit.
- 6. Descărcați aplicația, instalați-o și rulați-o.
SCREENSHOTS
Ad
CTranslate2
DESCRIERE
CTranslate2 este o bibliotecă C++ și Python pentru inferențe eficiente cu modelele Transformer. Proiectul implementează un timp de execuție personalizat care aplică multe tehnici de optimizare a performanței, cum ar fi cuantificarea greutăților, fuziunea straturilor, reordonarea loturilor etc., pentru a accelera și reduce utilizarea memoriei modelelor Transformer pe CPU și GPU. Execuția este semnificativ mai rapidă și necesită mai puține resurse decât cadrele de învățare profundă de uz general pe modele și sarcini acceptate, datorită multor optimizări avansate: fuziunea straturilor, eliminarea umpluturii, reordonarea loturilor, operațiunile la locul lor, mecanismul de stocare în cache etc. Serializarea modelului și calcule suportă greutăți cu precizie redusă: puncte flotante pe 16 biți (FP16), numere întregi pe 16 biți (INT16) și numere întregi pe 8 biți (INT8). Proiectul acceptă procesoare x86-64 și AArch64/ARM64 și integrează mai multe backend-uri care sunt optimizate pentru aceste platforme: Intel MKL, oneDNN, OpenBLAS, Ruy și Apple Accelerate.
DESCRIERE
- Modele de codificator-decodor acceptate
- Sunt acceptate GPT-2, GPT-J, GPT-NeoX, OPT, BLOOM
- Detectarea automată a procesorului și expedierea codului
- Execuție rapidă și eficientă pe CPU și GPU
- Cuantizare și precizie redusă
- Suport pentru mai multe arhitecturi CPU
- Utilizarea dinamică a memoriei
- Execuție paralelă și asincronă
Limbaj de programare
C ++
Categorii
Aceasta este o aplicație care poate fi preluată și de la https://sourceforge.net/projects/ctranslate2.mirror/. A fost găzduit în OnWorks pentru a fi rulat online într-un mod cât mai ușor de pe unul dintre sistemele noastre operative gratuite.
