Aceasta este aplicația Linux numită VLLM a cărei ultimă versiune poate fi descărcată ca v0.2.1.post1sourcecode.zip. Poate fi rulat online în furnizorul gratuit de găzduire OnWorks pentru stații de lucru.
Descărcați și rulați online această aplicație numită VLLM cu OnWorks gratuit.
Urmați aceste instrucțiuni pentru a rula această aplicație:
- 1. Ați descărcat această aplicație pe computer.
- 2. Introduceți în managerul nostru de fișiere https://www.onworks.net/myfiles.php?username=XXXXX cu numele de utilizator pe care îl doriți.
- 3. Încărcați această aplicație într-un astfel de manager de fișiere.
- 4. Porniți emulatorul online OnWorks Linux sau Windows online sau emulatorul online MACOS de pe acest site web.
- 5. Din sistemul de operare OnWorks Linux pe care tocmai l-ați pornit, accesați managerul nostru de fișiere https://www.onworks.net/myfiles.php?username=XXXXX cu numele de utilizator dorit.
- 6. Descărcați aplicația, instalați-o și rulați-o.
SCREENSHOTS
Ad
VLLM
DESCRIERE
vLLM este o bibliotecă rapidă și ușor de utilizat pentru inferența și servirea LLM. Servire de mare debit cu diverși algoritmi de decodare, inclusiv eșantionare paralelă, căutare fasciculă și multe altele.
DESCRIERE
- Debitul de servire de ultimă generație
- Gestionarea eficientă a cheii de atenție și a memoriei valorii cu PagedAttention
- Gruparea continuă a cererilor primite
- Nuclee CUDA optimizate
- Integrare perfectă cu modelele populare HuggingFace
- Suport paralelism tensor pentru inferența distribuită
Limbaj de programare
Piton
Categorii
Aceasta este o aplicație care poate fi preluată și de la https://sourceforge.net/projects/vllm.mirror/. A fost găzduit în OnWorks pentru a fi rulat online într-un mod cât mai ușor de pe unul dintre sistemele noastre operative gratuite.
