Aceasta este aplicația Linux numită Xorbits Inference a cărei ultimă versiune poate fi descărcată ca v0.5.3sourcecode.zip. Poate fi rulat online în furnizorul gratuit de găzduire OnWorks pentru stații de lucru.
Descărcați și rulați online această aplicație numită Xorbits Inference cu OnWorks gratuit.
Urmați aceste instrucțiuni pentru a rula această aplicație:
- 1. Ați descărcat această aplicație pe computer.
- 2. Introduceți în managerul nostru de fișiere https://www.onworks.net/myfiles.php?username=XXXXX cu numele de utilizator pe care îl doriți.
- 3. Încărcați această aplicație într-un astfel de manager de fișiere.
- 4. Porniți emulatorul online OnWorks Linux sau Windows online sau emulatorul online MACOS de pe acest site web.
- 5. Din sistemul de operare OnWorks Linux pe care tocmai l-ați pornit, accesați managerul nostru de fișiere https://www.onworks.net/myfiles.php?username=XXXXX cu numele de utilizator dorit.
- 6. Descărcați aplicația, instalați-o și rulați-o.
CAPTURĂ DE ECRAN:
Inferența Xorbits
DESCRIERE:
Înlocuiți OpenAI GPT cu un alt LLM în aplicația dvs. modificând o singură linie de cod. Xinference vă oferă libertatea de a utiliza orice LLM de care aveți nevoie. Cu Xinference, aveți puterea să efectuați inferențe cu orice modele de limbaj open-source, modele de recunoaștere a vorbirii și modele multimodale, fie în cloud, la nivel local sau chiar pe laptop. Xorbits Inference (Xinference) este o bibliotecă puternică și versatilă concepută pentru a servi limbajului, recunoașterea vorbirii și modelele multimodale. Cu Xorbits Inference, puteți implementa și servi fără efort modelele dvs. încorporate sau cele de ultimă generație folosind doar o singură comandă. Indiferent dacă sunteți cercetător, dezvoltator sau cercetător de date, Xorbits Inference vă dă putere să eliberați întregul potențial al modelelor AI de ultimă oră.
DESCRIERE
- Simplificați procesul de servire a limbajului mare, recunoașterea vorbirii și modelele multimodale
- Vă puteți configura și implementa modelele pentru experimentare și producție cu o singură comandă
- Experimentați cu modele încorporate de ultimă generație folosind o singură comandă
- Profitați la maximum de resursele hardware cu ggml
- Oferiți mai multe interfețe pentru a interacționa cu modelele dvs., care acceptă RPC, API RESTful (compatibil cu OpenAI API), CLI și WebUI pentru o gestionare și monitorizare fără întreruperi
- Excel în scenarii de implementare distribuită, permițând distribuția perfectă a inferenței modelului pe mai multe dispozitive sau mașini
Limbaj de programare
Piton
Categorii
Aceasta este o aplicație care poate fi preluată și de la https://sourceforge.net/projects/xorbits-inference.mirror/. A fost găzduit în OnWorks pentru a fi rulat online într-un mod cât mai ușor de pe unul dintre sistemele noastre operative gratuite.