Questa è l'app Windows denominata DeepSpeed MII la cui ultima versione può essere scaricata come DeepSpeedMIIv0.0.8.zip. Può essere eseguito online nel provider di hosting gratuito OnWorks per workstation.
Scarica ed esegui online gratuitamente questa app denominata DeepSpeed MII con OnWorks.
Segui queste istruzioni per eseguire questa app:
- 1. Scaricata questa applicazione sul tuo PC.
- 2. Entra nel nostro file manager https://www.onworks.net/myfiles.php?username=XXXXX con il nome utente che desideri.
- 3. Carica questa applicazione in tale file manager.
- 4. Avvia qualsiasi emulatore online OS OnWorks da questo sito Web, ma migliore emulatore online Windows.
- 5. Dal sistema operativo OnWorks Windows che hai appena avviato, vai al nostro file manager https://www.onworks.net/myfiles.php?username=XXXXX con il nome utente che desideri.
- 6. Scarica l'applicazione e installala.
- 7. Scarica Wine dai repository software delle tue distribuzioni Linux. Una volta installato, puoi quindi fare doppio clic sull'app per eseguirli con Wine. Puoi anche provare PlayOnLinux, un'interfaccia fantasiosa su Wine che ti aiuterà a installare programmi e giochi Windows popolari.
Wine è un modo per eseguire il software Windows su Linux, ma senza Windows richiesto. Wine è un livello di compatibilità Windows open source in grado di eseguire programmi Windows direttamente su qualsiasi desktop Linux. Essenzialmente, Wine sta cercando di re-implementare abbastanza Windows da zero in modo che possa eseguire tutte quelle applicazioni Windows senza effettivamente bisogno di Windows.
IMMAGINI
Ad
DeepSpeedMII
DESCRIZIONE
MII rende possibile l'inferenza a bassa latenza e ad alto throughput, grazie alla tecnologia DeepSpeed. La comunità open source del Deep Learning (DL) ha registrato un'enorme crescita negli ultimi mesi. Modelli di generazione di testo incredibilmente potenti come Bloom 176B o modelli di generazione di immagini come Stable Diffusion sono ora disponibili per chiunque abbia accesso a una manciata o addirittura a una singola GPU attraverso piattaforme come Hugging Face. Sebbene l’open source abbia democratizzato l’accesso alle funzionalità dell’intelligenza artificiale, la loro applicazione è ancora limitata da due fattori critici: latenza di inferenza e costi. DeepSpeed-MII è una nuova libreria Python open source di DeepSpeed, mirata a rendere l'inferenza a bassa latenza e a basso costo di modelli potenti non solo fattibile ma anche facilmente accessibile. MII offre accesso all'implementazione altamente ottimizzata di migliaia di modelli DL ampiamente utilizzati. I modelli supportati da MII raggiungono latenza e costi significativamente inferiori rispetto alla loro implementazione originale.
Caratteristiche
- MII offre accesso a un'implementazione altamente ottimizzata di migliaia di modelli DL ampiamente utilizzati
- I modelli supportati da MII raggiungono una latenza e costi significativamente inferiori rispetto alla loro implementazione originale
- MII sfrutta una vasta gamma di ottimizzazioni di DeepSpeed-Inference come la deepfusion per i trasformatori
- Prestazioni all'avanguardia
- MII supporta la distribuzione a basso costo di questi modelli sia on-premise che su Azure tramite AML con solo poche righe di codice
- Slicing automatico del tensore per inferenza multi-GPU, quantizzazione al volo con ZeroQuant
Linguaggio di programmazione
Python
Categorie
Questa è un'applicazione che può essere recuperata anche da https://sourceforge.net/projects/deepspeed-mii.mirror/. È stato ospitato su OnWorks per poter essere eseguito online in modo più semplice da uno dei nostri sistemi operativi gratuiti.
