Dit is de Windows-app genaamd DeepSpeed MII waarvan de nieuwste release kan worden gedownload als DeepSpeedMIIv0.0.8.zip. Het kan online worden uitgevoerd in de gratis hostingprovider OnWorks voor werkstations.
Download en voer deze app genaamd DeepSpeed MII gratis online uit met OnWorks.
Volg deze instructies om deze app uit te voeren:
- 1. Download deze applicatie op uw pc.
- 2. Voer in onze bestandsbeheerder https://www.onworks.net/myfiles.php?username=XXXXX in met de gebruikersnaam die u wilt.
- 3. Upload deze applicatie in zo'n bestandsbeheerder.
- 4. Start een OS OnWorks online emulator vanaf deze website, maar een betere Windows online emulator.
- 5. Ga vanuit het OnWorks Windows-besturingssysteem dat u zojuist hebt gestart naar onze bestandsbeheerder https://www.onworks.net/myfiles.php?username=XXXXX met de gewenste gebruikersnaam.
- 6. Download de applicatie en installeer deze.
- 7. Download Wine van de softwarebronnen voor Linux-distributies. Eenmaal geïnstalleerd, kunt u vervolgens dubbelklikken op de app om ze met Wine uit te voeren. Je kunt ook PlayOnLinux proberen, een mooie interface via Wine waarmee je populaire Windows-programma's en -games kunt installeren.
Wine is een manier om Windows-software op Linux uit te voeren, maar zonder dat Windows vereist is. Wine is een open-source Windows-compatibiliteitslaag die Windows-programma's rechtstreeks op elke Linux-desktop kan uitvoeren. In wezen probeert Wine genoeg van Windows opnieuw te implementeren, zodat het al die Windows-applicaties kan draaien zonder Windows echt nodig te hebben.
SCHERMSCHERMEN:
DeepSpeed-MII
BESCHRIJVING:
MII maakt inferentie met lage latentie en hoge doorvoer mogelijk, mogelijk gemaakt door DeepSpeed. De open-sourcegemeenschap Deep Learning (DL) heeft de afgelopen maanden een enorme groei doorgemaakt. Ongelooflijk krachtige modellen voor het genereren van tekst, zoals de Bloom 176B, of een model voor het genereren van afbeeldingen, zoals Stable Diffusion, zijn nu beschikbaar voor iedereen met toegang tot een handvol of zelfs een enkele GPU via platforms zoals Hugging Face. Hoewel open source de toegang tot AI-mogelijkheden heeft gedemocratiseerd, wordt de toepassing ervan nog steeds beperkt door twee cruciale factoren: latentie van gevolgtrekkingen en kosten. DeepSpeed-MII is een nieuwe open-source pythonbibliotheek van DeepSpeed, bedoeld om de inferentie van krachtige modellen met lage latentie en lage kosten niet alleen haalbaar maar ook gemakkelijk toegankelijk te maken. MII biedt toegang tot de sterk geoptimaliseerde implementatie van duizenden veelgebruikte DL-modellen. Door MII ondersteunde modellen bereiken aanzienlijk lagere latentie en kosten vergeleken met hun oorspronkelijke implementatie.
Kenmerken
- MII biedt toegang tot een sterk geoptimaliseerde implementatie van duizenden veelgebruikte DL-modellen
- Door MII ondersteunde modellen bereiken aanzienlijk lagere latentie en kosten vergeleken met hun oorspronkelijke implementatie
- MII maakt gebruik van een uitgebreide reeks optimalisaties van DeepSpeed-Inference, zoals deepfusion voor transformatoren
- State-of-the-art prestaties
- MII ondersteunt goedkope implementatie van deze modellen, zowel on-premises als op Azure via AML, met slechts een paar regels codes
- Geautomatiseerde tensor-slicing voor multi-GPU-inferentie, on-the-fly kwantisering met ZeroQuant
Programmeertaal
Python
Categorieën
Dit is een applicatie die ook kan worden opgehaald van https://sourceforge.net/projects/deepspeed-mii.mirror/. Het is gehost in OnWorks zodat het op de eenvoudigste manier online kan worden uitgevoerd vanaf een van onze gratis besturingssystemen.