Il s'agit de l'application Linux nommée Aviary dont la dernière version peut être téléchargée sous le nom de v0.3.1.zip. Il peut être exécuté en ligne chez le fournisseur d'hébergement gratuit OnWorks pour les postes de travail.
Téléchargez et exécutez gratuitement en ligne cette application nommée Aviary avec OnWorks.
Suivez ces instructions pour exécuter cette application :
- 1. Téléchargé cette application sur votre PC.
- 2. Entrez dans notre gestionnaire de fichiers https://www.onworks.net/myfiles.php?username=XXXXX avec le nom d'utilisateur que vous voulez.
- 3. Téléchargez cette application dans ce gestionnaire de fichiers.
- 4. Démarrez l'émulateur en ligne OnWorks Linux ou Windows en ligne ou l'émulateur en ligne MACOS à partir de ce site Web.
- 5. Depuis le système d'exploitation OnWorks Linux que vous venez de démarrer, accédez à notre gestionnaire de fichiers https://www.onworks.net/myfiles.php?username=XXXXX avec le nom d'utilisateur que vous souhaitez.
- 6. Téléchargez l'application, installez-la et exécutez-la.
CAPTURES D'ÉCRAN
Ad
volière
DESCRIPTION
Aviary est une solution de service LLM qui facilite le déploiement et la gestion d'une variété de LLM open source. Fournir une suite complète de LLM open source préconfigurés, avec des valeurs par défaut qui fonctionnent immédiatement. Prise en charge des modèles Transformer hébergés sur Hugging Face Hub ou présents sur le disque local. Aviary prend en charge nativement la mise à l'échelle automatique et les déploiements multi-nœuds grâce à Ray et Ray Serve. Aviary peut évoluer jusqu'à zéro et créer de nouvelles répliques de modèles (chacune composée de plusieurs processeurs GPU) en réponse à la demande. Ray garantit que l'orchestration et la gestion des ressources sont gérées automatiquement. Aviary est capable de prendre en charge des centaines de répliques et des clusters de centaines de nœuds, déployés dans le cloud ou sur site.
Fonctionnalités
- Prise en charge complète des déploiements de modèles multi-GPU et multi-nœuds
- Fournir une API REST similaire à celle d'OpenAI pour faciliter leur migration et leurs tests croisés
- Offrant des fonctionnalités hautes performances telles que le traitement par lots continu, la quantification et le streaming
- Simplifier l'ajout de nouveaux LLM en quelques minutes dans la plupart des cas
- Simplifier le déploiement de plusieurs LLM dans un seul cadre unifié
- Fournir une suite complète de LLM open source préconfigurés, avec des valeurs par défaut qui fonctionnent immédiatement
Langage de programmation
Python
Catégories
Il s'agit d'une application qui peut également être récupérée sur https://sourceforge.net/projects/aviary.mirror/. Il a été hébergé dans OnWorks afin de pouvoir être exécuté en ligne de la manière la plus simple possible à partir de l'un de nos systèmes d'exploitation gratuits.
