Il s'agit de l'application Linux nommée Petals dont la dernière version peut être téléchargée sous v2.2.0_Falcon,macOSsupport etmore.zip. Il peut être exécuté en ligne chez le fournisseur d'hébergement gratuit OnWorks pour les postes de travail.
Téléchargez et exécutez en ligne gratuitement cette application nommée Petals avec OnWorks.
Suivez ces instructions pour exécuter cette application :
- 1. Téléchargé cette application sur votre PC.
- 2. Entrez dans notre gestionnaire de fichiers https://www.onworks.net/myfiles.php?username=XXXXX avec le nom d'utilisateur que vous voulez.
- 3. Téléchargez cette application dans ce gestionnaire de fichiers.
- 4. Démarrez l'émulateur en ligne OnWorks Linux ou Windows en ligne ou l'émulateur en ligne MACOS à partir de ce site Web.
- 5. Depuis le système d'exploitation OnWorks Linux que vous venez de démarrer, accédez à notre gestionnaire de fichiers https://www.onworks.net/myfiles.php?username=XXXXX avec le nom d'utilisateur que vous souhaitez.
- 6. Téléchargez l'application, installez-la et exécutez-la.
CAPTURES D'ÉCRAN
Ad
Pétales
DESCRIPTION
Exécutez plus de 100 milliards de modèles linguistiques à la maison, à la manière de BitTorrent. Exécutez de grands modèles de langage comme BLOOM-176B en collaboration - vous chargez une petite partie du modèle, puis faites équipe avec des personnes servant les autres parties pour exécuter des inférences ou des ajustements. L'inférence en un seul lot s'exécute à ≈ 1 seconde par étape (jeton) - jusqu'à 10 fois plus rapide que le déchargement, suffisamment pour les chatbots et autres applications interactives. L'inférence parallèle atteint des centaines de jetons/sec. Au-delà des API de modèles de langage classiques, vous pouvez utiliser n'importe quelle méthode de réglage fin et d'échantillonnage, exécuter des chemins personnalisés dans le modèle ou voir ses états cachés. Vous bénéficiez du confort d'une API avec la flexibilité de PyTorch. Vous pouvez également héberger BLOOMZ, une version de BLOOM affinée pour suivre les instructions humaines dans le régime de tir zéro - remplacez simplement les pétales de fleurs par des pétales de fleurs. Petals exécute de grands modèles de langage comme BLOOM-176B en collaboration - vous chargez une petite partie du modèle, puis faites équipe avec des personnes servant les autres parties pour exécuter des inférences ou des ajustements.
Caractéristiques
- Petals exécute de grands modèles de langage comme BLOOM-176B en collaboration
- L'inférence en un seul lot s'exécute à ≈ 1 s par étape (jeton)
- Au-delà des API de modèles de langage classiques
- Vous pouvez utiliser n'importe quelle méthode de réglage fin et d'échantillonnage
- Vous bénéficiez du confort d'une API avec la flexibilité de PyTorch
- L'inférence parallèle atteint des centaines de jetons/s
Langage de programmation
Python
Catégories
Il s'agit d'une application qui peut également être récupérée sur https://sourceforge.net/projects/petals.mirror/. Il a été hébergé dans OnWorks afin d'être exécuté en ligne de la manière la plus simple à partir de l'un de nos systèmes d'exploitation gratuits.
