Il s'agit de l'application Linux nommée Xorbits Inference dont la dernière version peut être téléchargée sous le nom v0.5.3sourcecode.zip. Il peut être exécuté en ligne chez le fournisseur d'hébergement gratuit OnWorks pour les postes de travail.
Téléchargez et exécutez gratuitement en ligne cette application nommée Xorbits Inference avec OnWorks.
Suivez ces instructions pour exécuter cette application :
- 1. Téléchargé cette application sur votre PC.
- 2. Entrez dans notre gestionnaire de fichiers https://www.onworks.net/myfiles.php?username=XXXXX avec le nom d'utilisateur que vous voulez.
- 3. Téléchargez cette application dans ce gestionnaire de fichiers.
- 4. Démarrez l'émulateur en ligne OnWorks Linux ou Windows en ligne ou l'émulateur en ligne MACOS à partir de ce site Web.
- 5. Depuis le système d'exploitation OnWorks Linux que vous venez de démarrer, accédez à notre gestionnaire de fichiers https://www.onworks.net/myfiles.php?username=XXXXX avec le nom d'utilisateur que vous souhaitez.
- 6. Téléchargez l'application, installez-la et exécutez-la.
CAPTURES D'ÉCRAN:
Inférence Xorbites
DESCRIPTION:
Remplacez OpenAI GPT par un autre LLM dans votre application en modifiant une seule ligne de code. Xinference vous donne la liberté d'utiliser n'importe quel LLM dont vous avez besoin. Avec Xinference, vous avez la possibilité d'exécuter des inférences avec n'importe quel modèle de langage open source, modèle de reconnaissance vocale et modèle multimodal, que ce soit dans le cloud, sur site ou même sur votre ordinateur portable. Xorbits Inference (Xinference) est une bibliothèque puissante et polyvalente conçue pour servir les modèles de langage, de reconnaissance vocale et multimodaux. Avec Xorbits Inference, vous pouvez déployer et servir sans effort vos modèles intégrés de pointe en utilisant une seule commande. Que vous soyez chercheur, développeur ou data scientist, Xorbits Inference vous permet de libérer tout le potentiel des modèles d'IA de pointe.
Caractéristiques
- Simplifiez le processus de diffusion de modèles de langage, de reconnaissance vocale et multimodaux à grande échelle
- Vous pouvez configurer et déployer vos modèles pour l'expérimentation et la production avec une seule commande
- Expérimentez avec des modèles intégrés de pointe à l'aide d'une seule commande
- Tirez le meilleur parti de vos ressources matérielles avec ggml
- Offrez plusieurs interfaces pour interagir avec vos modèles, prenant en charge RPC, l'API RESTful (compatible avec l'API OpenAI), CLI et WebUI pour une gestion et une surveillance transparentes
- Excellez dans les scénarios de déploiement distribué, permettant la distribution transparente de l'inférence de modèle sur plusieurs appareils ou machines
Langage de programmation
Python
Catégories
Il s'agit d'une application qui peut également être récupérée sur https://sourceforge.net/projects/xorbits-inference.mirror/. Il a été hébergé dans OnWorks afin de pouvoir être exécuté en ligne de la manière la plus simple possible à partir de l'un de nos systèmes d'exploitation gratuits.