Il s'agit de l'application Linux nommée FastChat dont la dernière version peut être téléchargée sous le nom Releasev0.2.30.zip. Il peut être exécuté en ligne dans le fournisseur d'hébergement gratuit OnWorks pour les postes de travail.
Téléchargez et exécutez en ligne gratuitement cette application nommée FastChat avec OnWorks.
Suivez ces instructions pour exécuter cette application :
- 1. Téléchargé cette application sur votre PC.
- 2. Entrez dans notre gestionnaire de fichiers https://www.onworks.net/myfiles.php?username=XXXXX avec le nom d'utilisateur que vous voulez.
- 3. Téléchargez cette application dans ce gestionnaire de fichiers.
- 4. Démarrez l'émulateur en ligne OnWorks Linux ou Windows en ligne ou l'émulateur en ligne MACOS à partir de ce site Web.
- 5. Depuis le système d'exploitation OnWorks Linux que vous venez de démarrer, accédez à notre gestionnaire de fichiers https://www.onworks.net/myfiles.php?username=XXXXX avec le nom d'utilisateur que vous souhaitez.
- 6. Téléchargez l'application, installez-la et exécutez-la.
CAPTURES D'ÉCRAN
Ad
Chat rapide
DESCRIPTION
FastChat est une plate-forme ouverte pour la formation, le service et l'évaluation de chatbots basés sur de grands modèles de langage. Si vous ne disposez pas de suffisamment de mémoire, vous pouvez activer la compression 8 bits en ajoutant --load-8bit aux commandes ci-dessus. Cela peut réduire l'utilisation de la mémoire d'environ la moitié avec une qualité de modèle légèrement dégradée. Il est compatible avec le backend CPU, GPU et Metal. Vicuna-13B avec compression 8 bits peut fonctionner sur un seul GPU NVIDIA 3090/4080/T4/V100 (16 Go). En plus de cela, vous pouvez ajouter --cpu-offloading aux commandes ci-dessus pour décharger les poids qui ne correspondent pas à votre GPU sur la mémoire CPU. Cela nécessite l'activation de la compression 8 bits et l'installation du package bitsandbytes, qui n'est disponible que sur les systèmes d'exploitation Linux.
Fonctionnalités
- Les poids, le code d'entraînement et le code d'évaluation pour les modèles de pointe
- Un système de service multimodèle distribué avec interface utilisateur Web et API RESTful compatibles OpenAI
- Pour former, servir et évaluer de grands modèles de langage
- Réduisez les besoins en RAM du processeur pour la conversion du poids
- Inférence avec l'interface de ligne de commande
- Plusieurs modèles pris en charge
Langage de programmation
Python
Catégories
Il s'agit d'une application qui peut également être récupérée sur https://sourceforge.net/projects/fastchat.mirror/. Il a été hébergé dans OnWorks afin d'être exécuté en ligne de la manière la plus simple à partir de l'un de nos systèmes d'exploitation gratuits.
