Dies ist die Linux-App namens FastChat, deren neueste Version als Releasev0.2.30.zip heruntergeladen werden kann. Es kann online beim kostenlosen Hosting-Anbieter OnWorks für Workstations ausgeführt werden.
Laden Sie diese App namens FastChat mit OnWorks kostenlos herunter und führen Sie sie online aus.
Befolgen Sie diese Anweisungen, um diese App auszuführen:
- 1. Diese Anwendung auf Ihren PC heruntergeladen.
- 2. Geben Sie in unserem Dateimanager https://www.onworks.net/myfiles.php?username=XXXXX den gewünschten Benutzernamen ein.
- 3. Laden Sie diese Anwendung in einem solchen Dateimanager hoch.
- 4. Starten Sie den OnWorks Linux-Online- oder Windows-Online-Emulator oder den MACOS-Online-Emulator von dieser Website.
- 5. Rufen Sie vom gerade gestarteten OnWorks Linux-Betriebssystem aus unseren Dateimanager https://www.onworks.net/myfiles.php?username=XXXXX mit dem gewünschten Benutzernamen auf.
- 6. Laden Sie die Anwendung herunter, installieren Sie sie und führen Sie sie aus.
SCREENSHOTS
Ad
FastChat
BESCHREIBUNG
FastChat ist eine offene Plattform zum Trainieren, Bereitstellen und Bewerten großer sprachmodellbasierter Chatbots. Wenn Sie nicht über genügend Speicher verfügen, können Sie die 8-Bit-Komprimierung aktivieren, indem Sie --load-8bit zu den obigen Befehlen hinzufügen. Dadurch kann die Speichernutzung bei leicht verschlechterter Modellqualität um etwa die Hälfte reduziert werden. Es ist mit der CPU, der GPU und dem Metal-Backend kompatibel. Vicuna-13B mit 8-Bit-Komprimierung kann auf einer einzelnen NVIDIA 3090/4080/T4/V100 (16 GB) GPU ausgeführt werden. Darüber hinaus können Sie den obigen Befehlen --cpu-offloading hinzufügen, um Gewichte, die nicht auf Ihre GPU passen, auf den CPU-Speicher auszulagern. Dazu muss die 8-Bit-Komprimierung aktiviert und das Bitsandbytes-Paket installiert sein, das nur auf Linux-Betriebssystemen verfügbar ist.
Eigenschaften
- Die Gewichte, der Trainingscode und der Bewertungscode für modernste Modelle
- Ein verteiltes Multimodell-Bereitstellungssystem mit Web-UI und OpenAI-kompatiblen RESTful-APIs
- Zum Trainieren, Bereitstellen und Bewerten großer Sprachmodelle
- Reduzieren Sie den CPU-RAM-Bedarf für die Gewichtskonvertierung
- Inferenz mit Befehlszeilenschnittstelle
- Mehrere unterstützte Modelle
Programmiersprache
Python
Kategorien
Dies ist eine Anwendung, die auch von https://sourceforge.net/projects/fastchat.mirror/ abgerufen werden kann. Es wurde in OnWorks gehostet, um es auf einfachste Weise online über eines unserer kostenlosen Betriebssysteme ausführen zu können.
