Dies ist die Linux-App namens Aviary, deren neueste Version als v0.3.1.zip heruntergeladen werden kann. Es kann online beim kostenlosen Hosting-Anbieter OnWorks für Workstations ausgeführt werden.
Laden Sie diese App namens Aviary mit OnWorks kostenlos herunter und führen Sie sie online aus.
Befolgen Sie diese Anweisungen, um diese App auszuführen:
- 1. Diese Anwendung auf Ihren PC heruntergeladen.
- 2. Geben Sie in unserem Dateimanager https://www.onworks.net/myfiles.php?username=XXXXX den gewünschten Benutzernamen ein.
- 3. Laden Sie diese Anwendung in einem solchen Dateimanager hoch.
- 4. Starten Sie den OnWorks Linux-Online- oder Windows-Online-Emulator oder den MACOS-Online-Emulator von dieser Website.
- 5. Rufen Sie vom gerade gestarteten OnWorks Linux-Betriebssystem aus unseren Dateimanager https://www.onworks.net/myfiles.php?username=XXXXX mit dem gewünschten Benutzernamen auf.
- 6. Laden Sie die Anwendung herunter, installieren Sie sie und führen Sie sie aus.
SCREENSHOTS:
Voliere
BESCHREIBUNG:
Aviary ist eine LLM-Bereitstellungslösung, die die Bereitstellung und Verwaltung einer Vielzahl von Open-Source-LLMs erleichtert. Bereitstellung einer umfangreichen Suite vorkonfigurierter Open-Source-LLMs mit Standardeinstellungen, die sofort einsatzbereit sind. Unterstützt Transformer-Modelle, die auf Hugging Face Hub gehostet oder auf der lokalen Festplatte vorhanden sind. Aviary bietet dank Ray und Ray Serve native Unterstützung für Autoscaling und Multi-Node-Bereitstellungen. Aviary kann auf Null skaliert werden und als Reaktion auf die Nachfrage neue Modellrepliken (bestehend aus jeweils mehreren GPU-Workern) erstellen. Ray stellt sicher, dass die Orchestrierung und das Ressourcenmanagement automatisch abgewickelt werden. Aviary ist in der Lage, Hunderte von Replikaten und Cluster von Hunderten von Knoten zu unterstützen, die entweder in der Cloud oder vor Ort bereitgestellt werden.
Eigenschaften
- Vollständige Unterstützung von Multi-GPU- und Multi-Node-Modellbereitstellungen
- Bereitstellung einer REST-API, die der von OpenAI ähnelt, um die Migration und den Cross-Test zu vereinfachen
- Bietet leistungsstarke Funktionen wie kontinuierliches Batching, Quantisierung und Streaming
- Vereinfacht das Hinzufügen neuer LLMs in den meisten Fällen innerhalb von Minuten
- Vereinfachung der Bereitstellung mehrerer LLMs innerhalb eines einzigen einheitlichen Frameworks
- Bereitstellung einer umfangreichen Suite vorkonfigurierter Open-Source-LLMs mit Standardeinstellungen, die sofort einsatzbereit sind
Programmiersprache
Python
Kategorien
Dies ist eine Anwendung, die auch von https://sourceforge.net/projects/aviary.mirror/ abgerufen werden kann. Es wurde in OnWorks gehostet, um es auf einfachste Weise online über eines unserer kostenlosen Betriebssysteme ausführen zu können.