Это приложение для Linux под названием FastChat, последний выпуск которого можно загрузить как Releasev0.2.30.zip. Его можно запустить онлайн на бесплатном хостинг-провайдере OnWorks для рабочих станций.
Загрузите и запустите онлайн это приложение под названием FastChat with OnWorks бесплатно.
Следуйте этим инструкциям, чтобы запустить это приложение:
- 1. Загрузил это приложение на свой компьютер.
- 2. Введите в нашем файловом менеджере https://www.onworks.net/myfiles.php?username=XXXXX с желаемым именем пользователя.
- 3. Загрузите это приложение в такой файловый менеджер.
- 4. Запустите онлайн-эмулятор OnWorks Linux или Windows или онлайн-эмулятор MACOS с этого веб-сайта.
- 5. В только что запущенной ОС OnWorks Linux перейдите в наш файловый менеджер https://www.onworks.net/myfiles.php?username=XXXXX с желаемым именем пользователя.
- 6. Скачайте приложение, установите его и запустите.
СКРИНШОТЫ
Ad
Фастчат
ОПИСАНИЕ
FastChat — это открытая платформа для обучения, обслуживания и оценки чат-ботов на основе больших языковых моделей. Если у вас недостаточно памяти, вы можете включить 8-битное сжатие, добавив --load-8bit к приведенным выше командам. Это может сократить использование памяти примерно вдвое при незначительном ухудшении качества модели. Он совместим с процессором, графическим процессором и бэкэндом Metal. Vicuna-13B с 8-битным сжатием может работать на одном графическом процессоре NVIDIA 3090/4080/T4/V100 (16 ГБ). В дополнение к этому вы можете добавить --cpu-offloading к командам выше, чтобы разгрузить веса, которые не помещаются на вашем графическом процессоре, в память ЦП. Для этого необходимо включить 8-битное сжатие и установить пакет bitsandbytes, который доступен только в операционных системах Linux.
Особенности
- Веса, код обучения и код оценки для современных моделей
- Распределенная многомодельная система обслуживания с веб-интерфейсом и OpenAI-совместимыми RESTful API.
- Для обучения, обслуживания и оценки больших языковых моделей
- Уменьшите потребность в ОЗУ ЦП для преобразования веса
- Вывод с интерфейсом командной строки
- Несколько поддерживаемых моделей
Язык программирования
Питон
Категории
Это приложение также можно загрузить с https://sourceforge.net/projects/fastchat.mirror/. Он был размещен в OnWorks, чтобы его можно было легко запускать в Интернете с помощью одной из наших бесплатных операционных систем.
