Это приложение для Linux под названием Aviary, последнюю версию которого можно загрузить как v0.3.1.zip. Его можно запустить онлайн на бесплатном хостинг-провайдере OnWorks для рабочих станций.
Загрузите и запустите онлайн это приложение под названием Aviary с помощью OnWorks бесплатно.
Следуйте этим инструкциям, чтобы запустить это приложение:
- 1. Загрузил это приложение на свой компьютер.
- 2. Введите в нашем файловом менеджере https://www.onworks.net/myfiles.php?username=XXXXX с желаемым именем пользователя.
- 3. Загрузите это приложение в такой файловый менеджер.
- 4. Запустите онлайн-эмулятор OnWorks Linux или Windows или онлайн-эмулятор MACOS с этого веб-сайта.
- 5. В только что запущенной ОС OnWorks Linux перейдите в наш файловый менеджер https://www.onworks.net/myfiles.php?username=XXXXX с желаемым именем пользователя.
- 6. Скачайте приложение, установите его и запустите.
СКРИНШОТЫ
Ad
вольер
ОПИСАНИЕ
Aviary — это решение для обслуживания LLM, которое упрощает развертывание и управление различными LLM с открытым исходным кодом. Предоставление обширного набора предварительно настроенных LLM с открытым исходным кодом, параметры по умолчанию работают «из коробки». Поддержка моделей Transformer, размещенных на Hugging Face Hub или присутствующих на локальном диске. Aviary имеет встроенную поддержку автоматического масштабирования и развертывания на нескольких узлах благодаря Ray и Ray Serve. Aviary может масштабироваться до нуля и создавать новые копии моделей (каждая из которых состоит из нескольких рабочих графических процессоров) в ответ на спрос. Рэй гарантирует, что оркестрация и управление ресурсами выполняются автоматически. Aviary способен поддерживать сотни реплик и кластеры из сотен узлов, развернутых либо в облаке, либо локально.
Особенности
- Полная поддержка развертывания моделей с несколькими графическими процессорами и несколькими узлами.
- Предоставление REST API, аналогичного OpenAI, чтобы упростить их миграцию и перекрестное тестирование.
- Предлагает высокопроизводительные функции, такие как непрерывная пакетная обработка, квантование и потоковая передача.
- Упрощение добавления новых LLM в большинстве случаев за считанные минуты.
- Упрощение развертывания нескольких LLM в рамках единой унифицированной структуры.
- Предоставление обширного набора предварительно настроенных LLM с открытым исходным кодом и настройками по умолчанию, которые работают «из коробки».
Язык программирования
Питон
Категории
Это приложение также можно загрузить с https://sourceforge.net/projects/aviary.mirror/. Он размещен в OnWorks, чтобы его можно было проще запускать в Интернете из одной из наших бесплатных операционных систем.
