Это приложение для Windows под названием Triton Inference Server, последний выпуск которого можно загрузить как Release2.38.0, соответствующий NGCcontainer23.09.zip. Его можно запустить онлайн на бесплатном хостинг-провайдере OnWorks для рабочих станций.
Загрузите и запустите онлайн бесплатно это приложение под названием Triton Inference Server with OnWorks.
Следуйте этим инструкциям, чтобы запустить это приложение:
- 1. Загрузил это приложение на свой компьютер.
- 2. Введите в нашем файловом менеджере https://www.onworks.net/myfiles.php?username=XXXXX с желаемым именем пользователя.
- 3. Загрузите это приложение в такой файловый менеджер.
- 4. Запустите любой онлайн-эмулятор OS OnWorks с этого сайта, но лучше онлайн-эмулятор Windows.
- 5. В только что запущенной ОС Windows OnWorks перейдите в наш файловый менеджер https://www.onworks.net/myfiles.php?username=XXXXX с желаемым именем пользователя.
- 6. Скачайте приложение и установите его.
- 7. Загрузите Wine из репозиториев программного обеспечения вашего дистрибутива Linux. После установки вы можете дважды щелкнуть приложение, чтобы запустить его с помощью Wine. Вы также можете попробовать PlayOnLinux, необычный интерфейс поверх Wine, который поможет вам установить популярные программы и игры для Windows.
Wine - это способ запустить программное обеспечение Windows в Linux, но без Windows. Wine - это уровень совместимости с Windows с открытым исходным кодом, который может запускать программы Windows непосредственно на любом рабочем столе Linux. По сути, Wine пытается заново реализовать Windows с нуля, чтобы можно было запускать все эти Windows-приложения, фактически не нуждаясь в Windows.
СКРИНШОТЫ
Ad
Сервер вывода Triton
ОПИСАНИЕ
Triton Inference Server — это программное обеспечение для логического вывода с открытым исходным кодом, которое упрощает вывод ИИ. Triton позволяет командам развертывать любую модель ИИ из нескольких сред глубокого и машинного обучения, включая TensorRT, TensorFlow, PyTorch, ONNX, OpenVINO, Python, RAPIDS FIL и другие. Triton поддерживает логические выводы в облаке, центре обработки данных, периферийных устройствах и встроенных устройствах на графических процессорах NVIDIA, процессорах x86 и ARM или AWS Inferentia. Triton обеспечивает оптимизированную производительность для многих типов запросов, включая запросы в режиме реального времени, пакетные запросы, ансамбли и потоковое аудио/видео. Предоставляет Backend API, который позволяет добавлять собственные серверные части и операции предварительной/постобработки. Смоделируйте конвейеры с помощью ансамбля или сценариев бизнес-логики (BLS). Протоколы вывода HTTP/REST и GRPC, основанные на разработанном сообществом протоколе KServe. AC API и Java API позволяют Triton напрямую связываться с вашим приложением для периферийных и других вариантов использования в процессе.
Особенности
- Поддерживает несколько фреймворков глубокого обучения
- Поддерживает несколько сред машинного обучения
- Параллельное выполнение модели
- Динамическое пакетирование
- Пакетная обработка последовательностей и неявное управление состоянием для моделей с отслеживанием состояния
- Предоставляет Backend API, который позволяет добавлять настраиваемые серверные части и операции до/после обработки.
Язык программирования
Питон
Категории
Это приложение также можно загрузить с https://sourceforge.net/projects/triton-inference-server.mirror/. Он был размещен в OnWorks, чтобы его можно было легко запускать в Интернете с помощью одной из наших бесплатных операционных систем.
