Это приложение для Linux под названием DeepSpeed MII, последнюю версию которого можно загрузить как DeepSpeedMIIv0.0.8.zip. Его можно запустить онлайн на бесплатном хостинг-провайдере OnWorks для рабочих станций.
Загрузите и запустите онлайн это приложение под названием DeepSpeed MII с помощью OnWorks бесплатно.
Следуйте этим инструкциям, чтобы запустить это приложение:
- 1. Загрузил это приложение на свой компьютер.
- 2. Введите в нашем файловом менеджере https://www.onworks.net/myfiles.php?username=XXXXX с желаемым именем пользователя.
- 3. Загрузите это приложение в такой файловый менеджер.
- 4. Запустите онлайн-эмулятор OnWorks Linux или Windows или онлайн-эмулятор MACOS с этого веб-сайта.
- 5. В только что запущенной ОС OnWorks Linux перейдите в наш файловый менеджер https://www.onworks.net/myfiles.php?username=XXXXX с желаемым именем пользователя.
- 6. Скачайте приложение, установите его и запустите.
СКРИНШОТЫ
Ad
ДипСпид МИИ
ОПИСАНИЕ
MII делает возможным вывод с малой задержкой и высокой пропускной способностью благодаря DeepSpeed. За последние несколько месяцев сообщество разработчиков программного обеспечения с открытым исходным кодом Deep Learning (DL) продемонстрировало огромный рост. Невероятно мощные модели генерации текста, такие как Bloom 176B, или модели генерации изображений, такие как Stable Diffusion, теперь доступны каждому, у кого есть доступ к нескольким или даже одному графическому процессору через такие платформы, как Hugging Face. Хотя открытый исходный код демократизировал доступ к возможностям ИИ, их применение по-прежнему ограничено двумя критическими факторами: задержкой вывода и стоимостью. DeepSpeed-MII — это новая библиотека Python с открытым исходным кодом от DeepSpeed, направленная на то, чтобы сделать вывод мощных моделей с малой задержкой и недорогим не только осуществимым, но и легко доступным. MII предлагает доступ к высокооптимизированной реализации тысяч широко используемых моделей DL. Модели с поддержкой MII обеспечивают значительно меньшую задержку и стоимость по сравнению с их исходной реализацией.
Особенности
- MII предлагает доступ к высокооптимизированной реализации тысяч широко используемых моделей DL.
- Модели с поддержкой MII обеспечивают значительно меньшую задержку и стоимость по сравнению с их исходной реализацией.
- MII использует обширный набор оптимизаций DeepSpeed-Inference, таких как глубокая сварка трансформаторов.
- Современное исполнение
- MII поддерживает недорогое развертывание этих моделей как локально, так и в Azure через AML с помощью всего лишь нескольких строк кода.
- Автоматизированная тензорная нарезка для вывода данных с использованием нескольких графических процессоров и оперативное квантование с помощью ZeroQuant.
Язык программирования
Питон
Категории
Это приложение также можно загрузить с https://sourceforge.net/projects/deepspeed-mii.mirror/. Он размещен в OnWorks, чтобы его можно было проще запускать в Интернете из одной из наших бесплатных операционных систем.
