Это приложение для Linux под названием CTranslate2, последнюю версию которого можно загрузить как CTranslate23.20.0.zip. Его можно запустить онлайн на бесплатном хостинг-провайдере OnWorks для рабочих станций.
Загрузите и запустите онлайн это приложение под названием CTranslate2 с помощью OnWorks бесплатно.
Следуйте этим инструкциям, чтобы запустить это приложение:
- 1. Загрузил это приложение на свой компьютер.
- 2. Введите в нашем файловом менеджере https://www.onworks.net/myfiles.php?username=XXXXX с желаемым именем пользователя.
- 3. Загрузите это приложение в такой файловый менеджер.
- 4. Запустите онлайн-эмулятор OnWorks Linux или Windows или онлайн-эмулятор MACOS с этого веб-сайта.
- 5. В только что запущенной ОС OnWorks Linux перейдите в наш файловый менеджер https://www.onworks.net/myfiles.php?username=XXXXX с желаемым именем пользователя.
- 6. Скачайте приложение, установите его и запустите.
СКРИНШОТЫ
Ad
CTranslate2
ОПИСАНИЕ
CTranslate2 — это библиотека C++ и Python для эффективного вывода моделей Transformer. В проекте реализована специальная среда выполнения, которая применяет множество методов оптимизации производительности, таких как квантование весов, объединение слоев, пакетное переупорядочение и т. д., чтобы ускорить и уменьшить использование памяти моделями Transformer на процессоре и графическом процессоре. Выполнение происходит значительно быстрее и требует меньше ресурсов, чем платформы глубокого обучения общего назначения для поддерживаемых моделей и задач, благодаря множеству расширенных оптимизаций: слиянию слоев, удалению заполнения, пакетному переупорядочению, операциям на месте, механизму кэширования и т. д. Сериализация модели и вычисления поддерживают веса с пониженной точностью: 16-битные числа с плавающей запятой (FP16), 16-битные целые числа (INT16) и 8-битные целые числа (INT8). Проект поддерживает процессоры x86-64 и AArch64/ARM64 и объединяет несколько серверных частей, оптимизированных для этих платформ: Intel MKL, oneDNN, OpenBLAS, Ruy и Apple Accelerate.
Особенности
- Поддерживаемые модели кодировщика-декодера
- Поддержка GPT-2, GPT-J, GPT-NeoX, OPT, BLOOM
- Автоматическое обнаружение ЦП и отправка кода
- Быстрое и эффективное выполнение на процессоре и графическом процессоре
- Квантование и пониженная точность
- Поддержка нескольких архитектур ЦП
- Динамическое использование памяти
- Параллельное и асинхронное выполнение
Язык программирования
C + +
Категории
Это приложение также можно загрузить с https://sourceforge.net/projects/ctranslate2.mirror/. Он размещен в OnWorks, чтобы его можно было проще запускать в Интернете из одной из наших бесплатных операционных систем.
