Este é o aplicativo Linux denominado CTranslate2, cuja versão mais recente pode ser baixada como CTranslate23.20.0.zip. Ele pode ser executado online no provedor de hospedagem gratuito OnWorks para estações de trabalho.
Baixe e execute online este aplicativo chamado CTranslate2 com OnWorks gratuitamente.
Siga estas instruções para executar este aplicativo:
- 1. Baixe este aplicativo em seu PC.
- 2. Entre em nosso gerenciador de arquivos https://www.onworks.net/myfiles.php?username=XXXXX com o nome de usuário que você deseja.
- 3. Carregue este aplicativo em tal gerenciador de arquivos.
- 4. Inicie o emulador OnWorks Linux online ou Windows online ou emulador MACOS online a partir deste site.
- 5. No sistema operacional OnWorks Linux que você acabou de iniciar, acesse nosso gerenciador de arquivos https://www.onworks.net/myfiles.php?username=XXXXX com o nome de usuário que deseja.
- 6. Baixe o aplicativo, instale-o e execute-o.
CAPTURAS DE TELA:
CTranslate2
DESCRIÇÃO:
CTranslate2 é uma biblioteca C++ e Python para inferência eficiente com modelos Transformer. O projeto implementa um tempo de execução personalizado que aplica muitas técnicas de otimização de desempenho, como quantização de pesos, fusão de camadas, reordenação de lote, etc., para acelerar e reduzir o uso de memória de modelos Transformer em CPU e GPU. A execução é significativamente mais rápida e requer menos recursos do que estruturas de aprendizado profundo de uso geral em modelos e tarefas suportadas, graças a muitas otimizações avançadas: fusão de camadas, remoção de preenchimento, reordenação de lote, operações no local, mecanismo de cache, etc. pesos de suporte de computação com precisão reduzida: pontos flutuantes de 16 bits (FP16), inteiros de 16 bits (INT16) e inteiros de 8 bits (INT8). O projeto suporta processadores x86-64 e AArch64/ARM64 e integra vários backends otimizados para estas plataformas: Intel MKL, oneDNN, OpenBLAS, Ruy e Apple Accelerate.
Recursos
- Modelos de codificador-decodificador suportados
- GPT-2, GPT-J, GPT-NeoX, OPT, BLOOM suportado
- Detecção automática de CPU e envio de código
- Execução rápida e eficiente em CPU e GPU
- Quantização e precisão reduzida
- Suporte a múltiplas arquiteturas de CPU
- Uso de memória dinâmica
- Execução paralela e assíncrona
Linguagem de Programação
C + +
Categorias
Este é um aplicativo que também pode ser obtido em https://sourceforge.net/projects/ctranslate2.mirror/. Foi hospedado em OnWorks para poder ser executado online da maneira mais fácil a partir de um de nossos Sistemas Operativos gratuitos.