Esta es la aplicación de Linux denominada VLLM cuya última versión se puede descargar como v0.2.1.post1sourcecode.zip. Se puede ejecutar en línea en el proveedor de alojamiento gratuito OnWorks para estaciones de trabajo.
Descargue y ejecute en línea esta aplicación llamada VLLM con OnWorks de forma gratuita.
Siga estas instrucciones para ejecutar esta aplicación:
- 1. Descargue esta aplicación en su PC.
- 2. Ingrese en nuestro administrador de archivos https://www.onworks.net/myfiles.php?username=XXXXX con el nombre de usuario que desee.
- 3. Cargue esta aplicación en dicho administrador de archivos.
- 4. Inicie el emulador en línea OnWorks Linux o Windows en línea o el emulador en línea MACOS desde este sitio web.
- 5. Desde el SO OnWorks Linux que acaba de iniciar, vaya a nuestro administrador de archivos https://www.onworks.net/myfiles.php?username=XXXXX con el nombre de usuario que desee.
- 6. Descarga la aplicación, instálala y ejecútala.
SCREENSHOTS
Ad
VLLM
DESCRIPCIÓN
vLLM es una biblioteca rápida y fácil de usar para inferencia y servicio de LLM. Servicio de alto rendimiento con varios algoritmos de decodificación, incluido muestreo paralelo, búsqueda de haces y más.
Caracteristicas
- Rendimiento de servicio de última generación
- Gestión eficiente de la clave de atención y la memoria de valores con PagedAttention
- Lote continuo de solicitudes entrantes
- Núcleos CUDA optimizados
- Integración perfecta con los modelos populares de HuggingFace
- Soporte de paralelismo tensorial para inferencia distribuida
Lenguaje de programación
Python
Categorías
Esta es una aplicación que también se puede obtener de https://sourceforge.net/projects/vllm.mirror/. Ha sido alojado en OnWorks para poder ejecutarlo online de la forma más sencilla desde uno de nuestros Sistemas Operativos gratuitos.
