Esta es la aplicación de Linux llamada Petals cuya última versión se puede descargar como v2.2.0_Falcon,macOSsupport ymore.zip. Se puede ejecutar en línea en el proveedor de alojamiento gratuito OnWorks para estaciones de trabajo.
Descargue y ejecute en línea esta aplicación llamada Petals with OnWorks de forma gratuita.
Siga estas instrucciones para ejecutar esta aplicación:
- 1. Descargue esta aplicación en su PC.
- 2. Ingrese en nuestro administrador de archivos https://www.onworks.net/myfiles.php?username=XXXXX con el nombre de usuario que desee.
- 3. Cargue esta aplicación en dicho administrador de archivos.
- 4. Inicie el emulador en línea OnWorks Linux o Windows en línea o el emulador en línea MACOS desde este sitio web.
- 5. Desde el SO OnWorks Linux que acaba de iniciar, vaya a nuestro administrador de archivos https://www.onworks.net/myfiles.php?username=XXXXX con el nombre de usuario que desee.
- 6. Descarga la aplicación, instálala y ejecútala.
SCREENSHOTS
Ad
Pétalos
DESCRIPCIÓN
Ejecute más de 100 176 millones de modelos de lenguaje en casa, al estilo de BitTorrent. Ejecute modelos de lenguaje grandes como BLOOM-1B en colaboración: carga una pequeña parte del modelo y luego se une a las personas que sirven las otras partes para ejecutar inferencias o ajustes. La inferencia de un solo lote se ejecuta a ≈ 10 segundo por paso (token), hasta 176 veces más rápido que la descarga, suficiente para chatbots y otras aplicaciones interactivas. La inferencia paralela alcanza cientos de tokens/seg. Más allá de las API del modelo de lenguaje clásico, puede emplear cualquier método de ajuste y muestreo, ejecutar rutas personalizadas a través del modelo o ver sus estados ocultos. Obtiene las comodidades de una API con la flexibilidad de PyTorch. También puede alojar BLOOMZ, una versión de BLOOM perfeccionada para seguir las instrucciones humanas en el régimen de disparo cero: simplemente reemplace los pétalos de floración con pétalos de floración. Petals ejecuta modelos de lenguaje grandes como BLOOM-XNUMXB de forma colaborativa: usted carga una pequeña parte del modelo y luego se une a personas que sirven las otras partes para ejecutar inferencias o ajustes.
Caracteristicas
- Petals ejecuta modelos de lenguaje grandes como BLOOM-176B en colaboración
- La inferencia de un solo lote se ejecuta a ≈ 1 segundo por paso (token)
- Más allá de las API del modelo de lenguaje clásico
- Puede emplear cualquier método de muestreo y ajuste fino
- Obtiene las comodidades de una API con la flexibilidad de PyTorch
- La inferencia paralela alcanza cientos de tokens/seg.
Lenguaje de programación
Python
Categorías
Esta es una aplicación que también se puede obtener de https://sourceforge.net/projects/petals.mirror/. Ha sido alojado en OnWorks para poder ejecutarse online de la forma más sencilla desde uno de nuestros Sistemas Operativos gratuitos.
