Questa è l'app Linux denominata rwkv.cpp la cui ultima versione può essere scaricata come rwkv-master-d6c691e-bin-win-avx512-x64.zip. Può essere eseguito online nel provider di hosting gratuito OnWorks per workstation.
Scarica ed esegui online questa app denominata rwkv.cpp con OnWorks gratuitamente.
Segui queste istruzioni per eseguire questa app:
- 1. Scaricata questa applicazione sul tuo PC.
- 2. Entra nel nostro file manager https://www.onworks.net/myfiles.php?username=XXXXX con il nome utente che desideri.
- 3. Carica questa applicazione in tale file manager.
- 4. Avviare l'emulatore online OnWorks Linux o Windows online o l'emulatore online MACOS da questo sito Web.
- 5. Dal sistema operativo OnWorks Linux che hai appena avviato, vai al nostro file manager https://www.onworks.net/myfiles.php?username=XXXXX con il nome utente che desideri.
- 6. Scarica l'applicazione, installala ed eseguila.
IMMAGINI
Ad
rwkv.cpp
DESCRIZIONE
Oltre al consueto FP32, supporta FP16, inferenza quantizzata INT4, INT5 e INT8. Questo progetto è incentrato sulla CPU, ma è supportato anche cuBLAS. RWKV è una nuova architettura di modelli linguistici di grandi dimensioni, con il modello più grande della famiglia con parametri 14B. A differenza di Transformer con attenzione O(n^2), RWKV richiede solo lo stato del passaggio precedente per calcolare i logit. Ciò rende RWKV molto compatibile con la CPU su grandi lunghezze di contesto.
Caratteristiche
- Windows/Linux/MacOS
- Costruisci tu stesso la biblioteca
- Ottieni un modello RWKV
- Requisiti: Python 3.x con PyTorch e tokenizzatori
- ggml si muove velocemente e occasionalmente può interrompere la compatibilità con formati di file precedenti
- Requisiti: Python 3.x con PyTorch
Linguaggio di programmazione
C++
Categorie
Questa è un'applicazione che può essere recuperata anche da https://sourceforge.net/projects/rwkv-cpp.mirror/. È stato ospitato su OnWorks per poter essere eseguito online in modo più semplice da uno dei nostri sistemi operativi gratuiti.
