Questa è l'app Linux denominata Web LLM la cui ultima versione può essere scaricata come v0.2.0.zip. Può essere eseguito online nel provider di hosting gratuito OnWorks per workstation.
Scarica ed esegui online gratuitamente questa app denominata Web LLM con OnWorks.
Segui queste istruzioni per eseguire questa app:
- 1. Scaricata questa applicazione sul tuo PC.
- 2. Entra nel nostro file manager https://www.onworks.net/myfiles.php?username=XXXXX con il nome utente che desideri.
- 3. Carica questa applicazione in tale file manager.
- 4. Avviare l'emulatore online OnWorks Linux o Windows online o l'emulatore online MACOS da questo sito Web.
- 5. Dal sistema operativo OnWorks Linux che hai appena avviato, vai al nostro file manager https://www.onworks.net/myfiles.php?username=XXXXX con il nome utente che desideri.
- 6. Scarica l'applicazione, installala ed eseguila.
IMMAGINI
Ad
Web LLM
DESCRIZIONE
WebLLM è un pacchetto Javascript modulare e personalizzabile che porta direttamente le chat del modello linguistico direttamente sui browser Web con accelerazione hardware. Tutto funziona all'interno del browser senza supporto server ed è accelerato con WebGPU. Possiamo offrire molte opportunità divertenti per creare assistenti IA per tutti e garantire la privacy godendo al tempo stesso dell'accelerazione GPU. WebLLM offre un'interfaccia minimalista e modulare per accedere al chatbot nel browser. Il pacchetto WebLLM in sé non viene fornito con l'interfaccia utente ed è progettato in modo modulare per collegarsi a qualsiasi componente dell'interfaccia utente. Il seguente frammento di codice mostra un semplice esempio che genera una risposta in streaming su una pagina web.
Caratteristiche
- WebLLM viene fornito con il supporto API per WebWorker in modo da poter collegare il processo di generazione a un thread di lavoro separato in modo che il calcolo nel webworker non interrompa l'interfaccia utente
- Puoi trovare un esempio completo di app di chat in esempi/simple-chat
- WebLLM funziona come progetto associato di MLC LLM
- Riutilizza l'artefatto del modello e crea il flusso di MLC LLM
- Crea pacchetto WebLLM dall'origine
- Il pacchetto WebLLM è un runtime Web progettato per MLC LLM
Linguaggio di programmazione
Dattiloscritto
Categorie
Questa è un'applicazione che può essere recuperata anche da https://sourceforge.net/projects/web-llm.mirror/. È stato ospitato su OnWorks per poter essere eseguito online in modo più semplice da uno dei nostri sistemi operativi gratuiti.
