Đây là ứng dụng Linux có tên Web LLM có bản phát hành mới nhất có thể được tải xuống dưới dạng v0.2.0.zip. Nó có thể được chạy trực tuyến trong nhà cung cấp dịch vụ lưu trữ miễn phí OnWorks dành cho máy trạm.
Tải xuống và chạy trực tuyến ứng dụng này có tên Web LLM với OnWorks miễn phí.
Làm theo các hướng dẫn sau để chạy ứng dụng này:
- 1. Đã tải ứng dụng này xuống PC của bạn.
- 2. Nhập vào trình quản lý tệp của chúng tôi https://www.onworks.net/myfiles.php?username=XXXXX với tên người dùng mà bạn muốn.
- 3. Tải lên ứng dụng này trong trình quản lý tệp như vậy.
- 4. Khởi động trình giả lập trực tuyến OnWorks Linux hoặc trình giả lập trực tuyến Windows hoặc trình mô phỏng trực tuyến MACOS từ trang web này.
- 5. Từ Hệ điều hành OnWorks Linux mà bạn vừa khởi động, hãy truy cập trình quản lý tệp của chúng tôi https://www.onworks.net/myfiles.php?username=XXXXX với tên người dùng mà bạn muốn.
- 6. Tải xuống ứng dụng, cài đặt và chạy nó.
MÀN HÌNH
Ad
Web LLM
MÔ TẢ
WebLLM là gói javascript có thể tùy chỉnh, theo mô-đun, mang trực tiếp các cuộc trò chuyện theo mô hình ngôn ngữ lên trình duyệt web với khả năng tăng tốc phần cứng. Mọi thứ chạy bên trong trình duyệt mà không có sự hỗ trợ của máy chủ và được tăng tốc bằng WebGPU. Chúng tôi có thể mang lại nhiều cơ hội thú vị để xây dựng trợ lý AI cho mọi người và đảm bảo quyền riêng tư trong khi tận hưởng khả năng tăng tốc GPU. WebLLM cung cấp giao diện mô-đun và tối giản để truy cập chatbot trong trình duyệt. Bản thân gói WebLLM không đi kèm với giao diện người dùng và được thiết kế theo kiểu mô-đun để kết nối với bất kỳ thành phần giao diện người dùng nào. Đoạn mã sau đây minh hoạ một ví dụ đơn giản tạo ra phản hồi trực tuyến trên một trang web.
Tính năng
- WebLLM đi kèm với hỗ trợ API cho WebWorker để bạn có thể kết nối quá trình tạo vào một luồng công việc riêng biệt để quá trình tính toán trong webworker không làm gián đoạn giao diện người dùng
- Bạn có thể tìm thấy một ví dụ hoàn chỉnh về ứng dụng trò chuyện trong ví dụ/trò chuyện đơn giản
- WebLLM hoạt động như một dự án đồng hành của MLC LLM
- Nó tái sử dụng tạo phẩm mô hình và xây dựng luồng MLC LLM
- Xây dựng gói WebLLM từ nguồn
- Gói WebLLM là thời gian chạy web được thiết kế cho MLC LLM
Ngôn ngữ lập trình
TypeScript
Danh Mục
Đây là một ứng dụng cũng có thể được tải xuống từ https://sourceforge.net/projects/web-llm.mirror/. Nó đã được lưu trữ trên OnWorks để có thể chạy trực tuyến một cách dễ dàng nhất từ một trong các Hệ điều hành miễn phí của chúng tôi.
