これは VLLM という名前の Windows アプリで、最新リリースは v0.2.1.post1sourcecode.zip としてダウンロードできます。 ワークステーション用の無料ホスティング プロバイダー OnWorks でオンラインで実行できます。
VLLM with OnWorks という名前のこのアプリをオンラインで無料でダウンロードして実行します。
このアプリを実行するには、次の手順に従ってください。
-1。このアプリケーションをPCにダウンロードしました。
--2。ファイルマネージャーhttps://www.onworks.net/myfiles.php?username=XXXXXに必要なユーザー名を入力します。
-3。このアプリケーションをそのようなファイルマネージャにアップロードします。
-4。このWebサイトからOSOnWorksオンラインエミュレーターを起動しますが、Windowsオンラインエミュレーターの方が優れています。
-5。起動したばかりのOnWorksWindows OSから、必要なユーザー名でファイルマネージャーhttps://www.onworks.net/myfiles.php?username=XXXXXにアクセスします。
-6。アプリケーションをダウンロードしてインストールします。
-7.LinuxディストリビューションソフトウェアリポジトリからWineをダウンロードします。 インストールしたら、アプリをダブルクリックして、Wineで実行できます。 また、人気のあるWindowsプログラムやゲームのインストールに役立つWine上の豪華なインターフェイスであるPlayOnLinuxを試すこともできます。
WineはLinux上でWindowsソフトウェアを実行する方法ですが、Windowsは必要ありません。 Wineは、任意のLinuxデスクトップでWindowsプログラムを直接実行できるオープンソースのWindows互換性レイヤーです。 基本的に、Wineは、実際にWindowsを必要とせずに、これらすべてのWindowsアプリケーションを実行できるように、十分な数のWindowsを最初から再実装しようとしています。
スクリーンショットは
Ad
VLLM
DESCRIPTION
vLLM は、LLM 推論と提供のための高速で使いやすいライブラリです。 並列サンプリング、ビームサーチなどを含む、さまざまなデコードアルゴリズムを使用した高スループットのサービス。
特徴
- 最先端のサービス スループット
- PagedAttendant によるアテンション キーと値のメモリの効率的な管理
- 受信リクエストの継続的なバッチ処理
- 最適化された CUDA カーネル
- 人気のHuggingFaceモデルとのシームレスな統合
- 分散推論のためのテンソル並列処理のサポート
プログラミング言語
Python
カテゴリー
これは、https://sourceforge.net/projects/vllm.mirror/ から取得できるアプリケーションです。 無料のオペレーティング システムの XNUMX つから最も簡単な方法でオンラインで実行できるように、OnWorks でホストされています。