これは、NGCcontainer2.38.0.zip に対応する Release23.09 として最新リリースをダウンロードできる Triton Inference Server という名前の Windows アプリです。 これは、ワークステーション用の無料のホスティング プロバイダーである OnWorks でオンラインで実行できます。
Triton Inference Server with OnWorks という名前のこのアプリをオンラインで無料でダウンロードして実行します。
このアプリを実行するには、次の手順に従ってください。
-1。このアプリケーションをPCにダウンロードしました。
--2。ファイルマネージャーhttps://www.onworks.net/myfiles.php?username=XXXXXに必要なユーザー名を入力します。
-3。このアプリケーションをそのようなファイルマネージャにアップロードします。
-4。このWebサイトからOSOnWorksオンラインエミュレーターを起動しますが、Windowsオンラインエミュレーターの方が優れています。
-5。起動したばかりのOnWorksWindows OSから、必要なユーザー名でファイルマネージャーhttps://www.onworks.net/myfiles.php?username=XXXXXにアクセスします。
-6。アプリケーションをダウンロードしてインストールします。
-7.LinuxディストリビューションソフトウェアリポジトリからWineをダウンロードします。 インストールしたら、アプリをダブルクリックして、Wineで実行できます。 また、人気のあるWindowsプログラムやゲームのインストールに役立つWine上の豪華なインターフェイスであるPlayOnLinuxを試すこともできます。
WineはLinux上でWindowsソフトウェアを実行する方法ですが、Windowsは必要ありません。 Wineは、任意のLinuxデスクトップでWindowsプログラムを直接実行できるオープンソースのWindows互換性レイヤーです。 基本的に、Wineは、実際にWindowsを必要とせずに、これらすべてのWindowsアプリケーションを実行できるように、十分な数のWindowsを最初から再実装しようとしています。
スクリーンショット：
Triton推論サーバー
説明：
Triton Inference Server は、AI 推論を合理化するオープンソースの推論サービス ソフトウェアです。 Triton を使用すると、チームは、TensorRT、TensorFlow、PyTorch、ONNX、OpenVINO、Python、RAPIDS FIL など、複数のディープ ラーニングおよび機械学習フレームワークから任意の AI モデルをデプロイできます。 Triton は、NVIDIA GPU、x86 および ARM CPU、または AWS Inferentia 上のクラウド、データ センター、エッジ、組み込みデバイスにわたる推論をサポートします。 Triton は、リアルタイム、バッチ、アンサンブル、オーディオ/ビデオ ストリーミングなど、多くの種類のクエリに対して最適化されたパフォーマンスを提供します。 カスタム バックエンドと前処理/後処理操作を追加できるバックエンド API を提供します。 Ensembling またはビジネス ロジック スクリプト (BLS) を使用してパイプラインをモデル化します。 コミュニティが開発した KServe プロトコルに基づく HTTP/REST および GRPC 推論プロトコル。 AC API と Java API を使用すると、Triton をアプリケーションに直接リンクして、エッジやその他のインプロセス ユース ケースを実現できます。
特徴
- 複数の深層学習フレームワークをサポート
- 複数の機械学習フレームワークをサポート
- モデルの同時実行
- 動的バッチ処理
- ステートフル モデルのシーケンス バッチ処理と暗黙的な状態管理
- カスタム バックエンドと前処理/後処理操作を追加できるバックエンド API を提供します。
プログラミング言語
Python
カテゴリー
これは https://sourceforge.net/projects/triton-inference-server.mirror/ からも取得できるアプリケーションです。 これは、OnWorks でホストされており、無料のオペレーティング システムの XNUMX つからオンラインで簡単に実行できます。