これは Basaran という名前の Linux アプリで、その最新リリースは v0.21.1.zip としてダウンロードできます。 これは、ワークステーション用の無料のホスティング プロバイダーである OnWorks でオンラインで実行できます。
Basaran with OnWorks という名前のこのアプリをオンラインで無料でダウンロードして実行します。
このアプリを実行するには、次の手順に従ってください。
-1。このアプリケーションをPCにダウンロードしました。
--2。ファイルマネージャーhttps://www.onworks.net/myfiles.php?username=XXXXXに必要なユーザー名を入力します。
-3。このアプリケーションをそのようなファイルマネージャにアップロードします。
-4。このWebサイトからOnWorksLinuxオンラインまたはWindowsオンラインエミュレーターまたはMACOSオンラインエミュレーターを起動します。
-5。起動したばかりのOnWorksLinux OSから、必要なユーザー名でファイルマネージャーhttps://www.onworks.net/myfiles.php?username=XXXXXにアクセスします。
-6。アプリケーションをダウンロードし、インストールして実行します。
スクリーンショット：
バサラン
説明：
Basaran は、OpenAI テキスト補完 API のオープンソースの代替手段です。 Hugging Face Transformers ベースのテキスト生成モデルに互換性のあるストリーミング API を提供します。 オープンソース コミュニティは最終的に大規模言語モデル (LLM) の安定普及の瞬間を目の当たりにするでしょう。Basaran を使用すると、OpenAI のサービスを最新のオープンソース モデルに置き換えて、コードを 8 行も変更せずにアプリケーションを強化できます。 さまざまなデコード戦略を使用したストリーム生成。 デコーダーのみのモデルとエンコーダー デコーダー モデルの両方をサポートします。 サロゲートと空白を処理するデトークナイザー。 オプションの XNUMX ビット量子化によるマルチ GPU サポート。 サーバーから送信されたイベントを使用したリアルタイムの部分的な進行状況。 OpenAI API およびクライアント ライブラリと互換性があります。 ファンシーな Web ベースの遊び場が付属しています。 Docker イメージは、Docker Hub および GitHub パッケージで利用できます。
特徴
- さまざまなデコード戦略を使用したストリーム生成
- デコーダーのみのモデルとエンコーダー/デコーダーのモデルの両方をサポート
- サロゲートと空白を処理するデトークナイザー
- オプションの 8 ビット量子化によるマルチ GPU サポート
- サーバー送信イベントを使用したリアルタイムの部分的な進行状況
- OpenAI API およびクライアント ライブラリとの互換性
- ファンシーなウェブベースの遊び場が付属
プログラミング言語
Python、JavaScript
カテゴリー
これは https://sourceforge.net/projects/basaran.mirror/ からも取得できるアプリケーションです。 これは、OnWorks でホストされており、無料のオペレーティング システムの XNUMX つからオンラインで簡単に実行できます。