Il s'agit de l'application Windows nommée Triton Inference Server dont la dernière version peut être téléchargée en tant que Release2.38.0correspondingtoNGCcontainer23.09.zip. Il peut être exécuté en ligne dans le fournisseur d'hébergement gratuit OnWorks pour les postes de travail.
Téléchargez et exécutez gratuitement en ligne cette application nommée Triton Inference Server avec OnWorks.
Suivez ces instructions pour exécuter cette application :
- 1. Téléchargé cette application sur votre PC.
- 2. Entrez dans notre gestionnaire de fichiers https://www.onworks.net/myfiles.php?username=XXXXX avec le nom d'utilisateur que vous voulez.
- 3. Téléchargez cette application dans ce gestionnaire de fichiers.
- 4. Démarrez n'importe quel émulateur en ligne OS OnWorks à partir de ce site Web, mais un meilleur émulateur en ligne Windows.
- 5. Depuis le système d'exploitation OnWorks Windows que vous venez de démarrer, accédez à notre gestionnaire de fichiers https://www.onworks.net/myfiles.php?username=XXXXX avec le nom d'utilisateur que vous souhaitez.
- 6. Téléchargez l'application et installez-la.
- 7. Téléchargez Wine depuis les dépôts de logiciels de vos distributions Linux. Une fois installé, vous pouvez ensuite double-cliquer sur l'application pour les exécuter avec Wine. Vous pouvez également essayer PlayOnLinux, une interface sophistiquée sur Wine qui vous aidera à installer des programmes et des jeux Windows populaires.
Wine est un moyen d'exécuter un logiciel Windows sur Linux, mais sans Windows requis. Wine est une couche de compatibilité Windows open source qui peut exécuter des programmes Windows directement sur n'importe quel bureau Linux. Essentiellement, Wine essaie de ré-implémenter suffisamment de Windows à partir de zéro pour qu'il puisse exécuter toutes ces applications Windows sans avoir réellement besoin de Windows.
CAPTURES D'ÉCRAN
Ad
Serveur d'inférence Triton
DESCRIPTION
Triton Inference Server est un logiciel de service d'inférence open source qui rationalise l'inférence de l'IA. Triton permet aux équipes de déployer n'importe quel modèle d'IA à partir de plusieurs frameworks d'apprentissage en profondeur et d'apprentissage automatique, notamment TensorRT, TensorFlow, PyTorch, ONNX, OpenVINO, Python, RAPIDS FIL, etc. Triton prend en charge l'inférence dans le cloud, le centre de données, la périphérie et les appareils intégrés sur les GPU NVIDIA, les processeurs x86 et ARM ou AWS Inferentia. Triton offre des performances optimisées pour de nombreux types de requêtes, notamment en temps réel, par lots, par ensembles et en streaming audio/vidéo. Fournit une API Backend qui permet d'ajouter des backends personnalisés et des opérations de pré/post-traitement. Modélisez des pipelines à l'aide d'Ensembling ou de Business Logic Scripting (BLS). Protocoles d'inférence HTTP/REST et GRPC basés sur le protocole KServe développé par la communauté. L'API AC et l'API Java permettent à Triton de se connecter directement à votre application pour les cas d'utilisation en périphérie et autres en cours de processus.
Caractéristiques
- Prend en charge plusieurs cadres d'apprentissage en profondeur
- Prend en charge plusieurs cadres d'apprentissage automatique
- Exécution simultanée du modèle
- Mise en lots dynamique
- Regroupement de séquences et gestion d'état implicite pour les modèles avec état
- Fournit une API backend qui permet d'ajouter des backends personnalisés et des opérations de pré/post-traitement
Langage de programmation
Python
Catégories
Il s'agit d'une application qui peut également être récupérée à partir de https://sourceforge.net/projects/triton-inference-server.mirror/. Il a été hébergé dans OnWorks afin d'être exécuté en ligne de la manière la plus simple à partir de l'un de nos systèmes d'exploitation gratuits.
