دانلود Kaleidoscope-SDK برای لینوکس

این برنامه لینوکس به نام Kaleidoscope-SDK است که آخرین نسخه آن را می توان با نام kaleidoscope-sdkv0.8.0.zip دانلود کرد. می توان آن را به صورت آنلاین در ارائه دهنده میزبانی رایگان OnWorks برای ایستگاه های کاری اجرا کرد.

عکس ها

Kaleidoscope-SDK

شرح

kaleidoscope-sdk یک ماژول پایتون است که برای تعامل با مدل‌های زبان بزرگ میزبانی شده از طریق سرویس Kaleidoscope موجود در: https://github.com/VectorInstitute/kaleidoscope. این یک رابط ساده برای راه اندازی LLM ها در یک خوشه HPC فراهم می کند، و از آنها می خواهد ویژگی های اساسی مانند تولید متن را انجام دهند، اما همچنین اطلاعات میانی را از داخل مدل، مانند احتمالات گزارش و فعال سازی، بازیابی کنند. کاربران باید با استفاده از اعتبار خوشه موسسه Vector خود احراز هویت کنند. این را می توان به صورت تعاملی با نمونه سازی یک شی مشتری انجام داد. این یک نشانه احراز هویت ایجاد می کند که برای تمام درخواست های بعدی استفاده می شود. توکن پس از 30 روز منقضی می‌شود و در این مرحله از کاربر خواسته می‌شود دوباره احراز هویت کند.

امکانات

• فهرستی از تمام LLM های فعال که توسط سرویس مدل نمونه سازی شده اند را نشان می دهد
• یک LLM را از طریق سرویس مدل بارگیری می کند
• تولید متن LLM را بر اساس ورودی سریع برمی‌گرداند
• همه نام ماژول ها را در شبکه عصبی LLM برمی گرداند
• تمام فعال سازی های مجموعه ای از ماژول ها را بازیابی می کند
• به نسخه پایتون >= 3.8 نیاز دارد

زبان برنامه نویسی

پــایتــون

دسته بندی ها

این برنامه ای است که می تواند از https://sourceforge.net/projects/kaleidoscope-sdk.mirror/ نیز دریافت شود. در OnWorks میزبانی شده است تا به آسانی از طریق یکی از سیستم عامل های رایگان ما به صورت آنلاین اجرا شود.