دانلود LLM Foundry برای لینوکس

این برنامه لینوکس به نام LLM Foundry است که آخرین نسخه آن را می توان با عنوان v0.3.0.zip دانلود کرد. می توان آن را به صورت آنلاین در ارائه دهنده میزبانی رایگان OnWorks برای ایستگاه های کاری اجرا کرد.

عکس ها

ریخته گری LLM

شرح

معرفی MPT-7B، اولین ورودی در سری بنیاد MosaicML ما. MPT-7B یک ترانسفورماتور است که از ابتدا بر روی توکن های 1T متن و کد آموزش داده شده است. منبع باز است، برای استفاده تجاری در دسترس است و با کیفیت LLaMA-7B مطابقت دارد. MPT-7B بر روی پلت فرم MosaicML در 9.5 روز و بدون دخالت انسان با هزینه 200 هزار دلار آموزش دید. مدل‌های زبان بزرگ (LLM) دنیا را تغییر می‌دهند، اما برای کسانی که خارج از آزمایشگاه‌های صنعتی با منابع خوب هستند، آموزش و استقرار این مدل‌ها می‌تواند بسیار دشوار باشد. این منجر به انبوهی از فعالیت‌ها با محوریت LLM‌های منبع باز، مانند سری LLaMA از Meta، سری Pythia از EleutherAI، سری StableLM از StabilityAI، و مدل OpenLLaMA از Berkeley AI Research شده است.

امکانات

• دارای مجوز برای استفاده تجاری (برخلاف LLaMA)
• بر روی حجم زیادی از داده ها آموزش دیده است (توکن های 1T مانند LLaMA در مقابل 300B برای Pythia، 300B برای OpenLLaMA و 800B برای StableLM)
• به لطف ALiBi برای رسیدگی به ورودی های بسیار طولانی آماده شده است (ما تا 65 هزار ورودی آموزش دیدیم و می توانیم تا 84k در مقابل 2k-4k برای سایر مدل های منبع باز مدیریت کنیم)
• بهینه شده برای آموزش سریع و استنتاج (از طریق FlashAttention و FasterTransformer)
• مجهز به کدهای آموزشی متن باز بسیار کارآمد
• MPT-7B Base یک ترانسفورماتور به سبک رمزگشا با پارامترهای 6.7B است

زبان برنامه نویسی

پــایتــون

دسته بندی ها

این برنامه ای است که می تواند از https://sourceforge.net/projects/llm-foundry.mirror/ نیز دریافت شود. در OnWorks میزبانی شده است تا به آسانی از یکی از سیستم عامل های رایگان ما به صورت آنلاین اجرا شود.