شروع به کار با هوش مصنوعی MoonshotAI/Kimi
MoonshotAI/Kimi یک مدل زبانی بزرگ با معماری Mixture of Experts (MoE) از شرکت Moonshot AI است که مجموعاً ۱ تریلیون پارامتر دارد، ولی در هر اجرا تنها حدود ۳۲ میلیارد پارامتر فعال میشوند. ویژگی برجسته این مدل، پشتیبانی از context window بسیار گسترده تا 256 هزار توکن است، که امکان پردازش متنهای بسیار طولانی یا تعاملات چندمرحلهای را بهبود داده است. این مدل، برای کاربردهای پیشرفته در تولید و تحلیل کد، پردازش متنهای بلند، و ساخت رباتها یا Agentهای هوشمند (که بتوانند به صورت پیوسته چندگام را برنامهریزی و اجرا کنند) طراحی شده و یکی از مدلهای متنباز پیشرفته در هوش مصنوعی به شمار میآید.
در حال حاضر، لیارا، مدل زیر از MoonshotAI/Kimi را در API خود پشتیبانی میکند:
- مدل moonshotai/kimi-k2-0905
پس از ایجاد سرویس هوش مصنوعی و دریافت baseUrl و کلید API، میتوانید از مدل MoonshotAI/Kimi استفاده کنید.
در قطعه کدهای ارائهشده توسط لیارا برای اتصال به مدل، از OpenAI SDK استفاده میشود. تمامی مدلهایی که لیارا ارائه میدهد؛ سازگار با OpenAI SDK هستند.
اتصال به مدل
برای اتصال به مدل در سطح کد، میتوانید از دو ابزار استفاده کنید:
- OpenAI SDK: ابزار رسمی ارائهشده توسط OpenAI. تمامی مدلهای ارائهشده در لیارا، با این SDK سازگار هستند.
- AI SDK: ابزار ارائهشده توسط Vercel. این SDK، تنها برای جاوااسکریپت و تایپاسکریپت در دسترس است.
در ادامه، نحوه اتصال به مدل، هم با OpenAI SDK و هم با AI SDK، بررسی شده است.
برای اتصال به مدل با OpenAI SDK، میتوانید از قطعه کدهای زیر، استفاده کنید.
در ابتدا، برای استفاده از مدل هوش مصنوعی مدنظر خود در جاوااسکریپت، باید پکیج openai را نصب کنید. برای این کار، میتوانید از npm یا yarn استفاده کنید:
سپس، میتوانید مانند قطعه کد زیر، به مدل هوش مصنوعی خود متصل شوید:
در قطعه کدهای فوق، بهجای <baseUrl>، آدرس سرویس هوش مصنوعی خود را قرار دهید و بهجای <LIARA_API_TOKEN>، کلید API خود را وارد کنید. همچنین، بهجای <model_name>، نام یکی از مدلهای فوق را قرار دهید.
پارامترهای قابل تنظیم
در نظر داشته باشید که پارامترهای زیر، ممکن است در برخی از مدلها، پشتیبانی نشوند.
- frequency_penalty: عددی بین -2 تا 2. کاهش یا افزایش احتمال تکرار کلمات پرتکرار در پاسخ. هرچه بالاتر باشد؛ تنوع بیشتر است
- logit_bias: تغییر احتمال ظاهر شدن توکنهای خاص
- n: تعداد پاسخهایی که قرار است مدل همزمان تولید کند.
- response_format: مدل را مجبور میکند خروجی را به فرمت خاصی برگرداند
- seed: مقدار عددی ثابت برای شروع تولید تصادفی، در صورت نیاز، به خروجیهای قابل تکرار
- stop: آرایهای از رشتهها برای اینکه مدل هنگام رسیدن به آنها پاسخ را متوقف کند
- stream: اگر true باشد، پاسخ مدل به صورت استریم ارسال میشود. برای پیادهسازیهای real-time یا رابط کاربری، این حالت مفید است
- stream_options: تنظیمات مربوط به حالت stream. فقط وقتی استفاده میشود که stream: true باشد
- temperature: عددی بین 0 تا 2. کنترل میزان تصادفی بودن خروجی؛ عدد کمتر، واقعگرایی بیشتر و عدد بیشتر، خلاقیت بیشتر
- tool_choice: تعیین کردن اینکه مدل چه زمانی Tool را فراخوانی کند (بهصورت هوشمند یا همیشه)
- tools: مشخص کردن یکسری Tool که مدل در صورت نیاز، آنها را فراخوانی کند
- user: شناسهی کاربر نهایی. برای دستهبندی بهتر درخواستها و جلوگیری از سوءاستفاده، بهکار میرود
در ادامه، مثال استفاده از این پارامترها، در زبانهای مختلف، قرار گرفته است:
در قطعه کد فوق، بهجای <baseUrl>، آدرس سرویس هوش مصنوعی خود را قرار دهید و بهجای <LIARA_API_TOKEN>، کلید API خود را وارد کنید. همچنین، بهجای <model_name>، نام یکی از مدلهای فوق را قرار دهید.