1 ভিত্তি
কেন স্থানীয় এআই? মালিকানার ব্যবসায়িক যুক্তি
২০২০-এর দশকের শুরুতে, কৃত্রিম বুদ্ধিমত্তা ছিল একটি পরিষেবা যা আপনি ভাড়া নিতেন — ঘণ্টা, টোকেন বা এপিআই কলের ভিত্তিতে। ২০২৬ সাল নাগাদ, এই দৃষ্টান্ত বদলেছে। জিপিটি-৪ ক্লাস
বুদ্ধিমত্তা চালানোর জন্য প্রয়োজনীয় হার্ডওয়্যার এখন আপনার ডেস্কে ফিট করে এবং একটি ব্যবহৃত গাড়ির চেয়ে কম খরচে।
শুধুমাত্র ক্লাউড-ভিত্তিক এআই-এর উপর নির্ভরতা একটি কৌশলগত ত্রিমুখী সমস্যা উপস্থাপন করে:
- বর্ধিত খরচ। প্রতি-টোকেন এপিআই ফি ব্যবহারের সাথে রৈখিকভাবে স্কেল করে। একটি আইনি ফার্ম দৈনিক ১,০০০ চুক্তি প্রক্ররণ করলে বার্ষিক ~৩৩ লাখ₹ এপিআই খরচের সম্মুখীন হতে পারে।
- ডেটা প্রকাশ। ক্লাউড এপিআই-তে পাঠানো প্রতিটি ক্যোয়ারী এমন ডেটা যা আপনার নেটওয়ার্ক ছেড়ে যায় এবং ডেটা নিরাপত্তা ও গোপনীয়তা ঝুঁকির সম্মুখীন হয়।
- শূন্য বা ব্যয়বহুল কাস্টমাইজেশন। ক্লাউড মডেলগুলি সাধারণ প্রকৃতির। এগুলোকে কাস্টম ডেটা, অভ্যন্তরীণ ব্যবসায়িক প্রক্রিয়া বা ব্যবসায়িক বুদ্ধিমত্তার উপর সহজে বা খরচ-কার্যকরভাবে ফাইন-টিউন করা যায় না।
স্থানীয় এআই হার্ডওয়্যার এই তিনটিই সমাধান করে। এটি পরিবর্তনশীল এপিআই ফিকে একটি স্থায়ী মূলধন সম্পদে রূপান্তরিত করে, নিশ্চিত করে যে ডেটা কখনও ল্যান ছেড়ে যায় না এবং ব্যবসায়িক ডেটার উপর ফাইন-টিউনিংয়ের মাধ্যমে গভীর কাস্টমাইজেশন সক্ষম করে।
2 খরচ কমানো
কোয়ান্টাইজেশন: সস্তা হার্ডওয়্যারে বড় এআই মডেল চালান
কোয়ান্টাইজেশন এমন একটি ধারণা যা স্থানীয় এআই-এর অর্থনীতিকে মৌলিকভাবে পরিবর্তন করে।
সহজ কথায়, কোয়ান্টাইজেশন একটি এআই মডেলের মেমরি ফুটপ্রিন্ট কমিয়ে দেয়। একটি স্ট্যান্ডার্ড মডেল প্রতিটি প্যারামিটারকে ১৬-বিট ফ্লোটিং-পয়েন্ট সংখ্যা (এফপি১৬) হিসাবে সংরক্ষণ করে। কোয়ান্টাইজেশন এটিকে ৮-বিট (ইন্ট৮), ৪-বিট (ইন্ট৪) বা আরও কমে নামিয়ে আনে — মডেল চালানোর জন্য প্রয়োজনীয় মেমরির পরিমাণ নীয়ভাবে হ্রাস করে।
কোয়ান্টাইজেশনের ফলে আউটপুটের গুণগত মান সামান্য হ্রাস পায় — যা প্রায়শই সারাংশ, খসড়া তৈরি এবং বিশ্লেষণের মতো ব্যবসায়িক কাজের জন্য অলক্ষণীয় — বিনিময়ে হার্ডওয়্যার খরচে ব্যাপক হ্রাস।
পূর্ণ প্রিসিশনে একটি ৪০০বি মডেলের প্রয়োজন ~৮০০ জিবি মেমরি — ~১.৮ কোটি₹ সার্ভার বিনিয়োগ। একই মডেল ইন্ট৪-এ কোয়ান্টাইজড হলে মাত্র ~২০০ জিবি প্রয়োজন, এবং এটি দুটি সংযুক্ত ডিজিএক্স স্পার্ক (জিবি১০ সুপারচিপ ভিত্তিক) মিনি-পিসিতে ৭.৩ লাখ₹ দিয়ে চালানো যেতে পারে।
মিশ্রণ বিশেষজ্ঞ (এমওই)
মিশ্রণ বিশেষজ্ঞ হল এআই মডেল আর্কিটেকচারের আরেকটি কৌশল যা বিশাল মেমরি খরচ ছাড়াই বৃহৎ মডেল স্থাপন সম্ভব করে।
প্রতিটি প্রশ্নের জন্য সমস্ত প্যারামিটার ব্যবহারের পরিবর্তে, একটি এমওই মডেল স্পার্স অ্যাক্টিভেশন এর মাধ্যমে তার ক্ষমতার মাত্র একটি অংশ সক্রিয় করে।
লামা ৪ বিহেমথের মতো একটি ২-ট্রিলিয়ন প্যারামিটারের এমওই মডেল প্রতি ক্যুয়েরিতে মাত্র ২৮৮বি প্যারামিটার সক্রিয় করে — মেম খরচের ভগ্নাংশে ফ্রনার-লেভেল বুদ্ধিমত্তা প্রদান করে।
একই আকারের ঘন মডেলের তুলনায় এমওই মডেলগুলি সারাংশীকরণ এবং শ্রেণিবিন্যাসের মতো সাধারণ কাজে কিছুটা কম দক্ষ। জ্ঞান কাজ এবং যুক্তির জন্য যেমন জটিল বিশ্লেষণ, কোড জেনারেশন এবং গবেষণা, এমওই মডেলগুলি উৎকৃষ্ট।
স্পার্স অ্যাক্টিভেশনের ফলে দ্রুত ইনফারেন্স গতি এবং দ্রুত প্রতিক্রিয়া সময় হয়।
3 মিনি-পিসি
এআই মিনি-পিসি দেড় হাজার - দশ হাজার মার্কিন ডলার
২০২৬ সালের সবচেয়ে বিপ্লবী উন্নয়ন হল মিনি-পিসি ফর্ম ফ্যাক্টরে উচ্চ-ক্ষমতাসম্পন্ন এআই কম্পিউটিং। হার্ডকভার বইয়ের চেয়ে বড় নয় এমন ডিভাইস এখন এআই মডেল চালায় যা দুই বছর আগে সার্ভার রুমের প্রয়োজন ছিল।
এনভিডিয়া জিবি১০ ইকোসিস্টেম (ডিজিএক্স স্পার্ক)
পারফরম্যান্স নেতা
এনভিডিয়া ডিজিএক্স স্পার্ক এই বিভাগটিকে সংজ্ঞায়িত করেছে। ২০২৬ সালে, জিবি১০ সুপারচিপ — একটি এআরএম গ্রেস সিপিইউ এবং ব্ল্যাকওয়েল জিপিইউ-এর সমন্বয়ে — একটি সম্পূর্ণ ইকোসিস্টেম তৈরি করেছে। এএসইউএস, গিগাবাইট, ডেল, লেনোভো, এইচপি, এমএসআই এবং সুপারমাইক্রো সবাই জিবি১০-ভিত্তিক সিস্টেম তৈরি করে, প্রত্যেকের আলাদা ফর্ম ফ্যাক্টর, কুলিং সমাধান এবং বান্ডিল সফ্টওয়্যার রয়েছে।
ডেডিকেটেড হাই-স্পিড নেটওয়ার্ক পোর্টের মাধ্যমে দুটি জিবি১০ ইউনিট সংযোগ করে, সিস্টেমটি সম্পদকে ২৫৬ জিবি মেমরি স্পেসে পুল করে। এটি খুব বড় মডেল চালানোর ক্ষমতা উন্মুক্ত করে — ৪০০বি+ কোয়ান্টাইজড প্যারামিটার — সম্পূর্ণরূপে আপনার ডেস্কে প্রায় ৭.৩ লাখ₹ মোট হার্ডওয়্যার বিনিয়োগে।
এএমডি রাইজেন এআই ম্যাক্স (স্ট্রিক্স হ্যালো) মিনি-প
সর্বনিম্ন খরচ
এএমডি-এর রাইজেন এআই ম্যাক্স+ স্ট্রিক্স হ্যালো
আর্কিটেকচার বাজেট এআই মিনি-পিসির একটি সম্পূর্ণ নতুন বিভাগ তৈরি করেছে। একঝাঁক নির্মাতা — জিএমকে-টেক, বিলিঙ্ক, করসেয়ার, নিমো, বোসগেম, এফএভিএম — এখন ~১.৮ লাখ₹-এর নিচে ১২৮ জিবি ইউনিফাইড-মেমরি সিস্টেম সরবরাহ করে।
অ্যাপল ম্যাক স্টুডিও (এম৪ আল্ট্রা)
ক্যাপাসিটি নেতা
ম্যাক স্টুডিও স্থানীয় এআই ল্যান্ডস্কেপে একটি অনন্য অবস্থান দখল করে। অ্যাপলের ইউনিফাইড মেমরি আর্কিটেকচার (ইউএমএ) একটি কমপ্যাক্ট ডেস্কটপ ইউনিটে সিপিইউ এবং জিপিইউ উভয়ের জন্য অ্যাক্সেসযোগ্য ২৫৬ জিবি পর্যন্ত মেমরি প্রদান করে — কোন ক্লাস্টারিং প্রয়োজন নেই।
এটি একে বৃহত্তম ওপেন-সোর্স মডেল লোড করতে সক্ষম একমাত্র সাশ্রয়ী
একক ডিভাইসে পরিণত করে। ইন্ট৪-এ কোয়ান্টাইজড ৪০০-বিলিয়ন প্যারামিটারের একটি মডেল সম্পূর্ণরূপে ২৫৬ জিবি কনফিগারেশনে মেমরিতে ফিট হয়।
অ্যাপল ম্যাক স্টুডিও (এম৫ আল্ট্রা)
আসন্ন প্রতিদ্বন্দ্বী
অ্যাপলের পরবর্তী প্রজন্মের এম৫ আল্ট্রা, য২০২৬ সালের শেষের দিকে আসার কথা, এম৪-এর প্রাথমিক দুর্বলতা সমাধান করবে বলে গুজব রয়েছে: এআই মডেল প্রশিক্ষণ কর্মক্ষমতা। টিএসএমসি-এর ২এনএম প্রক্রিয়ায় নির্মিত, এটি ১.২ টিবি/সে-এর বেশি ব্যান্ডউইথ সহ ৫১২ জিবি পর্যন্ত ইউনিফাইড মেমরি কনফিগারেশন অফার করবে বলে আশা করা হচ্ছে।
৫১২ জিবি এম৫ আল্ট্রা হবে প্রথম কনজিউমার ডিভাইস যা আনকোয়ান্টাইজড (পূর্ণ নির্ভুলতা) ফ্রন্টিয়ার মডেল চালাতে সক্ষম। ১.২+ টিবি/সে উচ্চ মেমরি ব্যান্ডউইথ এজেন্টিক এআই ওয়ার্কফ্লো সমর্থন করে যার জন্য খুব দীর্ঘ কনটেক্সট উইন্ডো সহ স্থায়ী উচ্চ-থ্রুপুট ইনফারেন্স প্রয়োজন।
টিনি এআই
পকেট এআই সুপারকম্পিউটার
২০২৬ সালে কিকস্টার্টারে ১.৩ লাখ₹ দামে প্রকাশিত টিনি.এআই পকেট এআই কম্পিউটার হল ৮০জিবি এলজিডিডিআর৫এক্স মেমরি এবং ১টিবি এসএসডি সহ একটি পকেট সুপারকম্পিউটার যা যেকোনো স্থানে স্থানীয়ভাবে ১২০বি এআই মডেল চালনা সমর্থন করে।
৩০০ গ্রাম ওজন (১৪২×২২×৮০মিমি) এবং স্ট্যান্ডার্ড ইউএসবি-সি দ্বারা চালিত, এটি উদ্ভাবনী ব্যবসায়িক অ্যাপ্লিকেশন সমর্থন করে। টিনি এআই জিপিটি-ওএসএস-১২০বি-এর জন্য প্রতি সেকেন্ডে ২১.১৪ টোকেন আউটপুট গতি রিপোর্ট করে।
টেন্সটরেন্ট
ওপেন সোর্স হার্ডওয়্যার
কিংবদন্তি চিপ আর্কিটেক্ট জিম কেল্বে, টেনসটরেন্ট একটি মৌলিকভাবে ভিন্ন দর্শনের প্রতিনিধিত্ব করে: আরআইএসসি-ভি-তে নির্মিত ওপেন-সোর্স হার্ডওয়্যার, ওপেন-সোর্স সফ্টওয়্যার এবং ডেইজি-চেইনিংয়ের মাধ্যমে মডুলার স্কেলিং।
টেনসিক্স
এআই কোরগুলি রৈখিকভাবে স্কেল করার জন্য ডিজাইন করা হয়েছে: জিপিইউ-এর বিপরীতে, যেগুলি আরও কার্ড যোগ করলে কমিউনিকেশন ওভারহেড নিয়ে লড়াই করে, টেনসটরেন্ট চিপগুলি দক্ষতার সাথে টাইল করার জন্য তৈরি করা হয়েছে।
রেজারের সাথে অংশীদারিত্বে, টেন্সটরেন্ট একটি কমপ্যাক্ট এক্সটার্নাল এআই অ্যাক্সিলারেটর প্রকাশ করেছে যা থান্ডারবোল্টের মাধ্যমে যেকোনো ল্যাপটপ বা ডেস্কটপের সাথে সংযোগ করে—বিদ্যমান হার্ডওয়্যারকে কোনো কিছু প্রতিস্থাপন না করেই একটি এআই ওয়ার্কস্টেশনে রূপান্তরিত করে।
এআই এনএএস — নেটওয়ার্ক অ্যাটাচড স্টোরেজ
স্টোরেজ + এআই
এনএএস-এর সংজ্ঞা প্যাসিভ স্টোরেজ থেকে অ্যাক্টিভ ইন্টেলিজেন্সে স্থানান্তরিত হয়েছে। নেটওয়ার্ক স্টোরেজ ডিভাইসের একটি নতুন প্রজন্ম সরাসরি এআই প্রসেসিং ইন্টিগ্রেট করে — লাইটওয়েট এনপিইউ-ভিত্তিক ইনফারেন্স থেকে সম্পূর্ণ জিপিইউ-অ্যাক্সিলারেটেড এলএলএম ডেপ্লয়মেন্ট পর্যন্ত।
এআই-সক্ষম NAS একটি আলাদা এআই ডিভাইের প্রয়োজনীয়তা দূর করে এবং শূন্য নেটওয়ার্ক স্থানান্তর বিলম্বে বড় পরিমাণ ডেটা সরাসরি প্রক্রিয়াকরণের অনুমতি দেয়।
আপনার ব্যবসার জন্য সঠিক এআই মিনি-পিসি বেছে নিতে সাহায্য প্রয়োজন?
আমাদেরৌশলীরা আপনার এআই হার্ডওয়্যার প্রয়োজনীয়তা মূল্যায়ন করতে পারে এবং সম্পূর্ণ কনফিগার করা এআই সিস্টেম স্থাপন করতে পারে।
বিনামূল্যে হার্ডওয়্যার মূল্যায়ন পান →4 ওয়ার্কস্টেশনসমূহ
এআই ওয়ার্কস্টেশন ও ডেস্কটপ পিসি ২.৭ লাখ₹ – ১৪ লাখ₹
ওয়ার্কস্টেশন স্তরটি ডিসক্রিট PCIe গ্রাফিক্স কার্ড এবং স্ট্যান্ডার্ড টাওয়ার চ্যাসিস ব্যবহার করে। মিনি-পিসি স্তরেরায়ী ইউনিফাইড আর্কিটেকচারের বিপরীতে, এই স্তরটি মডুলারিটি প্রদান করে — আপনি পৃথক উপাদান আপগ্রেড করতে পারেন, আরও GPU যোগ করতে পারেন, বা প্রযুক্তির বিকাশের সাথে সাথে কার্ড পরিবর্তন করতে পারেন।
VRAM বনাম গতি বোঝা
আই-এর জন্য GPU পছন্দ দুটি প্রতিদ্বন্দ্বী ফ্যাক্টর নির্ধারণ করে:
কনজিউমার কার্ড (যেমন RTX 5090) গতি সর্বাধিক করে কিন্তু সীমিত VRAM অফার করে — সাধারণত 24–32 GB। প্রফেশনাল কার্ড (যেমন RTX PRO 6000 Blackwell) VRAM সর্বাধিক করে — প্রতি কার্ডে 96 GB পর্যন্ত — কিন্তু প্রতি কম্পিউট ইউনিটে বেশি খরচ করে।
VRAM হল বাধ্যতামূলক সীমাবদ্ধতা। অপর্যাপ্ত মেমরি সহ একটি দ্রুত কার্ড এআই মডেলটি মোটেও লোড করতে পারে না। পর্যাপ্ত মেমরি সহ একটি ধীর কার্ড মডেলটি চালায়—শুধুমাত্র দীর্ঘ প্রতিক্রিয়া সময় সহ।
কনজিউমারিপিইউ
| কনফিগারেশন | মোট VRAM | লিঙ্কিং | নুমানিক খরচ |
|---|---|---|---|
| ২× RTX 3090 (ব্যবহৃত) | ৪৮ GB | NVLink | ~২.৭ লাখ₹ |
| ২× RTX 4090 | ৪৮ GB | PCIe Gen 5 | ৩.৬ লাখ₹ |
| ২× RTX 5090 | ৪ GB | PCIe Gen 5 | সাত হাজার মার্কিন ডলার |
প্রফেশনাল GPU
| কনফিগারেশন | মোট VRAM | লিঙ্কিং | নুমানিক খরচ |
|---|---|---|---|
| ২× RTX A6000 সেরা মান | ৯৬ GB | NVLink | সাত হাজার মার্কিন ডলার |
| ২× RTX 6000 Ada | ৯৬ GB | PCIe Gen 5 | ১১.৮ লাখ₹ |
| ১× RTX PRO 6000 ব্ল্যাকওয়েল | ৯৬ GB | NVLink | ৭.৩ লাখ₹ |
| ৪× RTX PRO 6000 Blackwell | ৩৮৪ GB | PCIe Gen 5 | ২৯.১ লাখ₹ |
ডেটা সেন্টার জিপিইউ
| কনফিগারেশন | মোট VRAM | লিঙ্কিং | নুমানিক খরচ |
|---|---|---|---|
| ১× L40S | ৪৮ GB | PCIe 4.0 (প্যাসিভ কুলিং) | সাত হাজার মার্কিন ডলার |
| ১× A100 PCIe | ৮০ GB | PCIe 4.0 | ৯.১ লাখ₹ |
| ১× H200 NVL | ১৪১ GB | NVLink | ২৭.৩ লাখ₹ |
| ৪× H200 NVL | ৫৬৪ GB | NVLink | ১.১ কোটি₹ |
| ১× B200 SXM | ১৮০ GB | NVLink 5 (১.৮ TB/s) | ২৭.৩ লাখ₹ |
| ৮× B200 SXM | ১,৪৪০ GB | NVLink 5 (১.৮ TB/s) | ২.২ কোটি₹ |
চীনা জিপিইউ
চীনের অভ্যন্তরীণ GPU ইকোসিস্টেম দ্রুত পরিপক্ক হয়েছে। বেশ কয়েকটি চীনা প্রস্তুতকারক এখন প্রতিযোগিতামূলক স্পেসিফিকেশন এবং উল্লেখযোগ্যভাবে কম দামে ওয়ার্কস্টেশন-ক্লাস এআই GPU অফার করে।
| কনফিগারেশন | মোট VRAM | মেমোরি টাইপ | নুমানিক খরচ |
|---|---|---|---|
| ১× Moore Threads MTT S4000 | ৪৮ GB | GDDR6 | ৭৩ হাজার₹ |
| × Moore Threads MTT S4000 | ১৯২ GB | GDDR6 | ৩.২ লাখ₹ |
| ৮× Moore Threads MTT S4000 | ৩৮৪ GB | GDDR6 | ৫.৯ লাখ₹ |
| ১× হাইগন DCU Z100 | ৩২ GB | HBM2 | ২.৩ লাখ₹ |
| ১× Biren BR104 | ৩২ GB | HBM2e | ~২.৭ লাখ₹ |
| ৮× বিরেন BR104 | ২৫৬ GB | HBM2e | ২১.৮ লাখ₹ |
| ১× Huawei Ascend Atlas 300I Duo | ৯৬ GB | HBM2e | ১.১ লাখ₹ |
| ৮× Huawei Ascend Atlas 300I Duo | ৭৬৮ GB | HBM2e | ৯.১ লাখ₹ |
শীঘ্রই আসছে
| কনফিগারেশন | মোট VRAM | স্ট্যাট | নুমানিক খরচ |
|---|---|---|---|
| RTX 5090 128 GB | ১২৮ জিবি | চীনা মডিফিকেশন — স্ট্যান্ডার্ড SKU নয় | ৪.৫ লাখ₹ |
| RTX Titan AI | ৪ GB | ২০২৭ সালে প্রত্যাশিত | ~২.৭ লাখ₹ |
NVIDIA DGX স্টেশন
এন্টারপ্রাইজ এপেক্স
NVIDIA DGX স্ট একটি ওয়াটার-কুলড, ডেস্কসাইড সুপারকম্পিউটার
যা ডেটা সেন্টার পারফরম্যান্স অফিস পরিবেশে নিয়ে আসে। সর্বশেষ সংস্করণটি GB300 Grace Blackwell সুপারচিপ ব্যবহার করে।
ব্ল্যাকওয়েল আল্ট্রা
সংস্করণটি মেমরি ডেনসিটি এবং কম্পিউট বাড়ায়, এমন সংস্থাগুলির জন্য ডিজাইন করা হয়েছে যাদের শূন্য থেকে কাস্টম মডেল ট্রেন করতে বা বিশাল MoE (মিক্সচার অফ এক্সপার্টস) আর্কিটেকচার লোকালে চালানোর প্রয়োজন।
িও এটি পূর্ববর্তী প্রজন্মের অ্যাম্পিয়ার আর্কিটেকচার ভিত্তিক, এটি নির্ভরযোগ্য ইনফারেন্স এবং ফাইন-টিউনিংয়ের জন্য শিল্প মান হিসাবে রয়েছে। ব্ল্যাকওয়েলের বাজেট ছাড়াই এআই স্পেসে প্রবেশকারী দলগুলোর জন্য আদর্শভাবে উপযুক্ত।
যদিও ব্যয়বহুল, ডিজিএক্স স্টেশন একটি ~২.৭ কোটি₹ সার্ভার র্যাক এবং এর সংশ্লিষ্ট কুলিং ইনফ্রাস্ট্রাকচার প্রতিস্থাপন করে। এটি একটি স্ট্যান্ডার্ড ওয়াল আউটলেটে প্লাগ ইন করে। এটি সম্পূর্ণভাবে সার্ভার রুম
ওভারহেড দূর করে।
আপনার ব্যবসার জন্য সঠিক এআই ওয়ার্কস্টেশন বেছে নিতে সাহায্য প্রয়োজন?
আমাদেরৌশলীরা আপনার এআই হার্ডওয়্যার প্রয়োজনীয়তা মূল্যায়ন করতে পারে এবং সম্পূর্ণ কনফিগার করা এআই সিস্টেম স্থাপন করতে পারে।
বিনামূল্যে হার্ডওয়্যার মূল্যায়ন পান →5 সার্ভার
এআই সার্ভার ১৪ লাখ₹ – ১.৮ কোটি₹
যখন আপনার ব্যবসাকে একই সাথে অনেক কর্মী সেবা প্রদান করতে হয়, ফাউন্ডেশন-ক্লাস মডেল পূর্ণ প্রিসিশনে চালাতে হয়, বা মালিকানাধীন ডেটায় কাস্টম মডেল ফাইন-টিউন করতে হয় — তখন আপনি সার্ভার টিয়ারে প্রবেশ করেন।
এটি উচ্চ-ব্যান্ডউইথ মেমরি (HBM), বিশেষায়িত ইন্টারকানেক্ট, এবং র্যাক-মাউনেবল বা ডেস্কসাইড ফর্ম ফ্যাক্টর সহ ডেডিকেটেড এআই অ্যাক্সিলারেটর কার্ডের ডোমেইন। হার্ডওয়্যারটি বেশি ব্যয়বহুল, কিন্তু স্কেলে প্রতি ব্যবহারকারীর খরচ নাটকীয়ভাবে কমে যায়।
ইন্টেল গাউদি ৩
স্কেলে সেরা মান
ইন্টেলের গাউডি ৩ অ্যাক্সিলারেটরটি একটি এআই ট্রেনিং এবং ইনফারেন্স চিপ হিসাবে গ্রাউন্ড আপ ডিজাইন করা হয়েছে—কোনো রিপারপাসড গ্রাফিক্স কার্ড নয়। প্রতিটি কার্ড ১২৮ GB HBM2e মেমরি প্রদান করে যাতে ইন্টিগ্রেটেড ৪০০ Gb ইথারনেট নেটওয়ার্কিং রয়েছে, যা আলাদা নেটওয়ার্ক অ্যাডাপ্টারের প্রয়োজনীয়তা দূর করে।
গাউডি ৩ দুটি ফর্ম ফ্যাক্টরে পাওয়া যায়:
- পিসিআইই কার্ড (এইচএল-৩৩৮): বিদ্যমান সার্ভারে সংহত করার জন্য স্ট্যান্ডার্ড পিসিআইই ফর্ম ফ্যাক্টর। আনুমানিক মূল্য: ~১.১ লাখ₹ প্রতি কার্ড।
- ওএএম (ওসিপি অ্যাক্সিলারেটর মডিউল): ক্লাউড ডেটা সেন্টারের জন্য উচ্চ-ঘনত্ব OCP স্ট্যান্ডার্ড। পাইকারি ভাবে ৮-চিপের কিট ক্রয় করলে প্রতিটি চিপে ১৪.২ লাখ₹ (বেসবোর্ডসহ মোট ~১.১ কোটি₹)।
৮-কার্ড গাউডি ৩ সার্ভার তুলনীয় এনভিডিআইএ এইচ১০০ সিস্টেমের চেয়ে অনেক কম খরচে ১ টিবি মোট এআই মেমরি প্রদান করে।
AMD ইনস্টিংক্ট MI325X
সর্বোচ্চ ঘনত্ব
এএমডি ইনস্টিংক্ট এমআই৩২৫এক্স প্রতি কার্ডে ২৫৬ জিবি এইচবিএম৩ই মেমরি বহন করে — ইন্টেল গাউডি ৩-এর দ্বিগুণ। ইন্টেলের জন্য ৮টি কার্ডের তুলনায় মোট ১ টিবি এআই মেমরি পৌঁছাতে মাত্র ৪টি কার্ড প্রয়োজন।
এমআই৩২৫এক্স গাউডি ৩-এর তুলনায় প্রতি সিস্টেমে বেশি ব্যয়বহুল, কিন্তু দ্রুততর এবং ঘনতর। সর্বোচ্চ থ্রুপুট দাবি করে এমন ওয়ার্কলোডের জন্য — আরও ব্যবহারকারীর জন্য রিয়েল-টাইম ইনফারেন্স, বা বেটাসেটে কাস্টম মডেল প্রশিক্ষণ — উচ্চতর বিনিয়োগ কম লেটেন্সি এবং সরল অবকাঠামোর মাধ্যমে নিজের খরচ তুলে নেয়।
হুয়াওয়ে অ্যাসেন্ড
ফুল-স্ট্যাক বিকল্প
হুয়াওয়ে সম্পূর্ণআই ইনফ্রাস্ট্রাকচার স্ট্যাক রেপ্লিকেট করেছে: কাস্টম সিলিকন (অ্যাসেন্ড 910B/C), প্রোপ্রাইটারি ইন্টারকানেক্ট (HCCS), এবং একটি সম্পূর্ণ সফটওয়্যার ফ্রেমওয়ার্ক (CANN)। ফলাফল হল একটি স্বয়ংসম্পূর্ণ ইকোসিস্টেম যা পশ্চিমা সাপ্লাই চেইন থেকে স্বাধীনভাবে কাজ করে এবং তুলনামূলক NVIDIA H100 ক্লাস্ট চেয়ে অনেক কম খরচে।
ইন্টেল জিয়ন ৬ (গ্রানাইট র্যাপিডস)
বাজেট সার্ভার
২০২৬ সালে একটি নীরব বিপ্লব হল সিপিইউ-ভিত্তিক এআই ইনফারেন্স-এর উত্থান। ইন্টেল জিয়ন ৬ প্রসেসরে AMX (অ্যাডভান্সড ম্যাট্রিক্স এক্সটেনশন) অন্তর্ভুক্ত রয়েছে যা স্ট্যান্ডার্ড DDR5 RAM-এ এআই ওয়ার্কলোড সক্ষম করে—যা GPU মেমরির চেয়ে নাটকীয়ভাবে সস্তা।
একটি ডুয়াল-সকেট জিয়ন ৬ সার্ভার GPU মেমরির খরচের একটি ভগ্নাংশে 1 TB থেকে 4 TB DDR5 RAM ধারণ করতে পারে। ইনফারেন্স সিড ধীর, কিন্তু ব্যাচ প্রসেসিংয়ের জন্য — যেখানে গতি অপ্রাসঙ্গিক কিন্তু বুদ্ধিমত্তা এবং ক্ষমতা সর্বোচ্চ — এটি রূপান্তরকারী।
উদাহরণ: একটি এসএমবি রাতারাতি ১০০,০০০ স্ক্যান করা চালান আপলোড করে। জিয়ন ৬ সার্ভার ডেটা নিখুঁতভাবে্সট্রাক্ট করতে একটি +400B এআই মডেল চালায়। টাস্কটি ১০ ঘন্টা সময় নেয়, কিন্তু হার্ডওয়্যার খরচ GPU সার্ভারের চেয়ে অনেক কম।
সঠিক এআই সার্ভার ইনফ্রাস্ট্রাকচার বেছে নিতে সাহায্য প্রয়োজন?
আমাদের অবকাঠামো দল সম্পূর্ণ এআই সার্ভার সমাধান ডিজাইন ও স্থাপন করে — ইন্টেল গাউডি থেকে এনভিডিয়া ডিজিএক্স পর্যন্ত — কাস্টমাইজড সফটওয়্যারের সাথে সমন্বিত — আপনার ব্যবসার জন্য এআই-এর সামর্থ্য উন্মুক্ত করতে।
সার্ভার আর্কিটেকচার প্রস্তাবনা অনুরোধ করুন →6 এজ এআই
এজ এআই ও রেট্রোফিট বিদ্যমান অবকাঠামো আপগ্রেড করা
প্রতিটি এসএমবির একটি ডেডিকেটেড এআই সার্ভার বা মিনি-পিসির প্রয়োজন হয় না। অনেকেই বিদ্যমান অবকাঠামোতে বুদ্ধিমত্তা এম্বেড করতে পারে — ল্যাপটপ, ডেস্কটপ এবং নেটওয়ার্ক ডিভাইসগুলোকে ন্যূনতম খরচে এআই সামর্থ্য দিয়ে আপগ্রেড করে।
এম.২ এআই অ্যাক্সিলারেটর: হাইলো-১০
হাইলো-১০ একটি স্ট্যান্ডার্ড এম.২ ২২৮০ মডিউল — এসএসডির জন্য ব্যবহৃত একই স্লট — যা যেকোনো বিদ্যমান পিসিতে ডেডিকেটেডই প্রসেসিং যোগ করে। প্রতি ইউনিট ~~১৪ হাজার₹ এবং মাত্র ৫–৮W বিদ্যুরচ করে, এটি হার্ডওয়্যার প্রতিস্থাপন ছাড়াই পুরো ফ্লিট জুড়ে এআই আপগ্রেড সক্ষম করে।
ব্যবহারের ক্ষেত্র: স্থানীয় মিটিং ট্রান্সক্রিপশন (হুইস্পার), রিয়েল-টাইম ক্যাপশনিং, ভয়েস ডিক্টেশন, ছোট মডেল ইনফারেন্স (ফাই-৩ মিনি)। এই কার্ডগুলো বড় এলএলএম চালাতে পারে না, কিন্তু নির্দিষ্ট, অবিরাম এআই কাজে এগুলো উৎকর্ষতা প্রদর্শন করে — নিশ্চিত করে ভয়েস ডেটা স্থানীয়ভাবে প্রক্রিয়াকৃত হয় এবং কখনো ক্লাউডে পাঠানো হয় না।
কোপাইলট+ পিসি (এনপিইউ ল্যাপটপ)
কোয়ালকম স্ন্যাপড্রাগন এক্স এলিট, ইন্টেল কোর আল্ট্রা বা এএমডি রাইজেন এআই চিপসহ ল্যাপটপগুলিতে ডেডিকেটেড নিউরাল প্রসেসিং ইউনিট (এনপিইউ) থাকে — বিশেষায়িত এআই চিপ। এগুলি বড় এলএলএম চালাতে পারে না, তবে ছোট, স্থায়ী এআই টাস্ক হ্যান্ডেল করে: লাইভ ট্রান্সক্রিপশন, ব্যাকগ্রাউন্ড ব্লার, স্থানীয় রিকল
বৈশিষ্ট্য এবং মাইক্রোসফট ফাই-৩ এর মতো হালকা মডেল চালানো।
এনপিইউগুলি টিওপিএস (টেরা অপারেশনস পার সেকেন্ড) এ রেট করা হয়, যা পরিমাপ করে তারা কতটুকু এআই কাজ হ্যান্ডেল করতে পারে। ২০২৬ সালের সর্বাধিক শক্তিশালী কোপাইলট+ পিসিগুলির ~৫০ টিওপিএস রয়েছে। উচ্চতর টিওপিএস মানে দ্রুত প্রতিক্রিয়া এবং কিছুটা বড় এেল হ্যান্ডেল করার ক্ষমতা।
9 এআই মডেল
ওপেন-সোর্স এআই মডেল (2026–2027)
এআই মডেলের পছন্দ হার্ডওয়্যার প্রয়োজনীয়তা নির্ধারণ করে — কিন্তু এআই মডেল কোয়ান্টাইজেশন অধ্যায়ে প্রদর্শিত হয়েছে, কোয়ান্টাইজেশন ফ্রন্টিয়ার-ক্লাস মডেলকে সম্পূর্ণ-নির্ভুলতা ডেপ্লয়মেন্টের চেয়ে ভগ্নাংশ খরচের হার্ডওয়্যারে চালাতে দেয়।
নিচের সারণিটি বর্তমান এবং আসন্ন ওপেন-সোর্স এআই মডেলের একটি ওভারভিউ প্রদান করে।
| মডেল | আকার | আর্কিটেকচার | মেমরি (এফপি১৬) | মেমরি (আইএনটি৪) |
|---|---|---|---|---|
| লামা ৪ বিহেমথ | ২৮৮বি (সক্রিয়) | এমওই (~২টি মোট) | ~৪ টিবি | ~১ টিবি |
| লামা ৪ ম্যাভেরিক | ১৭বি (সক্রিয়) | এমওই (৪০০বি মোট) | ~৮০০ জিবি | ~২০০ জিবি |
| লামা ৪ স্কাউট | ১৭বি (সক্রিয়) | এমওই (১০৯বি মোট) | ~২২০ জিবি | ~৫৫ জিবি |
| ডিপসিক ভ | ~৭০বি (সক্রিয়) | এমওই (৬৭১বি মোট) | ~৬৮০ জিবি | ~১৭০ জিবি |
| ডিপসিক আর১ | ৩৭বি (সক্রিয়) | এমওই (৬৭১বি মোট) | ~১৪০ জিবি | ~৩৫ জিবি |
| ডিপসিক ভি৩.২ | ~৩৭বি (সক্রিয়) | এমওই (৬৭১বি মোট) | ~১৪০ জিবি | ~৩৫ জিবি |
| কিমি কে২.৫ | ৩২বি (সক্রিয়) | এমওই (১টি মোট) | ~২ টিবি | ~৫০০ জিবি |
| কিউওয়েন ৩.৫ | ৩৯৭বি (সক্রিয়) | এমওই (এ১৭বি) | ~১.৫ টিবি | ~৩৭৫ জিবি |
| কিউওয়েন ৩-ম্যাক্স-থিংকিং | বড় | ঘন | ~২ টিবি | ~৫০০ জিবি |
| কিউওয়েন ৩-কোডার-নেক্সট | ৪৮০বি (এ৩৫বি সক্রিয়) | এমওই | ~৯৬০ জিবি | ~২৪০ জিবি |
| মিস্ট্রাল লার্জ ৩ | ১২৩বি (৪১বি সক্রিয়) | এমওই (৬৭৫বি মোট) | ~২৪৬ জিবি | ~৬২ জিবি |
| মিনিস্ট্রাল ৩ (৩বি, ৮বি, ১৪বি) | ৩বি–১৪বি | ঘন | ~৬–২৮ জিবি | ~২–৭ জিবি |
| জিএলএম-৫ | ৪৪বি (সক্রিয়) | এমওই (৭৪৪বি মোট) | ~১.৫ টিবি | ~৩৭০ জিবি |
| জিএলএম-৪.৭ (থিংকিং) | বড় | ঘন | ~১.৫ টিবি | ~৩৭৫ জিবি |
| মিমো-ভি২-ফ্ল্যাশ | ১৫বি (সক্রিয়) | এমওই (৩০৯বি মোট) | ~৩০ GB | ~৮ জিবি |
| মিনিম্যাক্স এম২.৫ | ~১০বি (সক্রিয়) | এমওই (~২৩০বি মোট) | ~৪৬০ জিবি | ~১১৫ জিবি |
| ফাই-৫ রিজনিং | ১৪বি | ঘন | ~২৮ জিবি | ~৭ জিবি |
| ফাই-৪ | ১৪বি | ঘন | ~২৮ জিবি | ~৭ জিবি |
| জেমা ৩ | ২৭বি | ঘন | ~৫৪ জিবি | ~১৪ জিবি |
| পিক্সট্রাল ২ লার্জ | ৯০বি | ঘন | ~১৮০ জিবি | ~৪৫ জিবি |
| স্টেবল ডিফিউশন ৪ | ~১২B | ডিআইটি | ~২৪ জিবি | ~৬ জিবি |
| ফ্লাক্স.২ প্রো | ১৫বি | ডিআইটি | ~৩০ GB | ~৮ জিবি |
| ওপেন-সোরা ২.০ | ৩০বি | ডিআইটি | ~৬০ জিবি | ~১৫ জিবি |
| হুইস্পার ভি৪ | ১.৫বি | ঘন | ~৩ জিবি | ~১ জিবি |
| মেড-লামা ৪ | ৭০বি | ঘন | ~১৪০ জিবি | ~৩৫ জিবি |
| লিগ্যাল-বার্ট ২০২৬ | ৩৫বি | ঘন | ~৭০ জিবি | ~১৮ জিবি |
| ফাইন্যান্স-এলএলএম ৩ | ১৫বি | ঘন | ~৩০ GB | ~৮ জিবি |
| কোডলামা ৪ | ৭০বি | ঘন | ~১৪০ জিবি | ~৩৫ জিবি |
| মলমো ২ | ৮০বি | ঘন | ~১৬০ জিবি | ~৪০ জিবি |
| গ্রানাইট ৪.০ | ৩২বি (৯বি সক্রিয়) | হাইব্রিড মাম্বা-ট্রান্সফরমার | ~৬৪ জিবি | ~১৬ জিবি |
| নেমোট্রন ৩ | ৮বি, ৭০বি | ঘন | ~১৬–১৪০ জিবি | ~৪–৩৫ জিবি |
| এক্সাওয়ান ৪.০ | ৩২বি | ঘন | ~৬৪ জিবি | ~১৬ জিবি |
| লামা ৫ ফ্রন্টিয়ার | ~১.২টি (মোট) | এমওই | ~২.৪ টিবি | ~৬০০ জিবি |
| লামা ৫ বেস | ৭০বি–১৫০বি | ঘন | ~১৪০–৩০০ জিবি | ~৩৫–৭৫ জিবি |
| ডিপসিক ভি৫ | ~৬০০বি (মোট) | এমওই | ~১.২ টিবি | ~৩০০ জিবি |
| স্টেবল ডিফিউশন ৫ | নির্ধারণ করা হবে | ডিআইটি | — | — |
| ফ্যালকন ৩ | ২০০বি | ঘন | ~৪০০ জিবি | ~১০০ GB |
প্রথমে হার্ডওয়্যার কিনবেন না। আপনার ব্যবসার প্রয়োজনে মানানসই মডেল শ্রেণি চিহ্নিত করুন, তারপর সর্বাধিক সাশ্রয়ী হার্ডওয়্যার স্তর নির্ধারণ করতে কোয়ান্টাইজেশন প্রয়োগ করুন।
~২.৭ লাখ₹ এবং ১.৪ কোটি₹ বিনিয়োগের মধ্যে পার্থক্য প্রায়শই মডেল আকারের প্রয়োজনীয়তা এবং একই সময়ে ব্যবহারকারীর সংখ্যার উপর নির্ভর করে।
এআই মডেল ল্যান্ডস্কেপকে রূপদানকারী ট্রেন্ড
- স্ট্যান্ডার্ড হিসাবে নেটিভ মাল্টিমোডালিটি। নতুন মডেলগুলি টেক্সট, ইমেজ, অডিও এবং ভিডিওতে একই সাথে প্রশিক্ষিত হয়—প্রশিক্ষণের পরে আলাদা ক্ষমতা হিসাবে যুক্ত করা হয় না। এর অর্থ একটি একক মডেল ডকুমেন্ট বিশ্লেষণ, ইমেজ বোঝা এবং ভয়েস ইন্টারঅ্যাকশন পরিচালনা করে।
- ছোট মডেল বড় মডেলের ক্ষমতা অর্জন করছে। ফাই-৫ (১৪বি) এবং মিমো-ভি২-ফ্ল্যাশ দেখায় যে আর্কিটেকচারাল উদ্ভাবন ফ্রন্টিয়ার-লেভেল যুক্তিকে এমন মডেলে সংকুচিত করতে পারে যা ল্যাপটপে চলে। "বড় মানে ভাল" যুগ শেষ হচ্ছে।
- সাধারণীকরণের চেয়েরণ। সবকিছুর জন্য একটি বিশাল মডেলের পরিবর্তে, ট্রেন্ড হল বিশেষায়িত মডেলের সমন্বয় — একটি কোডিং মডেল, একটি রিজনিং মডেল, একটি ভিশন মডেল — একটি এজেন্ট ফ্রেমওয়ার্ক দ্বারা সমন্বিত। এটি মডেল প্রতি হার্ডওয়্যার প্রয়োজনীয়তা কমায় এবং সামগ্রিক গুণমান উন্নত করে।
- এজেন্টিক এআই। কিমি কে২.৫ এবং কিউওয়েন ৩ এর মতো মডেল জটিল কাজ স্বায়ত্তশাসিতভাবে বিশ্লেষণ, বাহ্যিক টুল কল এবং অন্যান্য মডেলের সাথে সমন্বয় করার জন্য ডিজাইন করা হয়েছে। এই
এজেন্ট সোয়ার্ম প্যারাডাইম দীর্ঘ সেশনে স্থায়ী থ্রুপুট দাবি করে — জিবি১০ এবং এম৫ আল্ট্রার মতো উচ্চ-ব্যান্ডউইথ হার্ডওয়্যারের পক্ষে।
- ভিডিও এবং ৩ডি জেনারেশন পরিপক্ব হচ্ছে। ওপেন-সোরা ২.০ এবং ফ্লাক্স.২ প্রো ইঙ্গিত দেয় যে স্থানীয় ভিডিও জেনারেশন ব্যবহারিক হয়ে উঠছে। ২০২৭ সালের মধ্যে ওয়ার্কস্টেশন-ক্লাস হার্ডওয়্যারে রিয়েল-টাইম ভিডিও এডিটিং সহকারী চালানোর আশা করুন।
10 নিরাপত্তা
সর্বোচ্চ নিরাপত্তার জন্য আর্কিটেকচার
স্থানীয় এআই হার্ডওয়্যারের প্রাথমিক সুবিধা হল পারফরম্যান্স নয় — এটি ডেটা সার্বভৌমত্ব। যখন আপনার এআই সার্ভার অন্য কারও ক্লাউডের পরিবর্তে আপনার ফায়ারওয়ালের পিছনে চলে, তখন আপনার সংবেদনশীল ডেটা কখনই আপনার ভবন ছাড়ে না।
এয়ার-গ্যাপড এপিআই আর্কিটেকচার শারীরিকভাবে এআই সার্ভারকে ইন্টারনেট থেকে বিচ্ছিন্ন করে যখন এটি একটি এপিআই ইন্টারফেসের মাধ্যমে অনুমোদিত কর্মীদের অ্যাক্সেসযোগ্য করে তোলে।
এই আর্কিটেকচার একটি ডিজিটাল ভল্ট
তৈরি করে। ব্রোকার সার্ভার যদি আপস হয়, একজন আক্রমণকারী শুধুমাত্র টেক্সট ক্যোয়ারী পাঠাতে পারে — তারা এআই সার্ভারের ফাইল সিস্টেম, মডেল ওজন, ফাইন-টিউনিং ডেটা বা সংরক্ষিত ডকুমেন্টে অ্যাক্সেস করতে পারবে না।
কাস্টমাইজড এআই সমাধান সহ একটি নিরাপদ এআই ডেপ্লয়মেন্ট প্রয়োজন?
আমাদের ইঞ্জিনিয়াররা এয়ার-গ্যাপড এআই আর্কিটেকচার ডিজাইন ও ডেপ্লয় করে নিশ্চিত করে যে ডেটা প্রাঙ্গন ছেড়ে যায় না এবং আপনার ব্যবসাকে সর্বাধুনিক এআই সামর্থ্য প্রদান করে।
নিরাপদ এআই আর্কিটেকচার নিয়ে আলোচনা করুন →11 অর্থনীতি
অর্থনৈতিক রায়: স্থানীয় বনাম ক্লাউড
স্থানীয় এআই হার্ডওয়্যারে রূপান্তর হল অপেক্স (অপারেশনাল এক্সপেন্ডিচার — মাসিক ক্ল এপিআই ফি) থেকে ক্যাপেক্স (ক্যাপিটাল এক্সপেন্ডিচার — একটি এককালীন হার্ডওয়্যার বিনিয়োগ যা আপনার ব্যালেন্স শিটে একটি সম্পদে পরিণত হয়)-এ স্থানান্তর।
একটি আইনি ফার্ম বিবেচনা করুন যা চুক্তি বিশ্লেষণ করতে ২০০বি মডেল চালায়:
প্রতিদিন ১,০০০ ক্যুয়েরিতে, একটি ডিজিএক্স স্পার্ক ক্লাউড এপিআই খরচের তুলনায় ২ মাসের কম সময়ে নিজের খরচ তুলে নেয়। উচ্চতর ব্যবহারের স্তরে, ব্রেক-ইভেন সময়কাল সপ্তাহে সংকুচিত হয়।
অর্থনৈতিক সুবিধা আরও অনুকূল হয়ে ওঠে যখন আপনি বিবেচনা করেন:
- একাধিক কর্মচারী একই হার্ডওয়্যার শেয়ার করে (ডিজিএক্স স্পার্ক ২–৫ জন একই সময়ে ব্যবহারকারীকে সার্ভিস দেয়)
- প্রতি-টোকেন মূল্য নেই — জটিল, বহু-ধাপ যুক্তি কাজের জন্য অতিরিক্ত খরচ নেই
- স্বতন্ত্র ডেটাতে ফাইন-টিউনিং — বেশিরভাগ ক্লাউড এপিআইতে অসম্ভব, স্থানীয় হার্ডওয়্যারে বিনামূল্যে
- হার্ডওয়্যার পুনঃবিক্রয় মূল্য — এআই হার্ডওয়্যার সেকেন্ডারি মার্কেটে উল্লেখযোগ্য মূল্য ধরে রাখে