1 ਬੁਨਿਆਦ
ਲੋਕਲ AI ਕਿਉਂ? ਮਾਲਕੀ ਲਈ ਕਾਰੋਬਾਰੀ ਕੇਸ
2020 ਦੇ ਸ਼ੁਰੂ ਵਿੱਚ, ਕੁਦਰਤੀ ਬੁੱਧੀਮਤਾ ਇੱਕ ਸੇਵਾ ਸੀ ਜੋ ਤੁਸੀਂ ਕਿਰਾਏ 'ਤੇ ਲੈਂਦੇ ਸੀ — ਘੰਟੇ, ਟੋਕਨ, ਜਾਂ API ਕਾਲ ਦੁਆਰਾ। 2026 ਤੱਕ, ਪੈਰਾਡਾਈਮ ਬਦਲ ਗਿਆ ਹੈ। GPT-4 ਕਲਾਸ
ਬੁੱਧੀਮਤਾ ਚਲਾਉਣ ਲਈ ਲੋੜੀਂਦਾ ਹਾਰਡਵੇਅਰ ਹੁਣ ਤੁਹਾਡੇ ਡੈਸਕ 'ਤੇ ਫਿੱਟ ਹੁੰਦਾ ਹੈ ਅਤੇ ਵਰਤੀ ਗਈ ਕਾਰ ਤੋਂ ਵੀ ਸਸਤਾ ਹੈ।
ਸਿਰਫ਼ ਕਲਾਉਡ AI 'ਤੇ ਨਿਰਭਰਤਾ ਜਾਰੀ ਰੱਖਣ ਨਾਲ ਇੱਕ ਰਣਨੀਤਕ ਤ੍ਰਿਸੰਕਟ ਪੈਦਾ ਹੁੰਦਾ ਹੈ:
- ਬਢ਼ਦੀਆਂ ਲਾਗਤਾਂ। ਪ੍ਰਤੀ-ਟੋਕਨ ਏਪੀਆਈ ਫੀਸਾਂ ਵਰਤੋਂ ਦੇ ਨਾਲ ਲੀਨੀਅਰ ਤਰੀਕੇ ਨਾਲ ਵਧਦੀਆਂ ਹਨ। ਇੱਕ ਕਾਨੂੰਨੀ ਫਰਮ ਜੋ ਰੋਜ਼ਾਨਾ 1,000 ਕਰਾਰਾਂ ਦੀ ਪ੍ਰੋਸੈਸਿੰਗ ਕਰਦੀ ਹੈ, ਨੂੰ ਸਾਲਾਨਾ ਏਪੀਆਈ ਲਾਗਤਾਂ ਵਿੱਚ ~₹32.7 L ਦਾ ਸਾਹਮਣਾ ਕਰਨਾ ਪੈ ਸਕਦਾ ਹੈ।
- ਡਾਟਾ ਐਕਸਪੋਜਰ। ਕਲਾਉਡ API ਨੂੰ ਭੇਜਿਆ ਗਿਆ ਹਰ ਕੁਐਰੀ ਡਾਟਾ ਹੁੰਦਾ ਹੈ ਜੋ ਤੁਹਾਡੇ ਨੈੱਟਵਰਕ ਨੂੰ ਛੱਡਦਾ ਹੈ ਅਤੇ ਡਾਟਾ ਸੁਰੱਖਿਆ ਅਤੇ ਪਰਾਈਵੇਸੀ ਖਤਰਿਆਂ ਦੇ ਸਾਹਮਣੇ ਆਉਂਦਾ ਹੈ।
- ਜ਼ੀਰੋ ਜਾਂ ਮਹਿੰਗਾ ਕਸਟਮਾਈਜ਼ੇਸ਼ਨ। ਕਲਾਉਡ ਮਾਡਲ ਜਨਰਲ ਹੁੰਦੇ ਹਨ। ਉਹਨਾਂ ਨੂੰ ਕਸਟਮ ਡਾਟਾ, ਅੰਦਰੂਨੀ ਕਾਰੋਬਾਰੀ ਪ੍ਰਕਿਰਿਆਵਾਂ, ਜਾਂ ਕਾਰੋਬਾਰੀ ਬੁੱਧੀ 'ਤੇ ਆਸਾਨੀ ਜਾਂ ਲਾਗਤ-ਕੁਸ਼ਲਤਾ ਨਾਲ ਫਾਈਨ-ਟਿਊਨ ਨਹੀਂ ਕੀਤਾ ਜਾ ਸਕਦਾ।
ਲੋਕਲ AI ਹਾਰਡਵੇਅਰ ਤਿੰਨਾਂ ਨੂੰ ਹੱਲ ਕਰਦਾ ਹੈ। ਇਹ ਵੇਰੀਏਬਲ API ਫੀਸਾਂ ਨੂੰ ਇੱਕ ਨਿਸ਼ਚਿਤ ਪੂੰਜੀ ਸੰਪੱਤੀ ਵਿੱਚ ਬਦਲਦਾ ਹੈ, ਯਕੀਨੀ ਬਣਾਉਂਦਾ ਹੈ ਕਿ ਡਾਟਾ LAN ਨੂੰ ਕਦੇ ਨਹੀਂ ਛੱਡਦਾ, ਅਤੇ ਕਾਰੋਬਾਰੀ ਡਾਟਾ 'ਤੇ ਫਾਈਨ-ਟਿਊਨਿੰਗ ਰਾਹੀਂ ਡੂੰਘੀ ਕਸਟਮਾਈਜ਼ੇਸ਼ਨ ਸਮਰੱਥ ਬਣਾਉਂਦਾ ਹੈ।
2 ਲਾਗਤਾਂ ਘਟਾਉਣਾ
ਕੁਆਂਟਾਈਜ਼ੇਸ਼ਨ: ਸਸਤੇ ਹਾਰਡਵੇਅਰ 'ਤੇ ਵੱਡੇ AI ਮਾਡਲ ਚਲਾਓ
ਕੁਆਂਟਾਈਜ਼ੇਸ਼ਨ ਇੱਕ ਅਜਿਹੀ ਧਾਰਨਾ ਹੈ ਜੋ ਲੋਕਲ AI ਦੇ ਆਰਥਿਕਸ ਨੂੰ ਮੂਲ ਰੂਪ ਵਿੱਚ ਬਦਲਦੀ ਹੈ।
ਸਰਲ ਸ਼ਬਦਾਂ ਵਿੱਚ, ਕੁਆਂਟਾਈਜ਼ੇਸ਼ਨ ਇੱਕ AI ਮਾਡਲ ਦੇ ਮੈਮੋਰੀ ਫੁਟਪ੍ਰਿੰਟ ਨੂੰ ਕੰਪਰੈਸ ਕਰਦੀ ਹੈ। ਇੱਕ ਮਾਨਕ ਮਾਡਲ ਹਰੇਕ ਪੈਰਾਮੀਟਰ ਨੂੰ 16-ਬਿੱਟ ਫਲੋਟਿੰਗ-ਪੁਆਇੰਟ ਨੰਬਰ (FP16) ਵਜੋਂ ਸਟੋਰ ਕਰਦਾ ਹੈ। ਕੁਆਂਟਾਈਜ਼ੇਸ਼ਨ ਇਸਨੂੰ 8-ਬਿੱਟ (Int8), 4-ਬਿੱਟ (Int4), ਜਾਂ ਇਸ ਤੋਂ ਵੀ ਘੱਟ ਕਰ ਦਿੰਦੀ ਹੈ — ਮਾਡਲ ਚਲਾਉਣ ਲਈ ਲੋੜੀਂਦੀ ਮੈਮੋਰੀ ਦੀ ਮਾਤਰਾ ਨੂੰ ਨਾਟਕੀ ਢੰਗ ਨਾਲ ਘਟਾਉਂਦੀ ਹੈ।
ਕੁਆਂਟਾਈਜ਼ੇਸ਼ਨ ਦੇ ਨਤੀਜੇ ਵਜੋਂ ਆਉਟਪੁੱਟ ਕੁਆਲਟੀ ਵਿੱਚ ਮਾਮੂਲੀ ਕਮੀ ਆਉਂਦੀ ਹੈ — ਅਕਸਰ ਸੰਖੇਪ, ਡਰਾਫਟਿੰਗ, ਅਤੇ ਵਿਸ਼ਲੇਸ਼ਣ ਵਰਗੇ ਕਾਰੋਬਾਰੀ ਕੰਮਾਂ ਲਈ ਅਣਗੌਲੇਯੋਗ — ਬਦਲੇ ਵਿੱਚ ਹਾਰਡਵੇਅਰ ਲਾਗਤ ਵਿੱਚ ਵਿਸ਼ਾਲ ਕਮੀ।
ਪੂਰੀ ਪ੍ਰਿਸੀਜ਼ਨ 'ਤੇ 400B ਮਾਡਲ ਨੂੰ ~800 GB ਮੈਮੋਰੀ ਦੀ ਲੋੜ ਹੁੰਦੀ ਹੈ — ~ ਦਾ ਸਰਵਰ ਨਿਵੇਸ਼। ਇੰਟ4 ਵਿੱਚ ਕੁਆਂਟਾਈਜ਼ਡ ਇੱਕੋ ਮਾਡਲ ਨੂੰ ਸਿਰਫ਼ ~200 GB ਦੀ ਲੋੜ ਹੈ, ਅਤੇ ਇਹ ਦੋ ਜੁੜੇ ਡੀਜੀਐੱਕਸ ਸਪਾਰਕ (ਜੀਬੀ10 ਸੁਪਰਚਿਪ ਅਧਾਰਤ) ਮਿੰਨੀ-ਪੀਸੀ 'ਤੇ ₹7,30,000 ਵਿੱਚ ਚਲ ਸਕਦਾ ਹੈ।
ਵਿਦਵਾਨਾਂ ਦਾ ਮਿਸ਼ਰਣ (MoE)
ਮਿਸ਼ਰਤ ਮਾਹਿਰ ਇੱਕ ਹੋਰ ਏਆਈ ਮਾਡਲ ਆਰਕੀਟੈਕਚਰ ਟ੍ਰਿਕ ਹੈ ਜੋ ਵਿਸ਼ਾਲ ਮੈਮੋਰੀ ਲਾਗਤ ਤੋਂ ਬਿਨਾਂ ਵੱਡੇ ਪੈਮਾਨੇ ਦੇ ਮਾਡਲਾਂ ਨੂੰ ਡਿਪਲਾਏ ਕਰਨਾ ਸੰਭਵ ਬਣਾਉਂਦੀ ਹੈ।
ਹਰ ਸਵਾਲ ਲਈ ਸਾਰੇ ਪੈਰਾਮੀਟਰਾਂ ਦੀ ਵਰਤੋਂ ਕਰਨ ਦੀ ਬਜਾਏ, ਇੱਕ MoE ਮਾਡਲ ਸਪਾਰਸ ਐਕਟੀਵੇਸ਼ਨ ਰਾਹੀਂ ਆਪਣੀ ਸਮਰੱਥਾ ਦਾ ਸਿਰਫ਼ ਇੱਕ ਹਿੱਸਾ ਸਰਗਰਮ ਕਰਦਾ ਹੈ।
2-ਟ੍ਰਿਲੀਅਨ ਪੈਰਾਮੀਟਰ MoE ਮਾਡਲ ਜਿਵੇਂ Llama 4 Behemoth ਹਰ ਕੁਐਰੀ ਲਈ ਸਿਰਫ਼ 288B ਪੈਰਾਮੀਟਰ ਸਰਗਰਮ ਕਰਦਾ ਹੈ — ਮੈਮੋਰੀ ਲਾਗਤ ਦੇ ਇੱਕ ਫ਼ਰੈਕਸ਼ਨ 'ਤੇ ਫਰੰਟੀਅਰ-ਲੈਵਲ ਇੰਟੈਲੀਜੈਂਸ ਪ੍ਰਦਾਨ ਕਰਦਾ ਹੈ।
MoE ਮਾਡਲ ਸੰਖੇਪਣ ਅਤੇ ਵਰਗੀਕਰਨ ਵਰਗੇ ਸਧਾਰਨ ਕਾਰਜਾਂ ਵਿੱਚ ਇੱਕੋ ਅਕਾਰ ਦੇ ਡੈਂਸ ਮਾਡਲਾਂ ਨਾਲੋਂ ਥੋੜ੍ਹੇ ਕੁ ਘੱਟ ਕੁਸ਼ਲ ਹਨ। ਗਿਆਨ-ਅਧਾਰਿਤ ਕੰਮ ਅਤੇ ਤਰਕ ਜਿਵੇਂ ਕਿ ਜਟਿਲ ਵਿਸ਼ਲੇਸ਼ਣ, ਕੋਡ ਜਨਰੇਸ਼ਨ ਅਤੇ ਖੋਜ ਲਈ, MoE ਮਾਡਲ ਬੇਹਤਰ ਪ੍ਰਦਰਸ਼ਨ ਕਰਦੇ ਹਨ।
ਸਪਾਰਸ ਐਕਟੀਵੇਸ਼ਨ ਨਾਲ ਤੇਜ਼ ਇਨਫਰੈਂਸ ਸਪੀਡ ਅਤੇ ਤੇਜ਼ ਜਵਾਬੀੇਂ ਦਾ ਨਤੀਜਾ ਨਿਕਲਦਾ ਹੈ।
3 ਮਿਨੀ-ਪੀਸੀ
AI ਮਿਨੀ-ਪੀਸੀ ₹1,35,000 - ₹9,10,000
2026 ਦਾ ਸਭ ਤੋਂ ਵਿਘਨਕਾਰੀ ਵਿਕਾਸ ਮਿਨੀ-ਪੀਸੀ ਫਾਰਮ ਫੈਕਟਰ ਵਿੱਚ ਉੱਚ-ਸਮਰੱਥਾ AI ਕੰਪਿਊਟਿੰਗ ਹੈ। ਹਾਰਡਕਵਰ ਕਿਤਾਬ ਤੋਂ ਵੱਡੇ ਨਾ ਹੋਣ ਵਾਲੇ ਡਿਵਾਈਸ ਹੁਣ ਉਹ AI ਮਾਡਲ ਚਲਾਉਂਦੇ ਹਨ ਜਿਨ੍ਹਾਂ ਨੂੰ ਦੋ ਸਾਲ ਪਹਿਲਾਂ ਸਰਵਰ ਕਮਰਿਆਂ ਦੀ ਲੋੜ ਸੀ।
ਐਨਵੀਡੀਆ GB10 ਈਕੋਸਿਸਟਮ (DGX ਸਪਾਰਕ)
ਪ੍ਰਦਰਸ਼ਨ ਲੀਡਰ
ਐਨਵੀਡੀਆ DGX ਸਪਾਰਕ ਨੇ ਇਸ ਸ਼੍ਰੇਣੀ ਨੂੰ ਪਰਿਭਾਸ਼ਿਤ ਕੀਤਾ ਹੈ। 2026 ਵਿੱਚ, GB10 ਸੁਪਰਚਿਪ — ਜੋ ਇੱਕ ARM ਗ੍ਰੇਸ CPU ਨੂੰ ਬਲੈਕਵੈਲ GPU ਨਾਲ ਜੋੜਦਾ ਹੈ — ਨੇ ਇੱਕ ਪੂਰੀ ਈਕੋਸਿਸਟਮ ਨੂੰ ਜਨਮ ਦਿੱਤਾ ਹੈ। ASUS, GIGABYTE, Dell, Lenovo, HP, MSI, ਅਤੇ Supermicro ਸਾਰੇ GB10-ਅਧਾਰਤ ਸਿਸਟਮ ਪੈਦਾ ਕਰਦੇ ਹਨ, ਹਰ ਇੱਕ ਵੱਖ-ਵੱਖ ਫਾਰਮ ਫੈਕਟਰਾਂ, ਕੂਲਿੰਗ ਸਲਿਊਸ਼ਨਾਂ, ਅਤੇ ਬੰਡਲਡ ਸਾਫਟਵੇਅਰ ਦੇ ਨਾਲ।
ਡੈਡੀਕੇਟਿਡ ਹਾਈ-ਸਪੀਡ ਨੈੱਟਵਰਕ ਪੋਰਟ ਰਾਹੀਂ ਦੋ GB10 ਯੂਨਿਟਾਂ ਨੂੰ ਜੋੜ ਕੇ, ਸਿਸਟਮ ਸਰੋਤਾਂ ਨੂੰ 256 GB ਮੈਮੋਰੀ ਸਪੇਸ ਵਿੱਚ ਜੋੜਦਾ ਹੈ। ਇਹ ਬਹੁਤ ਵੱਡੇ ਮਾਡਲਾਂ — 400B+ ਪੈਰਾਮੀਟਰ ਕੁਆਂਟਾਈਜ਼ਡ — ਨੂੰ ਪੂਰੀ ਤਰ੍ਹਾਂ ਤੁਹਾਡੇ ਡੈਸਕ 'ਤੇ ਚਲਾਉਣ ਦੀ ਸਮਰੱਥਾ ਨੂੰ ਅਨਲੌਕ ਕਰਦਾ ਹੈ, ਲਗਭਗ ₹7,30,000 ਕੁੱਲ ਹਾਰਡਵੇਰ ਨਿਵੇਸ਼ ਲਈ।
AMD ਰਾਈਜ਼ਨ AI ਮੈਕਸ (ਸਟ੍ਰਿਕਸ ਹੇਲੋ) ਮਿਨੀ-ਪੀਸੀ
ਸਭ ਤੋਂ ਘੱਟ ਲਾਗਤ
AMD ਦੀ ਰਾਈਜ਼ਨ AI ਮੈਕਸ+ ਸਟ੍ਰਿਕਸ ਹੇਲੋ
ਆਰਕੀਟੈਕਚਰ ਨੇ ਬਜਟ AI ਮਿਨੀ-ਪੀਸੀਆਂ ਦੀ ਇੱਕ ਪੂਰੀ ਤਰ੍ਹਾਂ ਨਵੀਂ ਸ਼੍ਰੇਣੀ ਨੂੰ ਜਨਮ ਦਿੱਤਾ ਹੈ। ਨਿਰਮਾਤਾਵਾਂ ਦੀ ਇੱਕ ਲਹਿਰ — GMKtec, Beelink, Corsair, NIMO, Bosgame, FAVM — ਹੁਣ ₹1,80,000 ਤੋਂ ਘੱਟ ਵਿੱਚ 128 GB ਯੂਨੀਫਾਈਡ-ਮੈਮੋਰੀ ਸਿਸਟਮ ਸਪਲਾਈ ਕਰਦੀ ਹੈ।
ਐਪਲ ਮੈਕ ਸਟੂਡੀਓ (M4 ਅਲਟਰਾ)
ਸਮਰੱਥਾ ਲੀਡਰ
ਮੈਕ ਸਟੂਡੀਓ ਲੋਕਲ AI ਲੈਂਡਸਕੇਪ ਵਿੱਚ ਇੱਕ ਵਿਲੱਖਣ ਸਥਾਨ ਰੱਖਦਾ ਹੈ। ਐਪਲ ਦੀ ਯੂਨੀਫਾਈਡ ਮੈਮੋਰੀ ਆਰਕੀਟੈਕਚਰ (UMA) ਇੱਕੋ, ਕੰਪੈਕਟ ਡੈਸਕਟਾਪ ਯੂਨਿਟ ਵਿੱਚ CPU ਅਤੇ GPU ਦੋਵਾਂ ਲਈ ਪਹੁੰਚਯੋਗ 256 GB ਤੱਕ ਮੈਮੋਰੀ ਪ੍ਰਦਾਨ ਕਰਦਾ ਹੈ — ਕਿਸੇ ਕਲਸਟਰਿੰਗ ਦੀ ਲੋੜ ਨਹੀਂ।
ਇਹ ਇਸਨੂੰ ਸਭ ਤੋਂ ਵੱਡੇ ਓਪਨ-ਸੋਰਸ ਮਾਡਲਾਂ ਨੂੰ ਲੋਡ ਕਰਨ ਦੇ ਸਮਰੱਥ ਇਕਲੌਤਾ ਵਹੀਂਯੋਗ
ਸਿੰਗਲ ਡਿਵਾਈਸ ਬਣਾਉਂਦਾ ਹੈ। 256 GB ਕਨਫਿਗਰੇਸ਼ਨ 'ਤੇ Int4 'ਤੇ ਕੁਆਂਟਾਈਜ਼ਡ 400-ਅਰਬ ਪੈਰਾਮੀਟਰ ਮਾਡਲ ਪੂਰੀ ਤਰ੍ਹਾਂ ਮੈਮੋਰੀ ਵਿੱਚ ਫਿੱਟ ਹੁੰਦਾ ਹੈ।
ਐਪਲ ਮੈਕ ਸਟੂਡੀਓ (M5 ਅਲਟਰਾ)
ਆਉਣ ਵਾਲਾ ਦਾਅਵੇਦਾਰ
ਐਪਲ ਦੀ ਅਗਲੀ ਪੀੜ੍ਹੀ M5 ਅਲਟਰਾ, ਜੋ 2026 ਦੇ ਅੰਤ ਵਿੱਚ ਆਉਣ ਦੀ ਉਮੀਦ ਹੈ, ਦੇ ਬਾਰੇ ਅਫਵਾਹ ਹੈ ਕਿ ਇਹ M4 ਦੀ ਪ੍ਰਾਇਮਰੀ ਕਮਜ਼ੋਰੀ ਨੂੰ ਦੂਰ ਕਰੇਗੀ: AI ਮਾਡਲ ਟ੍ਰੇਨਿੰਗ ਪ੍ਰਦਰਸ਼ਨ। TSMC ਦੇ 2nm ਪ੍ਰੋਸੈਸ 'ਤੇ ਬਣਿਆ, ਇਹ 1.2 TB/s ਤੋਂ ਵੱਧ ਬੈਂਡਵਿਡਥ ਦੇ ਨਾਲ512 GB ਤੱਕ ਯਨੀਫਾਈਡ ਮੈਮੋਰੀ ਦੇ ਕਨਫਿਗਰੇਸ਼ਨ ਪੇਸ਼ ਕਰਨ ਦੀ ਉਮੀਦ ਹੈ।
512 GB M5 Ultra ਪਹਿਲਾ ਗਾਹਕ ਯੰਤਰ ਹੋਵੇਗਾ ਜੋ ਅਣਕੁਆਂਟੀਜ਼ਡ (ਪੂਰੀ ਸ਼ੁੱਧਤਾ) ਫਰੰਟੀਅਰ ਮਾਡਲ ਚਲਾ ਸਕਦਾ ਹੈ। 1.2+ TB/s ਦੀ ਉੱਚ ਮੈਮੋਰੀ ਬੈਂਡਵਿਡਥ ਏਜੰਟਿਕ AI ਵਰਕਫਲੋਜ਼ ਨੂੰ ਸਹਾਰਾ ਦਿੰਦੀ ਹੈ ਜਿਸ ਨੂੰ ਬਹੁਤ ਲੰਬੇ ਸੰਦਰਭ ਵਿੰਡੋਜ਼ ਦੇ ਨਾਲ ਲਗਾਤਾਰ ਉੱਚ-ਥਰੂਪੁੱਟ ਇਨਫਰੈਂਸ ਦੀ ਲੋੜ ਹੁੰਦੀ ਹੈ।
ਟੀਨੀ ਏਆਈ
ਪਾਕਟ ਏਆਈ ਸੁਪਰਕੰਪਿਊਟਰ
ਕਿੱਕਸਟਾਰਟਰ 'ਤੇ 2026 ਵਿੱਚ ₹1,25,000 ਵਿੱਚ ਲਾਂਚ ਹੋਇਆ, ਟੀਨੀ.ਏਆਈ ਪਾਕਟ ਏਆਈ ਕੰਪਿਊਟਰ 80GB LGDDR5X ਮੈਮੋਰੀ ਅਤੇ 1TB SSD ਵਾਲਾ ਇੱਕ ਪਾਕਟ ਸੁਪਰਕੰਪਿਊਟਰ ਹੈ ਜੋ ਕਿਤੇ ਵੀ ਸਥਾਨਕ ਤੌਰ 'ਤੇ 120B ਏਆਈ ਮਾਡਲ ਚਲਾਉਣ ਦਾ ਸਮਰਥਨ ਕਰਦਾ ਹੈ।
300 ਗ੍ਰਾਮ (142×22×80mm) ਵਜਨ ਅਤੇ ਸਟੈਂਡਰਡ USB-C ਰਾਹੀਂ ਸੰਚਾਲਿਤ, ਇਹ ਨਵੀਨਤਾਕਾਰੀ ਕਾਰੋਬਾਰੀ ਐਪਲੀਕੇਸ਼ਨਾਂ ਨੂੰ ਸਹਿਯੋਗ ਦਿੰਦਾ ਹੈ। ਟੀਨੀ ਏਆਈ GPT-OSS-120B ਲਈ 21.14 ਟੋਕਨ ਪ੍ਰਤੀ ਸਕਿੰਟ ਦੀ ਆਉਟਪੁੱਟ ਸਪੀਡ ਦੀ ਰਿਪੋਰਟ ਕਰਦਾ ਹੈ।
ਟੈਨਸਟੋਰੈਂਟ
ਓਪਨ ਸੋਰਸ ਹਾਰਡਵੇਅਰ
ਮਹਾਨ ਚਿੱਪ ਆਰਕੀਟੈਕਟ ਜਿਮ ਕੈਲਰ ਦੀ ਅਗਵਾਈ ਵਿੱਚ, ਟੈਨਸਟੋਰੈਂਟ ਇੱਕ ਮੂਲ ਭਿੰਨ ਦਰਸ਼ਨ ਦੀ ਨੁਮਾਇੰਦਗੀ ਕਰਦਾ ਹੈ: ਓਪਨ-ਸੋਰਸ ਹਾਰਡਵੇਅਰ ਜੋ RISC-V 'ਤੇ ਬਣਾਇਆ ਗਿਆ, ਓਪਨ-ਸੋਰਸ ਸਾਫਟਵੇਅਰ, ਅਤੇ ਡੇਜ਼ੀ-ਚੇਨਿੰਗ ਦੁਆਰਾ ਮਾਡਯੂਲਰ ਸਕੇਲਿੰਗ।
ਟੈਨਸਿਕਸ
AI ਕੋਰ ਲੀਨੀਅਰ ਸਕੇਲ ਕਰਨ ਲਈ ਡਿਜ਼ਾਈਨ ਕੀਤੇ ਗਏ ਹਨ: GPU ਤੋਂ ਉਲਟ, ਜੋ ਵਧੇਰੇ ਕਾਰਡਾਂ ਨੂੰ ਜੋੜਣ 'ਤੇ ਕਮਿਊਨੀਕੇਸ਼ਨ ਓਵਰਹੈੱਡ ਨਾਲ ਸੰਘਰਸ਼ ਕਰਦੇ ਹਨ, ਟੈਨਸਟੋਰੈਂਟ ਚਿਪਸ ਕੁਸ਼ਲਤਾ ਨਾਲ ਟਾਈਲਰਨ ਲਈ ਬਣਾਏ ਗਏ ਹਨ।
ਰੇਜ਼ਰ ਨਾਲ ਸਾਂਝੇਦਾਰੀ ਵਿੱਚ, ਟੈਨਸਟੋਰੈਂਟ ਨੇ ਇੱਕ ਕੰਪੈਕਟ ਬਾਹਰੀ AI ਐਕਸਲੇਟਰ ਜਾਰੀ ਕੀਤਾ ਹੈ ਜੋ ਥੰਡਰਬੋਲਟ ਰਾਹੀਂ ਕਿਸੇ ਵੀ ਲੈਪਟਾਪ ਜਾਂ ਡੈਸਕਟਾਪ ਨਾਲ ਜੁੜਦਾ ਹੈ — ਬਿਨਾਂ ਕਿਸੇ ਚੀਜ਼ ਨੂੰ ਬਦਲੇ ਮੌਜੂਦਾ ਹਾਰਡਵੇਅਰ ਨੂੰ ਇੱਕ AI ਵਰਕਸਟੇਸ਼ਨ ਵਿੱਚ ਬਦਲਦਾ ਹੈ।ਰੇਜ਼ਰ × ਟੈਨਸਟੋਰੈਂਟ ਕੰਪੈਕਟ AI ਐਕਸਲੇਟਰ
AI NAS — ਨੈੱਟਵਰਕ ਅਟੈਚਡ ਸਟੋਰੇਜ
ਸਟੋਰੇਜ + AI
NAS ਦੀ ਪਰਿਭਾਸ਼ਾ ਪੈਸਿਵ ਸਟੋਰੇਜ ਤੋਂ ਐਕਟਿਵ ਇੰਟੈਲੀਜੈਂਸ ਵੱਲ ਬਦਲ ਗਈ ਹੈ। ਨੈੱਟਵਰਕ ਸਟੋਰੇਜ ਡਿਵਾਈਸਾਂ ਦੀ ਇੱਕ ਨਵੀਂ ਪੀੜ੍ਹੀ ਸਿੱਧੇ ਤੌਰ 'ਤੇ AI ਪ੍ਰੋਸੈਸਿੰਗ ਨੂੰ ਇੰਟੀਗ੍ਰੇਟ ਕਰਦੀ ਹੈ — ਹਲਕੇ NPU-ਅਧਾਰਤ ਇਨਫਰੈਂਸ ਤੋਂ ਲੈ ਕੇ ਪੂਰੀ GPU-ਐਕਸਲੇਰੇਟਡ LLM ਡਿਪਲਾਏਮੈਂਟ ਤੱਕ।
ਇੱਕ AI-ਸਮਰੱਥ NAS ਇੱਕ ਵੱਖਰੇ AI ਡਿਵਾਈਸ ਦੀ ਲੋੜ ਨੂੰ ਖਤਮ ਕਰਦਾ ਹੈ ਅਤ਼ੀਰੋ ਨੈੱਟਵਰਕ ਟ੍ਰਾਂਸਫਰ ਲੇਟੈਂਸੀ ਨਾਲ ਵੱਡੀ ਮਾਤਰਾ ਵਿੱਚ ਡੇਟਾ ਦੀ ਸਿੱਧੀ ਪ੍ਰੋਸੈਸਿੰਗ ਦੀ ਆਗਿਆ ਦਿੰਦਾ ਹੈ।
ਕੀ ਤੁਹਾਨੂੰ ਆਪਣੇ ਕਾਰੋਬਾਰ ਲਈ ਸਹੀ AI ਮਿੰਨੀ-ਪੀਸੀ ਚੁਣਨ ਵਿੱਚ ਮਦਦ ਚਾਹੀਦੀ ਹੈ?
ਸਾਡੇ ਇੰਜੀਨੀਅਰ ਤੁਹਾਡੀਆਂ AI ਹਾਰਡਵੇਅਰ ਲੋੜਾਂ ਦਾ ਮੁਲਾਂਕਣ ਕਰ ਸਕਦੇ ਹਨ ਅਤੇ ਪੂਰੀ ਤਰ੍ਹਾਂ ਕੌਂਫਿਗਰ ਕੀਤਾ ਗਿਆ AI ਸਿਸਟਮ ਤੈਾਤ ਕਰ ਸਕਦੇ ਹਨ।
ਮੁਫਤ ਹਾਰਡਵੇਅਰ ਮੁਲਾਂਕਣ ਪ੍ਰਾਪਤ ਕਰੋ →4 ਵਰਕਸਟੇਸ਼ਨਾਂ
AI ਵਰਕਸਟੇਸ਼ਨਾਂ & ਡੈਸਕਟਾਪ ਪੀਸੀਆਂ ₹2.7 L - ₹13.6 L
ਵਰਕਸਟੇਸ਼ਨ ਟੀਅਰ ਵੱਖਰੀਆਂ PCIe ਗ੍ਰਾਫਿਕਸ ਕਾਰਡਾਂ ਅਤੇ ਮਿਆਰੀ ਟਾਵਰ ਚੇਸਿਸ ਦੀ ਵਰਤੋਂ ਕਰਦਾ ਹੈ। ਮਿੰਨੀ-ਪੀਸੀ ਟੀਅਰ ਦੀਆਂ ਸਥਿਰ ਏਕੀਕ੍ਰਿਤ ਆਰਕੀਟੈਕਚਰਾਂ ਤੋਂ ਉਲਟ, ਇਹ ਟੀਅਰ ਮਾਡਯੂਲੈਰਟੀ ਪੇਸ਼ ਕਰਦਾ ਹੈ - ਤੁਸੀਂ ਵਿਅਕਤੀਗਤ ਕੰਪੋਨੈਂਟਾਂ ਨੂੰ ਅਪਗ੍ਰੇਡਦੇ ਹੋ, ਹੋਰ GPU ਜੋੜ ਸਕਦੇ ਹੋ, ਜਾਂ ਤਕਨਾਲੋਜੇ ਵਿਕਾਸ ਨਾਲ ਕਾਰਡਾਂ ਨੂੰ ਬਦਲ ਸਕਦੇ ਹੋ।
VRAM ਬਨਾਮ ਸਪੀਡ ਨੂੰ ਸਮਝਣਾ
AI ਲਈ GPU ਚੋਣ ਨੂੰ ਦੋ ਮੁਕਾਬਲੇ ਕਾਰਕ ਪਰਿਭਾਸ਼ਿਤ ਕਰਦੇ ਹਨ:
ਕਿਊਮਰ ਕਾਰਡ (ਜਿਵੇਂ RTX 5090) ਸਪੀਡ ਨੂੰ ਵੱਧ ਤੋਂ ਵੱਧ ਕਰਦੇ ਹਨ ਪਰ ਸੀਮਤ VRAM ਪੇਸ਼ ਕਰਦੇ ਹਨ - ਆਮ ਤੌਰ 'ਤੇ 24-32 GB। ਪ੍ਰੋਫੈਸ਼ਨਲ ਕਾਰਡ (ਜਿਵੇਂ RTX PRO 6000 ਬਲੈਕਵੈਲ) VRAM ਨੂੰ ਵੱਧ ਤੋਂ ਵੱਧ ਕਰਦੇ ਹਨ - ਪ੍ਰਤੀ ਕਾਰਡ 96 GB ਤੱਕ - ਪਰ ਕੰਪਿਊਟ ਦੀ ਪ੍ਰਤੀ ਯੂਨਿਟ ਵਧੇਰੇ ਖਰਚ ਹੁੰਦੇ ਹਨ।
VRAM ਬਾਈਂਡਿੰਗ ਕੰਟਰੇਂਟ ਹੈ। ਅਪਰ्यਾਪਤ ਮੈਮੋਰੀ ਵਾਲਾ ਇੱਕ ਤੇਜ਼ ਕਾਰਡ AI ਮਾਡਲ ਨੂੰ ਬਿਲਕੁਲ ਲੋਡ ਨਹੀਂ ਕਰ ਸਕਦਾ। ਪਰਿਆਪਤ ਮੈਮੋਰੀ ਵਾਲਾ ਇੱਕ ਹੌਲੀ ਕਾਰਡ ਮਾਡਲ ਚਲਾ ਸਕਦਾ ਹੈ - ਬਸ ਲੰਬੇ ਜਵਾਬੀ ਸਮੇਂ ਨਾਲ।
ਕੰਜ਼ਿਊਮਰ GPU
| ਕੌਂਫਿਗਰੇਸ਼ਨ | ਕੁੱਲ VRAM | ਲਿੰਕਿੰਗ | ਅਨੁ. ਲਾਗਤ |
|---|---|---|---|
| 2× RTX 3090 (ਵਰਤੀ ਗਈ) | 48 GB | NVLink | ~₹2,75,000 |
| 2× RTX 4090 | 48 GB | PCIe Gen 5 | ₹3,65,000 |
| 2× RTX 5090 | 64 GB | PCIe Gen 5 | ₹6,35,000 |
ਪ੍ਰੋਫੈਸ਼ਨਲ GPU
| ਕੌਂਫਿਗਰੇਸ਼ਨ | ਕੁੱਲ VRAM | ਲਿੰਕਿੰਗ | ਅਨੁ. ਲਾਗਤ |
|---|---|---|---|
| 2× RTX A6000 ਸਭ ਤੋਂ ਵਧੀਆ ਮੁੱਲ | 96 GB | NVLink | ₹6,35,000 |
| 2× RTX 6000 Ada | 96 GB | PCIe Gen 5 | ₹11,80,000 |
| 1× RTX PRO 6000 Blackwell | 96 GB | NVLink | ₹7,30,000 |
| 4× RTX PRO 6000 Blackwell | 384 GB | PCIe Gen 5 | ₹29,10,000 |
ਡੇਟਾ ਸੈਂਟਰ GPU
| ਕੌਂਫਿਗਰੇਸ਼ਨ | ਕੁੱਲ VRAM | ਲਿੰਕਿੰਗ | ਅਨੁ. ਲਾਗਤ |
|---|---|---|---|
| 1× L40S | 48 GB | PCIe 4.0 (ਪੈਸਿਵ ਕੂਲਿੰਗ) | ₹6,35,000 |
| 1× A100 PCIe | 80 GB | PCIe 4.0 | ₹9,10,000 |
| 1× H200 NVL | 141 GB | NVLink | ₹27,30,000 |
| 4× H200 NVL | 564 GB | NVLink | ₹1,09,00,000 |
| 1× B200 SXM | 180 GB | NVLink 5 (1.8 TB/s) | ₹27,30,000 |
| 8× B200 SXM | 1,440 GB | NVLink 5 (1.8 TB/s) | ₹2,18,00,000 |
ਚੀਨੀ GPU
ਚੀਨ ਦਾ ਘਰੇਲੂ GPU ਈਕੋਸਿਸਟਮ ਤੇਜ਼ੀ ਨਾਲ ਪ੍ਰਗਟ ਹੋਇਆ ਹੈ। ਕਈ ਚੀਨੀ ਨਿਰਮਾਤਾ ਹੁਣ ਵਰਕਸਟੇਸ਼ਨ-ਕਲਾਸ AI GPU ਪੇਸ਼ ਕਰਦੇ ਹਨ ਜਿਨ੍ਹਾਂ ਦੀਆਂ ਮੁਕਾਬਲੇਬਾਜ਼ ਸਪੈਸੀਫਿਕੇਸ਼ਨਾਂ ਅਤੇ ਕਾਫ਼ੀ ਘੱਟ ਕੀਮਤਾਂ ਹਨ।
| ਕੌਂਫਿਗਰੇਸ਼ਨ | ਕੁੱਲ VRAM | ਮੈਮੋਰੀ ਕਿਸਮ | ਅਨੁ. ਲਾਗਤ |
|---|---|---|---|
| 1× Moore Threads MTT S4000 | 48 GB | GDDR6 | ₹72,000 |
| 4× Moore Threads MTT S4000 | 192 GB | GDDR6 | ₹3,20,000 |
| 8× Moore Threads MTT S4000 | 384 GB | GDDR6 | ₹5,90,000 |
| 1× Hygon DCU Z100 | 32 GB | HBM2 | ₹2,25,000 |
| 1× Biren BR104 | 32 GB | HBM2e | ~₹2,75,000 |
| 8× Biren BR104 | 256 GB | HBM2e | ₹21,80,000 |
| 1× Huawei Ascend Atlas 300I Duo | 96 GB | HBM2e | ₹1,10,000 |
| 8× ਹੁਆਵੇਈ ਐਸੈਂਡ ਐਟਲਸ 300I ਡਿਊਓ | 768 GB | HBM2e | ₹9,10,000 |
ਆਉਣ ਵਾਲੇ
| ਕੌਂਫਿਗਰੇਸ਼ਨ | ਕੁੱਲ VRAM | ਸਥਿਤੀ | ਅਨੁ. ਲਾਗਤ |
|---|---|---|---|
| RTX 5090 128 GB | 128 GB | ਚੀਨੀ ਮਾਡ. — ਕੋਈ ਮਿਆਰੀ SKU ਨਹੀਂ | ₹4,55,000 |
| RTX Titan AI | 64 GB | 2027 ਵਿੱਚ ਆਉਣ ਦੀ ਉਮੀਦ | ~₹2,75,000 |
NVIDIA DGX ਸਟੇਸ਼ਨ
ਐਂਟਰਪ੍ਰਾਈਜ਼ ਏਪੈਕਸ
NVIDIA DGX ਸਟੇਸ਼ਨ ਇੱਕ ਪਾਣੀ ਨਾਲ ਠੰਡਾ ਕੀਤਾ ਗਿਆ, ਡੈਸਕਸਾਈਡ ਸੁਪਰਕੰਪਿਊਟਰ
ਹੈ ਜੋ ਡੇਟਾ-ਸੈਂਟਰ ਪ੍ਰਦਰਸ਼ਨ ਨੂੰ ਦਫਤਰੀ ਵਾਤਾਵਰਣ ਵਿੱਚ ਲਿਆਉਂਦਾ ਹੈ। ਨਵੀਨਤਮ ਸੰਸਕਰਣ GB300 Grace Blackwell ਸੁਪਰਚਿੱਪ ਦੀ ਵਰਤੋਂ ਕਰਦਾ ਹੈ।
ਬਲੈਕਵੈਲ ਅਲਟਰਾ
ਸੰਸਕਰਣ ਮੈਮੋਰੀ ਡੈਂਸਿਟੀ ਅਤੇ ਕੰਪਿਊਟ ਪਾਵਰ ਨੂੰ ਵਧਾਉਂਦੀ ਹੈ, ਜੋ ਉਨ੍ਹਾਂ ਸੰਗਠਨਾਂ ਲਈ ਤਿਆਰ ਕੀਤੀ ਗਈ ਹੈ ਜਿਨ੍ਹਾਂ ਨੂੰ ਸਿਫਰ ਤੋਂ ਕਸਟਮ ਮਾਡਲਾਂ ਨੂੰ ਸਿਖਲਾਈ ਦੇਣੀ ਹੈ ਜਾਂ ਵਿਸ਼ਾਲ MoE (ਮਿਸ਼ਰਣ ਆਫ਼ ਐਕਸਪਰਟਸ) ਆਰਕੀਟੈਕਚਰਾਂ ਨੂੰ ਲੋਕਲੀ ਚਲਾਉਣਾ ਹੈ।
ਪਿਛਲੀ ਪੀੜ੍ਹੀ ਦੇ ਐਂਪੀਅਰ ਆਰਕੀਟੈਕਚਰ 'ਤੇ ਅਧਾਰਤ ਹੋਣ ਦੇ ਬਾਵਜੂਦ, ਇਹ ਭਰੋਸੇਯੋਗ ਇਨਫਰੈਂਸ ਅਤੇ ਫਾਈਨ-ਟਿਊਨਿੰਗ ਲਈ ਉਦਯੋਗ ਮਿਆਰੀ ਬਣਿਆ ਹੋਇਆ ਹੈ। ਬਲੈਕਵ ਲਈ ਬਜਟ ਤੋਂ ਬਿਨਾਂ ਏਆਈ ਖੇਤਰ ਵਿੱਚ ਦਾਖਲ ਹੋ ਰਹੀਆਂ ਟੀਮਾਂ ਲਈ ਆਦਰਸ਼।
ਮਹਿੰਗਾ ਹੋਣ ਦੇ ਬਾਵਜੂਦ, ਡੀਜੀਐੱਕਸ ਸਟੇਸ਼ਨ ~₹2.73 ਕਰੋੜ ਸਰਵਰ ਰੈਕ ਅਤੇ ਇਸਦੇ ਸੰਬੰਧਿਤ ਕੂਲਿੰਗ ਇਨਫਰਾਸਟ੍ਰਕਚਰ ਦੀ ਥਾਂ ਲੈ ਲੈਂਦਾ ਹੈ। ਇਹ ਇੱਕ ਸਟੈਂਡਰਡ ਵਾਲ ਆਉਟਲੈੱਟ ਵਿ ਪਲੱਗ ਹੁੰਦਾ ਹੈ। ਇਸ ਨਾਲ ਸਰਵਰ ਰੂਮ
ਓਵਰਹੈੱਡ ਪੂਰੀ ਤਰ੍ਹਾਂ ਖਤਮ ਹੋ ਜਾਂਦਾ ਹੈ।
ਕੀ ਤੁਹਾਨੂੰ ਆਪਣੇ ਕਾਰੋਬਾਰ ਲਈ ਸਹੀ AI ਵਰਕਸਟੇਸ਼ਨ ਚੁਣਨ ਵਿੱਚ ਮਦਦ ਚਾਹੀਦੀ ਹੈ?
ਸਾਡੇ ਇੰਜੀਨੀਅਰ ਤੁਹਾਡੀਆਂ AI ਹਾਰਡਵੇਅਰ ਲੋੜਾਂ ਦਾ ਮੁਲਾਂਕਣ ਕਰ ਸਕਦੇ ਹਨ ਅਤੇ ਪੂਰੀ ਤਰ੍ਹਾਂ ਕੌਂਫਿਗਰ ਕੀਤਾ ਗਿਆ AI ਸਿਸਟਮ ਤੈਾਤ ਕਰ ਸਕਦੇ ਹਨ।
ਮੁਫਤ ਹਾਰਡਵੇਅਰ ਮੁਲਾਂਕਣ ਪ੍ਰਾਪਤ ਕਰੋ →5 ਸਰਵਰ
AI ਸਰਵਰ ₹13.6 L - ₹1.82 Cr
ਜਦੋਂ ਤੁਹਾਡੇ ਕਾਰੋਬਾਰ ਨੂੰ ਇੱਕੋ ਸਮੇਂ ਬਹੁਤ ਸਾਰੇ ਕਰਮਚਾਰੀਆਂ ਨੂੰ ਸੇਵਾ ਦੇਣੀ ਹੋਵੇ, ਫਾਊਂਡੇਸ਼ਨ-ਕਲਾਸ ਮਾਡਲ ਪੂਰੀ ਪ੍ਰਿਸੀਜ਼ਨ 'ਤੇ ਚਲਾਉਣੇ ਹੋਣ, ਜਾਂ ਮਾਲਕੀ ਵਾਲੇ ਡੇਟਾ 'ਤੇ ਕਸਟਮ ਮਾਡਲ ਫਾਈਨ-ਟਿਊਨ ਕਰਨੇ ਹੋਣ — ਤੁਸੀਂ ਸਰਵਰ ਟੀਅਰ ਵਿੱਚ ਦਾਖਲ ਹੁੰਦੇ ਹੋ।
ਇਹ ਉੱਚ-ਬੈਂਡਵਿਡਥ ਮੈਮੋਰੀ (HBM) ਵਾਲੇ ਸਮਰਪਿਤ AI ਐਕਸਲੇਟਰ ਕਾਰਡਾਂ, ਵਿਸ਼ੇਸ਼ ਇੰਟਰਕਨੈਕਟਸ, ਅਤੇ ਰੈਕ-ਮਾਊਂਬਲ ਜਾਂ ਡੈਸਕਸਾਈਡ ਫਾਰਮ ਫੈਕਟਰਾਂ ਦਾ ਡੋਮੇਨ ਹੈ। ਹਾਰਡਵੇਅਰ ਵਧੇਰੇ ਮਹਿੰਗਾ ਹੈ, ਪਰ ਪ੍ਰਤੀ ਯੂਜ਼ਰ ਲਾਗਤ ਸਕੇਲ 'ਤੇ ਨਾਟਕੀ ਢੰਗ ਨਾਲ ਘੱਟ ਜਾਂਦੀ ਹੈ।
ਇੰਟਲ ਗੌਡੀ 3
ਸਕੇਲ 'ਤੇ ਸਭ ਤੋਂ ਵਧੀਆ ਮੁੱਲ
ਇੰਟਲ ਦਾ ਗੌਡੀ 3 ਐਕਸਲੇਟਰ ਸਿਫਰ ਤੋਂ ਇੱਕ AI ਟ੍ਰੇਨਿੰਗ ਅਤੇ ਇਨਫਰੈਂਸ ਚਿੱਪ ਵਜੋਂ ਤਿਆਰ ਕੀਤਾ ਗਿਆ ਸੀ - ਨਾ ਕਿ ਮੁੜ ਵਰਤੀ ਗਈ ਗ੍ਰਾਫਿਕਸ ਕਾਰਡ। ਹਰੇਕ ਕਾਰਡ ਇੰਟੀਗ੍ਰੇਟਡ 400 Gb ਈਥਰਨੈੱਟ ਨੈਟਵਰਕਿੰਗ ਦੇ ਨਾਲ 128 GB HBM2e ਮੈਮੋਰੀ ਪ੍ਰਦਾਨ ਕਰਦਾ ਹੈ, ਜਿਸ ਨਾਲ ਵੱਖਰੇ ਨੈੱਟਵਰਕ ਅਡੈਪਟਰਾਂ ਦੀ ਲੋੜ ਖਤਮ ਹੋ ਜਾਂਦੀ ਹੈ।
ਗੌਡੀ 3 ਦੋ ਫਾਰਮ ਫੈਕਟਰਾਂ ਵਿੱਚ ਉਪਲਬਧ ਹੈ:
- PCIe ਕਾਰਡ (HL-338): ਮੌਜੂਦਾ ਸਰਵਰਾਂ ਵਿੱਚ ਇੰਟੀਗ੍ਰੇਸ਼ਨ ਲਈ ਸਟੈਂਡਰਡ PCIe ਫਾਰਮ ਫੈਕਟਰ। ਅਨੁਮਾਨਿਤ ਕੀਮਤ: ~₹10,90,000 ਰਤੀ ਕਾਰਡ।
- OAM (OCP ਐਕਸਲੇਟਰੇਟਰ ਮੋਡੀਊਲ): ਕਲਾਉਡ ਡਾਟਾ ਸੈਂਟਰਾਂ ਲਈ ਹਾਈ-ਡੈਂਸਿਟੀ OCP ਮਿਆਰ। 8-ਚਿਪ ਕਿੱਟਾਂ (~₹1,13,60,000 ਬੇਸਬੋਰਡ ਸਮੇਤ ਕੁੱਲ) ਵਿੱਚ ਖਰੀਦਣ 'ਤੇ ਪ੍ਰਤੀ ਚਿਪ ₹14,20,000।
8-ਕਾਰਡ ਗੌਡੀ 3 ਸਰਵਰ ਤੁਲਨਾਤਮਕ ਐੱਨਵੀਡੀਆ H100 ਸਿਸਟਮ ਨਾਲੋਂ ਬਹੁਤ ਘੱਟ ਲਾਗਤ 'ਤੇ 1 TB ਕੁੱਲ ਏਆਈ ਮੈਮੋਰੀ ਪ੍ਰਦਾਨ ਕਰਦਾ ਹੈ।
AMD ਇੰਸਟਿੰਕਟ MI325X
ਅਧਿਕਤਮ ਡੈਂਸਿਟੀ
AMD ਇੰਸਟਿੰਕਟ MI325X ਪ੍ਰਤੀ ਕਾਰਡ 256 GB HBM3e ਮੈਮੋਰੀ ਪੈਕ ਕਰਦਾ ਹੈ — ਇੰਟੈਲ ਗੌਡੀ 3 ਤੋਂ ਦੁੱਗਣੀ। ਇੰਟੈਲ ਲਈ 8 ਕਾਰਡਾਂ ਦੇ ਮੁਕਾਬਲੇ ਕੁੱਲ 1 TB ਏਆਈ ਮੈਮੋਰੀ ਤੱਕ ਪਹੁੰਚਣ ਲਈ ਸਿਰਫ਼ 4 ਕਾਰਡ ਚਾਹੀਦੇ ਹਨ।
MI325X ਪ੍ਰਤੀ ਸਿਸਟਮ ਗੌਡੀ 3 ਨਾਲੋਂ ਮਹਿੰਗਾ ਹੈ, ਪਰ ਤੇਜ਼ ਅਤੇ ਡੈਂਸਰ ਹੈ। ਵਰਕਲੋਡਾਂ ਲਈ ਜੋ ਅਧਿਕਤਮ ਥਰੂਪੁ ਦੀ ਮੰਗ ਕਰਦੀਆਂ ਹਨ — ਵਧੇਰੇ ਯੂਜ਼ਰਾਂ ਲਈ ਰੀਅਲ-ਟਾਈਮ ਇਨਫਰੈਂਸ, ਜਾਂ ਵੱਡੇ ਡੇਟਾਸੈੱਟਾਂ 'ਤੇ ਕਸਟਮ ਮਾਡਲਾਂ ਦੀ ਟ੍ਰੇਨਿੰਗ — ਘੱਟ ਲੇਟੈਂਸੀ ਅਤੇ ਸਰਲ ਇਨਫਰਾਸਟ੍ਰਕਚਰ ਨਾਲ ਉੱਚ ਨਿਵੇਸ਼ ਆਪਣਾ ਆਪ ਭਰਦਾ ਹੈ।
ਹੁਆਵੇਈ ਐਸੈਂਡ
ਪੂਰੀ-ਸਟੈਕ ਵਿਕਲਪ
ਹੁਆਵੇਈ ਨੇ ਪੂਰੀ AI ਇਨਫਰਾਸਟ੍ਰਕਚਰ ਸਟੈਕ ਦੀ ਨਕਲ ਕੀਤੀ ਹੈ: ਕਸਟਮ ਸਿਲੀਕਾਨ (ਐਸੈਂਡ 910B/C), ਪ੍ਰੋਪ੍ਰਾਇਟਰੀ ਇੰਟਰਕਨੈਕਟਸ (HCCS), ਅਤੇ ਇੱਕ ਪੂਰਾ ਸਾਫਟਵੇਅਰ ਫਰੇਮਵਰਕ (CANN)। ਨਤੀਜਾ ਇੱਕ ਸਵੈ-ਸਮਰੱਥ ਈਕੋਸਿਸ ਹੈ ਜੋ ਪੱਛਮੀ ਸਪਲਾਈ ਚੇਨਾਂ ਤੋਂ ਸੁਤੰਤਰ ਰੂਪ ਵਿੱਚ ਕੰਮ ਕਰਦਾ ਹੈ ਅਤੇ ਤੁਲਨਾਤਮਕ NVIDIA H100 ਕਲਸਟਰਾਂ ਨਾਲੋਂ ਬਹੁਤ ਘੱਟ ਲਾਗਤ 'ਤੇ।
ਇੰਟਲ ਜ਼ੀਓਨ 6 (ਗ੍ਰੇਨਾਈਟ ਰੈਪਿਡਸ)
ਬਜਟ ਸਰਵਰ
2026 ਵਿੱਚ ਇੱਕ ਸ਼ਾਂਤ ਕ੍ਰਾਂਤੀ CPU-ਅਧਾਰਤ AI ਇਨਫਰੈਂਸ ਦਾ ਉਭਾਰ ਹੈ। ਇੰਟਲ ਜ਼ੀਓਨ 6 ਪ੍ਰੋਸੈਸਰਾਂ ਵਿੱਚ AMX (ਐਡਵਾਂਸਡ ਮੈਟ੍ਰਿਕਸ ਐਕਸਟੈਂਸਜ਼) ਸ਼ਾਮਲ ਹਨ ਜੋ ਮਿਆਰੀ DDR5 RAM 'ਤੇ AI ਵਰਕਲੋਡਸ ਨੂੰ ਸਮਰੱਥ ਬਣਾਉਂਦੇ ਹਨ - ਜੋ GPU ਮੈਮੋਰੀ ਨਾਲੋਂ ਬਹੁਤ ਸਸਤਾ ਹੈ।
ਇੱਕ ਡਿਊਲ-ਸਾਕਟ ਜ਼ੀਓਨ 6 ਸਰਵਰ GPU ਮੈਮੋਰੀ ਦੀ ਲਾਗਤ ਦੇ ਇੱਕ ਅੰਸ਼ 'ਤੇ 1 TB ਤੋਂ 4 TB DDR5 RAM ਰੱਖ ਸਕਦਾ ਹੈ। ਇਨਫਰੈਂਸ ਸਪੀਡਾਂ ਹੌਲੀ ਹਨ, ਪਰ ਬੈਚ ਪ੍ਰੋਸੈਸਿੰਗ ਲਈ - ਜਿੱਥੇ ਸਪੀਡ ਅਸੰਬੰਧਿਤ ਹੈ ਪਰ ਬੁੱਧੀਮੱਤਾ ਅਤੇ ਸਮਰੱਥਾ ਪ੍ਰਮੁੱਖ ਹੈ - ਇਹ ਕ੍ਰਾਂਤੀਕਾਰੀ ਹੈ।
ਉਦਾਹਰਣ: ਇੱਕ SMB ਰਾਤੋ-ਰਾਤ 100,000 ਸਕੈਨ ਕੀਤੇ ਇਨਵੌਇਸ ਅਪਲੋਡ ਕਰਦਾ ਹੈ। ਜ਼ੀਓਨ 6 ਸਰਵਰ ਡੇਟਾ ਨੂੰ ਬਿਲਕੁਲ ਕੱਢਣ ਲਈ +400B AI ਮਾਡਲ ਚਲਾਉਂਦਾ ਹੈ। ਕੰਮ 10 ਘੰਟੇ ਲੈਂਦਾ ਹੈ, ਪਰ ਹਾਰਡਵੇਅਰ ਲਾਗਤ GPU ਸਰਵਰ ਨਾਲੋਂ ਬਹੁਤ ਘੱਟ ਹੈ।
ਕੀ ਤੁਹਾਨੂੰ ਸਹੀ AI ਸਰਵਰ ਇਨਫਰਾਸਟ੍ਰਕਚਰ ਚੁਣਨ ਵਿੱਚ ਮਦਦ ਚਾਹੀਦੀ ਹੈ?
ਸਾਡੀ ਇਨਫਰਾਸਟ੍ਰਕਚਰ ਟੀਮ ਪੂਰੇ AI ਸਰਵਰ ਸੋਲੂਸ਼ਨਜ਼ ਡਿਜ਼ਾਈਨ ਅਤੇ ਤੈਨਾਤ ਕਰਦੀ ਹੈ — ਇੰਟਲ ਗੌਡੀ ਤੋਂ NVIDIA DGX ਤੱਕ — ਮੁਕੰਮਲ ਸਾਫਟਵੇਅਰ ਨਾਲ ਮਿਲਾ ਕੇ — ਤਾਂ ਜੋ ਤੁਹਾਡੇ ਕਾਰੋਬਾਰ ਲਈ AI ਦੀਆਂ ਸਮਰੱਥਾਵਾਂ ਨੂੰ ਖੋਲ੍ਹ ਸਕੇ।
ਸਰਵਰ ਆਰਕੀਟੈਕਚਰ ਪ੍ਰਸਤਾਵ ਮੰਗਾਓ →6 ਐਜ AI
ਐਜ AI ਅਤੇ ਰਿਟ੍ਰੋਫਿਟ ਮੌਜੂਦਾ ਇਨਫਰਾਸਟ੍ਰਕਚਰ ਨੂੰ ਅਪਗ੍ਰੇਡ ਕਰਨਾ
ਹਰੇਕ SMB ਨੂੰ ਡੈਡੀਕੇਟਿਡ AI ਸਰਵਰ ਜਾਂ ਮਿਨੀ-ਪੀਸੀ ਦੀ ਲੋੜ ਨਹੀਂ ਹੁੰਦੀ। ਬਹੁਤ ਸਾਰੇ ਮੌਜੂਦਾ ਇਨਫਰਾਸਟ੍ਰਕਚਰ ਵਿੱਚ ਬੁੱਧੀਮਤਾ ਏਮਬੇਡ ਕਰ ਸਕਦੇ ਹਨ — ਲੈਪਟਾਪਾਂ, ਡੈਸਕਟਾਪਾਂ, ਅਤੇ ਨੈੱਟਵਰਕ ਡਿਵਾਈਸਾਂ ਨੂੰ ਘੱਟੋ-ਘੱਟ ਖਰਚੇ 'ਤੇ AI ਸਮਰੱਥਾਵਾਂ ਨਾਲ ਅਪਗ੍ਰੇਡ ਕਰਕੇ।
M.2 AI ਐਕਸਲੇਟਰ: ਹੇਲੋ-10
ਹੇਲੋ-10 ਇੱਕ ਸਟੈਂਡਰਡ M.2 2280 ਮੋਡੀਊਲ ਹੈ — ਉਹੀ ਸਲਾਟ ਜੋ SSD ਲਈ ਵਰਤਿਆ ਜਾਂਦਾ ਹੈ — ਜੋ ਕਿਸੇ ਵੀ ਮੌਜੂਦਾ PC ਵਿੱਚ ਡੈਡੀਕੇਟਿਡ AI ਪ੍ਰੋਸੈਸਿੰਗ ਜੋੜਦਾ ਹੈ। ~~₹14 ਪ੍ਰਤੀ ਯੂਨਿਟ 'ਤੇ ਅਤੇ ਸਿਰਫ਼ 5–8W ਬਿਜਲੀ ਦੀ ਖਪਤ ਕਰਦੇ ਹੋਏ, ਇਹ ਬਿਨਾਂ ਹਾਰਡਵੇਅਰ ਬਦਲੇ ਫਲੀਟ-ਵਾਈਡ AI ਅਪਗ੍ਰੇਡਾਂ ਨੂੰ ਸਮਰੱਥ ਬਣਾਉਂਦਾ ਹੈ।
ਵਰਤੋਂ ਮਾਮਲੇ: ਲੋਕਲ ਮੀਟਿੰਗ ਟ੍ਰਾਂਸਕ੍ਰਿਪਸ਼ਨ (ਵਿਸਪਰ), ਰੀਅਲ-ਟਾਈਮ ਕੈਪਸ਼ਨਿੰਗ, ਵੌਇਸ ਡਿਕਟੇਸ਼ਨ, ਛੋਟੇ ਮਾਡਲ ਇਨਫਰੈਂਸ (ਫਾਈ-3 ਮਿਨੀ)। ਇਹ ਕਾਰਡ ਵੱਡੇ LLM ਨਹੀਂ ਚਲਾ ਸਕਦੇ, ਪਰ ਉਹ ਖਾਸ, ਨਿਰੰਤਰ AI ਕੰਮਾਂ ਵਿੱਚ ਮਾਹਿਰ ਹਨ — ਇਹ ਯਕੀਨੀ ਬਣਾਉਂਦੇ ਹੋਏ ਕਿ ਵੌਇਸ ਡੇਟਾ ਲੋਕਲੀ ਪ੍ਰੋਸੈਸ ਕੀਤਾ ਜਾਂਦਾ ਹੈ ਅਤੇ ਕਦੇ ਵੀ ਕਲਾਉਡ 'ਤੇ ਨਹੀਂ ਭੇਜਿਆ ਜਾਂਦਾ।
ਕੋਪਾਇਲਟ+ ਪੀਸੀਜ਼ (NPU ਲੈਪਟਾਪ)
ਕੁਆਲਕਾਮ ਸਨੈਪਡ੍ਰੈਗਨ X ਐਲੀਟ, ਇੰਟੈਲ ਕੋਰਲਟਰਾ, ਜਾਂ AMD ਰਾਈਜ਼ਨ ਏਆਈ ਚਿਪਾਂ ਵਾਲੇ ਲੈਪਟਾਪਾਂ ਵਿੱਚ ਸਮਰਪਿਤ ਨਿਊਰਲ ਪ੍ਰੋਸੈਸਿੰਗ ਯੂਨਿਟਾਂ (NPU) — ਵਿਸ਼ੇਸ਼ ਏਆਈ ਚਿਪਾਂ ਹੁੰਦੀਆਂ ਹਨ। ਇਹ ਵੱਡੇ LLM ਨਹੀਂ ਚਲਾ ਸਕਦੀਆਂ, ਪਰ ਛੋਟੇ, ਨਿਰੰਤਰ ਏਆਈ ਕਾਰਜ ਸੰਭਾਲਦੀਆਂ ਹਨ: ਲਾਈਵ ਟ੍ਰਾਂਸਕ੍ਰਿਪਸ਼ਨ, ਬੈਕਗ੍ਰਾਊਂਡ ਬਲਰ, ਲੋਕਲ ਰੀਕਾਲ
ਫੀਚਰ, ਅਤੇ Microsoft Phi-3 ਵਰਗੇ ਹਲਕੇ ਮਾਡਲ ਚਲਾਉਣਾ।
NPU ਨੂੰ TOPS (ਟੈਰਾ ਆਪਰੇਸ਼ਨ ਪ੍ਰਤੀ ਸਕਿੰਟ) ਵਿੱਚ ਰੇਟ ਕੀਤਾ ਜਾਂਦਾ ਹੈ, ਜੋ ਮਾਪਦਾ ਹੈ ਕਿ ਉਹ ਕਿੰਨਾ ਏਆਈ ਕੰਮ ਸੰਭਾਲ ਸਕਦੀਆਂ ਹਨ। 2026 ਵਿੱਚ ਸਭ ਤੋਂ ਸ਼ਕਤੀਸ਼ਾਲੀ ਕੋਪਾਇਲਟ+ ਪੀਸੀ ਦੀਆਂ ~50 TOPS ਹੁੰਦੀਆਂ ਹਨ। ਵਧੇਰੇ TOPS ਮਤਲਬ ਤੇਜ਼ ਜਵਾਬ ਅਤੇ ਥੋੜ੍ਹੇ ਵੱਡੇ ਏਆਈ ਮਾਡਲ ਸੰਭਾਲਣ ਦੀ ਸਮਰੱਥਾ ਹੈ।
9 AI ਮਾਡਲ
ਓਪਨ-ਸੋਰਸ AI ਮਾਡਲ (2026–2027)
AI ਮਾਡਲ ਦੀ ਚੋਣ ਹਾਰਡਵੇਅਰ ਦੀਆਂ ਲੋੜਾਂ ਨੂੰ ਨਿਰਧਾਰਤ ਕਰਦੀ ਹੈ — ਪਰ ਜਿਵੇਂ ਕਿ AI ਮਾਡਲ ਕੁਆਂਟਾਈਜ਼ੇਸ਼ਨ ਅਧਿਆਇ ਵਿੱਚ ਦਿਖਾਇਆ ਗਿਆ ਹੈ, ਕੁਆਂਟਾਈਜ਼ੇਸ਼ਨ ਫਰੰਟੀਅਰ-ਕਲਾਸ ਮਾਡਲਾਂ ਨੂੰ ਉਸ ਹਾਰਡਵੇਅਰ 'ਤੇ ਚਲਾਉਣ ਦੀ ਆਗਿਆ ਦਿੰਦੀ ਹੈ ਜੋ ਫੁੱਲ-ਪ੍ਰੈਸੀਜ਼ਨ ਤੈਨਾਤੀ ਦੀ ਮੰਗ ਦੇ ਇੱਕ ਅੰਸ਼ ਦੀ ਲਾਗਤ 'ਤੇ ਆਉਂਦਾ ਹੈ।
ਹੇਠਾਂ ਦਿੱਤੀ ਟੇਬਲ ਮੌਜੂਦਾ ਅਤੇ ਆਉਣ ਵਾਲੇ ਓਪਨ-ਸੋਰਸ AI ਮਾਡਲਾਂ ਦਾ ਇੱਕ ਸੰਖੇਪ ਜਾਣਕਾਰੀ ਪ੍ਰਦਾਨ ਕਰਦੀ ਹੈ।
| ਮਾਡਲ | ਆਕਾਰ | ਆਰਕੀਟੈਕਚਰ | ਮੈਮੋਰੀ (FP16) | ਮੈਮੋਰੀ (INT4) |
|---|---|---|---|---|
| ਲਾਮਾ 4 ਬਹਿਮੋਥ | 288B (ਸਰਗਰਮ) | MoE (~2T ਕੁੱਲ) | ~4 TB | ~1 TB |
| ਲਾਮਾ 4 ਮੈਵਰਿਕ | 17B (ਸਰਗਰਮ) | MoE (400B ਕੁੱਲ) | ~800 GB | ~200 GB |
| ਲਾਮਾ 4 ਸਕਾਉਟ | 17B (ਸਰਗਰਮ) | MoE (109B ਕੁੱਲ) | ~220 GB | ~55 GB |
| ਡੀਪਸੀਕ V4 | ~70B (ਸਰਗਰਮ) | MoE (671B ਕੁੱਲ) | ~680 GB | ~170 GB |
| ਡੀਪਸੀਕ R1 | 37B (ਸਰਗਰਮ) | MoE (671B ਕੁੱਲ) | ~140 GB | ~35 GB |
| ਡੀਪਸੀਕ V3.2 | ~37B (ਸਰਗਰਮ) | MoE (671B ਕੁੱਲ) | ~140 GB | ~35 GB |
| ਕਿਮੀ K2.5 | 32B (ਸਰਗਰਮ) | MoE (1T ਕੁੱਲ) | ~2 TB | ~500 GB |
| ਕਿਉਵਨ 3.5 | 397B (ਸਰਗਰਮ) | MoE (A17B) | ~1.5 TB | ~375 GB |
| ਕਿਉਵਨ 3-ਮੈਕਸ-ਥਿੰਕਿੰਗ | ਵੱਡਾ | ਡੈਂਸ | ~2 TB | ~500 GB |
| ਕਿਉਵਨ 3-ਕੋਡਰ-ਨੈਕਸਟ | 480B (A35B ਸਰਗਰਮ) | MoE | ~960 GB | ~240 GB |
| ਮਿਸਟ੍ਰਾਲ ਲਾਰਜ 3 | 123B (41B ਸਰਗਰਮ) | MoE (675B ਕੁੱਲ) | ~246 GB | ~62 GB |
| ਮਿਨਿਸਟ੍ਰਾਲ 3 (3B, 8B, 14B) | 3B–14B | ਡੈਂਸ | ~6–28 GB | ~2–7 GB |
| GLM-5 | 44B (ਸਰਗਰਮ) | MoE (744B ਕੁੱਲ) | ~1.5 TB | ~370 GB |
| GLM-4.7 (ਥਿੰਕਿੰਗ) | ਵੱਡਾ | ਡੈਂਸ | ~1.5 TB | ~375 GB |
| ਮਿਮੋ-V2-ਫਲੈਸ਼ | 15B (ਸਰਗਰਮ) | MoE (309B ਕੁੱਲ) | ~30 GB | ~8 GB |
| ਮਿਨੀਮੈਕਸ M2.5 | ~10B (ਸਰਗਰਮ) | MoE (~230B ਕੁੱਲ) | ~460 GB | ~115 GB |
| ਫਾਈ-5 ਰੀਜ਼ਨਿੰਗ | 14B | ਡੈਂਸ | ~28 GB | ~7 GB |
| ਫਾਈ-4 | 14B | ਡੈਂਸ | ~28 GB | ~7 GB |
| ਜੇਮਾ 3 | 27B | ਡੈਂਸ | ~54 GB | ~14 GB |
| ਪਿਕਸਟ੍ਰਾਲ 2 ਲਾਰਜ | 90B | ਡੈਂਸ | ~180 GB | ~45 GB |
| ਸਟੇਬਲ ਡਿਫਿਊਜ਼ਨ 4 | ~12B | DiT | ~24 GB | ~6 GB |
| ਫਲਕਸ.2 ਪ੍ਰੋ | 15B | DiT | ~30 GB | ~8 GB |
| ਓਪਨ-ਸੋਰਾ 2.0 | 30B | DiT | ~60 GB | ~15 GB |
| ਵਿਸਪਰ V4 | 1.5B | ਡੈਂਸ | ~3 GB | ~1 GB |
| ਮੈਡ-ਲਾਮਾ 4 | 70B | ਡੈਂਸ | ~140 GB | ~35 GB |
| ਲੀਗਲ-BERT 2026 | 35B | ਡੈਂਸ | ~70 GB | ~18 GB |
| ਫਾਈਨੈਂਸ-LLM 3 | 15B | ਡੈਂਸ | ~30 GB | ~8 GB |
| ਕੋਡਲਾਮਾ 4 | 70B | ਡੈਂਸ | ~140 GB | ~35 GB |
| ਮੋਲਮੋ 2 | 80B | ਡੈਂਸ | ~160 GB | ~40 GB |
| ਗ੍ਰੇਨਾਈਟ 4.0 | 32B (9B ਸਰਗਰਮ) | ਹਾਈਬ੍ਰਿਡ ਮਾਂਬਾ-ਟ੍ਰਾਂਸਫਾਰਮਰ | ~64 GB | ~16 GB |
| ਨੇਮੋਟ੍ਰੋਨ 3 | 8B, 70B | ਡੈਂਸ | ~16–140 GB | ~4–35 GB |
| ਐਕਸਾਓਨ 4.0 | 32B | ਡੈਂਸ | ~64 GB | ~16 GB |
| ਲਾਮਾ 5 ਫਰੰਟੀਅਰ | ~1.2T (ਕੁੱਲ) | MoE | ~2.4 TB | ~600 GB |
| ਲਾਮਾ 5 ਬੇਸ | 70B–150B | ਡੈਂਸ | ~140–300 GB | ~35–75 GB |
| ਡੀਪਸੀਕ V5 | ~600B (ਕੁੱਲ) | MoE | ~1.2 TB | ~300 GB |
| ਸਟੇਬਲ ਡਿਫਿਊਜ਼ਨ 5 | TBD | DiT | — | — |
| ਫਾਲਕਨ 3 | 200B | ਡੈਂਸ | ~400 GB | ~100 GB |
ਪਹਿਲਾਂ ਹਾਰਡਵੇਅਰ ਨਾ ਖਰੀਦੋ। ਉਹ ਮਾਡਲ ਕਲਾਸ ਦੀ ਪਛਾਣ ਕਰੋ ਜੋ ਤੁਹਾਡੀਆਂ ਕਾਰੋਬਾਰੀ ਲੋੜਾਂ ਨੂੰ ਪੂਰਾ ਕਰਦਾ ਹੈ, ਫਿਰ ਸਭ ਤੋਂ ਕਿਫਾਇਤੀ ਹਾਰਡਵੇਅਰ ਟੀਅਰ ਨਿਰਧਾਰਤ ਕਰਨ ਲਈ ਕੁਆਂਟਾਈਜ਼ੇਸ਼ਨ ਲਾਗੂ ਕਰੋ।
~₹2,75,000 ਅਤੇ ₹1,36,00,000 ਨਿਵੇਸ਼ ਵਿਚਕਾਰ ਅੰਤਰ ਅਕਸਰ ਮਾਡਲ ਆਕਾਰ ਦੀਆਂ ਲੋੜਾਂ ਅਤੇ ਇਕਸਮਯ ਯੂਜ਼ਰਾਂ ਦੀ ਗਿਣਤੀ 'ਤੇ ਨਿਰਭਰ ਕਰਦਾ ਹੈ।
ਐਆਈ ਮਾਡਲ ਲੈਂਡਸਕੇਪ ਨੂੰ ਆਕਾਰ ਦੇਣ ਵਾਲੇ ਰੁਝਾਨ
- ਸਟੈਂਡਰਡ ਵਜੋਂ ਨੇਟਿਵ ਮਲਟੀਮੋਡੈਲਿਟੀ। ਨਵੇਂ ਮਾਡਲ ਟੈਕਸਟ, ਚਿੱਤਰ, ਆਡੀਓ ਅਤੇ ਵੀਡੀਓ 'ਤੇ ਇਕੋ ਵੇਲੇ ਸਿਖਲਾਈ ਦਿੱਤੀ ਜਾਂਦੀ ਹੈ — ਨਾ ਕਿ ਵੱਖਰੀਆਂ ਸਮਰੱਥਾਵਾਂ ਵਜੋਂ ਜੋ ਸਿਖਲਾਈ ਤੋਂ ਬਾਅਦ ਜੋੜੀਆਂ ਜਾਂਦੀਆਂ ਹਨ। ਇਸਦਾ ਮਤਲਬ ਹੈ ਕਿ ਇੱਕੋ ਮਾਡਲ ਦਸਤਾਵੇਜ਼ ਵਿਸ਼ਲੇਸ਼ਣ, ਚਿੱਤਰ ਸਮਝ, ਅਤੇ ਵੌਇਸ ਇੰਟਰੈਕਸ਼ਨ ਨੂੰ ਸੰਭਾਲਦਾ ਹੈ।
- ਛੋਟੇ ਮਾਡਲ ਵੱਡੇ-ਮਾਡਲ ਦੀਆਂ ਸਮਰੱਥਾਵਾਂ ਪ੍ਰਾਪਤ ਕਰ ਰਹੇ ਹਨ। ਫਾਈ-5 (14B) ਅਤੇ ਮਿਮੋ-V2-ਫਲੈਸ਼ ਦਰਸਾਉਂਦੇ ਹਨ ਕਿ ਆਰਕੀਟੈਕਚਰਲ ਨਵੀਨਤਾ ਫਰੰਟੀਅਰ-ਪੱਧਰ ਦੇ ਤਰਕ ਨੂੰ ਉਹਨਾਂ ਮਾਡਲਾਂ ਵਿੱਚ ਸੰਕੁਚਿਤ ਕਰ ਸਕਦੀ ਹੈ ਜੋ ਇੱਕ ਲੈਪਟਾਪ 'ਤੇ ਚੱਲਦੇ ਹਨ "ਵੱਡਾ ਬੇਹਤਰ ਹੈ" ਦਾ ਯੁੱਗ ਖਤਮ ਹੋ ਰਿਹਾ ਹੈ।
- ਜਨਰਲਾਈਜ਼ੇਸ਼ਨ ਤੋਂ ਵੱਧ ਸਪੈਸ਼ਲਾਈਜ਼ੇਸ਼ਨ। ਹਰ ਚੀਜ਼ ਲਈ ਇੱਕ ਵਿਸ਼ਾਲ ਮਾਡਲ ਦੀ ਬਜਾਏ, ਰੁਝਾਨ ਵਿਸ਼ੇਸ਼ ਮਾਡਲਾਂ ਦੇ ਐਨਸੈਂਬਲਜ਼ ਵੱਲ ਹੈ — ਇੱਕ ਕੋਡਿੰਗ ਮਾਡਲ, ਇੱਕ ਰੀਜ਼ਨਿੰਗ ਮਾਡਲ,ੱਕ ਵਿਜ਼ਨ ਮਾਡਲ — ਜੋ ਇੱਕ ਏਜੰਟ ਫਰੇਮਵਰਕ ਦੁਆਰਾ ਆਰਕੈਸਟ੍ਰੇਟ ਕੀਤੇ ਜਾਂਦੇ ਹਨ। ਇਹ ਪ੍ਰਤੀ ਮਾਡਲ ਹਾਰਡਵੇਅਰ ਲੋੜਾਂ ਨੂੰ ਘਟਾਉਂਦਾ ਹੈ ਜਦੋਂ ਕਿ ਸਮੁੱਚੀ ਗੁਣਵੱਤਾ ਵਿੱਚ ਸੁਧਾਰ ਕਰਦਾ ਹੈ।
- ਏਜੰਟਿਕ ਐਆਈ। ਕਿਮੀ K2.5 ਅਤੇ ਕਿਉਵਨ 3 ਵਰਗੇ ਮਾਡਲ ਗੁੰਝਲਦਾਰ ਕੰਮਾਂ ਨੂੰ ਆਟੋਨੋਮਸ ਤੌਰ 'ਤੇ ਵੰਡਣ, ਬਾਹਰੀ ਟੂਲਾਂ ਨੂੰ ਕਾਲ ਕਰਨ, ਅਤੇ ਹੋਰ ਮਾਡਲਾਂ ਨਾਲ ਤਾਲਮੇਲ ਕਰਨ ਲਈ ਡਿਜ਼ਾਈਨ ਕੀਤੇ ਗਏ ਹਨ। ਇਹ
ਏਜੰਟ ਸਵਾਰਮ
ਪੈਰਾਡਾਈਮ ਲੰਬੇ ਸੈਸ਼ਨਾਂ ਦੌਰਾਨ ਲਗਾਤਾਰ ਥ੍ਰੋਪੁੱਟ ਦੀ ਮੰਗ ਕਰਦਾ ਹੈ — ਜੋ ਕਿ GB10 ਅਤੇ M5 ਅਲਟਰਾ ਵਰਗੇ ਹਾਈ-ਬੈਂਡਵਿਡ ਹਾਰਡਵੇਅਰ ਨੂੰ ਤਰਜੀਹ ਦਿੰਦਾ ਹੈ। - ਵੀਡੀਓ ਅਤੇ 3D ਜਨਰੇਸ਼ਨ ਪੱਕਣਾ। ਓਪਨ-ਸੋਰਾ 2.0 ਅਤੇ ਫਲਕਸ.2 ਪ੍ਰੋ ਸੰਕੇਤ ਦਿੰਦੇ ਹਨ ਕਿ ਲੋਕਲ ਵੀਡੀਓ ਜਨਰੇਸ਼ਨ ਵਿਹਾਰਕ ਬਣ ਰਿਹਾ ਹੈ। 2027 ਤੱਕ, ਵਰਕਸਟੇਸ਼ਨ-ਕਲਾਸ ਹਾਰਡਵੇਅਰ 'ਤੇ ਚੱਲਣ ਵਾਲੇ ਰੀਅਲ-ਟਾਈਮ ਵੀਡੀਓ ਐਡੀਟਿੰਗ ਅਸਿਸਟੈਂਟਾਂ ਦੀ ਉਮੀਦ ਕਰੋ।
10 ਸੁਰੱਖਿਆ
ਵੱਧ ਤੋਂ ਵੱਧ ਸੁਰੱਖਿਆ ਲਈ ਆਰਕੀਟੈਕਚਰ
ਲੋਕਲ ਏਆਈ ਹਾਰਡਵੇਅਰ ਦਾ ਮੁੱਖ ਫਾਇਦਾ ਪ੍ਰਦਰਸ਼ਨ ਨਹੀਂ ਹੈ — ਇਹ ਡੇਟਾ ਸੁਵੈਰਾਜ ਹੈ। ਜਦੋਂ ਤੁਹਾਡਾ ਏਆਈ ਸਰਵਰ ਕਿਸੇ ਹੋਰ ਦੇ ਕਲਾਉਡ ਦੀ ਬਜਾਏ ਤੁਹਾਡੇ ਫਾਇਰਵਾਲ ਦੇ ਪਿੱਛੇ ਚੱਲਦਾ ਹੈ, ਤੁਹਾਡਾ ਸੰਵੇਦਨਸ਼ੀਲ ਡੇਟਾ ਕਦੇ ਵੀ ਤੁਹਾਡੀ ਇਮਾਰਤ ਤੋਂ ਬਾਹਰ ਨਹੀਂ ਜਾਂਦਾ।
ਏਅਰ-ਗੈਪਡ ਏਪੀਆਈ ਆਰਕੀਟੈਕਚਰ ਭੌਤਿਕ ਤੌਰ 'ਤੇ ਏਆਈ ਸਰਵਰ ਨੂੰ ਇੰਟਰਨੈੱਟ ਤੋਂ ਅਲੱਗ ਕਰਦਾ ਹੈ ਜਦੋਂ ਕਿ ਇਸਨੂਏਪੀਆਈ ਇੰਟਰਫੇਸ ਰਾਹੀਂ ਅਧਿਕਾਰਤ ਕਰਮਚਾਰੀਆਂ ਲਈ ਪਹੁੰਚਯੋਗ ਬਣਾਉਂਦਾ ਹੈ।
ਇਹ ਆਰਕੀਟੈਕਚਰ ਇੱਕ ਡਿਜੀਟਲ ਵਾਲਟ
ਬਣਾਉਂਦਾ ਹੈ। ਭਾਵੇਂ ਬਰੋਕਰ ਸਰਵਰ ਕਮਪ੍ਰੋਮਾਈਜ਼ ਹੋ ਜਾਵੇ, ਇੱਕ ਹਮਲਾਵਰ ਸਿਰਫ਼ ਟੈਕਸਟ ਕੁਐਰੀਜ਼ ਭੇਜ ਸਕਦਾ ਹੈ — ਉਹ AI ਸਰਵਰ ਦੇ ਫਾਈਲ ਸਿਸਟਮ, ਮਾਡਲ ਵੇਟ, ਫਾਈਨ-ਟਿਊਨਿੰਗ ਡੇਟਾ, ਜਾਂ ਕਿਸੇ ਸਟੋਰ ਕੀਤੇ ਦਸਤਾਵੇਜ਼ਾਂ ਤੱਕ ਪਹੁੰਚ ਨਹੀਂ ਕਰ ਸਕਦਾ।
ਮੁਕੰਮਲ AI ਸੋਲੂਸ਼ਨਾਂ ਨਾਲ ਸੁਰੱਖਿਅਤ AI ਤੈਨਾਤੀ ਦੀ ਲੋੜ ਹੈ?
ਸਾਡੇ ਇੰਜੀਨੀਅਰ ਏਅਰ-ਗੈਪਡ AI ਆਰਕੀਟੈਕਚਰਾਂ ਨੂੰ ਡਿਜ਼ਾਈਨ ਅਤੇ ਤੈਨਾਤ ਕਰਦੇ ਹਨ, ਇਹ ਯਕੀਨੀ ਬਣਾਉਂਦੇ ਹੋਏ ਕਿ ਡੇਟਾ ਕਦੇ ਵੀ ਪ੍ਰੀਮਿਜ਼ ਨਹੀਂ ਛੱਡਦਾ, ਜਦੋਂ ਕਿ ਤੁਹਾਡੇ ਕਾਰੋਬਾਰ ਨੂੰ ਸਟੇਟ-ਆਫ-ਦ-ਆਰਟ AI ਸਮਰੱਥਾਵਾਂ ਪ੍ਰਦਾਨ ਕਰਦਾ ਹੈ।
ਸੁਰੱਖਿਅਤ AI ਆਰਕੀਟੈਕਚਰ ਚਰਚਾ ਕਰੋ →11 ਅਰਥ ਸ਼ਾਸਤਰ
ਆਰਥਿਕ ਫੈਸਲਾ: ਲੋਕਲ ਬਨਾਮ ਕਲਾਉਡ
ਲੋਕਲ AI ਹਾਰਡਵੇਅਰ ਵਿੱਚ ਤਬਦੀਲੀ OpEx (ਓਪਰੇਸ਼ਨਲ ਖਰਚ — ਮਹੀਨਾਵਾਰ ਕਲਾਉਡ API ਫੀਸ) ਤੋਂEx (ਕੈਪੀਟਲ ਖਰਚ — ਇੱਕ ਵਾਰ ਦਾ ਹਾਰਡਵੇਅਰ ਨਿਵੇਸ਼ ਜੋ ਤੁਹਾਡੀ ਬੈਲੈਂਸ ਸ਼ੀਟ 'ਤੇ ਇੱਕ ਸੰਪੱਤੀ ਬਣ ਜਾਂਦਾ ਹੈ) ਵੱਲ ਇੱਕ ਬਦਲਾਅ ਹੈ।
ਇੱਕ ਕਾਨੂੰਨੀ ਫਰਮ ਦਾ ਉਦਾਹਰਣ ਲਓ ਜੋ ਕਰਾਰਾਂ ਦਾ ਵਿਸ਼ਲੇਸ਼ਣ ਕਰਨ ਲਈ 200B ਮਾਡਲ ਚਲਾ ਰਹੀ ਹੈ:
ਰੋਜ਼ਾਨਾ 1,000 ਕੁਐਰੀਆਂ 'ਤੇ, ਡੀਜੀਐੱਕਸ ਸਪਾਰਕ ਕਲਾਉਡ ਏਪੀਆਈ ਲਾਗਤਾਂ ਦੇ ਮੁਕਾਬਲੇ 2 ਮਹੀਨਿਆਂ ਤੋਂ ਘੱਟ ਵਿੱਚ ਆਪਣਾ ਖਰਚਾ ਕੱਢ ਲੈਂਦਾ ਹੈ। ਵਧੇਰੇ ਵਰਤੋਂ ਦੇ ਪੱਧਰਾਂ 'ਤੇ, ਬਰੇਕ-ਈਵਨ ਪੀਰੀਅਡ ਹਫ਼ਤਿਆਂ ਤੱਕ ਘੱਟ ਹੋ ਜਾਂਦਾ ਹੈ।
ਅਰਥ ਸ਼ਾਸਤਰ ਹੋਰ ਵੀ ਵਧੇਰੇ ਅਨੁਕੂਲ ਹੋ ਜਾਂਦਾ ਹੈ ਜਦੋਂ ਤੁਸੀਂ ਇਹਨਾਂ ਨੂੰ ਸ਼ਾਮਲ ਕਰਦੇ ਹੋ:
- ਇੱਕੋ ਹਾਰਡਵੇਅਰ ਨੂੰ ਸਾਂਝਾ ਕਰਨ ਵਾਲੇ ਕਈ ਕਰਮਚਾਰੀ (DGX ਸਪਾਰਕ 2–5 ਇਕਸਮਯ ਯੂਜ਼ਰਾਂ ਦੀ ਸੇਵਾ ਕਰਦਾ ਹੈ)
- ਪ੍ਰਤੀ-ਟੋਕਨ ਮੁੱਲ ਨਿਰਧਾਰਣ ਨਹੀਂ — ਗੁੰਝਲਦਾਰ, ਮਲਟੀ-ਸਟੈਪ ਰੀਜ਼ਨਿੰਗ ਕੰਮਾਂ ਦੀ ਕੋਈ ਵਾਧੂ ਲਾਗਤ ਨਹੀਂ
- ਪ੍ਰੋਪ੍ਰਾਇਟਰੀ ਡੇਟਾ 'ਤੇ ਫਾਈਨ-ਟਿਊਨਿੰਗ — ਜ਼ਿਆਦਾਤਰ ਕਲਾਉਡ API ਨਾਲ ਅਸੰਭਵ, ਲੋਕਲ ਹਾਰਡਵੇਅਰ 'ਤੇ ਮੁਫ਼ਤ
- ਹਾਰਡਵੇਅਰ ਮੁੜ ਵਿਕਰੀ ਮੁੱਲ — AI ਹਾਰਡਵੇਅਰ ਸੈਕੰਡਰੀ ਮਾਰਕੀਟ 'ਤੇ ਮਹੱਤਵਪੂਰਨ ਮੁੱਲ ਬਰਕਰਾਰ ਰੱਖਦਾ ਹੈ