Aegaeon রিসোর্স ভাগাভাগি ব্যবস্থায় Nvidia GPU ব্যবহার কমাল Alibaba Cloud

Aegaeon-এর ভেতরের কথা: AI-তে GPU-এর চাহিদা কীভাবে কমাল Alibaba Cloud

Alibaba Cloud বলছে, Aegaeon নামের নতুন একটি ব্যবস্থার সুবাদে বিপুল পরিসরে লার্জ ল্যাঙ্গুয়েজ মডেল চালাতে প্রয়োজনীয় Nvidia গ্রাফিকস প্রসেসরের সংখ্যা তারা উল্লেখযোগ্যভাবে কমিয়েছে। নিজেদের মডেল মার্কেটপ্লেসে চলা প্রোডাকশন বেটা পরীক্ষায় কোম্পানিটি জানিয়েছে, Aegaeon-এর সাহায্যে ৭২ বিলিয়ন প্যারামিটার পর্যন্ত মডেলসহ কয়েক ডজন মডেল চালাতে প্রয়োজনীয় Nvidia H20 GPU-এর সংখ্যা ১,১৯২ থেকে কমে ২১৩-তে নেমেছে। একই মাত্রার সেবা বজায় রেখে ব্যবহৃত অ্যাক্সিলারেটরের সংখ্যা কমেছে ৮২ শতাংশ। ফলাফলগুলো সিউলে অনুষ্ঠিত কম্পিউটার সিস্টেম গবেষণার শীর্ষ সম্মেলন Symposium on Operating Systems Principles-এ উপস্থাপন করা হয়। ক্লাউড সেবা কেনা প্রতিষ্ঠানগুলোর জন্য এ দাবির অর্থ, খরচ ও বিদ্যুতের সম্ভাব্য সাশ্রয়, দুর্লভ চিপের ভালো প্রাপ্যতা এবং একই প্ল্যাটফর্মে বিভিন্ন মডেল ব্যবহারের ক্ষেত্রে আরও ধারাবাহিক অভিজ্ঞতা।

মডেল মার্কেটপ্লেসের যুগে ক্রমবর্ধমান একটি সমস্যার সমাধানে কাজ করছে এই ব্যবস্থা। ক্লাউড সেবাদাতারা এখন একসঙ্গে ডেভেলপারদের হাজারো মডেল সরবরাহ করে। Alibaba-র Qwen পরিবার এবং উন্মুক্ত মডেল DeepSeek-এর মতো অল্প কয়েকটি মডেলে বেশির ভাগ ট্রাফিক আসে। অন্য অনেক মডেল দীর্ঘ সময় নিষ্ক্রিয় থাকে, তারপর অল্প সময়ের জন্য হঠাৎ অনেক অনুরোধ পায়। প্রচলিত সার্ভিং ব্যবস্থায় প্রতিটি মডেল ইনস্ট্যান্সের জন্য পূর্ণ GPU বা GPU-এর বড় অংশ বরাদ্দ রাখা হয়। কোনো মডেল নীরব থাকলেও তার জন্য সংরক্ষিত GPU অব্যবহৃত পড়ে থাকে। পর্যাপ্ত চালু রেপ্লিকা না থাকলে অনুরোধ আসার পর প্ল্যাটফর্মকে নতুন সক্ষমতা চালু করতে হয়, ফলে লোড হতে সময় লাগে এবং থ্রুপুট কমে। অনেক মডেলের মধ্যে GPU রিসোর্স একত্র করে এবং আরও ক্ষুদ্র সময়ের স্লটে কাজ নির্ধারণ করে প্রতিটি অ্যাক্সিলারেটরকে ব্যস্ত রাখার মাধ্যমে Aegaeon এই হিসাব বদলানোর চেষ্টা করছে।

Alibaba Cloud-এর ভাষ্য অনুযায়ী, অপচয় ছাড়াই একসঙ্গে LLM-এর কাজ চালানোর উপায় হলো Aegaeon। এতে আক্রমণাত্মক মাল্টি-মডেল শিডিউলিংয়ের সঙ্গে মেমোরিতে ডেটা প্রস্তুত রাখা এবং সামান্য বিলম্বে এক মডেল থেকে অন্য মডেলে কাজ সরিয়ে নেওয়ার ব্যবস্থা যুক্ত করা হয়েছে। পেকিং বিশ্ববিদ্যালয় ও Alibaba Cloud-এর গবেষক দলের মতে, এর ফলে থ্রুপুট বাড়ে, কিউতে অপেক্ষা কমে এবং অল্প ব্যবহৃত সেবার জন্য কম চিপ অলস পড়ে থাকে।

Aegaeon কোন সমস্যার সমাধানে তৈরি?

আধুনিক AI প্ল্যাটফর্মগুলোকে চাহিদার দীর্ঘ লেজ সামলাতে হয়। অল্প কিছু জনপ্রিয় মডেলে ইনফারেন্স ট্রাফিকের বেশির ভাগ আসে। কম জনপ্রিয় মডেলগুলোও ডেভেলপারদের জন্য গুরুত্বপূর্ণ, তবে সেগুলোতে অনিয়মিতভাবে অনুরোধ আসে। Alibaba Cloud-এর পরিমাপে দেখা গেছে, তাদের মার্কেটপ্লেসের ১৭.৭ শতাংশ GPU বরাদ্দ ছিল মাত্র ১.৩৫ শতাংশ অনুরোধ সামলানোর জন্য। মডেলগুলোকে নির্দিষ্ট অ্যাক্সিলারেটরে আটকে রাখলে, বিশেষ করে ট্রাফিক যখন দমকা বা অনিশ্চিত হয়, ক্লাউডকে GPU-এর অলস সময় এবং বারবার কোল্ড স্টার্টের খরচ বহন করতে হয়।

বাইরে থেকে ইনফারেন্স চালানো সহজ মনে হলেও, এর অভ্যন্তরীণ প্রক্রিয়া জটিল। একটি লার্জ ল্যাঙ্গুয়েজ মডেলের ওজন এবং রানটাইম স্টেট GPU মেমোরিতে থাকে। টেক্সট তৈরির সময় সিস্টেম একটি key-value cache বজায় রাখে, যেখানে আগে তৈরি হওয়া টোকেনের মধ্যবর্তী অ্যাক্টিভেশন সংরক্ষিত থাকে। ডিস্ক বা নেটওয়ার্ক থেকে মডেলের ওজন লোড করতে সময় লাগে। key-value cache প্রস্তুত করতেও সময় লাগে। প্রচলিত ব্যবস্থায় একটি GPU-কে এক মডেল থেকে অন্য মডেলে সরাতে হলে ব্যয়বহুল প্রক্রিয়ায় আগেরটি আনলোড করে নতুনটি লোড করতে হতো। এই বাড়তি খরচ ঘন ঘন রিসোর্স ভাগাভাগিতে বাধা দিত, ফলে বেশির ভাগ অ্যাক্সিলারেটর সর্বোচ্চ এক বা দুটি মডেলের জন্য নির্দিষ্ট থাকত। GPU-তে বড় ধরনের কর্মদক্ষতা-হানি ছাড়া অনেক মডেলের মধ্যে পালাক্রমে কাজ ভাগ করে নেওয়া সম্ভব করতে Aegaeon এই পরিবর্তনগুলো আরও দক্ষভাবে সামলানোর জন্য তৈরি।

ব্যবস্থাটি যেভাবে কাজ করে

Aegaeon একটি মাল্টি-মডেল সার্ভিং স্ট্যাক, যা GPU-কে যৌথ রিসোর্স হিসেবে বিবেচনা করে এবং অত্যন্ত ক্ষুদ্র সময়ের ব্যবধানে কোন কাজ চলবে তা ঠিক করে। অনুরোধ বা মডেল রেপ্লিকার স্তরে সক্ষমতা বাড়ানোর বদলে এটি প্রতিটি টোকেন ধরে সিদ্ধান্ত নেয়। একই GPU-তে বিভিন্ন ব্যবহারকারী ও মডেলের টোকেন তৈরির কাজ পর্যায়ক্রমে চালাতে পারে শিডিউলার, আর গুরুত্বপূর্ণ ডেটা স্ট্রাকচারগুলো মেমোরিতে প্রস্তুত রাখে। লক্ষ্য হলো, প্রতিক্রিয়ার সময় নির্দিষ্ট সীমার মধ্যে রেখে প্রতি সেকেন্ডে কার্যকর কাজের পরিমাণ সর্বোচ্চ করা।

টোকেন-স্তরে স্বয়ংক্রিয় স্কেলিং

মূল ধারণাটি হলো, টোকেন-স্তরে সক্ষমতা বাড়ানো। এর ফলে Aegaeon একটি মডেলের অনুরোধ সামলানো শুরু করে, তারপর একই ব্যাচিং ও কার্নেল চালনার মধ্যে অব্যবহৃত সক্ষমতা থাকলে সুযোগ বুঝে অন্য মডেলের টোকেনের কাজও নির্ধারণ করতে পারে। গবেষণাপত্রে বলা হয়েছে, প্রতি GPU-তে মাত্র দুই বা তিনটি মডেল মাল্টিপ্লেক্স করে এমন বিকল্প রিসোর্স-পুলের তুলনায় Aegaeon ২ থেকে ২.৫ গুণ বেশি অনুরোধ আসার হার সামলেছে, অথবা ১.৫ থেকে ৯ গুণ বেশি গুডপুট দিয়েছে। টোকেনের সূক্ষ্ম পর্যায়ে কাজ করায় নতুন রেপ্লিকা চালুর সঙ্গে যুক্ত দীর্ঘ বিরতি এড়ানো যায় এবং কোনো একটি মডেলে হঠাৎ চাহিদা বেড়ে গেলেও দ্রুত সাড়া দেওয়া সম্ভব হয়।

মেমোরির পুনর্ব্যবহার ও KV ক্যাশ সমন্বয়

উপাদান পুনর্ব্যবহার, মেমোরি সরাসরি ব্যবস্থাপনা এবং বিভিন্ন মডেলের মধ্যে key-value cache সূক্ষ্মভাবে সমন্বয়ের মাধ্যমে Aegaeon বাড়তি খরচ কমায়। গবেষকদের দাবি, সাধারণ পদ্ধতির তুলনায় এতে স্বয়ংক্রিয় স্কেলিংয়ের বাড়তি খরচ ৯৭ শতাংশ কমে। আরও দক্ষ মেমোরি ব্যবস্থাপনা ও ক্যাশ ব্যবহারের ফলে একই GPU-তে একাধিক মডেলকে বারবার নতুন করে লোড না করেই চালানোর জন্য প্রস্তুত রাখা যায়। এতে একটি অ্যাক্সিলারেটর একই সময়ে সর্বোচ্চ সাতটি মডেল চালাতে পারে, যেখানে আগের মাল্টি-মডেল ব্যবস্থাগুলোতে সাধারণত সীমা ছিল দুই বা তিনটি।

প্রোডাকশন বেটা পরীক্ষার পরিমাপ করা ফলাফল

Alibaba Cloud জানিয়েছে, তারা নিজেদের মডেল মার্কেটপ্লেসে তিন মাসেরও বেশি সময় ধরে Aegaeon-এর বেটা পরীক্ষা চালিয়েছে। এই ব্যবস্থায় ৭২ বিলিয়ন প্যারামিটার পর্যন্ত মডেলসহ কয়েক ডজন মডেল চালানো হয়েছে। এ সময়ে একই মাত্রার সেবা-চাহিদা পূরণে প্রয়োজনীয় GPU-এর সংখ্যা ১,১৯২টি Nvidia H20 থেকে কমে ২১৩টিতে নেমেছে, অর্থাৎ রিসোর্স সাশ্রয় হয়েছে ৮২ শতাংশ। মডেল বদলানোর ক্ষেত্রে বিলম্বজনিত শাস্তিও ৯৭ শতাংশ কমেছে, যা সারা দিন জনপ্রিয় ও কম ব্যবহৃত মডেলের মধ্যে কাজ পাল্টে পাল্টে চলার সময় কাজে আসে।

বাস্তব পরিবেশে একসঙ্গে বহু কাজ, নানা ধরনের অনুরোধ এবং বিভিন্ন মডেল থাকায় মার্কেটপ্লেসটি এই ব্যবস্থার জন্য শক্তিশালী পরীক্ষাক্ষেত্র। এখানে Aegaeon অ্যাক্সিলারেটরগুলোকে আরও বেশি সময় কাজে লাগিয়েছে, কম ব্যবহৃত সেবার অলস সময় কমিয়েছে এবং আরও সূক্ষ্মভাবে কাজ নির্ধারণ করে বেশি চাহিদার মডেলগুলোতে দ্রুত সাড়া বজায় রেখেছে। প্রতি টোকেনে কাজ নির্ধারণ এবং সতর্কভাবে মেমোরি পুনর্ব্যবহারের সমন্বয়েই প্রতি GPU-ঘণ্টায় আরও বেশি কার্যকর কাজ সম্ভব হয়েছে বলে মনে হয়।

পেকিং বিশ্ববিদ্যালয় ও Alibaba Cloud-এর গবেষক দল বলেছে, অনিয়মিত চাহিদার মডেলগুলোর জন্য GPU নির্দিষ্ট করে রাখায় শিল্পখাত এত দিন সম্ভাব্য আয়ের সুযোগ হারিয়েছে। গবেষণাপত্রে তারা সরাসরিই এই উপসংহার তুলে ধরেছেন।

বাজারে একসঙ্গে চলা LLM-এর কাজ সামলানোর সঙ্গে যুক্ত অতিরিক্ত খরচের বিষয়টি তুলে ধরা প্রথম গবেষণা হলো Aegaeon।

মডেল মার্কেটপ্লেসগুলোতে দেখা প্রবণতার সঙ্গে এই বক্তব্য মেলে। কম ব্যবহৃত মডেলের দীর্ঘ লেজ যে সক্ষমতা আটকে রাখে এবং সবার খরচ বাড়ায়, তা সেবাদাতারা অনেক দিন ধরেই জানেন। Aegaeon দেখিয়েছে, মাল্টি-মডেল সেবার উপযোগী শিডিউলিং ও মেমোরি নকশা দিয়ে এই অপচয় সামলানো সম্ভব।

ক্লাউড গ্রাহক ও ডেভেলপারদের জন্য এর অর্থ

গ্রাহকদের ক্ষেত্রে প্রতি একক থ্রুপুটে কম GPU লাগলে দাম কমতে পারে, কোটার প্রাপ্যতা বাড়তে পারে এবং কর্মক্ষমতা আরও পূর্বানুমানযোগ্য হতে পারে। কোনো ক্লাউড সেবাদাতা প্রায় এক-পঞ্চমাংশ অ্যাক্সিলারেটর দিয়ে একই ট্রাফিক সামলাতে পারলে, সর্বোচ্চ চাহিদার সময়ের জন্য সক্ষমতা খালি করতে এবং নতুন ডেপ্লয়মেন্টের অপেক্ষার সময় কমাতে পারবে। একটি অ্যাপ্লিকেশনে একাধিক মডেল যুক্ত করা ডেভেলপারদেরও বিভিন্ন এন্ডপয়েন্টে ট্রাফিকের ওঠানামার সময় কোল্ড স্টার্ট ও রেপ্লিকার ঘন ঘন বদলের কারণে তৈরি বাধা কম দেখা দিতে পারে।

ক্রেতাদের জন্য কিছু বাস্তব উদ্বেগও গুরুত্বপূর্ণ। একাধিক মডেলের মধ্যে রিসোর্স ভাগ করলেও বিচ্ছিন্নতা বজায় রাখতে হবে, যাতে একজন গ্রাহকের কাজ অন্যের অভিজ্ঞতা নষ্ট করতে বা তার ডেটা ফাঁস করতে না পারে। জনপ্রিয় মডেলগুলোর দ্রুত সাড়া বজায় রেখে ধীরগতির মডেলগুলোকেও কাজের অগ্রগতি দেওয়ার জন্য শিডিউলারকে অগ্রাধিকার ও ন্যায্যতার নিয়ম মানতে হবে। গবেষণাপত্রে বলা হয়েছে, সেবার মানের লক্ষ্যমাত্রা বিবেচনায় রেখেই Aegaeon টোকেন-স্তরে কাজের সিদ্ধান্ত নেয়। তারপরও বড় পরিসরে রিসোর্স-পুল বাড়ানোর সময় প্রতিক্রিয়ার দীর্ঘতম বিলম্ব নিয়ন্ত্রণে রাখতে ক্লাউড সেবাদাতাদের শক্তিশালী পর্যবেক্ষণব্যবস্থা ও থ্রটলিং দরকার হবে।

Nvidia, চীন ও AI চিপের প্রেক্ষাপট

উচ্চ ক্ষমতার অ্যাক্সিলারেটরের বৈশ্বিক সরবরাহে টান এবং চীনে উন্নত AI চিপ রপ্তানিতে চলমান নিয়ন্ত্রণের মধ্যে এসেছে Aegaeon। এসব নিয়ম মেনে চীনা বাজারের জন্য H20 তৈরি করেছে Nvidia, আর বহু চীনা সেবাদাতা ইনফারেন্সের কাজে এই ডিভাইসের ওপর নির্ভরশীল। একই সময়ে Huawei ও Cambricon-এর মতো চীনা নকশাকারীরাও দেশীয় বিকল্পে বিনিয়োগ করছে। প্রতিটি GPU-কে আরও বেশি কাজ করাতে পারা সফটওয়্যার যেকোনো বাজারেই মূল্যবান, তবে সবচেয়ে উন্নত চিপের নাগাল সীমিত এমন জায়গায় এর উপযোগিতা আরও বেশি।

Nvidia-র নেতৃত্ব জানিয়েছে, নীতিগত সীমাবদ্ধতার কারণে তাদের নিকটমেয়াদি আর্থিক পূর্বাভাসে চীনের উন্নত চিপ খাত থেকে আয় খুব সামান্য কিংবা একেবারেই না থাকার কথা ধরা হয়েছে। এই প্রেক্ষাপটে Alibaba Cloud-এর ফলাফল আরও তাৎপর্যপূর্ণ। বড় সেবাদাতারা সফটওয়্যারের সাহায্যে নিজেদের বিদ্যমান চিপভিত্তি থেকে আরও বেশি কাজ আদায় করতে পারলে, শীর্ষ পর্যায়ের অ্যাক্সিলারেটরের সরবরাহ সীমিত থাকলেও সেবা সম্প্রসারণ চালিয়ে যেতে পারবে।

অন্য পদ্ধতির সঙ্গে Aegaeon-এর তুলনা

সম্প্রতি পর্যন্ত বেশির ভাগ মাল্টি-মডেল সার্ভিং ব্যবস্থা একটি GPU-তে নিরাপদে মাত্র দুই বা তিনটি মডেল মাল্টিপ্লেক্স করতে পারত; এর বেশি হলে বাড়তি খরচ সুবিধাকে ছাড়িয়ে যেত। প্রতিটি নতুন মডেলের সঙ্গে প্রসঙ্গ বদলের কাজ বাড়ত, ক্যাশ মিস বাড়ত এবং কর্মক্ষমতার ওঠানামার ঝুঁকি তৈরি হতো, যা প্রতিক্রিয়ার সময়ের লক্ষ্য পূরণে বাধা দিতে পারে। Aegaeon-এর নকশায় এই অদলবদলের খরচ কমানো এবং বিভিন্ন মডেলের মধ্যে গুরুত্বপূর্ণ ডেটা স্ট্রাকচার মেমোরিতে ধরে রাখার ওপর জোর দেওয়া হয়েছে। এ কারণেই প্রতিবেদিত পরীক্ষার পরিস্থিতিতে এখন একটি অ্যাক্সিলারেটর সর্বোচ্চ সাতটি মডেল চালাতে পারে।

সর্বোচ্চ থ্রুপুটের এন্ডপয়েন্ট বা কঠোর বিচ্ছিন্নতা-শর্তযুক্ত কাজের জন্য আলাদা ইনস্ট্যান্স এখনও উপযুক্ত। অন্যদিকে, চাহিদা অনুযায়ী পূর্ণ মডেল রেপ্লিকা চালু করা সার্ভারলেস ইনফারেন্সে কম ট্রাফিকের মডেল চালানো সাশ্রয়ী হতে পারে, তবে চালু হতে বেশি সময় লাগে। Aegaeon মাঝামাঝি পথ বেছে নিয়েছে। এটি সক্ষমতা একত্র করে এবং মডেলগুলোকে প্রস্তুত রাখে, তারপর ছোট ছোট স্লটে কাজ চালায়, যাতে প্রতিক্রিয়ার সময়ে বড় মূল্য না দিয়েই সামগ্রিক ব্যবহার বাড়ে।

প্রযুক্তিগত খোলা প্রশ্ন ও পরবর্তী পদক্ষেপ

বেটা পরীক্ষা চালানো হয়েছে Alibaba Cloud-এর মডেল মার্কেটপ্লেসে। এটি বড় পরিসরের পরিবেশ হলেও কোম্পানির সব সেবা এতে অন্তর্ভুক্ত নয়। Aegaeon-কে আরও অঞ্চলে এবং এন্টারপ্রাইজের জন্য আলাদা ক্লাস্টার বা অন-প্রিমাইসেস স্ট্যাকের মতো ভিন্নধর্মী পণ্যসেবায় চালু করলে, বিভিন্ন সীমাবদ্ধতার মধ্যে নকশাটি যাচাই করা যাবে। আরেকটি প্রশ্ন হলো, মডেলের প্রসঙ্গের দৈর্ঘ্য বাড়লে এবং ভাষার সঙ্গে ছবি ও অডিও নিয়ে কাজ করা মাল্টিমোডাল মডেল এলে শিডিউলার কেমন কাজ করবে। এসব পরিস্থিতিতে মেমোরি ও ক্যাশ ব্যবস্থাপনাকে নতুনভাবে পরীক্ষা দিতে হবে।

ভিন্ন ধরনের অ্যাক্সিলারেটর এবং একাধিক নোডের মধ্যে রিসোর্স ভাগাভাগি নিয়েও গবেষণার সুযোগ রয়েছে। কোনো শিডিউলার যদি শুধু একটি GPU নয়, বরং একটি নেটওয়ার্ক কাঠামোর মধ্যে একাধিক GPU-র সক্ষমতা একত্র করতে পারে, তাহলে আরও সুফল পাওয়া যেতে পারে; তবে আন্তঃসংযোগের বাড়তি খরচ কম থাকতে হবে এবং মেমোরিতে ডেটা রাখার স্থান পূর্বানুমানযোগ্য হতে হবে। এ পর্যন্ত প্রকাশিত প্রমাণে একক ডিভাইসে রিসোর্স একত্র করে বড় ধরনের সুফলের ইঙ্গিত মিলেছে, যা আজকের ইনফারেন্স কাজের জন্যই গুরুত্বপূর্ণ বাস্তব অগ্রগতি।

একনজরে

• Aegaeon Alibaba Cloud-এর মার্কেটপ্লেস সেবা চালাতে প্রয়োজনীয় GPU-এর সংখ্যা ১,১৯২টি Nvidia H20 থেকে কমিয়ে ২১৩টিতে এনেছে, অর্থাৎ কমেছে ৮২ শতাংশ।
• তিন মাসের বেশি সময়ের বেটা পরীক্ষায় ব্যবস্থাটি ৭২ বিলিয়ন প্যারামিটার পর্যন্ত মডেলসহ কয়েক ডজন মডেল চালিয়েছে।
• প্রতিবেদিত পরীক্ষায় একটি GPU-তে সর্বোচ্চ সাতটি মডেল চালানো গেছে; আগের ব্যবস্থাগুলোতে এ সংখ্যা ছিল দুই বা তিনটি।
• প্রতি টোকেনে কাজ নির্ধারণ, মেমোরি পুনর্ব্যবহার এবং key-value cache সমন্বয়ের মাধ্যমে স্বয়ংক্রিয় স্কেলিংয়ের বাড়তি খরচ ৯৭ শতাংশ কমেছে।
• পরীক্ষায় বিকল্প পদ্ধতির তুলনায় অনুরোধ আসার হার ২ থেকে ২.৫ গুণ বেশি সামলানো গেছে, অথবা গুডপুট বেড়েছে ১.৫ থেকে ৯ গুণ।
• মডেল মার্কেটপ্লেসে কমসংখ্যক অনুরোধের জন্য বিপুল GPU সক্ষমতা আটকে থাকার দীর্ঘ লেজের সমস্যাই এই পদ্ধতির লক্ষ্য।
• চীনে উন্নত AI চিপের নাগালে রপ্তানি নিয়ন্ত্রণ বাধা দিচ্ছে এবং দেশীয় GPU তৈরির উদ্যোগ জোরদার হচ্ছে, এমন সময়েই এই ফলাফল এসেছে।