সার্ভারের মেমোরিকে আরও কার্যকর করে এআই টোকেনের খরচ কমাতে চায় স্যামসাং

জিপিইউ না বাড়িয়েই এআই অনুরোধের সংখ্যা বাড়ানো

স্যামসাং ইলেকট্রনিকস মেমোরি বরাদ্দ এবং প্রসেসরগুলোর মধ্যে ডেটা স্থানান্তরের পদ্ধতি বদলে কৃত্রিম বুদ্ধিমত্তার সার্ভারে একসঙ্গে আরও বেশি অনুরোধ সামলানোর একটি পদ্ধতি তৈরি করেছে। প্রকাশিত একটি পেটেন্ট আবেদনে এমন সফটওয়্যারের বর্ণনা রয়েছে, যা কোন অনুরোধটি বড় ভাষা মডেল আগে প্রক্রিয়া করবে তা ঠিক করতে অপেক্ষার সময়, স্থানান্তরের খরচ এবং ভবিষ্যতে মেমোরির চাহিদা বিবেচনা করে।

এর লক্ষ্য হলো গ্রাফিকস প্রসেসিং ইউনিটের (জিপিইউ) মেমোরি পূর্ণ হয়ে গেলে সৃষ্ট বিলম্ব কমানো, যাতে বিদ্যমান সার্ভারগুলো আরও বেশি মানুষকে সেবা দিতে পারে। স্যামসাংয়ের ভাষ্য অনুযায়ী, এটি এআই ইনফারেন্সের অবকাঠামো প্রযুক্তি। ইনফারেন্স হলো প্রশিক্ষিত মডেল চালিয়ে প্রশ্নের উত্তর দেওয়ার প্রক্রিয়া; এটি কোনো নির্দিষ্ট ভোক্তা পণ্যের জন্য তৈরি ফিচার নয়।

মেমোরি ব্যবস্থাপনার উন্নতিতে সম্ভাব্য সাশ্রয়ের একটি বাস্তব চিত্র দিয়েছে স্যামসাংয়ের সংশ্লিষ্ট গবেষণা। আটটি NVIDIA H100 NVL জিপিইউ এবং স্যামসাংয়ের ১০টি সলিড স্টেট ড্রাইভ ব্যবহার করে আলাদা এক স্টোরেজ পরীক্ষায় ২৪০ জন পর্যন্ত একসঙ্গে সক্রিয় ব্যবহারকারীর ক্ষেত্রে প্রথম আউটপুট টোকেন পেতে অপেক্ষার সময় এক সেকেন্ডের নিচে রাখা হয়েছিল। স্টোরেজে ডেটা সরিয়ে রাখার ব্যবস্থা ছাড়া ১৪০ জনের বেশি ব্যবহারকারীর পর অপেক্ষার সময় বাড়তে শুরু করে।

পেটেন্ট, স্টোরেজ পরীক্ষা এবং স্যামসাং SDS-এর আরেকটি প্রকল্প একই সমস্যার ভিন্ন দিক নিয়ে কাজ করে: ব্যয়বহুল এআই প্রসেসর তথ্য স্থানান্তর বা পুনর্গঠনে অতিরিক্ত সময় ব্যয় করতে পারে। এই কাজ কমানো গেলে অপারেটররা বিদ্যমান সরঞ্জাম দিয়েই আরও বেশি উত্তর দিতে পারবেন এবং প্রতিটি টোকেনের খরচ কমাতে পারবেন। টোকেন হলো ভাষা মডেলের প্রক্রিয়াকরণ ও তৈরি করা লেখার ছোট ছোট অংশ।

মেমোরির কারণে উত্তর পেতে দেরি হয় কেন

জিপিইউ একসঙ্গে অনেক হিসাব করতে পারে, তাই এআইয়ের উত্তর তৈরিতে এটি কার্যকর। তবে এর দ্রুতগতির স্থানীয় মেমোরির ধারণক্ষমতা সীমিত। একাধিক কথোপকথন সেই জায়গার জন্য প্রতিযোগিতা করে, বিশেষত ব্যবহারকারীরা দীর্ঘ নথি জমা দিলে বা দীর্ঘ উত্তর প্রয়োজন এমন প্রশ্ন করলে।

ভাষা মডেল আগের হিসাবের অস্থায়ী রেকর্ড কী ভ্যালু ক্যাশ (key value cache) নামের একটি কাঠামোয় রাখে, যাকে সংক্ষেপে KV ক্যাশ বলা হয়। একে কাজের নোটের মতো ভাবা যায়: এই নোটগুলো সংরক্ষণ করলে মডেল আগে প্রক্রিয়া করা সবকিছু বারবার হিসাব না করেই উত্তর চালিয়ে যেতে পারে।

স্যামসাংয়ের স্টোরেজ পরীক্ষায় প্রতিটি সেশনের জন্য প্রায় ৩ জিবি KV ক্যাশ প্রয়োজন হয়েছিল। ২৪০টি সেশনে পুরো কাজের জন্য ক্যাশ ডেটার পরিমাণ দাঁড়ায় প্রায় ৭২০ জিবি। এই পরিসংখ্যান ব্যাখ্যা করে, যথেষ্ট কম্পিউটিং ক্ষমতা থাকা সত্ত্বেও অনেক মানুষকে সেবা দিতে গেলে কেন মেমোরি-সংক্রান্ত সমস্যা দেখা দিতে পারে।

দ্রুতগতির জিপিইউ মেমোরিতে জায়গা কমে গেলে সার্ভার কিছু ডেটা কেন্দ্রীয় প্রসেসিং ইউনিটের (CPU) সঙ্গে যুক্ত মেমোরিতে সরিয়ে রাখতে পারে, পরে প্রয়োজন হলে ফিরিয়ে আনতে পারে। এ ধরনের স্থানান্তরে সময় লাগে। বাদ দেওয়া হিসাব আবার তৈরি করতেও সম্পদ খরচ হয়। স্যামসাংয়ের পেটেন্টে এই প্রতিযোগিতা আরও সতর্কভাবে সামলানোর ওপর জোর দেওয়া হয়েছে।

পেটেন্ট করা সময়সূচি পদ্ধতি যেভাবে কাজ করে

স্যামসাংয়ের Method and Server for Processing Multiple User Requests of a Large Language Model শীর্ষক আবেদনটিতে এমন একটি শিডিউলারের বর্ণনা রয়েছে, যা প্রতিটি অনুরোধ পূরণে কতটা খরচ হবে তা বিবেচনা করে। এর বিবেচ্য বিষয়ের মধ্যে রয়েছে ব্যবহারকারী কতক্ষণ অপেক্ষা করেছেন, ডেটা স্থানান্তরে কত সময় লাগবে এবং অনুরোধটির জন্য কত মেমোরি দরকার হবে।

এই হিসাবের ভিত্তিতে সার্ভার প্রক্রিয়াকরণের ক্রম বেছে নেয়। কারণ, কোনো অনুরোধ প্রক্রিয়াকরণের জন্য প্রস্তুত মনে হলেও আগে বড় পরিমাণ ডেটা স্থানান্তরের প্রয়োজন হতে পারে, অথচ অন্য একটি অনুরোধের জন্য কাছেই থাকা ডেটা ব্যবহার করা সম্ভব। এই সিদ্ধান্তগুলো সমন্বয় করলে মেমোরি পুনর্বিন্যাসে ব্যয় হওয়া সময় কমতে পারে।

আগে CPU মেমোরিতে সরিয়ে রাখা তথ্য এখনও সেখানে আছে কি না, পদ্ধতিটি তা-ও যাচাই করে। ব্যবহারযোগ্য কপি থাকলে সার্ভার সবকিছু আবার কপি না করে শুধু প্রয়োজনীয় অংশ সরাতে পারে। জিপিইউ যখন একজন ব্যবহারকারীর উত্তর তৈরি করে, তখন একই সময়ে অন্য ব্যবহারকারীর জন্য ডেটা স্থানান্তরও করতে পারে। এতে দরকারি কাজ ও প্রস্তুতির ধাপ পাশাপাশি চলতে পারে।

আংশিকভাবে খালি থাকা মেমোরি ব্যবহারের কথাও স্যামসাং বলেছে। নতুন কোনো অনুরোধে পাঁচ একক জায়গা লাগলেও যদি মাত্র তিন একক খালি থাকে, তাহলে পাঁচ এককের পুরোটা খালি হওয়া পর্যন্ত অপেক্ষা না করে সিস্টেম জায়গায় ধরবে এমন অংশটি দিয়ে কাজ শুরু করতে পারে। ব্যস্ত সময়ে সীমিত সম্পদকে কাজে লাগিয়ে রাখাই এর ব্যবহারিক লক্ষ্য। পেটেন্ট করা এই পদ্ধতির বাণিজ্যিক ব্যবহারের বিস্তারিত এবং প্রতিক্রিয়ার সময় ও থ্রুপুটে পরিমাপ করা উন্নতির তথ্য প্রকাশ করা হয়নি।

স্টোরেজে ডেটা সরিয়ে রেখে স্যামসাংয়ের পরিমাপ

স্যামসাং ইলেকট্রনিকসের KV ক্যাশবিষয়ক হোয়াইট পেপারে ভিন্ন একটি পদ্ধতি পরীক্ষা করা হয়েছে: পুনর্ব্যবহারযোগ্য ক্যাশ ডেটা NVMe সলিড স্টেট ড্রাইভে সংরক্ষণ করা। NVMe এমন একটি প্রযুক্তি, যার মাধ্যমে স্টোরেজ ডিভাইস PCIe সংযোগ ব্যবহার করে কম্পিউটারের সঙ্গে দ্রুত যোগাযোগ করতে পারে।

পরীক্ষায় ব্যবহৃত হয়েছে আটটি NVIDIA H100 NVL জিপিইউ, সমান্তরালে চলা আটটি LLaMA-3.1 8B ইনফারেন্স পরিষেবা, vLLM সার্ভিং সফটওয়্যার এবং LMCache। LMCache হলো পুনর্ব্যবহারযোগ্য KV ক্যাশ ডেটা পরিচালনার একটি ওপেন সোর্স স্তর। স্যামসাংয়ের ১০টি PM1753 ড্রাইভ RAID-0 অ্যারেতে যুক্ত করা হয়েছিল। ডেটা স্থানান্তরের গতি বাড়াতে এই ব্যবস্থা ড্রাইভগুলোর মধ্যে ডেটা ভাগ করে রাখে।

পরীক্ষায় ২০ জন করে ব্যবহারকারী বাড়িয়ে একসঙ্গে সর্বোচ্চ ২৮০ জনে নেওয়া হয়েছিল। প্রত্যেক ব্যবহারকারী প্রতি ২০ সেকেন্ডে একটি করে প্রশ্ন জমা দিয়েছেন। এতে প্রতি সেকেন্ডে ১ থেকে ১৪টি প্রশ্নের কাজের চাপ তৈরি হয়। ফলে পরীক্ষাটি নির্দিষ্টভাবে নির্ধারিত পুনরাবৃত্ত অনুরোধ ও ক্যাশ স্থানান্তরের ধরন যাচাই করেছে।

একটি সেশন এক জিপিইউ থেকে অন্যটিতে গেলে স্টোরেজ পদ্ধতিটি কাজে আসে। গন্তব্য জিপিইউ দীর্ঘ প্রম্পটের প্রাথমিক প্রক্রিয়াকরণ আবার না করে সংরক্ষিত হিসাব পুনরায় লোড করতে পারে। একটি মেশিনের মধ্যে বাহ্যিক ক্যাশ CPU মেমোরি বা স্টোরেজে রাখা যায়। একাধিক মেশিনে ব্যবহারের ক্ষেত্রে সংশ্লিষ্ট সার্ভারগুলো যেন তা ব্যবহার করতে পারে, সে জন্য ক্যাশের একটি যৌথভাবে ব্যবহারযোগ্য উৎস দরকার বলে ব্যাখ্যা করেছে স্যামসাং।

দ্রুত উত্তর শুরু, বেশি লেখা তৈরি

স্যামসাং সেবার কার্যকারিতার দুটি দিক পরিমাপ করেছে: প্রথম টোকেন পেতে সময় এবং প্রতি সেকেন্ডে টোকেনের সংখ্যা। প্রথমটি দিয়ে উত্তর দেখা শুরু হওয়ার আগে একজন মানুষকে কতক্ষণ অপেক্ষা করতে হয় তা বোঝায়। দ্বিতীয়টি দিয়ে নির্দিষ্ট সময়ে সিস্টেম কতটা লেখা তৈরি করে তা মাপা হয়।

স্টোরেজে ডেটা সরিয়ে রাখার ব্যবস্থা চালু থাকলে পরীক্ষায় একসঙ্গে ২৪০ জন ব্যবহারকারী পর্যন্ত প্রথম টোকেন পেতে সময় এক সেকেন্ডের নিচে ছিল। এ ব্যবস্থা ছাড়া ১৪০ জনের বেশি ব্যবহারকারীর পর বিলম্ব বাড়তে থাকে। স্যামসাংয়ের দাবি, কাছাকাছি মাত্রার বিলম্বে এটি ১.৭ গুণ বেশি ব্যবহারকারীকে সহায়তা করেছে। ২০ থেকে ১৪০ জন ব্যবহারকারীর মধ্যে, ডেটা সরিয়ে রাখার ব্যবস্থা ব্যবহার করা বিন্যাসে প্রাথমিক অপেক্ষার সময় প্রায় আধা সেকেন্ড ছিল।

২৪০ জন ব্যবহারকারীর ক্ষেত্রে ডেটা সরিয়ে রাখার ব্যবস্থাসহ সিস্টেমটি প্রায় ১.৫ গুণ বেশি আউটপুট টোকেন তৈরি করেছে। এ ব্যবস্থা ছাড়া বিন্যাসটি প্রায় ১৬০ জন ব্যবহারকারীর কাছাকাছি গিয়ে সর্বোচ্চ সক্ষমতায় পৌঁছাতে শুরু করে। অন্যদিকে, সংরক্ষিত ক্যাশ পুনর্ব্যবহার করা সিস্টেমে চাহিদা বাড়ার সঙ্গে সঙ্গে আউটপুটও বাড়তে থাকে।

বারবার প্রম্পট প্রক্রিয়াকরণের প্রয়োজন কমানোর কারণেই এই উন্নতি হয়েছে বলে জানিয়েছে স্যামসাং। ভাষা মডেল প্রথমে ইনপুট প্রক্রিয়া করে, এই ধাপকে প্রিফিল বলা হয়। এরপর ডিকোড নামের ধাপে একে একে টোকেন তৈরি করে উত্তর দেয়। সংরক্ষিত হিসাব পুনর্ব্যবহার করলে উত্তর তৈরির জন্য জিপিইউর আরও বেশি সক্ষমতা অবশিষ্ট থাকে।

কখন অতিরিক্ত স্টোরেজের খরচ পুষিয়ে যায়

স্যামসাংয়ের খরচ বিশ্লেষণে দেখা গেছে, ভারী চাহিদার সময় দক্ষতা বাড়ালেও অতিরিক্ত হার্ডওয়্যারের দাম রয়েছে। একসঙ্গে শূন্য থেকে ১৬০ জন ব্যবহারকারীর ক্ষেত্রে, দুই বিন্যাসেই টোকেন থ্রুপুট ছিল প্রায় একই। তবে অতিরিক্ত NVMe যন্ত্রাংশের কারণে ডেটা সরিয়ে রাখার ব্যবস্থা ব্যবহার করা বিন্যাসটির খরচ ছিল প্রায় ৪% বেশি।

১৮০ জনের বেশি ব্যবহারকারীর ক্ষেত্রে বেশি আউটপুট অতিরিক্ত স্টোরেজের খরচ পুষিয়ে দেয়। ২৪০ জন ব্যবহারকারীর সময় তিন বছরের কার্যকাল ধরে প্রতি ডলারে প্রতি সেকেন্ডে টোকেনের সংখ্যা মেপে স্যামসাং প্রায় ১.৫ গুণ বেশি খরচ-সাশ্রয়ী বলে হিসাব করেছে।

অন্যভাবে বললে, প্রতি ডলারে আউটপুট ১.৫ গুণ বাড়লে ওই হিসাব অনুযায়ী আউটপুটের প্রতি এককের খরচ প্রায় এক-তৃতীয়াংশ কমে। এই তুলনা স্যামসাংয়ের পরীক্ষিত সরঞ্জাম ও কাজের চাপের ক্ষেত্রে প্রযোজ্য। কোনো পরিষেবার প্রকৃত অর্থনীতি নির্ভর করে মডেল, কথোপকথনের দৈর্ঘ্য, ট্রাফিক এবং সরঞ্জামের খরচের ওপরও।

তাই ক্লাউড অপারেটরের জন্য ব্যবহারিক সিদ্ধান্তটি চাহিদার ওপর নির্ভর করে। বিদ্যমান জিপিইউ সক্ষমতা কাজের চাপ অনায়াসে সামলাতে পারলে অতিরিক্ত স্টোরেজ প্রাথমিক খরচ বাড়ায়। দীর্ঘ সময় ধরে চাপ বেশি থাকলে ক্যাশ পুনর্ব্যবহার করে নতুন সার্ভার কেনার আগে একই জিপিইউ ব্যবস্থায় আরও বেশি কাজ চালানো সম্ভব।

বিদ্যুৎ সাশ্রয়ে শীতলীকরণ ফ্যানের ভূমিকাও আছে

স্টোরেজ পরীক্ষায় স্যামসাং কম বিদ্যুৎ খরচও মেপেছে। ২৪০ জন ব্যবহারকারীর ক্ষেত্রে প্রতি ওয়াটে কার্যকারিতা প্রায় ২.৯ গুণ উন্নত হয়। ডেটা সরিয়ে রাখার ব্যবস্থা ছাড়া বিন্যাসের তুলনায় পুরো সিস্টেমের বিদ্যুৎ খরচ নেমে আসে প্রায় ৫৩%-এ, অর্থাৎ কমে প্রায় ৪৭%।

হোয়াইট পেপার অনুযায়ী, অতিরিক্ত NVMe ড্রাইভের কারণে বিদ্যুৎ খরচ প্রায় ৬% বেড়েছিল। তবে জিপিইউ ও শীতলীকরণের চাহিদা কমে যাওয়ায় সেই বাড়তি খরচের চেয়েও বেশি সাশ্রয় হয়। কাজের চাপ থেকে বারবার প্রিফিলের নিবিড় হিসাব বাদ পড়ায় স্যামসাং জিপিইউ ব্যবহারের হার প্রায় ৪৯% রেকর্ড করেছে।

শীতলীকরণ ফ্যানেও এই পরিবর্তনের প্রতিফলন দেখা গেছে। ডেটা সরিয়ে রাখার ব্যবস্থা ছাড়া সিস্টেমের সব ফ্যান প্রতি মিনিটে ১৫,০০০ ঘূর্ণনের সর্বোচ্চ প্রত্যাশিত গতিতে চলেছে। ব্যবস্থা চালু থাকলে CPU, মেমোরি ও স্টোরেজের ফ্যানগুলো প্রতি মিনিটে প্রায় ৭,৮০০ ঘূর্ণনে চলেছে, আর জিপিইউ পাশের ফ্যানগুলো চলেছে প্রতি মিনিটে প্রায় ৯,৮০০ ঘূর্ণনে।

এই ফলাফল দেখায়, কোনো যন্ত্রাংশ নিজে বিদ্যুতের চাহিদা বাড়ালেও পুরো সার্ভারে বিদ্যুৎ খরচ কমাতে পারে। এই পরীক্ষায় সংরক্ষিত হিসাব ফিরিয়ে আনতে বিদ্যুৎ খরচ করে বারবার হিসাব করার এবং সেই হিসাব থেকে তৈরি তাপ সরানোর আরও বড় বিদ্যুৎ খরচ কমানো হয়েছে।

স্টোরেজকে সামলাতে হবে হঠাৎ বেড়ে যাওয়া চাপ

স্যামসাংয়ের পরিমাপ আরও দেখায়, এই পদ্ধতিতে শুধু অতিরিক্ত ড্রাইভ ধারণক্ষমতা থাকলেই চলে না। স্টোরেজের সম্মিলিত গড় থ্রুপুট সেকেন্ডে সর্বোচ্চ ৩৭ জিবিতে পৌঁছেছিল। একই সময়ে একাধিক জিপিইউর অনুরোধে সর্বোচ্চ চাহিদা গড়ের প্রায় দ্বিগুণ হতে পারে।

একই সময়ে চলমান স্টোরেজ অপারেশনের সংখ্যা সাধারণত প্রায় ১৬০ ছিল, তবে তা হঠাৎ বেড়ে ৮০০ হতে পারত। প্রতিক্রিয়ার গতি বজায় রেখে এমন চাপ সামলাতে গড় চাহিদার অন্তত দ্বিগুণ স্টোরেজ ব্যান্ডউইডথ রাখার পরামর্শ দিয়েছে স্যামসাং।

PM1753-এর ধারাবাহিক ডেটা স্থানান্তরের গতি সেকেন্ডে সর্বোচ্চ ১৪.৫ জিবি এবং এলোমেলো পঠন অপারেশনের গতি প্রতি সেকেন্ডে ৩৩ লাখ পর্যন্ত বলে উল্লেখ করা হয়েছে। পরীক্ষিত কাজের চাপে স্টোরেজ কার্যকলাপের প্রায় ৯২% ছিল পঠন এবং ৮% ছিল লিখন। LMCache প্রায় ৩৩ এমবির বড় ক্যাশ ব্লক সরিয়েছে।

একাধিক পরিষেবা একসঙ্গে বড় ব্লক পড়লে অনুরোধগুলো পরস্পরের সঙ্গে মিশে ধারাবাহিক প্রবাহ তৈরি করতে পারে। তাই অনেক ব্যবহারকারী একযোগে সক্রিয় হলে স্টোরেজ সাবসিস্টেমকে ডেটা স্থানান্তরের গতি ধরে রাখতে হবে। সংরক্ষিত তথ্য যথেষ্ট দ্রুত জিপিইউতে পৌঁছে কাজে লাগবে কি না, তা ক্যাশের ধারণক্ষমতা, স্থানান্তরের গতি ও শিডিউলিংয়ের ওপর নির্ভর করে।

মেমোরির ভেতরেই হিসাব চালাচ্ছে স্যামসাং SDS

ডেটা স্থানান্তর কমাতে স্যামসাং SDS আরেকটি পদ্ধতিতে কাজ করছে। তাদের PAISE গবেষণার বিবরণে PIM-Accelerated Inference Scheduling Engine-এর কথা বলা হয়েছে, যা IEEE HPCA 2025-এ উপস্থাপিত হয়। PAISE-এ প্রসেসিং ইন মেমোরি (PIM) ব্যবহার করা হয়। এতে মেমোরি চিপের ভেতরেই কম্পিউটিং ইউনিট বসানো থাকে, ফলে কিছু হিসাব ডেটা যেখানে সংরক্ষিত সেখানেই করা যায়।

স্যামসাং SDS স্যামসাংয়ের Aquabolt-XL PIM হার্ডওয়্যারে সিস্টেমটি তৈরি ও যাচাই করেছে এবং GPT-2, OPT ও Llama2 মডেল পরীক্ষা করেছে। তাদের প্রতিবেদনে ইনফারেন্সের গতি সর্বোচ্চ ৪৮.৩% বৃদ্ধি এবং বিদ্যুৎ খরচ প্রায় ১১.৫% কমার কথা বলা হয়েছে।

কোন অপারেশন মেমোরির ভেতরে চালানো উচিত, PAISE তা নির্ধারণ করে এবং হার্ডওয়্যারের উপযোগী করে ডেটা সাজায়। ছোট অ্যাটেনশন হিসাবগুলো আরও দক্ষতার সঙ্গে সমান্তরালে চালানোর জন্য সিস্টেমটি সেগুলোকে একত্রও করে। স্যামসাং SDS জানিয়েছে, এতে KV ক্যাশ দ্রুত হালনাগাদ হয় এবং বড় ব্যাচ সাইজে উন্নতি আরও বেশি দেখা যায়। ব্যাচ সাইজ বলতে একসঙ্গে প্রক্রিয়া করা অনুরোধের দলকে বোঝায়।

তিনটি প্রকল্প সার্ভারের ভিন্ন ভিন্ন পর্যায়ে কাজ করে। পেটেন্টে জিপিইউ ও CPU মেমোরির মধ্যে অনুরোধ এবং ডেটা স্থানান্তরের সময়সূচি নির্ধারণ করা হয়। স্টোরেজ পরীক্ষায় পরে পুনর্ব্যবহারের জন্য ক্যাশ ড্রাইভে সংরক্ষণ করা হয়। PAISE-এ বাছাই করা কিছু হিসাব মেমোরি হার্ডওয়্যারের ভেতরে সরিয়ে নেওয়া হয়। সব মিলিয়ে, এআইয়ের উত্তর তৈরিতে প্রয়োজনীয় তথ্য স্থানান্তর বা পুনর্গঠনে সময় ও শক্তি কমানোর একাধিক উপায় নিয়ে স্যামসাং কাজ করছে।

মূল বিষয়গুলো

• স্যামসাংয়ের প্রকাশিত পেটেন্ট আবেদনে অপেক্ষার সময়, স্থানান্তরের খরচ এবং সম্ভাব্য মেমোরি চাহিদা ব্যবহার করে এআই অনুরোধের সময়সূচি নির্ধারণ করা হয়।
• পেটেন্ট করা পদ্ধতিটির লক্ষ্য বিদ্যমান জিপিইউ দিয়ে আরও বেশি ব্যবহারকারীকে সেবা দেওয়া; বাণিজ্যিক কার্যকারিতার পরিসংখ্যান প্রকাশ করা হয়নি।
• স্যামসাংয়ের আলাদা স্টোরেজ পরীক্ষায় একসঙ্গে ২৪০ জন ব্যবহারকারী পর্যন্ত প্রথম উত্তর পেতে অপেক্ষার সময় এক সেকেন্ডের নিচে ছিল; ডেটা সরিয়ে রাখার ব্যবস্থা ছাড়া ১৪০ জনের বেশি ব্যবহারকারীর পর বিলম্ব বাড়ে।
• ২৪০ জন ব্যবহারকারীর ক্ষেত্রে স্টোরেজে ডেটা সরিয়ে রাখায় টোকেন আউটপুট ও খরচ-সাশ্রয়ী কার্যকারিতা প্রায় ১.৫ গুণ এবং প্রতি ওয়াটে কার্যকারিতা ২.৯ গুণ বেড়েছে।
• ব্যবহারকারীর চাপ কম থাকলে অতিরিক্ত স্টোরেজে খরচ প্রায় ৪% বেড়েছে, তাই অর্থনৈতিক হিসাবের ক্ষেত্রে চাহিদা গুরুত্বপূর্ণ।
• স্যামসাং SDS জানিয়েছে, মেমোরির ভেতরে হিসাব চালানো তাদের আলাদা PAISE সিস্টেমে ইনফারেন্সের গতি সর্বোচ্চ ৪৮.৩% বাড়িয়েছে।