ডিপসিকের ২ লাখ ৯৪ হাজার ডলারের প্রশিক্ষণ ব্যয়ের দাবি বিশ্লেষণ: আর১ তৈরিতে কেন আসলে কয়েক মিলিয়ন ডলার লেগেছে

২ লাখ ৯৪ হাজার ডলারের মূল্যট্যাগ এআই জগৎকে কেন বিস্মিত করেছিল

ডিপসিক তাদের যুক্তি নির্ণয় মডেল আর১ নিয়ে পিয়ার-রিভিউ করা গবেষণাপত্র নেচার-এ প্রকাশ করলে একটি অঙ্ক সবার নজর কাড়ে: ২ লাখ ৯৪ হাজার ডলার। শিরোনামগুলোতে বলা হয়, যুক্তরাষ্ট্রের প্রতিদ্বন্দ্বী প্রতিষ্ঠানগুলো যে ব্যয় করেছে বলে জানা গেছে, তার সামান্য অংশেই তাদের প্রধান মডেলটি প্রশিক্ষিত হয়েছে। অঙ্কটি সত্যি, তবে কাজের একটি সীমিত পর্যায়ের জন্য। এই অর্থ ব্যয় হয়েছে শেষের রিইনফোর্সমেন্ট লার্নিং ধাপে, যা মডেলটির ধাপে ধাপে যুক্তি করার ক্ষমতা শাণিত করেছে। আর১ যে অনেক বড় ভিত্তি মডেলের ওপর নির্ভরশীল, সেটিকে প্রি-ট্রেনিং দিতে কয়েক মাসের যে কাজ হয়েছে, তার খরচ এতে অন্তর্ভুক্ত ছিল না।

আর১-এর সক্ষমতার ভিত্তি ডিপসিক ভি৩, একটি বৃহৎ ভাষা মডেল, যা বিশাল ডেটাসেট ব্যবহার করে বড় কম্পিউট ক্লাস্টারে প্রশিক্ষণ দেওয়া হয়েছে। সেই ব্যয়বহুল ভিত্তি তৈরি হওয়ার পরই দলটি মডেলটিকে উন্নত যুক্তি ও সমস্যা সমাধানের দিকে এগিয়ে নিতে রিইনফোর্সমেন্ট লার্নিং চালায়। প্রকল্পের পুরো কাজকে শেষ ধাপের সঙ্গে গুলিয়ে ফেলার কারণেই একটি নির্দিষ্ট খরচের হিসাব শিরোনাম হয়ে উঠেছিল।

এই পার্থক্যটি গুরুত্বপূর্ণ। কোডিং ও গণিতে সেরা সিস্টেমগুলোর সঙ্গে পাল্লা দিতে পারে, এমন একটি মডেল কয়েকটি চিপের র‍্যাকে এক সপ্তাহান্তে তৈরি হয় না। এর জন্য দীর্ঘ সময় ধরে কম্পিউট ব্যবহার, ব্যাপক ডেটা বাছাই, বারবার পরীক্ষা, সতর্কতার সঙ্গে নিরাপত্তা ও মূল্যায়নের কাজ এবং শেষে অপ্টিমাইজেশনের একটি ধাপ দরকার। নেচার-এর গবেষণাপত্রটি শেষের সেই ধাপটি দেখার মূল্যবান সুযোগ করে দিয়েছে। তবে এর আগে যে বিপুল কাজ হয়েছে, তা মুছে দেয়নি।

নেচার-এর গবেষণাপত্রে আসলে কী বলা হয়েছে

আর১-এর সম্পূরক উপকরণে ৫১২টি এনভিডিয়া এইচ৮০০ জিপিইউতে চালানো একটি রিইনফোর্সমেন্ট লার্নিং পর্বের বিবরণ দেওয়া হয়েছে। এতে আর১ জিরোর প্রাথমিক প্রশিক্ষণ প্রায় ১৯৮ ঘণ্টা চলে এবং প্রকাশিত আর১ তৈরি করতে আরও ৮০ ঘণ্টা লাগে। এ প্রক্রিয়ায় ব্যবহৃত পছন্দ-সংক্রান্ত ডেটা তৈরিতে দলটি প্রায় ৫ হাজার জিপিইউ-ঘণ্টাও নথিভুক্ত করেছে। এইচ৮০০ শ্রেণির অ্যাক্সিলারেটরের প্রচলিত ভাড়ার হার ধরে হিসাব করলে, এই ধাপগুলোতে মোট খরচ ৩ লাখ ডলারের সামান্য কম। তবে এই অঙ্কটি একেবারে শূন্য থেকে অত্যাধুনিক মডেল তৈরির জন্য প্রয়োজনীয় মোট সময় ও কম্পিউটের হিসাব নয়।

গবেষণাপত্রে হার্ডওয়্যারের প্রেক্ষাপটও স্পষ্ট করা হয়েছে। ডিপসিক মূলত এইচ৮০০-তে আর১ প্রশিক্ষণ দিয়েছে। যুক্তরাষ্ট্রের রপ্তানি বিধিনিষেধের কারণে উচ্চক্ষমতার অ্যাক্সিলারেটরে প্রবেশাধিকার সীমিত হওয়ার পর চীনের জন্য এই চিপ নকশা করেছিল এনভিডিয়া। দলটি স্বীকার করেছে, ছোট একটি মডেল নিয়ে প্রস্তুতিমূলক কাজে এ১০০ জিপিইউ ব্যবহার করা হয়েছিল। এরপর আর১-এর মূল রিইনফোর্সমেন্ট লার্নিং পর্বের জন্য তারা এইচ৮০০-তে যায়। পিয়ার-রিভিউ করা উপকরণে কারিগরি বিবরণ ও খরচের হিসাব পাঠকেরা জার্নালের Nature ওয়েবসাইটে দেখতে পারেন।

আর১ তৈরির আসল খরচ শুরু ভি৩-এর প্রি-ট্রেনিং থেকে

ডিপসিকের নিজস্ব উপকরণে সবচেয়ে বড় খরচের জায়গাটি চিহ্নিত করা হয়েছে: আর১-এর ভিত্তি মডেল ভি৩-এর প্রি-ট্রেনিং। প্রায় দুই মাস ধরে ২ হাজার ৪৮টি এইচ৮০০ জিপিইউতে ভি৩-কে প্রশিক্ষণ দেওয়া হয়। এই সময়ে মোট জিপিইউ-ঘণ্টা প্রায় ২.৭৯ মিলিয়ন। এই শ্রেণির হার্ডওয়্যারের জন্য প্রতি জিপিইউ-ঘণ্টায় প্রায় ২ ডলার ভাড়ার একটি রক্ষণশীল হিসাব ধরলে, শুধু প্রি-ট্রেনিংয়েই খরচ দাঁড়ায় প্রায় ৫.৫৮ মিলিয়ন ডলার। এর সঙ্গে রিইনফোর্সমেন্ট লার্নিং ও সংশ্লিষ্ট ডেটা তৈরির প্রায় ২ লাখ ৯৪ হাজার ডলার যোগ করলে, প্রকাশিত রূপের আর১ তৈরি পর্যন্ত কম্পিউট ব্যয় প্রায় ৫.৮৭ মিলিয়ন ডলারে পৌঁছায়।

এই হিসাবটি গবেষণাপত্রের ব্যাখ্যার সঙ্গে মেলে: আর১-এর ২ লাখ ৯৪ হাজার ডলার ছিল ভিত্তি মডেলের খরচের অতিরিক্ত। আর১-এর মোট কম্পিউট ব্যয়কে অন্য বড় ওপেন মডেলের কাছাকাছি পর্যায়ে রাখে এমন বাইরের বিশ্লেষণের সঙ্গেও এটি মিলে যায়। সবচেয়ে বড় ক্লোজড সিস্টেমগুলোর গুজবনির্ভর বাজেটের তুলনায় এ খরচ কম মনে হলেও, ৩ লাখ ডলারের কম খরচের শিরোনাম থেকে যে সস্তা মডেলের ধারণা তৈরি হয়েছিল, বাস্তব ব্যয় তার চেয়ে অনেক বেশি।

জিপিইউ-ঘণ্টার হিসাব যেভাবে করা হয়

কম্পিউট ব্যবহারের সহজ একটি মাপকাঠি হলো জিপিইউ-ঘণ্টা: এক ঘণ্টা ধরে একটি জিপিইউ চললে তা এক জিপিইউ-ঘণ্টা। প্রশিক্ষণ পর্বের মোট জিপিইউ-ঘণ্টা হিসাব হয় জিপিইউর সংখ্যা ও ব্যবহৃত ঘণ্টার গুণফল হিসেবে। বাজারে ওই ঘণ্টাগুলোর মূল্য থেকেই খরচ নির্ধারিত হয়। তা হতে পারে ক্লাউডে ভাড়ার খরচ, অথবা নিজস্ব হার্ডওয়্যারের অবচয় ও পরিচালন ব্যয়। কোনো ডেভেলপার মাসের পর মাস ২ হাজারের বেশি অ্যাক্সিলারেটর ভাড়া নিলে ঘণ্টা ধরে অর্থ দেন। একই ক্লাস্টার কিনলে শুরুতেই মূলধন ব্যয় করতে হয়, এরপর বিদ্যুৎ, শীতলীকরণ, জায়গা ও রক্ষণাবেক্ষণের খরচ থাকে।

এত বড় ক্লাস্টার কিনতে গেলে একবারের প্রশিক্ষণ পর্বের জন্য ভাড়া নেওয়ার চেয়ে অনেক বেশি খরচ হবে। বর্তমান বাজারদরে ২ হাজার ৪৮টি এইচ৮০০-শ্রেণির জিপিইউ, নেটওয়ার্কিং ও সার্ভারসহ একটি সেটআপে ৫১ মিলিয়ন ডলারেরও বেশি লাগবে। এতে প্রকৌশলীদের সময়, ডেটা লাইসেন্স, মূল্যায়নের শ্রম, সংরক্ষণব্যবস্থা এবং সফল প্রকাশনার আগে করা বহু ব্যর্থ পরীক্ষার খরচ ধরা হয়নি। ৫.৮৭ মিলিয়ন ডলারের অঙ্কটিকে সফলভাবে সম্পন্ন বড় প্রশিক্ষণ পর্বগুলোর খরচ হিসেবে দেখা উচিত; সেগুলো সম্ভব করে তুলতে যে গবেষণা হয়েছে, তার পূর্ণ ব্যয় হিসেবে নয়।

রিইনফোর্সমেন্ট লার্নিং কাজের শেষ ধাপ, পুরো কাজ নয়

কাঙ্ক্ষিত ফলাফলকে পুরস্কৃত করে প্রশিক্ষিত মডেলের আচরণ বদলায় রিইনফোর্সমেন্ট লার্নিং। আর১ প্রকল্পে ডিপসিক এমন একটি কৌশল ব্যবহার করেছে, যেখানে উত্তরকে স্কোর দিয়ে সঠিক ফলাফলে পৌঁছানো সমাধানের দিকে মডেলকে এগিয়ে নেওয়া হয়। গবেষকেরা এ পদ্ধতিকে বিশুদ্ধ রিইনফোর্সমেন্ট লার্নিং বলে বর্ণনা করেছেন। এতে মানুষের লেখা চিন্তার ধাপ দরকার হয় না। মডেল নিজেই বিভিন্ন পথ অনুসন্ধান ও যাচাই করে, সঠিকতার সংকেত পায় এবং ধীরে ধীরে যুক্তি করার অভ্যন্তরীণ কৌশল উন্নত করে।

কাজের এই শেষ ধাপটি মূল্যবান। গণিত, কোডিং ও বিজ্ঞানের মতো কাজে, যেখানে যাচাইযোগ্য ফলাফলে পৌঁছানোই লক্ষ্য, এটি মডেলের সক্ষমতা বাড়াতে পারে। প্রি-ট্রেনিংয়ের তুলনায় এর খরচও অনেক কম। তবে বড় কাজটি থেকেই যায়: ভিত্তি মডেলকে ভাষাজ্ঞান ও বিস্তৃত সক্ষমতা দেওয়ার জন্য মাসের পর মাস প্রশিক্ষণ। এরপর রিইনফোর্সমেন্ট লার্নিং সেই সক্ষমতাকে ধাপে ধাপে যুক্তি করা ও টুল ব্যবহারের মতো নির্দিষ্ট লক্ষ্যের উপযোগী করে তোলে।

চিপ, রপ্তানি বিধি এবং ডিপসিক আসলে যা ব্যবহার করেছে

চিপ সরবরাহের সীমাবদ্ধতার মধ্যে ডিপসিক মডেল প্রশিক্ষণ দিয়েছে। যুক্তরাষ্ট্র চীনে উচ্চক্ষমতার অ্যাক্সিলারেটর রপ্তানি সীমিত করেছিল। এ কারণেই ডিপসিকের বিভিন্ন উপকরণে এনভিডিয়ার ডেটা সেন্টার জিপিইউর রপ্তানির উপযোগী, কম ক্ষমতার সংস্করণ এইচ৮০০-এর উল্লেখ দেখা যায়। শিল্পসংশ্লিষ্ট মহলে আলোচনা হয়েছে, চীনের গবেষকেরা দ্রুততর চিপ ব্যবহারের উপায় পেয়েছেন কি না। হার্ডওয়্যারের উৎস সম্পর্কে সূত্র খুঁজতে কোম্পানির বক্তব্যও খুঁটিয়ে বিশ্লেষণ করা হয়েছে। খরচের হিসাবের ক্ষেত্রে যা স্পষ্ট, তা হলো: আর১-এর রিইনফোর্সমেন্ট লার্নিং পর্বে ৫১২টি এইচ৮০০-এর ক্লাস্টার ব্যবহৃত হয়েছে, আর আগের প্রস্তুতিমূলক কাজে এ১০০-তে সময় ব্যয় হয়েছে।

সম্পূরক নথিতে দলটি এ তথ্য স্বীকার করেছে। গবেষকেরা ব্যাখ্যা করেছেন, এইচ৮০০-তে আর১-এর মূল প্রশিক্ষণ শুরুর আগে প্রস্তুতির পর্যায়ে এ১০০ কী কাজে লেগেছিল।

ডিপসিকের গবেষকেরা লিখেছেন: "ডিপসিক-আর১ নিয়ে আমাদের গবেষণায় ছোট একটি মডেলের ওপর পরীক্ষার প্রস্তুতির জন্য আমরা এ১০০ জিপিইউ ব্যবহার করেছি।"

এই তথ্যটি চূড়ান্ত বাজেট ও ব্যবহৃত চিপের ধরন, দুটিই কীভাবে সত্য হতে পারে, তা বুঝতে সাহায্য করে। রিইনফোর্সমেন্ট লার্নিংয়ের মূল খরচের হিসাবে এইচ৮০০ রয়েছে, আর পদ্ধতি নির্ধারণে ভূমিকা রাখা আগের পরীক্ষাগুলোতে ব্যবহৃত হয়েছে এ১০০।

পশ্চিমা প্রতিদ্বন্দ্বীদের তুলনায় ডিপসিকের খরচ কি অনেক কম ছিল

আর১ তৈরিতে মোট কম্পিউট ব্যয় ৩ লাখ ডলারের চেয়ে ৬ মিলিয়ন ডলারের কাছাকাছি। তবু সীমান্তবর্তী ক্লোজড সিস্টেমগুলোর পেছনে ব্যয় হয়েছে বলে গুঞ্জন থাকা নয় অঙ্কের বাজেটের তুলনায় এটি সামান্য অংশ। অ্যাক্সিলারেটরের সংখ্যা ও প্রশিক্ষণের সময় ধরে হিসাব করলে, মেটার লামা ৪-এর মতো বড় ওপেন মডেলেরও কাছাকাছি পর্যায়ে রয়েছে এ ব্যয়, যদিও ওই মডেলগুলোর প্রশিক্ষণে বেশি টোকেন ব্যবহার হয়ে থাকতে পারে। ব্যবধানটি তাৎপর্যপূর্ণ, কিন্তু পুরো প্রক্রিয়ার খরচ এক ধাক্কায় দশ গুণ কমিয়ে দেওয়ার মতো বিপ্লব নয়।

অনেক পাঠক এখনো ডিপসিককে কম খরচের শীর্ষস্থানীয় প্রতিষ্ঠান মনে করেন, কারণ সীমাবদ্ধতার মধ্যেও তাদের দল চিপের ব্যবহার বাড়াতে পেরেছে। কোম্পানিটি মিক্সচার-অব-এক্সপার্টস নকশা প্রসারিত করেছে, যেখানে প্রতিটি টোকেনের জন্য প্যারামিটারের ছোট একটি অংশই সক্রিয় হয়। এতে প্রতি জিপিইউ-ঘণ্টায় কাজের পরিমাণ বাড়ে। পাশাপাশি, ইনফারেন্সের সময় দীর্ঘতর যুক্তির ওপরও জোর দেওয়া হয়েছে, ফলে প্রি-ট্রেনিং থেকে কিছুটা কম্পিউটের চাপ পরবর্তী ব্যবহারের পর্যায়ে সরে যায়।

ডেটার উৎস এবং মডেলগুলোর মধ্যে জ্ঞান স্থানান্তর নিয়েও গবেষকদের মধ্যে বিতর্ক হয়েছে। ডিপসিক তাদের ইকোসিস্টেমের কিছু অংশে ডিস্টিলেশন ব্যবহার করেছে, যেখানে শক্তিশালী একটি মডেল উত্তর তৈরি করে ছোট বা কম খরচের মডেলকে শেখায়। ভি৩-এর ভিত্তি মডেলটি এমন একটি ওয়েব ক্রল থেকে শিখেছে, যাতে এআই-তৈরি কনটেন্ট রয়েছে বলে দলটি জানিয়েছে। এর মধ্যে অন্য সিস্টেমের তৈরি উত্তরও থাকতে পারে। গবেষণাপত্রে একে যুক্তির ধাপ ইচ্ছাকৃতভাবে নকল করার বদলে অনিচ্ছাকৃত ঘটনা হিসেবে বর্ণনা করা হয়েছে। এই কারিগরি পার্থক্য আইনজীবী ও নীতিনির্ধারকদের কাছে গুরুত্বপূর্ণ; কম টোকেন ও কম কম্পিউট ব্যবহার করে ডেভেলপার কত দূর এগোতে পারেন, তা বুঝতে খরচ নিরূপণকারীদের কাছেও এটি গুরুত্বপূর্ণ।

খরচ ও প্রবেশাধিকার নিয়ে বিশেষজ্ঞদের মত

ডিপসিকের খরচের অঙ্কগুলো সংযতভাবে বিশ্লেষণ করার আহ্বান জানিয়েছেন শিক্ষাবিদেরা। তাঁরা প্রকৌশলগত দক্ষতার স্বীকৃতি দিচ্ছেন, পাশাপাশি সরলীকৃত খরচ তুলনার ঝুঁকি সম্পর্কেও সতর্ক করছেন। প্রশিক্ষণের কম বাজেট বাজারে সুফল আনতে পারে, যদি এতে সাশ্রয়ী প্রবেশাধিকার বাড়ে। তবে শিরোনামে আসা অঙ্কগুলোতে প্রায়ই কর্মী, পরীক্ষা ও অবকাঠামোর খরচ বাদ পড়ে।

সেন্ট লুইসের ওয়াশিংটন ইউনিভার্সিটির কম্পিউটার বিজ্ঞান ও প্রকৌশল বিভাগের সহকারী অধ্যাপক উমর ইকবাল বলেছেন, খরচ কমলে প্রবেশাধিকার বাড়তে পারে। তবে ক্লাউডে বড় পরিসরের এআই ব্যবহারের গোপনীয়তা ও নিরাপত্তাসংক্রান্ত ঝুঁকির কথাও তিনি তুলে ধরেছেন।

ইকবাল বলেন: "প্রযুক্তি ব্যাপকভাবে ব্যবহৃত হতে হলে তা সাশ্রয়ী হওয়া দরকার।" তিনি যোগ করেন, উন্নয়ন ব্যয় কমলে বড় পরিসরে আরও পরীক্ষা চালানো সম্ভব হতে পারে; তবে ক্লাউডভিত্তিক এআই পরিষেবা ডেটার নিয়ন্ত্রণ ও গোপনীয়তা নিয়ে বাস্তব প্রশ্ন তৈরি করে।

ডিপসিকের কারিগরি পদ্ধতির সমর্থকেরাও সতর্ক করেছেন, বহুল প্রচারিত প্রশিক্ষণ ব্যয়ের অঙ্কগুলো পূর্ণাঙ্গ মানদণ্ড নয়। তাঁদের মতে, একটি সম্পূর্ণ প্রশিক্ষণ পর্বের বাইরে বারবার প্রশিক্ষণ চালানো, টিউনিংয়ের চক্র এবং ডেটার কাজও থাকে।

ডেটা, ডিস্টিলেশন এবং প্রশিক্ষণ ডেটাসেটে সম্ভবত যা ছিল

ডিস্টিলেশনে শক্তিশালী কোনো সিস্টেমের উত্তর ব্যবহার করে লক্ষ্য মডেলকে দিকনির্দেশনা দেওয়া হয়। ডেভেলপারেরা উচ্চমানের লক্ষ লক্ষ প্রশ্নোত্তর জোড়া, কোডের ধাপ বা চিন্তার শৃঙ্খলের উদাহরণ তৈরি করতে পারেন। এরপর সেই আচরণ পুনরুৎপাদনে মডেলকে ফাইন-টিউন করা হয়। প্রি-ট্রেনিংয়ের সবচেয়ে ব্যয়বহুল অংশগুলো আবার না চালিয়েও এ পদ্ধতিতে মান বাড়ানো যায়। গণিত ও প্রোগ্রামিংয়ের মতো ক্ষেত্রে ছোট দলগুলো বড় গবেষণাগারের নির্দিষ্ট সক্ষমতার কাছাকাছি যেতে বা তা ছাড়িয়ে যেতে পারে, এর বড় কারণ এটি।

ডিপসিক জানিয়েছে, তাদের মডেল পরিবারের কিছু ডিস্টিলড সংস্করণ মেটার লামার মতো ওপেন-সোর্স সিস্টেম থেকে শেখানো হয়েছে। ভি৩-এর ক্ষেত্রে কোম্পানিটি বিপুল পরিসরের একটি ওয়েব ক্রলের কথা বলেছে, যাতে এআই-তৈরি উল্লেখযোগ্য পরিমাণ উত্তর ছিল। এ পদ্ধতির সুফল ও ঝুঁকি দুটোই আছে। এতে প্রচলিত ধরনগুলো দ্রুত শেখা যায়, তবে অজানা লাইসেন্সসংক্রান্ত জটিলতা ও মানের সমস্যাও চলে আসতে পারে। নেচার-এর গবেষণাপত্রের পর কোন সময়ে কী ডেটা ব্যবহার করা হয়েছে এবং প্রক্রিয়ার কোন অংশে কৃত্রিমভাবে তৈরি লেবেল ব্যবহৃত হয়েছে, সে বিষয়ে আরও স্বচ্ছতা দাবি করেছে গবেষক সমাজ।

২ লাখ ৯৪ হাজার ডলারের শিরোনামটি কেন ছড়িয়ে পড়েছিল এবং কেন তা গুরুত্বপূর্ণ

২ লাখ ৯৪ হাজার ডলারের অঙ্কটি সহজে বলা যায়, আবার বাজারে প্রভাব ফেলার মতো চমকপ্রদও। জানুয়ারিতে ডিপসিকের প্রাথমিক মডেলগুলো প্রকাশের পরই যুক্তরাষ্ট্রের নেতৃস্থানীয় প্রতিষ্ঠানগুলোকে কম খরচের প্রতিদ্বন্দ্বী টেক্কা দেবে, এমন আশঙ্কা দেখা দেয়। বিনিয়োগকারীরা চিপ নির্মাতা ও এআই অংশীদারদের শেয়ার বিক্রি করেন। পিয়ার-রিভিউ করা গবেষণাপত্রটি একটি সহজবোধ্য বাক্যের মাধ্যমে সেই আলোচনাকে আবার জোরালো করে; বাক্যটি পাদটীকার চেয়ে দ্রুত ছড়িয়ে পড়ে। অনেক পাঠক, এমনকি কিছু সাংবাদিকও, রিইনফোর্সমেন্ট লার্নিংকেই পুরো গল্প বলে ধরে নেন।

গবেষণাপত্রটি শুধু উত্তেজনা ছড়ায়নি। কঠিন পরিসংখ্যান ও পদ্ধতির বিবরণ প্রকাশ্য বৈজ্ঞানিক নথিতে তুলে ধরে এটি স্বচ্ছতার একটি মানদণ্ড স্থাপন করেছে। পর্যালোচকেরা ডিপসিককে মানবসদৃশ ভাষার ব্যবহার কমাতে এবং নিরাপত্তা, ডেটার উৎস ও কম্পিউট নিয়ে স্পষ্ট করতে বলেন। বিজ্ঞান ও শিল্প, দুটোর জন্যই এটি ভালো। কোন কৌশলে সবচেয়ে বেশি সুফল এসেছে এবং কোন খরচ কমানো এখনো কঠিন, তা বুঝতে এটি গবেষক সমাজকে সাহায্য করে।

এআইয়ের খরচ ও প্রতিযোগিতার জন্য এর অর্থ কী

মডেল তৈরির অর্থনীতি বদলাচ্ছে। বহু বছর ধরে মডেলের আকার বাড়ানোর পর এখন অনেক দল শুধু ডেটাসেটের আকার ও প্যারামিটারের সংখ্যা বাড়ানোর বদলে ফাইন-টিউনিং এবং মডেলকে চিন্তা করার জন্য বেশি সময় দেওয়ার ওপর জোর দিচ্ছে। এতে খরচের কিছু চাপ পরবর্তী ইনফারেন্স পর্যায়ে সরে যায়। তখন প্রতিটি প্রশ্নে মডেল বেশি সময় ধরে চিন্তা করে এবং উত্তরের জন্য বেশি কম্পিউট ব্যবহার করে। তবে দক্ষতা বৃদ্ধির সুফল অতিরিক্ত চিন্তার সময়ের খরচ ছাড়িয়ে গেলে শেষ পর্যন্ত ব্যবহারকারীর জন্য এআইয়ের খরচ কমতেও পারে।

ডিপসিকের মিক্সচার-অব-এক্সপার্টস নকশা, যুক্তির জন্য রিইনফোর্সমেন্ট লার্নিংয়ের ব্যবহার এবং বেছে বেছে ডিস্টিলেশন বৃহত্তর শিল্পখাতের একটি পরিবর্তনের অংশ: মডেল উন্নয়ন আরও মডিউলার হচ্ছে। মডেলগুলো একে অন্যের কাছ থেকে শিখছে, ছোট দলগুলো বড় ভিত্তি মডেলের ওপর কাজ করছে এবং ওপেন ওয়েট স্টার্টআপকে এগিয়ে থাকার সুযোগ দিচ্ছে। ইউরোপে এ প্রবণতা নিয়ে এক নীতিগত গবেষণায় বলা হয়েছে, এসব পরিবর্তন ছোট প্রতিষ্ঠানকে প্রতিযোগিতায় সহায়তা করতে পারে। তবে ভিত্তি মডেল প্রশিক্ষণের স্থির ব্যয় পুষিয়ে নেওয়াও কঠিন করে তোলে। দাম নিয়ে প্রতিযোগিতা বাড়তে পারে, আর ডেভেলপারেরা পণ্য ও পরিষেবার সঙ্গে এআই যুক্ত করে টেকসই ব্যবসার পথ খুঁজবেন।

কিছু গবেষক সতর্ক করছেন, প্রশিক্ষণ ব্যয়ের প্রচারিত অঙ্কে পরিণত, ব্যবহারযোগ্য একটি সিস্টেম তৈরি করতে যা লাগে, তা প্রায়ই কম দেখানো হয়। একটি সফল চূড়ান্ত প্রশিক্ষণ পর্বের খরচ এবং ডেটা নিয়ে কাজ, ব্যর্থ পরীক্ষা, নিরাপত্তা মূল্যায়ন ও মাসের পর মাসের প্রকৌশল কাজসহ পুরো বাজেটের পার্থক্যটি তাঁরা তুলে ধরছেন।

সুইজারল্যান্ডভিত্তিক ইনসайт ইনস্টিটিউটের পরিচালক মার্টিন ভেচেভ কারিগরি অর্জনের প্রশংসা করেছেন, তবে সতর্ক করেছেন, একটি প্রশিক্ষণ পর্বের খরচকে মোট ব্যয় হিসেবে দেখা উচিত নয়।

ভেচেভ বলেন: "৫০ থেকে ৬০ লাখ ডলারের অঙ্কটি বিভ্রান্তিকর, কারণ এতে কেবল একটি প্রশিক্ষণ পর্বের হিসাব আছে। এমন মডেল তৈরি করতে একাধিক প্রশিক্ষণ পর্ব ও পরীক্ষা দরকার, ফলে প্রকৃত খরচ অনেক বেশি।"

আর১-সংক্রান্ত তথ্যপ্রমাণও এই মতের সঙ্গে মেলে। প্রকল্পটির বড় সাশ্রয় এসেছে বুদ্ধিদীপ্ত আর্কিটেকচার নির্বাচন এবং কার্যকর রিইনফোর্সমেন্ট লার্নিং পদ্ধতি থেকে; প্রি-ট্রেনিংয়ের ব্যয়বহুল অংশ এড়িয়ে যাওয়ার কারণে নয়। শেষ পর্যন্ত কিছু প্রতিদ্বন্দ্বীর তুলনায় কম কম্পিউট ব্যবহার করে উচ্চ সক্ষমতা অর্জনের একটি বিশ্বাসযোগ্য পথ দেখিয়েছে মডেলটি। তবে এতে সীমান্তবর্তী মডেল প্রশিক্ষণ ৩ লাখ ডলারের কম খরচের কাজে পরিণত হয়নি।

মূল বিষয়গুলো

• ডিপসিক আর১-এর ২ লাখ ৯৪ হাজার ডলারের অঙ্কে ৫১২টি এইচ৮০০ জিপিইউতে রিইনফোর্সমেন্ট লার্নিং এবং সংশ্লিষ্ট ডেটা তৈরির খরচ রয়েছে; পুরো মডেল প্রশিক্ষণের নয়।
• আর১ নির্ভর করে ভি৩ ভিত্তি মডেলের ওপর, যা প্রায় দুই মাস ধরে ২ হাজার ৪৮টি এইচ৮০০ জিপিইউতে প্রশিক্ষিত হয়েছে; মোট সময় প্রায় ২.৭৯ মিলিয়ন জিপিইউ-ঘণ্টা।
• জিপিইউ ভাড়ার আনুমানিক হিসাব অনুযায়ী ভি৩-এর প্রি-ট্রেনিংয়ে প্রায় ৫.৫৮ মিলিয়ন ডলার লাগে; আর১ তৈরি পর্যন্ত মোট খরচ প্রায় ৫.৮৭ মিলিয়ন ডলার।
• একই মানের হার্ডওয়্যার কিনতে ভাড়ার চেয়ে অনেক বেশি খরচ হবে। ২ হাজার জিপিইউ-শ্রেণির একটি ক্লাস্টারের দাম পরিচালন ব্যয়ের আগেই ৫১ মিলিয়ন ডলারের বেশি।
• প্রস্তুতিমূলক কাজে ডিপসিক এ১০০ জিপিইউ ব্যবহার করেছে, এরপর আর১-এর মূল রিইনফোর্সমেন্ট লার্নিং পর্বে ব্যবহার করেছে এইচ৮০০।
• শুরুর দিকের শিরোনামগুলোতে যা বলা হয়েছিল, আর১-এর কম্পিউট ব্যবহারের মাত্রা তার চেয়ে অন্য বড় ওপেন মডেলের কাছাকাছি; তবে ক্লোজড মডেলের নয় অঙ্কের বাজেটের গুজবের তুলনায় তা কম।
• তুলনামূলক কম খরচে রিইনফোর্সমেন্ট লার্নিং যুক্তির ক্ষমতা শাণিত করেছে; বড় ব্যয়ের কাজ রয়ে গেছে প্রি-ট্রেনিং ও ডেটা নিয়ে কাজে।
• বিশেষজ্ঞদের সতর্কতা, প্রকাশিত প্রশিক্ষণ ব্যয়ের অঙ্কে গবেষণা ও উন্নয়ন, ডেটা প্রস্তুতি এবং প্রকল্পের প্রকৃত খরচ বাড়িয়ে দেয় এমন একাধিক ব্যর্থ প্রশিক্ষণ পর্বের হিসাব সচরাচর থাকে না।