সংখ্যাগত ছোট্ট পরিবর্তনে স্কোরে বড় উল্লম্ফন
এমআইটির কম্পিউটার সায়েন্স অ্যান্ড আর্টিফিশিয়াল ইন্টেলিজেন্স ল্যাবরেটরির গবেষকেরা জানিয়েছেন, OpenAI-এর GPT-6 Astra প্রায় ৮০ কোটি সংখ্যাগত প্যারামিটারের একটি ছোট Qwen মডেলের মাত্র ১,৩১,০৭২টি প্যারামিটারে পরিবর্তন এনে গণিতের স্কোর ৭.৯% থেকে ৪৮.১%-এ তুলেছে। এই হস্তক্ষেপে একটি নির্দিষ্ট ত্রুটি লক্ষ্য করা হয়েছিল: উত্তর দেওয়ার জায়গা শেষ না হওয়া পর্যন্ত মডেলটি বারবার লেখা তৈরি করছিল।
সূচিপত্র
- সংখ্যাগত ছোট্ট পরিবর্তনে স্কোরে বড় উল্লম্ফন
- ওজন প্রোগ্রাম করার অর্থ কী?
- পুনরাবৃত্তি থেকে Qwen-কে যেভাবে থামাল Astra
- প্যাচ খুঁজে পেতে লেগেছে কয়েক ঘণ্টার অনুসন্ধান
- সংখ্যা থেকে গেম, আকৃতি ও ভাষা শনাক্ত
- গাড়ি মেরামত ও গেম খেলার নেটওয়ার্ক তৈরি
- বড় Go নেটওয়ার্কে দরকার হয়েছিল ভিন্ন কর্মপদ্ধতি
- দুটি কঠিন পরীক্ষা সীমাবদ্ধতা দেখায়
- পরবর্তী পরীক্ষায় গবেষকেরা যা যাচাই করতে চান
- মূল বিষয়
রিকিয়া তাকেহি, জেডেন তেও, অ্যালেক্স ঝ্যাং ও ওমর খাত্তাব ২ নভেম্বরের একটি গবেষণা পোস্টে পরীক্ষাগুলোর বিবরণ দেন। পোস্টটির শিরোনাম ছিল Sparks of Weight-Space Programming। এরপর ২০২৬ সালের ৩ নভেম্বর তারিখে এ নিয়ে প্রতিবেদন প্রকাশিত হয়। তাঁদের পদ্ধতিতে একটি ভাষা মডেলকে অন্য একটি নিউরাল নেটওয়ার্কের ওজন পরীক্ষা, ব্যাখ্যা ও সরাসরি পুনর্লিখনের দায়িত্ব দেওয়া হয়। এই সংখ্যাগুলোই নির্ধারণ করে, নেটওয়ার্কটি কীভাবে তথ্য প্রক্রিয়া করে।
সবচেয়ে জোরালো ফল পাওয়া গেছে Qwen3.5-0.8B মডেলে। Astra প্রায় ০.০১৬% ওজনে পরিবর্তন আনার পর MATH-500-এ মডেলটির নির্ভুলতা ৪০.২ শতাংশ পয়েন্ট বেড়েছে, অর্থাৎ আগের স্কোরের প্রায় ছয় গুণ হয়েছে। GSM8K-এর গণিতভিত্তিক প্রশ্নে নির্ভুলতা ১৩.৮% থেকে বেড়ে ৬৭.১% হয়েছে। IFEval-এ নির্দেশনা অনুসরণের স্কোর ২১.০% থেকে বেড়ে ৬২.৩% হয়েছে, যা শুরুর ফলের প্রায় তিন গুণ।
পরীক্ষাগুলো শুধু গণিতেই সীমাবদ্ধ ছিল না। Astra ছোট নেটওয়ার্কগুলোর কাজ শনাক্ত করেছে, একটি সিমুলেটেড গাড়ি চালানোর কন্ট্রোলার মেরামত করেছে এবং নিয়ম ও সোর্স কোড থেকে সরাসরি গেম খেলার নেটওয়ার্ক লিখেছে। অন্য পরীক্ষাগুলোতে সীমাবদ্ধতাও দেখা গেছে: শুধু ওজন দেখে ব্যবহারকারীর সঙ্গে অতিরিক্ত একমত হওয়ার প্রবণতা শনাক্ত করতে Astra হিমশিম খেয়েছে, আর অন্য একটি ভাষা মডেলে এর সম্পাদনায় গণিতে সামান্যই উন্নতি হয়েছে।
ডেভেলপারদের জন্য তাৎক্ষণিক সম্ভাবনাটি হলো মডেল মেরামতের একটি নতুন পদ্ধতি। প্রচলিত প্রশিক্ষণের আরেকটি ধাপের মধ্য দিয়ে নেটওয়ার্ককে শেখানোর বদলে, একটি এআই সহকারী ত্রুটি খুঁজে দেখে তার জন্য দায়ী সংখ্যাগত কাঠামো বদলে দিতে পারে। Qwen-এর ফল এটাও দেখায়, স্কোর কতটা বেড়েছে তার পাশাপাশি ত্রুটির ধরনও কেন গুরুত্বপূর্ণ।
ওজন প্রোগ্রাম করার অর্থ কী?
একটি নিউরাল নেটওয়ার্ক কয়েকটি গণনার স্তরের মধ্য দিয়ে ইনপুটকে আউটপুটে রূপান্তর করে। এর ওজনগুলো নির্ধারণ করে, বিভিন্ন অংশের মধ্যে সংকেত কতটা জোরে প্রবাহিত হবে। প্রশিক্ষণের সময় সাধারণত উদাহরণ এবং ত্রুটির একটি গাণিতিক পরিমাপ ব্যবহার করে এসব সংখ্যা বারবার সমন্বয় করা হয়, যাতে বোঝা যায় কোন পরিবর্তনগুলো কাজে দেবে।
এই সমন্বয় হিসাব করার একটি প্রচলিত পদ্ধতি হলো গ্রেডিয়েন্ট ডিসেন্ট। এটি ত্রুটি কমাতে ওজনগুলো কোন দিকে সরানো দরকার, তা অনুমান করে। এই পরীক্ষায় Astra লক্ষ্য মডেলটির আচরণ নিয়ে যুক্তি করেছে এবং নিজেই পরিবর্তন লিখেছে; সম্পাদনাগুলো হিসাব করার জন্য কোনো প্রশিক্ষণ-চক্র ব্যবহার করেনি।
এমআইটি CSAIL-এর পিএইচডি শিক্ষার্থী তাকেহি সামাজিক যোগাযোগমাধ্যমে প্রস্তাবিত কার্যপ্রণালিটি এভাবে ব্যাখ্যা করেছেন:
প্রশিক্ষণের বদলে মডেলগুলো কাঁচা ওজনকে পাঠযোগ্য, সম্পাদনাযোগ্য কোডের মতো বিবেচনা করতে পারে: ত্রুটি শনাক্ত করে সরাসরি তা মেরামত করতে পারে।
সফটওয়্যার মেরামতের সঙ্গে তুলনাটি কাজে লাগে। কোনো প্রোগ্রামার নষ্ট অ্যাপ্লিকেশন পরীক্ষা করে ত্রুটিপূর্ণ ফাংশন খুঁজে সেটি নতুন করে লিখতে পারেন। এখানে Astra অনাকাঙ্ক্ষিত আচরণের সঙ্গে সম্পর্কিত একটি ধরন খুঁজতে সংখ্যাগত কাঠামো পরীক্ষা করেছে। নিউরাল নেটওয়ার্কের ওজন সাধারণ সফটওয়্যারের তুলনায় ব্যাখ্যা করা কঠিন, কারণ সেগুলোর কাজ বোঝানোর মতো মানুষের পড়ার উপযোগী নাম সাধারণত থাকে না।
পরীক্ষায় Astra-কে বিভিন্ন মাত্রায় সহায়তা দেওয়া হয়েছিল। কিছু ক্ষেত্রে শুধু ওজন ও স্থাপত্যের বিবরণ দেওয়া হয়। অন্য ক্ষেত্রে Python পরিবেশ, উদাহরণ বা লক্ষ্য মডেল চালানোর অনুমতি দেওয়া হয়। Qwen-এর ক্ষেত্রে প্রচলিত প্রশিক্ষণ না থাকলেও উল্লেখযোগ্য পরিমাণ গণনা, অনুশীলনী প্রশ্ন এবং পরীক্ষা-নিরীক্ষা করা হয়েছে।
পুনরাবৃত্তি থেকে Qwen-কে যেভাবে থামাল Astra
Qwen-এর প্রাথমিক আচরণ Astra-কে তদন্তের জন্য অস্বাভাবিকভাবে স্পষ্ট একটি সমস্যা দিয়েছিল। ৯৬টি প্রশ্নের প্রথম দফায় ৮৫টি উত্তর সর্বোচ্চ ৩২,৭৬৮ টোকেনের সীমায় পৌঁছেছিল। টোকেন হলো ভাষা মডেল যে পাঠ্যাংশ পড়ে ও তৈরি করে তার একেকটি অংশ; এগুলো প্রায়ই সম্পূর্ণ শব্দ বা শব্দের অংশ। সীমায় পৌঁছে কেটে যাওয়া উত্তরগুলোর প্রায় ৯৫% পুনরাবৃত্তিতে শেষ হয়েছিল।
বৃহত্তর MATH-500 মূল্যায়নেও একই সমস্যা দেখা যায়: প্রাথমিক মডেলের ৯৩.০% উত্তর টোকেনের সীমায় পৌঁছেছিল। Astra পুনরাবৃত্তির আচরণের উৎস খুঁজে পায় ১৫ ও ১৯ নম্বর স্তরের ফিডফরোয়ার্ড উপাদানের আউটপুটের সঙ্গে যুক্ত একটি সংখ্যাগত দিকে। এই উপাদানগুলোকে প্রায়ই মাল্টিলেয়ার পারসেপট্রন বা MLP বলা হয়; এগুলো প্রতিটি স্তরের ভেতরে তথ্য রূপান্তর করে।
সংখ্যাগত দিক বলতে একটিমাত্র সুইচ নয়, বরং বহু মানজুড়ে ছড়িয়ে থাকা একটি ধরন বোঝায়। Astra ওই দুই স্তরের প্রতিটিতে ৬৪টি আউটপুট কলাম থেকে পুনরাবৃত্তির সঙ্গে যুক্ত দিকটি বিয়োগ করে। এতে ১,৩১,০৭২টি ওজন বদলে যায় এবং MATH-500-এর যেসব উত্তর টোকেনের সীমায় পৌঁছেছিল, সেগুলোর হার কমে ৩৩.১%-এ নামে।
সংশোধিত উত্তরগুলোর ধরন উন্নতির কারণ বুঝতে সাহায্য করে। সংরক্ষিত ১,১৫২টি প্রশ্নের মধ্যে ৫৭৯টি উত্তর ভুল থেকে সঠিক হয়েছে, আর পাঁচটি সঠিক থেকে ভুল হয়েছে। উন্নত হওয়া ৫৭৯টি উত্তরের মধ্যে ৫৭৬টিই আগে আউটপুটের সীমায় এসে কেটে গিয়েছিল। অর্থাৎ, আগের পুনরাবৃত্তিতে যেসব উত্তর মাঝপথে থেমে গিয়েছিল, সেগুলো সম্পূর্ণ করতে পারায় বেশির ভাগ উন্নতি এসেছে।
প্যাচ দেওয়ার পরও MATH-500-এর প্রায় এক-তৃতীয়াংশ উত্তর নির্ধারিত আউটপুট সীমা শেষ করে ফেলেছিল। পরীক্ষার শর্তে সম্পাদিত নেটওয়ার্কটি অনেক বেশি কার্যকর হয়েছে, তবে পুনরাবৃত্তি তখনও বড় সমস্যা ছিল।
প্যাচ খুঁজে পেতে লেগেছে কয়েক ঘণ্টার অনুসন্ধান
Qwen-এ Astra-র সবচেয়ে সফল প্রচেষ্টায় ৫০টি মূল্যায়ন অনুরোধের বাজেট ছিল; প্রতিটি অনুরোধে শত শত উদাহরণ থাকতে পারত। অনুসন্ধানে ১৫৮টি কথোপকথনের ধাপ, ৮০টি Python রান এবং ২০.৩ ঘণ্টা লেগেছে। এর মধ্যে একটি সেবা-বিভ্রাটের সময় অপেক্ষায় কেটেছে ৪.৭ ঘণ্টা।
কাজের পরিবেশে GSM8K ও MATH প্রশিক্ষণ সেট থেকে ১৪ হাজারের বেশি অনুশীলনী প্রশ্ন, Qwen-এর ওজনে প্রবেশাধিকার এবং CPU-তে চলা Python স্যান্ডবক্স ছিল। স্যান্ডবক্সে সর্বোচ্চ ৩০০ বার কোড চালানো যেত। অন্য প্রচেষ্টাগুলোতে মূল্যায়ন অনুরোধের বাজেট ছিল ১০ বা ২৫টি।
প্রতিবেদনে দেওয়া নির্ভুলতার পরিসংখ্যানও একটি নির্দিষ্টভাবে লেখা তৈরি করার ব্যবস্থার ওপর নির্ভরশীল। মূল্যায়নে থিংকিং মোড, ৩২,৭৬৮ টোকেনের আউটপুট সীমা এবং ০.৬ তাপমাত্রা ব্যবহার করা হয়েছিল। তাপমাত্রা পরের টোকেন বাছাইয়ে কতটা দৈবতা থাকবে তা নিয়ন্ত্রণ করে; মডেল কার্ডে থিংকিং মোডে পাঠ্যভিত্তিক কাজের জন্য ১.০ তাপমাত্রার সুপারিশ করা হয়েছে। শুরুর আচরণ পুনরায় তৈরি করা ও ফলের তুলনা করার ক্ষেত্রে এই পার্থক্য গুরুত্বপূর্ণ।
ব্যবহারিক ধাপগুলো ছিল:
- গবেষকেরা Astra-কে লক্ষ্য মডেল, অনুশীলনী সমস্যা, ওজন পরীক্ষা এবং আচরণ যাচাইয়ের সরঞ্জাম দেন।
- Astra পুনরাবৃত্ত আউটপুট পরীক্ষা করে ১৫ ও ১৯ নম্বর স্তরে লক্ষ্যভিত্তিক সম্পাদনা তৈরি করে।
- মূল্যায়নে গণিত ও নির্দেশনা অনুসরণে উন্নতি এবং আউটপুটের সীমায় পৌঁছানো উত্তরের হ্রাস মাপা হয়।
- দলটি ২ নভেম্বর কাজটির বিবরণ দেয় এবং জানায় যে তারা একটি বেঞ্চমার্ক ও পরীক্ষার কাঠামো তৈরি করছে।
চূড়ান্ত সম্পাদনাটি ছোট ছিল, কিন্তু সেটি খুঁজে পেতে বড়সড় প্রক্রিয়া লেগেছে। প্রচলিত ফাইন-টিউনিংয়ের তুলনায় এই পদ্ধতিতে সময় বা কম্পিউটিং-সম্পদ বাঁচে কি না, তা এখনো বাস্তব প্রয়োগের একটি খোলা প্রশ্ন।
সংখ্যা থেকে গেম, আকৃতি ও ভাষা শনাক্ত
Astra-র পরীক্ষা শুরু হয়েছিল প্রোক্সিমাল পলিসি অপটিমাইজেশন বা PPO পদ্ধতিতে প্রশিক্ষিত চারটি গেম খেলার নেটওয়ার্ক দিয়ে। PPO হলো রিইনফোর্সমেন্ট লার্নিংয়ের একটি পদ্ধতি, যেখানে পুরস্কারের মাধ্যমে আচরণ উন্নত করা হয়। নেটওয়ার্কগুলোর কাঠামো, ইনপুট ও সম্ভাব্য অ্যাকশন একই ছিল। সম্ভাব্য গেমের তালিকা ছাড়াই Astra সেগুলোকে ব্রেকআউট, পং, প্যাক-ম্যান ও ফ্রিওয়ে হিসেবে শনাক্ত করে।
গবেষকেরা জানান, Astra প্রথম স্তরের ধরন এবং আউটপুট স্তরে অ্যাকশন বাছাইয়ের পার্থক্য পরীক্ষা করেছে। ব্রেকআউট শনাক্ত করার উদাহরণে নিজের উত্তরের ব্যাপারে ৯৯% আত্মবিশ্বাস দেখায় Astra। শনাক্তকরণ সম্পর্কে এটি Astra-র নিজস্ব মূল্যায়ন ছিল।
তিনটি ছোট ডিফিউশন মডেল আরেকটি পরীক্ষা হিসেবে কাজ করে। প্রতিটি মডেল বৃত্ত, ত্রিভুজ বা বর্গ তৈরি করতে শিখেছিল। মডেলগুলো না চালিয়েই Astra তাদের আউটপুট স্তরের ওজনে আকৃতির রেখা খুঁজে বের করে শনাক্ত করে। মডেলগুলো পূর্ণ আকৃতি তৈরি করলেও Astra-র আঁকা আকৃতিগুলো ছিল ফাঁপা। এই অস্বাভাবিক বৈশিষ্ট্যটি তার ব্যাখ্যাকে পরীক্ষা করা সংখ্যাগত কাঠামোর সঙ্গে যুক্ত করেছিল।
ভাষা শনাক্ত করতে ৭২ লাখ প্যারামিটারের তিনটি মডেল পরীক্ষা করা হয়। এগুলো পাইথন কোড, রোমান হরফে লেখা জাপানি বা ইংরেজিতে পরের অক্ষর অনুমান করতে প্রশিক্ষিত হয়েছিল। Astra-কে শুধু মাঝের স্তরগুলো দেওয়া হয়; দুই প্রচেষ্টাতেই এটি প্রশিক্ষণের ভাষা সঠিকভাবে শনাক্ত করে।
Astra মডেলগুলোর কপি-হেডও খুঁজে পায়। এগুলো অ্যাটেনশন উপাদান, যা আগে দেখা পাঠ্য পুনরাবৃত্তি করতে সাহায্য করে। পাইথন মডেলে এ ধরনের হেড বেশি ছিল, যা কোডে একই ভেরিয়েবল ও ফাংশনের নাম বারবার ব্যবহারের সঙ্গে মেলে। রোমান হরফে লেখা জাপানি মডেলের শেষ মডিউলে লেখা দিক ছিল কম, যা সাধারণত ব্যবহৃত অক্ষরের সংখ্যা তুলনামূলকভাবে কম হওয়ার সঙ্গে সামঞ্জস্যপূর্ণ।
গাড়ি মেরামত ও গেম খেলার নেটওয়ার্ক তৈরি
Kinetix পরিবেশে একটি সিমুলেটেড গাড়ি অনুপযোগী একটি অভ্যাস শিখেছিল: ঢালের দিকে গিয়ে আটকে যেত। আগে পেছনে গেলে সফলভাবে ঢাল বেয়ে ওঠার জন্য যথেষ্ট জায়গা তৈরি হতো। কন্ট্রোলারের ওজন, দৃশ্যের বিবরণ এবং একটি রেকর্ড করা ব্যর্থতা পেয়ে Astra কোনো সরঞ্জাম ছাড়াই একবারের উত্তরে মেরামত তৈরি করে।
প্যাচে ৩.৫% ওজন বদলানো হয় এবং ১,০২৪টি পরীক্ষাতেই সফল হয়। Astra নেটওয়ার্কের ভেতর দিয়ে অবস্থান ও গতি নজরে রাখার জন্য একটি ছোট পথ যোগ করে, তারপর গাড়িটি একটি নির্দিষ্ট চিহ্ন পেরিয়ে গেলে নিয়ন্ত্রণ আবার মূল নেটওয়ার্কের হাতে ফিরিয়ে দেয়।
MinAtar-এর ব্রেকআউট, সিকোয়েস্ট ও অ্যাস্টেরিক্স গেমে Astra-র কাজ ছিল আলাদা: শুরু থেকে পলিসি নেটওয়ার্ক লেখা। পলিসি নেটওয়ার্ক গেমের অবস্থা থেকে একটি অ্যাকশন নির্ধারণ করে। Astra নিয়ম, সোর্স কোড ও প্রয়োজনীয় স্থাপত্য পেয়েছিল, তবে প্রশিক্ষণের উদাহরণ, গ্রেডিয়েন্টের হিসাব, সরঞ্জাম বা মূল্যায়নের আগে খেলার সুযোগ পায়নি।
তিনটি গেমেই এর নেটওয়ার্ক ১০ কোটি ধাপ ধরে প্রশিক্ষিত PPO বেসলাইনকে হারায়। ব্রেকআউটে সংখ্যাগত ব্যবধান সবচেয়ে বড় ছিল: Astra-র স্কোর ৫১৭.৪, যেখানে ১০ কোটি ধাপে প্রশিক্ষিত বেসলাইনের স্কোর ১৫.৮ এবং ৫০ কোটি ধাপে প্রশিক্ষিত বেসলাইনের স্কোর ২৫.৩। শেষের তুলনায় Astra-র সুবিধা প্রায় ২০ গুণ।
গেমভেদে এই সুবিধা বদলেছে। ৫০ কোটি ধাপে প্রশিক্ষিত PPO মডেলের তুলনায় অ্যাস্টেরিক্সে Astra কাছাকাছি ফল করেছে এবং সিকোয়েস্টে প্রায় ৬০% স্কোর পেয়েছে। ব্রেকআউটের নকশায় স্পষ্ট একটি কৌশলকে ওজনে রূপ দেওয়া হয়েছিল: বল কোথায় পড়বে তা অনুমান করে প্যাডলকে সেই অবস্থানের দিকে সরানো।
বড় Go নেটওয়ার্কে দরকার হয়েছিল ভিন্ন কর্মপদ্ধতি
Go পরীক্ষায় প্রায় ১৫ লাখ প্যারামিটারের একটি নেটওয়ার্ক ব্যবহার করা হয়েছিল। এটি Astra-র কনটেক্সট উইন্ডোতে, অর্থাৎ একবারে প্রক্রিয়া করতে পারা তথ্যের পরিমাণে, সরাসরি রাখার জন্য খুব বড় ছিল। তাই গবেষকেরা ওজন পরীক্ষা ও সম্পাদনার জন্য Python স্যান্ডবক্স দেন।
স্থাপত্যটিতে ছিল ২৪৩টি ইনপুট, ৫১২ ইউনিটের ছয়টি হিডেন লেয়ার এবং ৮২টি আউটপুট। Astra এটিকে ছোট আকারের Go প্রোগ্রামের মতো সাজায়: প্রথম দিকের স্তরগুলোতে পাথর ও লিবার্টি বোঝানো হয়। লিবার্টি হলো খালি পাশের ঘর, যা একটি গ্রুপকে টিকে থাকতে সাহায্য করে। মাঝের স্তরগুলো সংযুক্ত গ্রুপের মধ্যে তথ্য পাঠিয়ে বিপদের অবস্থা শনাক্ত করে।
শেষ স্তরটি প্রতিপক্ষের পাথর ধরার, বিপন্ন গ্রুপ বাঁচানোর, চোখ সুরক্ষিত রাখার এবং আতারি এড়ানোর জন্য চালের স্কোর নির্ধারণ করে। আতারি হলো এমন অবস্থা, যখন কোনো গ্রুপের মাত্র একটি লিবার্টি বাকি থাকে। বারবার খেলার মাধ্যমে শেখার বদলে সংখ্যাগত ওজন ব্যবহার করে এই কৌশল তৈরি করা হয়েছিল।
কোনো পারফরম্যান্স মূল্যায়ন ছাড়াই Astra-র নেটওয়ার্ক দুটি ছোট PPO নেটওয়ার্কের বিরুদ্ধে অর্ধেকের বেশি গেম জেতে। ৫০টি মূল্যায়নের বাজেট পেলে ২ কোটি গেমে প্রশিক্ষিত একই আকারের একটি নেটওয়ার্ককেও হারায়। খেলার ফল Astra-কে পরাজয়ের কারণ পরীক্ষা করতে এবং খেলায় উন্নতি আনে এমন পরিবর্তন ধরে রাখতে সাহায্য করে।
দুটি কঠিন পরীক্ষা সীমাবদ্ধতা দেখায়
Qwen-এর বিপরীতে Gemma 3 270M একটি কার্যকর তুলনা দিয়েছে। এটি খুব কমই পুনরাবৃত্তির চক্রে আটকে পড়ত। Astra বরং সাধারণ যুক্তিগত ভুল খুঁজে পায়, যেমন পাটিগণিতের ভুল এবং বীজগণিতের অবৈধ ধাপ। সংখ্যায় সাড়া দেয় এমন একটি নিউরনের শক্তি দ্বিগুণ করাসহ ছোটখাটো সম্পাদনায় MATH-500-এর নির্ভুলতা সর্বোচ্চ প্রায় এক শতাংশ পয়েন্ট বেড়েছে।
এই তুলনায় ব্যবহারিক একটি পার্থক্য স্পষ্ট হয়। পুনরাবৃত্ত আচরণ সরিয়ে দিলে মডেল আগে থেকেই থাকা দক্ষতা কাজে লাগাতে পারে। কিন্তু নানা ধরনের গণিতের ভুল সংশোধনে একটি অভিন্ন সংখ্যাগত ধরন সরানোর চেয়ে ব্যাপক সমাধান দরকার।
ব্যবহারকারী ভুল হলেও তার সঙ্গে একমত হওয়ার প্রবণতা, অর্থাৎ সাইকোফ্যান্সি, সরাসরি পরীক্ষা করা কঠিন প্রমাণিত হয়েছে। গবেষকেরা একই প্রশ্ন ও উত্তর-তথ্যে Gemma 3 270M-এর দুটি মডেলকে ফাইন-টিউন করেন। একটি মডেলকে সঠিক উত্তর দিতে প্রশিক্ষণ দেওয়া হয়; অন্যটিকে ব্যবহারকারীর প্রস্তাবের সঙ্গে একমত হতে শেখানো হয়।
শুধু ওজন দেখে Astra নির্ভরযোগ্যভাবে দুই মডেলের পার্থক্য করতে পারেনি। মডেলগুলোর উত্তর না দেখিয়ে, Astra-র লেখা পাঠ্যে অ্যাটেনশন প্যাটার্ন পরীক্ষা করার অনুমতি দিলে তিন জোড়ার প্রতিটিতেই সাইকোফ্যান্টিক মডেলটি সঠিকভাবে শনাক্ত করে। ওই মডেলগুলো মাঝের স্তরগুলোতে ব্যবহারকারীর প্রস্তাবিত বিষয়বস্তুর প্রতি বেশি অ্যাটেনশন দিয়েছিল।
অ্যাটেনশন পরিমাপ দেখায়, পাঠ্য প্রক্রিয়া করার সময় মডেল তার প্রক্রিয়াকরণের কিছু অংশ কোন দিকে পরিচালিত করে। এখানে এগুলোর কার্যকারিতা দেখায়, মডেল চালিয়ে পরীক্ষা করা সফল রোগনির্ণয়ের একটি গুরুত্বপূর্ণ অংশ ছিল। অতিরিক্ত একমত হওয়ার প্রবণতা শনাক্ত করাই ছিল পরীক্ষার কাজ; সেই আচরণ বদলানো ছিল আলাদা একটি প্রস্তাবিত প্রয়োগ।
পরবর্তী পরীক্ষায় গবেষকেরা যা যাচাই করতে চান
এমআইটির দলটি মডেল পরিদর্শন, লক্ষ্যভিত্তিক মেরামত, প্রচলিত প্রশিক্ষণ-তথ্য ছাড়াই সক্ষমতা বদলানো এবং বিভিন্ন স্থাপত্যের মধ্যে কার্যকর উপাদান স্থানান্তরের সম্ভাবনা দেখছে। মডেল সরাসরি সম্পাদনার গবেষণার ইতিহাস রয়েছে; এর মধ্যে আছে ২০২২ সালের NeurIPS-এ উপস্থাপিত ROME এবং ২০২৩ সালের ICLR-এ উপস্থাপিত MEMIT। এই কাজটি পরীক্ষা করছে, সাধারণ কাজে ব্যবহৃত একটি ভাষা মডেল কীভাবে নিজেই সম্পাদনা নিয়ে যুক্তি করতে পারে।
আরেকটি প্রস্তাবিত দিক হলো পুনরাবৃত্ত স্ব-উন্নতি: একটি এআই ব্যবস্থা কোনো মডেলকে উন্নত করতে সহায়তা করতে পারে, যা পরে আরও উন্নতি ঘটাতে দক্ষ হয়ে উঠবে। এই পরীক্ষায় কাজ, সরঞ্জাম এবং মূল্যায়নের বাজেট মানুষ নির্ধারণ করেছে; Astra কাজ করেছে অন্য নেটওয়ার্ক নিয়ে। নির্ভরযোগ্য পুনরাবৃত্ত চক্র তৈরি করতে আরও পরীক্ষা প্রয়োজন।
দলটি পরীক্ষার লগ ও সম্পাদনার উপকরণ প্রকাশ করেছে। প্রকাশ্য রিপোজিটরিতে ১,১২৫টি মডেল কলের নথি আছে বলে জানানো হয়েছে। তাদের পরবর্তী ঘোষিত পদক্ষেপ হলো ধারাবাহিক মূল্যায়নের জন্য একটি বেঞ্চমার্ক ও পরীক্ষামূলক কাঠামো তৈরি করা। কোনো প্রকাশের তারিখ জানানো হয়নি।
এআই অ্যাপ্লিকেশন নির্মাতাদের জন্য সবচেয়ে বাস্তব ও সহজবোধ্য ফলটি হলো: কোনো পুনরাবৃত্ত ত্রুটি মডেলকে দরকারি কাজ শেষ করতে বাধা দিলে, সংখ্যাগত ছোট্ট মেরামতেও বড় উন্নতি হতে পারে। বিপরীতে Gemma ও সাইকোফ্যান্সি পরীক্ষার ফল দেখায়, প্রতিটি প্রস্তাবিত মেরামতের জন্য আলাদা রোগনির্ণয় ও পরীক্ষা দরকার।
মূল বিষয়
- Astra Qwen-এর ১,৩১,০৭২টি ওজন বদলেছে, যা মডেলটির প্রায় ০.০১৬%; এতে MATH-500-এর নির্ভুলতা ৭.৯% থেকে বেড়ে ৪৮.১% হয়েছে।
- GSM8K-এ নির্ভুলতা ১৩.৮% থেকে বেড়ে ৬৭.১% হয়েছে এবং IFEval-এ ২১.০% থেকে বেড়ে ৬২.৩% হয়েছে।
- মূল মেরামতটি পুনরাবৃত্ত আউটপুট কমিয়েছে; MATH-500-এর যেসব উত্তর টোকেনের সীমায় পৌঁছেছিল, তা ৯৩.০% থেকে কমে ৩৩.১% হয়েছে।
- Qwen-এ সবচেয়ে সফল প্রচেষ্টায় ৫০টি মূল্যায়ন অনুরোধ ব্যবহার করা হয় এবং সেবা-বিভ্রাটসহ ২০.৩ ঘণ্টা লেগেছে।
- Astra একটি সিমুলেটেড গাড়ির কন্ট্রোলার মেরামত করেছে এবং সরলীকৃত গেম ও Go-এর জন্য নেটওয়ার্ক লিখেছে।
- Gemma-তে গণিতে সামান্য উন্নতি হয়েছে, আর সাইকোফ্যান্সি শনাক্ত করতে অ্যাটেনশন পরিমাপের প্রয়োজন হয়েছে।
- ওয়েট-স্পেস প্রোগ্রামিংয়ের জন্য গবেষকেরা একটি বেঞ্চমার্ক ও পরীক্ষার কাঠামো তৈরি করছেন।
