V4.1 Pro নিয়ে জল্পনার মধ্যে DeepSeek V4 Pro পরীক্ষায় ৬৪% নম্বর পেয়েছে

পড়তে 8 মিনিট
DeepSeek V4 Pro Test Score Rises to 64% as V4.1 Pro Speculation Builds

৫০টি কাজের পরীক্ষায় আরও আটটি সম্পন্ন

MaxForAI-এর অভ্যন্তরীণ বেঞ্চমার্ক পরীক্ষায় DeepSeek-এর বর্তমান V4 Pro মডেল ৫০টির মধ্যে ৩২টি কাজ সম্পন্ন করেছে। MaxForAI একজন এআই শিক্ষাবিদ ও ডেভেলপার এবং LobeHub এজেন্ট ক্লায়েন্টের রক্ষণাবেক্ষণকারী। এর আগের V4 Pro-0813 সংস্করণটি সম্পন্ন করেছিল ২৪টি কাজ। ২০২৬ সালের ৮ নভেম্বরের তারিখে প্রকাশিত বিবরণে বলা হয়েছে, নতুন মডেলটির স্কোর ৬৪%, যা আগের ৪৮% থেকে বেশি।

সূচিপত্র
  1. ৫০টি কাজের পরীক্ষায় আরও আটটি সম্পন্ন
  2. LobeBench-এ কী পরিবর্তন হয়েছে?
  3. বারবার সফল হওয়া কেন গুরুত্বপূর্ণ
  4. সেবা-বিঘ্নের সময় কী ঘটেছিল?
  5. Pro নিয়ে প্রত্যাশার সময়রেখা
  6. অক্টোবরে ফিঙ্গারপ্রিন্টে কী দেখা গিয়েছিল
  7. ডেভেলপাররা এখন কী তুলনা করতে পারেন
  8. আপডেটটি আনুষ্ঠানিক বলে নিশ্চিত হবে কীভাবে?
  9. মূল বিষয়গুলো

সবচেয়ে উল্লেখযোগ্য উন্নতি ছিল ধারাবাহিকতায়। অন্তত একবার কোনো কাজ সম্পন্ন করতে পারার বিচারে দুটি সংস্করণের পারফরম্যান্স ছিল কাছাকাছি। ব্যবধান বেশি দেখা যায় যখন পরীক্ষায় পরপর তিনবার সফলভাবে কাজ সম্পন্ন করার শর্ত রাখা হয়। নির্ভরযোগ্যভাবে কাজ করবে বলে প্রত্যাশিত সফটওয়্যারের জন্য এটি কঠিন একটি মানদণ্ড।

এই ফলাফল ঘিরে জল্পনা তৈরি হয়েছে, DeepSeek হয়তো ধীরে ধীরে তাদের বিদ্যমান সেবার মাধ্যমে V4.1 Pro পরীক্ষা করছে। মডেলটির পরিচয় ও প্রকাশের সময়সূচি নিশ্চিত করা হয়নি, আর বেঞ্চমার্কের ফলাফল বর্তমান V4 Pro নামেই উপস্থাপন করা হয়েছে।

পরীক্ষা নিয়ে আলোচনা শুরু হয়েছিল ৭ নভেম্বরের আংশিক সেবা-বিঘ্নের পর। এক সপ্তাহের মধ্যে এটি ছিল দ্বিতীয়বারের মতো জানানো বিঘ্ন। DeepSeek জানায়, তারা একটি সমাধান কার্যকর করেছে এবং ফলাফল পর্যবেক্ষণ করছে। তাই গ্রাহকদের জন্য তাৎক্ষণিক অগ্রগতির বিষয় দুটি আলাদা প্রয়োজনকে ঘিরে: কাজ আরও ভালোভাবে সম্পন্ন করা এবং নির্ভরযোগ্যভাবে সেবায় প্রবেশাধিকার পাওয়া।

LobeBench-এ কী পরিবর্তন হয়েছে?

বর্তমান V4 Pro-এর সঙ্গে V4 Pro-0813-এর তুলনা করতে MaxForAI তাদের অভ্যন্তরীণ পরীক্ষার সংগ্রহ LobeBench ব্যবহার করেছে। প্রকাশিত র‍্যাঙ্কিংয়ে পুরোনো সংস্করণটি ছিল ১৩তম। ওই তুলনায় নতুন সংস্করণটি চীনা মডেলগুলোর মধ্যে প্রথম হয়েছে।

উন্নতি হয়েছে ১৬ শতাংশ-পয়েন্ট; Hard হিসেবে শ্রেণিবদ্ধ আরও আটটি কাজ সফলভাবে সম্পন্ন হয়েছে। আগের মোট ২৪টি কাজের তুলনায় ৩২টিতে পৌঁছানো মানে সফলভাবে সম্পন্ন কাজের সংখ্যা প্রায় এক-তৃতীয়াংশ বেড়েছে। দুটি হিসাব একই ফলাফলকে ভিন্নভাবে তুলে ধরে: পরীক্ষার বেশি অংশ সম্পন্ন হয়েছে এবং কাজের সংখ্যাও বেড়েছে।

বিজ্ঞাপন

LobeBench-এ বারবার কাজ সম্পন্ন করার শর্তটি ব্যাখ্যা করে, ফলাফলটি কেন নজর কেড়েছে। কোনো মডেল একবার সফল হলেও পরের চেষ্টাগুলোতে ব্যর্থ হলে নিয়মিত কাজে সেটি ব্যবহার করা কঠিন হতে পারে। এজেন্ট ক্লায়েন্ট, যার মাধ্যমে এআই সিস্টেম সফটওয়্যার ব্যবহার করে কাজ সম্পন্ন করে, তার জন্য মাঝেমধ্যে ভালো উত্তর দেওয়ার পাশাপাশি নির্ভরযোগ্যভাবে কাজ করাও জরুরি।

প্রকাশিত তুলনাটি ৫০টি কাজ এবং একটি অভ্যন্তরীণ র‍্যাঙ্কিংকে কেন্দ্র করে। ফলাফল পুনরায় যাচাই করার জন্য প্রয়োজনীয় তথ্য, যেমন সম্পূর্ণ কাজের তালিকা, মূল্যায়নের নিয়ম, মডেলের সেটিংস এবং প্রতিদ্বন্দ্বী সিস্টেমগুলোর স্কোর, ফলাফলের বিবরণে প্রকাশ করা হয়নি।

বারবার সফল হওয়া কেন গুরুত্বপূর্ণ

একই অনুরোধে একটি এআই মডেল ভিন্ন ভিন্ন উত্তর দিতে পারে। কয়েক ধাপের কোনো কাজে শুরুতে ভুল হলে পরের সব ধাপও প্রভাবিত হতে পারে। পরপর তিনবার সফল হওয়ার শর্ত একবারের সাফল্য গণনার চেয়ে নির্ভরযোগ্য আচরণকে বেশি গুরুত্ব দেয়।

প্রতিবেদন অনুযায়ী, MaxForAI-এর তুলনায় অন্তত একবার সফল হলে নম্বর পাওয়ার বিচারে দুটি সংস্করণের মধ্যে পার্থক্য সামান্য ছিল। তবে বারবার সফল হওয়ার মানদণ্ডে ব্যবধান বেড়েছে। তাই মূল ফলাফলটি নির্ভরযোগ্যতা নিয়ে, পুরোনো সংস্করণটি কখনোই করতে পারেনি এমন কাজ সমাধানের নতুন সক্ষমতা নিয়ে নয়।

কাজ সম্পন্ন করতে এজেন্ট ব্যবহারকারীদের জন্য এই পার্থক্যের ব্যবহারিক গুরুত্ব রয়েছে। বারবার ব্যর্থ হলে আরও চেষ্টা, যাচাই এবং মানুষের হস্তক্ষেপের প্রয়োজন হতে পারে। একই কাজ ধারাবাহিকভাবে সম্পন্ন করতে পারে এমন মডেল বেশি উপযোগী হতে পারে, এমনকি পুরোনো সংস্করণের কোনো একটি সফল উত্তরও সমান ভালো মনে হলেও।

সন্দেহভাজন আপডেট ঘিরে ছড়িয়ে পড়া অন্যান্য অনানুষ্ঠানিক প্রদর্শনীর মধ্যে ছিল অ্যানিমেশন তৈরি এবং সাইকেল চালানো এক পানকৌড়ির ছবি। LobeBench আগের একটি নির্দিষ্ট সংস্করণের সঙ্গে সংখ্যাগত তুলনা তুলে ধরে, ফলে ধারাবাহিকভাবে কাজ সম্পন্ন করার সক্ষমতার দিকে মনোযোগ সরে আসে।

সেবা-বিঘ্নের সময় কী ঘটেছিল?

সে সময় কোম্পানির স্ট্যাটাস তথ্যের বিবরণ অনুযায়ী, DeepSeek-এর ৭ নভেম্বরের সেবা-বিঘ্ন শুরু হয় ১৫:১১-তে। চ্যাট, V4 Pro API এবং V4.1 Flash API-সহ বেশ কয়েকটি সেবা এতে প্রভাবিত হয়। API হলো এমন সংযোগ, যার মাধ্যমে অন্য কোনো অ্যাপ্লিকেশন স্বয়ংক্রিয়ভাবে DeepSeek-এ অনুরোধ পাঠাতে পারে।

ব্যবহারকারীরা চ্যাট সেবা ব্যবহার করতে পারেননি এবং সার্ভার ব্যস্ত—এমন বার্তা পেয়েছেন। পরে DeepSeek জানায়, একটি সমাধান কার্যকর করা হয়েছে এবং তারা ফলাফল পর্যবেক্ষণ করছে। পরবর্তী পরীক্ষায় সেবাটি আবার স্বাভাবিকভাবে কাজ করছে বলে জানানো হয়।

বিজ্ঞাপন

এর আগে ৩ নভেম্বর একই ধরনের ঘটনা ঘটেছিল। সেটি শুরু হয় ১৬:৫৮-তে এবং একই তিনটি সেবা প্রভাবিত হয়। ওই ঘটনার সমাধানের কথা জানানোর পরও সেবাগুলোতে কম পারফরম্যান্সের কথা স্ট্যাটাসে উল্লেখ ছিল। সেবা চালু হওয়া এবং স্বাভাবিক গতি ফিরে পাওয়া কোনো ঘটনার ভিন্ন পর্যায়ে ঘটতে পারে।

মডেল নিয়ে জল্পনার পটভূমির অংশ এই দুটি সেবা-বিঘ্ন। বর্ণিত স্ট্যাটাস তথ্যে ৭ নভেম্বরের ঘটনার কারণ উল্লেখ করা হয়নি। ফলে ক্রমবর্ধমান ট্রাফিক নাকি মডেল চালুর সঙ্গে এর সম্পর্ক, তা নিয়ে গ্রাহকদের কাছে নিশ্চিত কোনো ব্যাখ্যা নেই।

Pro নিয়ে প্রত্যাশার সময়রেখা

সাম্প্রতিক পরীক্ষার ফলাফলের আগেই V4.1 Pro নিয়ে আগ্রহ তৈরি হয়েছিল। সেপ্টেম্বরের প্রকাশ-পরিকল্পনা, অক্টোবরে সেবায় পরিবর্তন এবং নভেম্বরের বেঞ্চমার্ক তুলনা—সবই প্রত্যাশা বাড়িয়েছে, যদিও এগুলো DeepSeek-এর পণ্যসারির ভিন্ন ভিন্ন অংশের সঙ্গে সম্পর্কিত।

  • ১০ সেপ্টেম্বর, ২০২৬: V4.1 Flash প্রকাশ করা হয়। V4.1 Pro আসা পর্যন্ত deepseek-v4-pro-তে পাঠানো অনুরোধ Flash-এ পাঠানোর প্রস্তাবটি পরে ডেভেলপারদের আপত্তির পর প্রত্যাহার করা হয়।
  • ১৭ অক্টোবর: পরবর্তী সেবা-পরিবর্তন নিয়ে অক্টোবরের বিবরণ অনুযায়ী, V4.1 Flash-1017 সংস্করণটি প্রকাশ করা হয়।
  • ২৭ অক্টোবর: পর্যবেক্ষকেরা ১৮:২১-এর দিকে মডেলের ফিঙ্গারপ্রিন্টে পরিবর্তন শনাক্ত করেন। ১৯:০৭ নাগাদ তিনটি মডেল বিকল্পে দেখা ফিঙ্গারপ্রিন্ট একই হয়ে যায়।
  • ৩ নভেম্বর: ১৬:৫৮ থেকে শুরু হওয়া আংশিক সেবা-বিঘ্নে চ্যাট ও উল্লিখিত দুটি API সেবা প্রভাবিত হয়।
  • ৭ নভেম্বর: ১৫:১১-তে আরেকটি আংশিক সেবা-বিঘ্ন শুরু হয়। পরে DeepSeek সমাধানের কথা জানায়।
  • ৮ নভেম্বর: MaxForAI-এর LobeBench তুলনার বিবরণে সম্পন্ন কাজের সংখ্যা ২৪ থেকে বেড়ে ৩২ হওয়ার কথা বলা হয়।

সেপ্টেম্বরের রাউটিং প্রস্তাবটি ডেভেলপারদের জন্য গুরুত্বপূর্ণ, কারণ কোনো অ্যাপ্লিকেশনের পরিচালনাগত ধারণার অংশ হতে পারে তার মডেলের নাম। সেই নামের আড়ালে থাকা মডেল বদলালে উত্তর, খরচ ও পারফরম্যান্সে প্রভাব পড়তে পারে। প্রস্তাবটি প্রত্যাহারের পর V4 Pro আগের মতোই বিলিংয়ে দেওয়া অব্যাহত ছিল।

অক্টোবরে ফিঙ্গারপ্রিন্টে কী দেখা গিয়েছিল

২৭ অক্টোবরের পর্যবেক্ষণগুলো ছিল মডেলের ফিঙ্গারপ্রিন্ট নিয়ে। অনুরোধের জবাব দেওয়া সিস্টেমে পরিবর্তন শনাক্ত করতে এসব শনাক্তকারী সহায়তা করতে পারে। পুরোনো ফিঙ্গারপ্রিন্টটি V4.1 Flash-1017-এর সঙ্গে যুক্ত ছিল। নতুন শনাক্তকারীটি দেখে এর পেছনে কোন মডেল রয়েছে, তা নির্ভরযোগ্যভাবে বোঝা যায়নি।

সে সময় পরিবর্তনটি Pro-এর বদলে Flash-সংক্রান্ত বলে মনে হয়েছিল। এর সম্ভাব্য ব্যাখ্যার মধ্যে ছিল মডেলের ভিন্ন চেকপয়েন্ট—অর্থাৎ সংরক্ষিত মডেল সংস্করণ—অথবা একই মডেল নতুন করে চালু করা। নতুন শনাক্তকারী কোনটি ঘটেছে, তা স্পষ্ট করেনি।

বিজ্ঞাপন

এই পরিবর্তন দেখা দেওয়ার সময় V4.1 Flash-1017 মাত্র ১০ দিন ধরে চালু ছিল। Pro নিয়ে আগে থেকেই জোরালো প্রত্যাশা থাকায় Flash-সংক্রান্ত পরিবর্তনও মনোযোগের কেন্দ্রে আসে। নভেম্বরের LobeBench ফলাফলটি Pro-এর জন্য আরও সরাসরি প্রাসঙ্গিক, কারণ এতে V4 Pro নামধারী দুটি সংস্করণের তুলনা করা হয়েছে।

DeepSeek-এর আগের প্রকাশ-সময়সূচিও প্রত্যাশাকে প্রভাবিত করেছে। প্রতিবেদনে বলা হয়েছে, V4 প্রজন্মে Flash ও Pro প্রকাশের মধ্যে ব্যবধান ছিল প্রায় দুই সপ্তাহ। V4.1 নিয়ে পরবর্তী আলোচনার সময় Flash প্রকাশের পর অপেক্ষা সাত সপ্তাহ ছাড়িয়ে গিয়েছিল। তাই বর্তমান প্রকাশ-চক্রের সময়সূচি আগের থেকে আলাদা।

ডেভেলপাররা এখন কী তুলনা করতে পারেন

প্রকাশিত দামের হিসাবে V4 Pro ও V4.1 Flash-এর খরচের স্তর আলাদা। V4 Pro-তে প্রতি ১০ লাখ টোকেন ইনপুটের দাম ধরা হয়েছিল ০.৬৬ ডলার; পিক সময়ের বাইরে আউটপুটের দাম প্রতি ১০ লাখ টোকেনে ১.৯৮ ডলার। Flash-এর ইনপুট ও আউটপুটের দাম যথাক্রমে প্রতি ১০ লাখ টোকেনে ০.১৫ ও ০.৬০ ডলার।

টোকেন হলো মডেল যে টেক্সটের ছোট ছোট অংশ প্রক্রিয়াকরণ করে, যেমন শব্দ বা শব্দের অংশ। প্রকাশিত দরে Pro-তে ইনপুটের খরচ Flash-এর তুলনায় ৪.৪ গুণ। পিক সময়ের বাইরে Pro-তে আউটপুটের উল্লেখিত হার Flash-এর তালিকাভুক্ত হারের ৩.৩ গুণ। প্রকৃত ব্যয় নির্ভর করে ইনপুট ও আউটপুটের পরিমাণ, সময় এবং প্রযোজ্য ক্যাশিংয়ের ওপর।

Flash-এ ক্যাশ হিটের উল্লেখিত দামও ছিল প্রতি ১০ লাখ টোকেনে ০.০০৩ ডলার। ক্যাশের সাহায্যে সেবা আগে প্রক্রিয়া করা ইনপুট আবার ব্যবহার করতে পারে। তালিকাভুক্ত সক্ষমতার মধ্যে ছিল নেটিভ ইমেজ ইনপুট, যার মাধ্যমে ছবি সরাসরি মডেলে পাঠানো যায়।

প্রতিবেদন অনুযায়ী, V4 Pro-তে ছিল ১০ লাখ টোকেনের কনটেক্সট উইন্ডো এবং সর্বোচ্চ ৩ লাখ ৮৪ হাজার টোকেনের আউটপুট সীমা। কনটেক্সট উইন্ডো হলো একটি অনুরোধে মডেল যতটা উপাদান বিবেচনা করতে পারে তার পরিমাণ। ভবিষ্যতের Pro সংস্করণের সঙ্গে তুলনা করতে গ্রাহকেরা এই বিদ্যমান পণ্যের বৈশিষ্ট্যগুলো ব্যবহার করতে পারবেন।

আপডেটটি আনুষ্ঠানিক বলে নিশ্চিত হবে কীভাবে?

V4.1 Pro নাম উল্লেখ করে প্রকাশ-ঘোষণা এলে ব্যবহারকারীরা মূল্যায়নের জন্য একটি নির্দিষ্ট পণ্য পাবেন। এর সঙ্গে সামঞ্জস্যপূর্ণ API নথি, মডেল রিপোজিটরি ও মূল্যতালিকার আপডেট থেকে কীভাবে এটি ব্যবহার করতে হবে, খরচ কত এবং কোন সক্ষমতা রয়েছে—এসব ব্যবহারিক তথ্য জানা যাবে।

বিজ্ঞাপন

DeepSeek-এর প্রকাশিত তথ্য পর্যালোচনার একটি বিবরণে বলা হয়েছে, প্রাসঙ্গিক সর্বশেষ রিপোজিটরিটি ছিল DeepSeek-V4.1-Flash, যা তৈরি করা হয় ১০ সেপ্টেম্বর, ২০২৬। ওই পর্যালোচনায় আরও বলা হয়, Flash-এর সঙ্গে প্রকাশিত ৫১ পৃষ্ঠার কারিগরি প্রতিবেদনে V4.1-Pro বা V4.1 Pro—কোনো নামই ছিল না। পর্যালোচনায় বর্ণিত প্রকাশ্য পণ্যের তথ্য তখনও Flash ও V4 Pro-কে কেন্দ্র করে ছিল।

নভেম্বরের বেঞ্চমার্ক ফলাফলের পর আশাবাদী জল্পনায় পরের সপ্তাহে প্রকাশের সম্ভাবনার কথা বলা হয়। বর্ণিত প্রকাশ-তথ্যে DeepSeek কোনো প্রকাশের তারিখ, সময়সীমা বা প্রান্তিকের কথা জানায়নি। আপাতত নিশ্চিত অগ্রগতি হলো, বর্তমান V4 Pro নামেই কাজ বারবার সম্পন্ন করার ক্ষেত্রে উন্নতির কথা জানানো হয়েছে।

মূল বিষয়গুলো

  • V4 Pro LobeBench-এর ৫০টি কাজের মধ্যে ৩২টি সম্পন্ন করেছে; V4 Pro-0813 সম্পন্ন করেছিল ২৪টি।
  • স্কোর ৪৮% থেকে বেড়ে ৬৪% হয়েছে, অর্থাৎ ১৬ শতাংশ-পয়েন্ট বৃদ্ধি।
  • পরপর তিনবার সফলভাবে কাজ সম্পন্ন করার শর্তে প্রধান উন্নতি দেখা গেছে।
  • ৩ ও ৭ নভেম্বর DeepSeek-এর আংশিক সেবা-বিঘ্ন ঘটে; এতে চ্যাট ও দুটি API সেবা প্রভাবিত হয়।
  • অক্টোবরে ফিঙ্গারপ্রিন্টের পরিবর্তন Flash-সংক্রান্ত বলে মনে হয়েছিল, আর নভেম্বরের বেঞ্চমার্ক তুলনাটি ছিল Pro নিয়ে।
  • V4.1 Pro-এর পরিচয়, প্রকাশের তারিখ ও দাম এখনো নিশ্চিত নয়।
এই নিবন্ধটি শেয়ার করুন

আপনার পছন্দ হতে পারে