আলিবাবার নতুন Qwen3-Omni: ওপেন সোর্স মাল্টিমোডাল এআই মডেল

এখন কেন এটি গুরুত্বপূর্ণ: ওপেন মাল্টিমোডাল এআই মূলধারায়

আলিবাবা প্রকাশ করেছে Qwen3-Omni, বিনা মূল্যে ব্যবহারযোগ্য একটি মাল্টিমোডাল কৃত্রিম বুদ্ধিমত্তার মডেল। এতে ইনপুট হিসেবে টেক্সট, ছবি, অডিও ও ভিডিও দেওয়া যায় এবং এটি রিয়েল টাইমে টেক্সট বা স্বাভাবিক কণ্ঠে উত্তর দিতে পারে। কোম্পানিটির দাবি, এটি প্রথম নেটিভ এন্ড-টু-এন্ড ওমনিমোডাল সিস্টেম, যা পরে আলাদা করে যুক্ত না করে একটি মডেলের ভেতরেই চার ধরনের ইনপুটকে একীভূত করেছে। এমন এক বাজারে এটি এসেছে, যেখানে OpenAI ও Google-এর শীর্ষস্থানীয় সিস্টেমগুলো এখনো মালিকানাধীন। ফলে বন্ধ প্ল্যাটফর্মগুলোর বিপরীতে তৈরি হয়েছে এমন একটি ওপেন সোর্স বিকল্প, যা Apache 2.0 লাইসেন্সের আওতায় যে কেউ ডাউনলোড, পরিবর্তন ও ব্যবহার করতে পারে।

এর প্রতিশ্রুতি সরল। প্রতিষ্ঠান ও ডেভেলপাররা এমন একটি মডেল পাচ্ছেন, যা কম লেটেন্সিতে, বিস্তৃত ভাষা-সমর্থনসহ বিভিন্ন ধরনের ইনপুট নিয়ে কাজ করে এবং উত্তর গড়ে তোলার জন্য প্রয়োজনীয় টুলিংও দেয়। এর তাৎপর্য কারিগরি বেঞ্চমার্কের বাইরেও বিস্তৃত। ব্যবসাবান্ধব উন্মুক্ত লাইসেন্স ভেন্ডর-নির্ভরতা দূর করে এবং প্রতিষ্ঠানগুলোকে নিজেদের অবকাঠামোয় মডেলটি চালানোর সুযোগ দেয়। এআই ব্যবস্থায় ব্যয়, নিয়ন্ত্রণ ও কার্যকারিতার মধ্যে ভারসাম্য আনার চেষ্টা করা বহু কোম্পানির জন্য এটি একটি গুরুত্বপূর্ণ পার্থক্য।

ওমনিমোডাল মডেলের এক দফা উত্থানের পর এসেছে Qwen3-Omni। OpenAI-এর GPT-4o টেক্সট, ছবি ও অডিওকে একত্র করেছিল। Google-এর Gemini 2.5 Pro-তে যুক্ত হয়েছে ভিডিও বিশ্লেষণ। তবে এসব সিস্টেম এখনো অর্থের বিনিময়ে ব্যবহার করতে হয় এবং সেগুলো বন্ধ। Qwen3-Omni এক প্যাকেজে ভিডিও বোঝা, কথ্য ইনপুট ও কথ্য আউটপুট দেয়, যা কমিউনিটি পরীক্ষা ও উন্নয়ন করতে পারে। এই প্রকাশনা চীনের ওপেন এআই প্রকল্পগুলোর উত্থানও তুলে ধরে, যেগুলো ডেভেলপার প্ল্যাটফর্মে ব্যাপক গ্রহণযোগ্যতা পাচ্ছে এবং প্রতিযোগিতার মানচিত্র বদলে দিচ্ছে।

Qwen3-Omni কী এবং কীভাবে কাজ করে

Qwen3-Omni-তে Thinker ও Talker নামে দুই অংশের নকশা ব্যবহার করা হয়েছে; পাইপলাইনের ভিন্ন ধাপের জন্য প্রতিটি অংশ আলাদাভাবে অপ্টিমাইজ করা। Thinker মাল্টিমোডাল বোঝাপড়া, যুক্তি ও টেক্সট তৈরি সামলায়। Talker অনুমোদিত আউটপুটকে কণ্ঠে রূপান্তর করে এবং দৃশ্যের সঙ্গে কথার সমন্বয় করে। দুই অংশই Mixture of Experts আর্কিটেকচারের ওপর নির্ভরশীল। এতে মডেলের প্যারামিটারগুলো বিশেষায়িত দলে ভাগ থাকে এবং প্রয়োজন হলেই কেবল সেগুলো সক্রিয় হয়। ফলে ইনফারেন্স দ্রুত হয় এবং মডেলটি আরও বড় পরিসরে ব্যবহার করা যায়, কারণ প্রতিটি অনুরোধে সব প্যারামিটার চালাতে হয় না।

Thinker ও Talker: ব্যাখ্যা

Qwen3-Omni-তে Thinker ইনপুট গ্রহণ করে, টেক্সট, ছবি, অডিও ও ভিডিওর সংকেত একত্র করে এবং মূল উত্তরটি টেক্সট আকারে তৈরি করে। দীর্ঘ প্রসঙ্গ নিয়ে যুক্তি, টুল ব্যবহার, তথ্য পুনরুদ্ধার এবং নিরাপত্তা ফিল্টার এ পর্যায়ে কাজ করতে পারে। গুরুত্বপূর্ণ বিষয় হলো, Talker-কে Thinker-এর টেক্সট টোকেনের ওপর নির্ভর করতে হয় না। এর বদলে এটি সরাসরি অডিও ও ভিজ্যুয়াল বৈশিষ্ট্যের ওপর নির্ভর করে। এ কারণে অনুবাদের সময় মূল বক্তার বিরতি ও জোর দেওয়ার ধরন মিলিয়ে কথা তৈরি করা যায়, অথবা পর্দায় যা দেখা যাচ্ছে তার সঙ্গে কথার গতি সমন্বয় করা যায়। এই নকশা কর্মপ্রবাহ নিয়ন্ত্রণের সুযোগও দেয়: Talker অডিওতে রূপান্তর করার আগে বাইরের মডিউল Thinker-এর আউটপুট পর্যালোচনা বা সমন্বয় করতে পারে।

কথা তৈরিতে Qwen3-Omni মাল্টি-কোডবুক অটোরিগ্রেসিভ পদ্ধতি ব্যবহার করে। এতে সংক্ষিপ্ত অ্যাকুস্টিক টোকেনের পূর্বাভাস দেওয়া হয়, পরে হালকা Code2Wav নেটওয়ার্ক সেগুলোকে ওয়েভফর্মে রূপ দেয়। এ নকশায় কণ্ঠের সূক্ষ্ম বৈশিষ্ট্য বজায় রেখেই লেটেন্সি কমানো হয়েছে। Audio Transformer নামের অডিও এনকোডারটি স্ট্রিমিং ও অফলাইন, দুই ধরনের ব্যবহারের উপযোগী করে শুরু থেকে প্রশিক্ষণ দেওয়া হয়েছে।

কম লেটেন্সির স্ট্রিমিংয়ের জন্য তৈরি

Qwen3-Omni সরাসরি, কথোপকথনভিত্তিক ব্যবহারের লক্ষ্য নিয়ে তৈরি। সিস্টেমটির হিসাবে অডিওতে এন্ড-টু-এন্ড প্রথম প্যাকেটের লেটেন্সি প্রায় 234 মিলিসেকেন্ড এবং ভিডিওতে প্রায় 547 মিলিসেকেন্ড। এর রিয়েল-টাইম ফ্যাক্টর একের নিচে থাকে, অর্থাৎ ইনপুট যত দ্রুত আসে, এটি তত দ্রুত বা তার চেয়েও দ্রুত আউটপুট তৈরি করতে পারে। ভয়েস এজেন্ট, কল সেন্টারের সহকারী, মিটিং ট্রান্সক্রিপশন এবং বিলম্বে কথোপকথনের স্বাভাবিক ছন্দ নষ্ট হয়—এমন যেকোনো ক্ষেত্রে এটি গুরুত্বপূর্ণ।

ভাষা-সমর্থন ও প্রসঙ্গের সীমা

মডেলটি টেক্সটে 119টি, কথ্য ইনপুটে 19টি এবং কথ্য আউটপুটে 10টি ভাষা সমর্থন করে। এটি দীর্ঘ কথোপকথন সামলাতে পারে। Thinking Mode-এ প্রসঙ্গের পরিসর 65,536 টোকেন এবং যুক্তির দীর্ঘতম ধারা 32,768 টোকেন পর্যন্ত যায়। Non Thinking Mode-এ প্রসঙ্গের পরিসর 49,152 টোকেন। সর্বোচ্চ ইনপুট ও আউটপুট, দুটিই 16,384 টোকেন। এক সেশনে মডেলটি কতটা বিষয়বস্তু গ্রহণ ও তৈরি করতে পারবে, এই সীমাগুলো তা নির্ধারণ করে; ভিডিও ট্রান্সক্রিপ্ট ও দীর্ঘ নথির ক্ষেত্রে এটি বিশেষভাবে প্রাসঙ্গিক।

সংস্করণ ও ব্যবহারের বিকল্প

আলিবাবা Qwen3-Omni-30B-A3B-এর তিনটি সংস্করণ প্রকাশ করছে, প্রতিটি আলাদা কাজের জন্য উপযোগী করে তৈরি।

Instruct মডেলে Thinker ও Talker একত্র করা হয়েছে। এটি টেক্সট, ছবি, অডিও ও ভিডিও গ্রহণ করে এবং টেক্সট ও কথায় উত্তর দেয়। Thinking মডেলটি যুক্তি ও দীর্ঘ চিন্তাপ্রক্রিয়ার কাজের জন্য তৈরি। এটি একই ধরনের ইনপুট গ্রহণ করলেও শুধু টেক্সট আউটপুট দেয়। কণ্ঠের চেয়ে বিস্তারিত লিখিত উত্তরের গুরুত্ব বেশি, এমন পরিস্থিতিতে এটি উপযোগী। Captioner মডেলটি অডিও ক্যাপশন তৈরির জন্য ফাইন-টিউন করা এবং হ্যালুসিনেশন কমানোর ওপর জোর দিয়ে বিস্তারিত টেক্সট বর্ণনা তৈরি করে। এই তিনটি সংস্করণে বিস্তৃত মাল্টিমোডাল কথোপকথন, গভীর যুক্তি এবং বিশেষায়িত অডিও-বোঝাপড়ার কাজ অন্তর্ভুক্ত হয়েছে।

Qwen3-Omni স্থানীয়ভাবে এবং ক্লাউডের মাধ্যমে ব্যবহার করা যায়। ডেভেলপাররা অফিসিয়াল রিপোজিটরি ও কমিউনিটি হাব থেকে মডেলের ওজন ডাউনলোড করতে পারেন, অথবা আলিবাবার API-এর মাধ্যমে দ্রুততর Flash সংস্করণ ব্যবহার করতে পারেন। প্রকল্পের ডকুমেন্টেশনে দ্রুত শুরু করার নির্দেশিকা, স্পিচ রিকগনিশন, অনুবাদ, সংগীত বিশ্লেষণ, OCR ও অডিওভিজ্যুয়াল সংলাপের মতো কাজের কুকবুক এবং Docker-এ ডিপ্লয়মেন্টের নির্দেশনাও রয়েছে। GitHub রিপোজিটরিটি এখানে: https://github.com/QwenLM/Qwen3-Omni।

হোস্ট করা API পরীক্ষা করতে আগ্রহী দলগুলোর জন্য আলিবাবা বিভিন্ন ধরনের ইনপুট মিলিয়ে 10 লাখ টোকেনের বিনা মূল্যের কোটা দিচ্ছে, যা চালু করার পর 90 দিন পর্যন্ত কার্যকর। API ব্যবহার করলে অডিও আউটপুট শুধু Non Thinking Mode-এ পাওয়া যায়। প্রাথমিক পরীক্ষা-নিরীক্ষার সময় পাইলট প্রকল্প পরিকল্পনা ও ব্যয় হিসাবের ক্ষেত্রে এ তথ্যগুলো গুরুত্বপূর্ণ।

প্রশিক্ষণ প্রক্রিয়া এক নজরে

বৃহৎ পরিসরের প্রিট্রেনিং ও লক্ষ্যভিত্তিক পোস্ট-ট্রেনিং মিলিয়ে একাধিক ধাপে Qwen3-Omni-কে প্রশিক্ষণ দেওয়া হয়েছে। প্রায় 0.6 বিলিয়ন প্যারামিটারের Audio Transformer অডিও এনকোডার হিসেবে কাজ করে। 20 মিলিয়ন ঘণ্টার তত্ত্বাবধানযুক্ত অডিও দিয়ে এটিকে প্রশিক্ষণ দেওয়া হয়েছে। ডেটার মিশ্রণে ছিল আনুমানিক 80 শতাংশ চীনা ও ইংরেজি স্পিচ রিকগনিশন, 10 শতাংশ অন্যান্য ভাষার স্পিচ রিকগনিশন এবং 10 শতাংশ অডিও-বোঝাপড়ার কাজ। এনকোডারটি রিয়েল-টাইম ক্যাশিং ও অফলাইন প্রসেসিং, দুই ধরনের ব্যবহারের জন্য তৈরি।

প্রিট্রেনিং হয়েছে তিন ধাপে। প্রথম ধাপটির নাম encoder alignment; এ পর্যায়ে ভাষা মডেলের মূল অংশ স্থির রেখে ভিশন ও অডিও এনকোডারকে প্রশিক্ষণ দেওয়া হয়। এতে প্রাথমিক ফিউশনের সময় মডেলের উপলব্ধি-ক্ষমতা দুর্বল হওয়া ঠেকানো গেছে। দ্বিতীয় ধাপ, general training-এ, প্রায় 2 ট্রিলিয়ন টোকেনের একটি ডেটাসেট ব্যবহার করা হয়; এতে টেক্সট, অডিও, ছবি এবং তুলনামূলক কম পরিমাণে ভিডিও ও অডিও-ভিডিও নমুনা ছিল। তৃতীয় ধাপে সর্বোচ্চ টোকেন দৈর্ঘ্য 8,192 থেকে বাড়িয়ে 32,768 করা হয় এবং দীর্ঘ অডিও ও ভিডিওর পরিমাণ বাড়িয়ে দীর্ঘ সিকোয়েন্স সামলানোর সক্ষমতা জোরদার করা হয়।

পোস্ট-ট্রেনিংয়ে যুক্তির সক্ষমতা ও কথার মান, দুটিই উন্নত করা হয়েছে। Thinker-কে সুপারভাইজড ফাইন-টিউনিং, শক্তিশালী থেকে দুর্বল মডেলে জ্ঞান স্থানান্তর এবং নিয়মনির্ভর ফিডব্যাক ও মডেলকে বিচারক হিসেবে ব্যবহার করে স্কোরিংয়ের সমন্বয়ে GSPO অপ্টিমাইজেশন দেওয়া হয়েছে। Talker-এর ক্ষেত্রে শত শত মিলিয়ন মাল্টিমোডাল স্পিচ নমুনা এবং বাছাই করা ডেটায় ধারাবাহিক প্রিট্রেনিংসহ চার ধাপের প্রক্রিয়া অনুসরণ করা হয়েছে। লক্ষ্য ছিল হ্যালুসিনেশনের হার কমানো এবং কথাকে আরও স্বাভাবিক করা।

কার্যকারিতা ও যে ক্ষেত্রে এটি ভালো

কোম্পানির প্রকাশিত বিভিন্ন পাবলিক বেঞ্চমার্কে Qwen3-Omni টেক্সট ও ভিশনেও উচ্চ স্কোর বজায় রেখে স্পিচ, অডিও ও ভিডিও বোঝার ক্ষেত্রে ভালো ফল দেখিয়েছে। অনেক উন্মুক্ত লিডারবোর্ডে এটি শীর্ষে রয়েছে এবং বন্ধ সিস্টেমগুলোর সঙ্গে প্রতিযোগিতামূলক ফল করেছে।

টেক্সট ও যুক্তির ক্ষেত্রে মডেলটি AIME25-এ 65.0 এবং ZebraLogic-এ 76.0 স্কোর করেছে। WritingBench-এ স্কোর 82.6। স্পিচ ও অডিওতে Wenetspeech-এ শব্দ-ভুলের হার যথাক্রমে 4.69 ও 5.89 এবং Librispeech other-এ 2.48। সংগীতসংক্রান্ত কাজেও এটি ভালো করেছে: GTZAN-এ 93.0 এবং RUL MuchoMusic-এ 52.0। ছবি ও ভিশনের ক্ষেত্রে HallusionBench-এ 59.7, MMMU pro-তে 57.0 এবং MathVision full-এ 56.3। ভিডিওতে MLVU-তে স্কোর 75.2। বাইরের মূল্যায়নেও এসব ফল পুনরায় পাওয়া গেলে, তা থেকে বোঝা যায় মডেলটি প্রচলিত টেক্সটের কাজের সঙ্গে উন্নত অডিও ও ভিডিও-বোঝাপড়ার ভারসাম্য রাখতে পারে।

দুটি বিষয় খেয়াল রাখা দরকার। প্রথমত, অনেক ফল কোম্পানির নিজস্ব প্রতিবেদনের ভিত্তিতে দেওয়া। দৈনন্দিন ব্যবহারের কার্যকারিতা ভালোভাবে বুঝতে আরও বিস্তৃত পরীক্ষায় স্বাধীনভাবে এসব ফল পুনরায় যাচাই করা জরুরি। দ্বিতীয়ত, চার ধরনের ইনপুট সামলায় এমন একটি মডেল তৈরিতে কিছু বিনিময়-শর্ত তৈরি হতে পারে। কোম্পানির উপকরণে বিভিন্ন মাধ্যমের মধ্যে সমমানের কার্যকারিতা দেখানোর চেষ্টা করা হয়েছে। তবে কমিউনিটির কিছু পর্যালোচক লক্ষ করেছেন, আগের টেক্সট-প্রথম সংস্করণগুলোর কোনো কোনো সংকীর্ণ কাজে শুধু টেক্সট তৈরির ক্ষমতা সামান্য ভালো হতে পারে। বিশেষায়িত ও সাধারণ-উদ্দেশ্যের মডেলের মধ্যে এটাই পরিচিত টানাপোড়েন। বর্তমান সংস্করণ সেই ব্যবধান কমিয়েছে এবং এমন আন্তমাধ্যম সক্ষমতা এনেছে, যা বিশেষায়িত মডেলগুলো দিতে পারে না।

মূল্য, কোটা ও ব্যবহারের সীমা

স্থানীয়ভাবে ডিপ্লয়মেন্টের জন্য Qwen3-Omni Apache 2.0 লাইসেন্সের আওতায় ওপেন সোর্স। আলিবাবার API দিয়ে পরিচালিত সেবা ব্যবহার করলে টোকেনের ভিত্তিতে মূল্য নির্ধারণ করা হয়। Thinking Mode ও Non Thinking Mode-এ প্রতি টোকেনের মূল্য একই। অডিও আউটপুট শুধু Non Thinking Mode-এ পাওয়া যায়।

প্রতি 1,000 টোকেনে ইনপুট খরচ

• টেক্সট ইনপুট: 0.00025 মার্কিন ডলার
• অডিও ইনপুট: 0.00221 মার্কিন ডলার
• ছবি বা ভিডিও ইনপুট: 0.00046 মার্কিন ডলার

প্রতি 1,000 টোকেনে আউটপুট খরচ

• শুধু টেক্সট ইনপুট থাকলে টেক্সট আউটপুট: 0.00096 মার্কিন ডলার
• ইনপুটে ছবি বা অডিও থাকলে টেক্সট আউটপুট: 0.00178 মার্কিন ডলার
• টেক্সট ও অডিও আউটপুট: অডিও অংশের জন্য 0.00876 মার্কিন ডলার, টেক্সট বিনা মূল্যে

বিনা মূল্যের স্তর: বিভিন্ন মাধ্যম মিলিয়ে 10 লাখ টোকেন, চালু করার পর 90 দিন পর্যন্ত কার্যকর। প্রসঙ্গের সীমা যথেষ্ট বড়: Thinking Mode-এ 65,536 টোকেন এবং Non Thinking Mode-এ 49,152। একবারে সর্বোচ্চ ইনপুট 16,384 টোকেন এবং সর্বোচ্চ আউটপুটও 16,384 টোকেন। যুক্তির দীর্ঘতম ধারা 32,768 টোকেন পর্যন্ত যায়। উৎপাদন পর্যায়ে দীর্ঘ মিডিয়া ও নথি ব্যবহারের সময় কীভাবে সেগুলো ভাগ করতে হবে, এ সীমাগুলো তা নির্ধারণে সহায়তা করে।

প্রতিষ্ঠানগুলোর জন্য কেন গুরুত্বপূর্ণ

লাইসেন্স এ উদ্যোগের একটি কেন্দ্রীয় দিক। Apache 2.0 বাণিজ্যিক ব্যবহার, পরিবর্তন ও পুনর্বিতরণের অধিকার দেয়। এতে পেটেন্ট লাইসেন্সও রয়েছে, যা মালিকানাধীন সিস্টেমে মডেল যুক্ত করলে আইনি ঝুঁকি কমায়। পরিবর্তিত কাজ প্রকাশের বাধ্যবাধকতা নেই, ফলে ফাইন-টিউন করা সংস্করণ গোপন রাখতে হয় এমন কোম্পানিগুলোর পক্ষে এটি গ্রহণ করা সহজ হয়। এটি এমন ভেন্ডর-নিয়ন্ত্রিত ব্ল্যাক বক্সের সম্পূর্ণ বিপরীত, যেখানে খরচ, ব্যবহারের হারসীমা ও মডেলের আচরণ প্রতিকার পাওয়ার সুযোগ ছাড়াই বদলে যেতে পারে।

এই প্রকাশনা স্থাপত্যসংক্রান্ত সিদ্ধান্তেও প্রভাব ফেলতে পারে। অনেক প্রতিষ্ঠান একাধিক মডেল নিয়ে এআই স্ট্যাকের দিকে যাচ্ছে। কাজ অনুযায়ী উন্মুক্ত ও বন্ধ মডেল মেশানো হচ্ছে, নিয়মিত কাজের জন্য দ্রুত ও ছোট মডেলের সঙ্গে জটিল যুক্তির জন্য বড় মডেল ব্যবহার করা হচ্ছে, আর তথ্যের নিয়ন্ত্রণ বজায় রাখতে কিছু কাজ নিজস্ব অবকাঠামোয় রাখা হচ্ছে। Qwen3-Omni-র বিস্তৃত সক্ষমতা একে স্পিচ-নির্ভর কাজ, বহুভাষিক পরিবেশ এবং ভিডিওসমৃদ্ধ কর্মপ্রবাহের উপযোগী প্রার্থী করে তুলেছে। একটি মডেলে একাধিক মাধ্যম সামলানো গেলে আলাদাভাবে প্রশিক্ষণ ও রক্ষণাবেক্ষণ করতে হয় এমন সিস্টেমের সংখ্যা কমতে পারে।

তবে সফলভাবে ডিপ্লয় করতে এখনো সুশৃঙ্খল পদ্ধতি দরকার। নিরাপত্তা পর্যালোচনা, গোপনীয়তা নিয়ন্ত্রণ, মূল্যায়ন কাঠামো এবং ফাইন-টিউনিং পাইপলাইন এখনো অপরিহার্য। মডেলটি উন্মুক্ত হওয়ায় নিরীক্ষা ও অপ্টিমাইজ করা সহজ, তবে নিরাপত্তা ও নিয়ম মেনে চলার দায়িত্বও ব্যবহারকারীর ওপর পড়ে। MLOps, টুল ব্যবহার ও সুরক্ষাব্যবস্থায় বিনিয়োগকারী দলগুলোই এর কাছ থেকে সবচেয়ে বেশি মূল্য পাবে।

ব্যবহারের ক্ষেত্র: কন্ট্যাক্ট সেন্টার থেকে মাঠপর্যায়ের সেবা

আলিবাবা মডেলটির সক্ষমতার সঙ্গে মানানসই নানা ব্যবহারের কথা তুলে ধরেছে। বহুভাষিক ট্রান্সক্রিপশন ও অনুবাদের সঙ্গে কম লেটেন্সির কথ্য আউটপুট যুক্ত করে সরাসরি কথোপকথনে ব্যবহার করা যায়। অডিও ক্যাপশন মিডিয়া নির্মাণ ও কনটেন্টকে আরও সহজলভ্য করতে সহায়তা করে। OCR ও নথি-বোঝাপড়ার মাধ্যমে ফরম, রসিদ ও নকশার ছবি বিশ্লেষণ করা যায়। সংগীতের ট্যাগ তৈরি ও শব্দ বিশ্লেষণ মিডিয়া লাইব্রেরি এবং সৃজনশীল টুলের কাজে লাগে। ভিডিও-বোঝাপড়া টিউটোরিয়াল বা যন্ত্রপাতি ব্যবহারের নির্দেশনা থেকে ভিডিও সূচিবদ্ধ করা, নেভিগেশন ও নির্দেশনা অনুসরণে সহায়তা করে।

একটি উদাহরণ হতে পারে কারিগরি সহায়তা। কোনো গ্রাহক ফোন থেকে ভিডিও পাঠাতে পারেন; মডেলটি পর্দার লেখা পড়বে, আশপাশের শব্দ শুনবে এবং কথায় ধাপে ধাপে নির্দেশনা দেবে। আরেকটি উদাহরণ হলো পরিধেয় সহকারী, যা তাৎক্ষণিকভাবে মেনু বা সাইনবোর্ড অনুবাদ করে। ডেভেলপাররা সিস্টেম প্রম্পট দিয়ে স্বর, ব্যক্তিত্ব ও বিষয়ভিত্তিক সীমা নির্ধারণ করতে পারেন। সক্ষমতা বাড়াতে তথ্য পুনরুদ্ধার, ক্যালকুলেটর বা তৃতীয় পক্ষের টুলও যুক্ত করা যায়।

গ্রহণযোগ্যতার ইঙ্গিত ও বৈশ্বিক প্রেক্ষাপট

প্রাথমিক সাড়া থেকে ডেভেলপার কমিউনিটির প্রবল আগ্রহের ইঙ্গিত পাওয়া যাচ্ছে। জনপ্রিয় এআই হাবের ট্রেন্ডিং মডেলের তালিকার শীর্ষে উঠেছে Qwen3-Omni-এর বিভিন্ন সংস্করণ, অন্য শীর্ষস্থানগুলোতেও রয়েছে Qwen-এর মডেল। এ উত্থান চীনা দলগুলোর ওপেন সিস্টেমের দিকে বৃহত্তর ঝোঁককে তুলে ধরে, যেগুলো পশ্চিমা প্রতিষ্ঠিত প্রতিযোগীদের সঙ্গে সরাসরি পাল্লা দিচ্ছে। বাজারে, প্রকাশনাটি ব্যাপক আলোচনায় আসার দিনে হংকংয়ে আলিবাবার শেয়ার 4 শতাংশের কিছু বেশি বেড়েছে।

উন্মুক্ত এ বিকল্পটি বন্ধ সিস্টেমগুলোর মূল্য নির্ধারণ ও পণ্য কৌশলে চাপ সৃষ্টি করবে, বিশেষ করে অডিও ও ভিডিও-নির্ভর ব্যবহারের ক্ষেত্রে। দীর্ঘ কেনাকাটার প্রক্রিয়া ছাড়াই ধারণা পরীক্ষা করতে চায় এমন প্রতিষ্ঠানগুলো এখন সামান্য খরচে ওমনিমোডাল মডেল চালাতে পারবে। বাস্তব ব্যবহারের কার্যকারিতা প্রকাশিত বেঞ্চমার্কের কাছাকাছি হলে, এ প্রকাশনা কন্ট্যাক্ট সেন্টার, মিডিয়া নির্মাণ, শিক্ষা, স্বাস্থ্যসেবার ট্রান্সক্রিপশন এবং শিল্পক্ষেত্রের রক্ষণাবেক্ষণে মাল্টিমোডাল সহকারীর ব্যবহার বাড়িয়ে দিতে পারে।

সারকথা

• Qwen3-Omni একটি ওপেন সোর্স মডেল, যা টেক্সট, ছবি, অডিও ও ভিডিও ইনপুট হিসেবে গ্রহণ করে এবং রিয়েল-টাইম ব্যবহারের জন্য অপ্টিমাইজ করা টেক্সট ও কথ্য উত্তর দেয়।
• গতি ও বড় পরিসরে ব্যবহারের জন্য এতে Mixture of Experts-সহ Thinker ও Talker আর্কিটেকচার এবং নিজস্ব Audio Transformer ও Code2Wav রেন্ডারার ব্যবহার করা হয়েছে।
• স্ট্রিমিংয়ে অডিওর জন্য প্রায় 234 মিলিসেকেন্ড এবং ভিডিওর জন্য প্রায় 547 মিলিসেকেন্ড লেটেন্সির লক্ষ্য রাখা হয়েছে; রিয়েল-টাইম ফ্যাক্টর একের নিচে।
• ভাষা-সমর্থনের পরিসর টেক্সটে 119টি, কথ্য ইনপুটে 19টি এবং কথ্য আউটপুটে 10টি ভাষা; প্রসঙ্গের পরিসর সর্বোচ্চ 65,536 টোকেন।
• তিনটি সংস্করণ রয়েছে: সম্পূর্ণ মাল্টিমোডাল ইনপুট-আউটপুটের জন্য Instruct, শুধু টেক্সটভিত্তিক যুক্তির জন্য Thinking এবং বিস্তারিত অডিও ক্যাপশনের জন্য Captioner।
• Apache 2.0 লাইসেন্সে ওপেন সোর্স; API পরীক্ষার জন্য 10 লাখ টোকেনের বিনা মূল্যের কোটা এবং হোস্ট করা সেবায় টোকেনভিত্তিক মূল্য রয়েছে।
• কোম্পানির প্রকাশিত বেঞ্চমার্কে স্পিচ, অডিও, ভিডিও ও টেক্সটে ভালো ফল এবং একাধিক ক্ষেত্রে সর্বাধুনিক মানের স্কোর দেখানো হয়েছে।
• মূল্যায়ন ও নিরাপত্তায় বিনিয়োগ করলে প্রতিষ্ঠানগুলো ভেন্ডর-নির্ভরতা ছাড়াই মাল্টিমোডাল এআই ডিপ্লয়, কাস্টমাইজ ও চালানোর বিনা মূল্যের সুযোগ পায়।
• কমিউনিটিতে দ্রুত গ্রহণযোগ্যতা বাড়ছে; ডেভেলপার প্ল্যাটফর্মে Qwen মডেলগুলো ট্রেন্ড করছে এবং চীনের ওপেন এআই সিস্টেম নিয়ে আগ্রহ বাড়ছে।