আলিবাবার উন্মোচন ওপেন সোর্স মাল্টিমোডাল এআই মডেল কিউওয়েন৩ ওমনি

মাল্টিমোডাল এআইয়ে নতুন ওপেন সোর্স প্রতিদ্বন্দ্বী

আলিবাবা এনেছে কিউওয়েন৩ ওমনি, একটি বিস্তৃত মাল্টিমোডাল মডেল, যা লেখা পড়তে, ছবি দেখতে, অডিও শুনতে এবং ভিডিও দেখতে পারে। এটি লিখিত ভাষায় এবং স্বাভাবিক কথ্য কণ্ঠে উত্তর দেয়। প্রতিষ্ঠানটি একে শুরু থেকেই সমন্বিতভাবে তৈরি একটি পূর্ণাঙ্গ ওমনি মডেল হিসেবে তুলে ধরছে। অর্থাৎ, কথ্য ভাষা বা দৃষ্টিশক্তিকে পরে জুড়ে দেওয়া বাড়তি সুবিধা হিসেবে না দেখে, শুরু থেকেই সব ধরনের ইনপুট একসঙ্গে সামলানোর জন্য মডেলটি তৈরি করা হয়েছে। ওপেন সোর্স মডেল এবং জিপিটি 4o ও জেমিনি 2.5 প্রোর মতো মালিকানাধীন সিস্টেমের মধ্যে খরচ ও নিয়ন্ত্রণের সুবিধা-অসুবিধা নিয়ে বিভিন্ন প্রতিষ্ঠান যখন হিসাব-নিকাশ করছে, তখনই এটি এসেছে। প্রধান পার্থক্য হলো ব্যবহারের সুযোগ। কিউওয়েন৩ ওমনি অ্যাপাচি 2.0 লাইসেন্সে প্রকাশিত হয়েছে। এটি একটি নমনীয় লাইসেন্স, যার আওতায় বিনা মূল্যে বাণিজ্যিক ব্যবহার, পরিবর্তন এবং পুনর্বিতরণ করা যায়। ফলে যেসব দল নিজস্ব অবকাঠামোতে মডেল চালাতে বা প্রতি ব্যবহারকারীর ফি কিংবা বিক্রেতার ওপর নির্ভরতা ছাড়াই পণ্য বাজারে আনতে চায়, তাদের জন্য বাধা কমে যায়।

কিউওয়েন৩ ওমনি সাধারণত দেখা যায় এমন লেখা, ছবি ও অডিওর ত্রয়ীর গণ্ডিও ছাড়িয়ে গেছে। এটি ভিডিওও বিশ্লেষণ করতে পারে, যে সুবিধা এখন পর্যন্ত মূলত বন্ধ প্ল্যাটফর্মেই সীমিত ছিল। মডেলটি লেখার ক্ষেত্রে ১১৯টি ভাষা, কথ্য ইনপুটে ১৯টি এবং কথ্য আউটপুটে ১০টি ভাষা সমর্থন করে। এসবের মধ্যে প্রধান ভাষার পাশাপাশি ক্যান্টনিজের মতো কিছু উপভাষাও রয়েছে। প্রাথমিক তথ্য অনুযায়ী, এর স্ট্রিমিং সাড়া কথোপকথনের মতো, একবারে কাজ করার ধাঁচের নয়। অডিওর প্রথম প্যাকেট আসতে প্রায় সেকেন্ডের এক-চতুর্থাংশ এবং ভিডিওর ক্ষেত্রে প্রায় আধা সেকেন্ড লাগে। সহায়তা কল বা মোবাইল গাইডের মতো তাৎক্ষণিক পরিস্থিতিতে দ্রুত বাধা দেওয়া, বিষয় পরিষ্কার করা এবং দায়িত্ব হস্তান্তর করতে পারে এমন সহকারীর জন্য এটি একটি গুরুত্বপূর্ণ সীমা।

এই প্রকাশনায় ভিন্ন কাজের উপযোগী করে সাজানো তিনটি সংস্করণ রয়েছে। ইনস্ট্রাক্ট হলো পূর্ণাঙ্গ কথোপকথনের মডেল, থিংকিং জটিল যুক্তি ও দীর্ঘ চিন্তার ধারায় মনোযোগ দেয় এবং কেবল লেখা আউটপুট দেয়, আর ক্যাপশনার অডিওর ক্যাপশন তৈরিতে বিশেষায়িত, যেখানে ভুল তথ্য তৈরি করার প্রবণতা কম থাকা জরুরি। ডেভেলপাররা জনপ্রিয় মডেল হাব থেকে এর ওয়েটস নিতে, দ্রুততর ফ্ল্যাশ বিকল্পসহ এপিআই ব্যবহার করতে, অথবা নির্দিষ্ট ক্ষেত্র ও ধরন অনুযায়ী ফাইন-টিউন করতে পারবেন। প্রতিষ্ঠানের প্রকাশ করা বেঞ্চমার্কে দেখা গেছে, লেখা ও দৃষ্টিশক্তির ক্ষেত্রে শীর্ষস্থানীয় সিস্টেমগুলোর সঙ্গে প্রতিযোগিতামূলক ফল বজায় রেখেও কথ্য ভাষা, অডিও ও ভিডিওর কাজে মডেলটি ভালো ফল করেছে।

কিউওয়েন৩ ওমনিকে যা আলাদা করেছে

কয়েকটি প্রযুক্তিগত সিদ্ধান্ত কিউওয়েন৩ ওমনিকে আলাদা করেছে। প্রথমত, প্রশিক্ষণ প্রক্রিয়ার শুরু থেকেই একক-মাধ্যম ও একাধিক-মাধ্যমের তথ্য মেশানো হয়েছে, এরপর প্রি-ট্রেনিং ও পোস্ট-ট্রেনিংয়ের সময় মডেলকে আরও বড় করা হয়েছে। দ্বিতীয়ত, মডেলটি মিক্সচার অব এক্সপার্টস আর্কিটেকচার ব্যবহার করে, যেখানে প্রতিটি টোকেনের জন্য প্যারামিটারের একটি ছোট অংশ সক্রিয় হয়। এতে কাজের গতি বাড়তে এবং ইনফারেন্সের খরচ কমতে পারে, যা তাৎক্ষণিক অ্যাপ্লিকেশন এবং সীমিত হার্ডওয়্যারে স্থাপনের জন্য গুরুত্বপূর্ণ। তৃতীয়ত, সিস্টেমে যুক্তি বিশ্লেষণ ও কথ্য ভাষার কাজ দুটি সমন্বিত উপাদানে ভাগ করা হয়েছে, যাদের নাম থিংকার ও টকার। মাল্টিমোডাল বিষয় বোঝা ও যুক্তি বিশ্লেষণের মূল কাজটি করে থিংকার। টকার উচ্চস্তরের উপস্থাপনাকে এমন কথ্য ভাষায় রূপান্তর করে, যাতে সময়ের ছন্দ ও স্বরভঙ্গি বজায় থাকে।

ভিন্ন প্রয়োজনের জন্য তিনটি মডেল সংস্করণ

দলগুলো যাতে উপযুক্ত সংস্করণটি বেছে নিতে পারে, সে জন্য আলিবাবা ক্লাউড কিউওয়েন৩ ওমনি 30B A3B পরিবারের তিনটি বিকল্প প্রকাশ করেছে:

• ইনস্ট্রাক্ট: লেখা, ছবি, অডিও ও ভিডিও ইনপুটের জন্য থিংকার ও টকারকে একত্র করে এবং লেখা ও কথ্য ভাষা, দুই ধরনের আউটপুটই দেয়।
• থিংকিং: গভীর যুক্তি বিশ্লেষণ ও দীর্ঘ চিন্তার ধারায় মনোযোগ দেয়, একই মাল্টিমোডাল ইনপুট গ্রহণ করে, তবে কেবল লেখা আউটপুট দেয়।
• ক্যাপশনার: অডিওর ক্যাপশন ও বিবরণ তৈরির জন্য, যেখানে ভুল তথ্য তৈরির প্রবণতা কম রাখা হয়। মিডিয়া বিশ্লেষণ, সহজলভ্যতা এবং কনটেন্ট পরিমার্জনের কাজে এটি সহায়ক।

এপিআইতে কম ল্যাটেন্সি ও বেশি একযোগে অনুরোধ সামলানোর জন্য ফ্ল্যাশ সংস্করণ রয়েছে। ট্রাফিক হঠাৎ বেড়ে গেলেও উত্তর দিতে দেরি না করে কল সেন্টারের সহকারী বা কেনাকাটার গাইড তৈরি করতে চাইলে এটি গুরুত্বপূর্ণ হতে পারে।

থিংকার ও টকার আর্কিটেকচারের ভেতরে

কথ্য ভাষাকে স্বাভাবিক রাখতে এবং যুক্তি বিশ্লেষণকে নমনীয় রাখতে কিউওয়েন৩ ওমনি কাজের দায়িত্ব ভাগ করে। থিংকার হলো মূল মাল্টিমোডাল মডেল। এটি লেখা, ছবি, অডিও ও ভিডিওর বৈশিষ্ট্যগুলো সমন্বয় করে, এরপর প্রতিক্রিয়া তৈরিতে সহায়ক টোকেন-স্তরের উপস্থাপনা তৈরি করে। টকার হলো কথ্য ভাষা তৈরির জন্য আলাদা একটি মডেল। থিংকারের আউটপুটকে লেখা হিসেবে গ্রহণ করার বদলে এটি সরাসরি অডিও ও দৃশ্যগত বৈশিষ্ট্যের ওপর নির্ভর করে। এই নকশায় টকার যা দেখে ও শোনে, তার সঙ্গে কথার ছন্দ ও কণ্ঠের বৈশিষ্ট্য মেলাতে পারে। ফলে অনুবাদ এবং কণ্ঠাভিনয়ের গতি, জোর ও আবেগের মতো বিষয় আরও ভালো হয়।

কথ্য ভাষা তৈরির বিলম্ব কমাতে টকার একটি মাল্টি-কোডবুক অটোরিগ্রেসিভ পদ্ধতি ব্যবহার করে। এতে বিচ্ছিন্ন অ্যাকুস্টিক টোকেনের পূর্বাভাস দেওয়া হয়, এরপর হালকা কোড2ওয়েভ কনভল্যুশনাল নেটওয়ার্ক সেই টোকেনকে তরঙ্গরূপে রূপান্তর করে। টকার থিংকারের লেখা থেকে আলাদা হওয়ায়, কথ্য রূপ দেওয়ার আগে বাইরের মডিউলগুলো থিংকারের আউটপুটে প্রভাব ফেলতে বা তা যাচাই করতে পারে। এতে নিরাপত্তা-সংক্রান্ত কর্মপ্রক্রিয়া বাস্তবায়ন আরও সহজ হয়, কারণ যুক্তি বিশ্লেষণ ও কথা বলার মাঝখানে নীতিমালা যাচাই এবং তথ্য পুনরুদ্ধারের ধাপ চালানো যায়। স্ট্রিমিংয়ের কর্মক্ষমতা এখানে কেন্দ্রীয় বিষয়। প্রতিষ্ঠানের দেওয়া হিসাবে, অডিওর প্রথম প্যাকেট আসতে প্রায় ২৩৪ মিলিসেকেন্ড এবং ভিডিওর ক্ষেত্রে প্রায় ৫৪৭ মিলিসেকেন্ড লাগে। সিস্টেমটি একের নিচে রিয়েল-টাইম ফ্যাক্টর বজায় রাখে। এর অর্থ, একাধিক অনুরোধ সামলানোর সময়ও এটি প্লেব্যাকের সময়ের চেয়ে দ্রুত অডিও তৈরি করতে পারে।

থিংকার ও টকার, উভয়ই মিক্সচার অব এক্সপার্টস আর্কিটেকচার ব্যবহার করে। এই পদ্ধতিতে মডেলটি অনেকগুলো ছোট এক্সপার্ট নেটওয়ার্ক নিয়ে গঠিত হয় এবং একটি গেটিং নেটওয়ার্ক প্রতিটি টোকেনকে সেগুলোর মধ্যে কয়েকটিতে পাঠায়। প্রতি টোকেনে প্যারামিটারের সামান্য অংশই চালু হয়। এতে একসঙ্গে অনেক অনুরোধ সামলানো যায় এবং ইনফারেন্সের সাড়া দ্রুত থাকে। ডেভেলপারদের জন্য, এর ফলে এমন সহকারী তৈরি করা সম্ভব হতে পারে, যা কথোপকথনে দ্রুত হস্তক্ষেপ করে ও অংশ নেয়; এমন বট নয়, যেটি নিজের কথা বলার পালার জন্য অপেক্ষা করে।

এটি কীভাবে তৈরি হয়েছে এবং কী সমর্থন করে

অডিওর কর্মক্ষমতা শুরু হয় এনকোডার দিয়ে। কিউওয়েন৩ ওমনি নতুন একটি অডিও ট্রান্সফরমার এনেছে, যা গোড়া থেকে তৈরি এবং প্রায় ২ কোটি ঘণ্টার তত্ত্বাবধানযুক্ত তথ্য দিয়ে প্রশিক্ষিত। প্রশিক্ষণের তথ্যে প্রধানত চীনা ও ইংরেজি স্বয়ংক্রিয় কথ্য ভাষা শনাক্তকরণের ডেটা রয়েছে। পাশাপাশি অন্যান্য ভাষার ডেটা এবং অডিও বোঝার ওপর কেন্দ্রীভূত কাজও অন্তর্ভুক্ত করা হয়েছে। এনকোডারটিতে প্রায় ৬০ কোটি প্যারামিটার রয়েছে, কম বিলম্বের জন্য এটি স্ট্রিমিং ক্যাশ সমর্থন করে এবং দীর্ঘ রেকর্ডিং বিশ্লেষণের মতো কাজে অফলাইনেও চালানো যায়। বিভিন্ন ফরম্যাটের মধ্যে যুক্তি বিশ্লেষণের জন্য এই এনকোডারের তথ্য সমন্বয়-ধাপ পেরিয়ে মাল্টিমোডাল মূল মডেলে যায়।

প্রি-ট্রেনিং হয়েছে তিন ধাপে। এনকোডার সমন্বয়ের পর্যায়ে ভাষার মডেল অপরিবর্তিত রেখে ছবি ও অডিও এনকোডারকে প্রশিক্ষণ ও সমন্বয় করা হয়েছে। সাধারণ প্রশিক্ষণে দলটি প্রায় ২ ট্রিলিয়ন টোকেন পর্যন্ত প্রশিক্ষণ বাড়িয়েছে, যাতে লেখা, অডিও, ছবি এবং কিছু ভিডিও ও অডিও-ভিডিও জোড়া অন্তর্ভুক্ত ছিল। দীর্ঘ কনটেক্সট প্রশিক্ষণে সর্বোচ্চ টোকেনের দৈর্ঘ্য ৮,১৯২ থেকে বাড়িয়ে ৩২,৭৬৮ করা হয়েছে এবং আরও দীর্ঘ অডিও ও ভিডিও সিকোয়েন্স যুক্ত করা হয়েছে। পোস্ট-ট্রেনিংয়ে ছিল তত্ত্বাবধানযুক্ত ফাইন-টিউনিং, আরও শক্তিশালী শিক্ষক মডেল থেকে ডিস্টিলেশন এবং থিংকারের জন্য নিয়ম ও মডেলের বিচার, উভয় ব্যবহার করে নীতিমালা অপটিমাইজেশন। টকারকে চার ধাপে প্রশিক্ষণ দেওয়া হয়েছে। এতে কয়েক কোটি মাল্টিমোডাল কথ্য নমুনার সঙ্গে ধারাবাহিক প্রি-ট্রেনিং ব্যবহার করা হয়েছে, যার লক্ষ্য ছিল ভুল তথ্য তৈরির প্রবণতা কমানো এবং কণ্ঠের মান উন্নত করা।

৩০ বিলিয়ন প্যারামিটারের একটি পরিবারের জন্য এর সক্ষমতা ও সীমা বেশ বিস্তৃত। কিউওয়েন৩ ওমনি লেখার ক্ষেত্রে ১১৯টি, কথ্য ইনপুটে ১৯টি এবং কথ্য আউটপুটে ১০টি ভাষা সমর্থন করে। থিংকিং মোডে কনটেক্সট উইন্ডো ৬৫,৫৩৬ টোকেন, নন-থিংকিং মোডে ৪৯,১৫২ টোকেন। মডেলটি ইনপুটে সর্বোচ্চ ১৬,৩৮৪ এবং আউটপুটে সর্বোচ্চ ১৬,৩৮৪ টোকেন সমর্থন করে। চিন্তার ধারার দৈর্ঘ্য সর্বোচ্চ ৩২,৭৬৮ টোকেন হতে পারে। এই পরিসর দীর্ঘ কথোপকথনের প্রতিলিপি, দীর্ঘ বৈঠক, অথবা অন্য মডেলে খণ্ডে ভাগ না করলে ধারণক্ষমতার বাইরে চলে যায় এমন কোডবেস ও নথির কাজে সহায়ক।

বেঞ্চমার্ক, শক্তির দিক এবং দাবিগুলো বোঝার উপায়

৩৬টি বেঞ্চমার্কের বিস্তৃত পরিসরে আলিবাবার দাবি, কিউওয়েন৩ ওমনি ২২টিতে শীর্ষ ফল করেছে এবং ওপেন সোর্স মডেলগুলোর মধ্যে ৩২টিতে এগিয়ে রয়েছে। লেখা ও যুক্তি বিশ্লেষণের ফলের মধ্যে রয়েছে AIME25-এ ৬৫.০, যা জিপিটি 4o-এর প্রকাশিত ২৬.৭-এর চেয়ে অনেক বেশি, এবং ZebraLogic-এ ৭৬.০, যা জেমিনি 2.5 ফ্ল্যাশের প্রকাশিত ৫৭.৯-এর চেয়ে বেশি। WritingBench-এ এর ফল ৮২.৬, যেখানে জিপিটি 4o-এর ফল ৭৫.৫। কথ্য ভাষা ও অডিওতে Wenetspeech-এর দুটি প্রচলিত টেস্ট বিভাজনে ওয়ার্ড এরর রেট যথাক্রমে ৪.৬৯ ও ৫.৮৯। জিপিটি 4o-এর জন্য প্রকাশিত ১৫.৩০ ও ৩২.২৭-এর তুলনায় এগুলো অনেক ভালো। Librispeech other-এ WER নেমে এসেছে ২.৪৮-এ, যা সমমানের মডেলগুলোর মধ্যে কম।

ছবি ও দৃষ্টিশক্তির ফলের মধ্যে রয়েছে HallusionBench-এ ৫৯.৭, MMMU pro-তে ৫৭.০ এবং MathVision full-এ ৫৬.৩; প্রতিষ্ঠানের প্রতিবেদনে প্রতিটি ক্ষেত্রেই এই ফল জিপিটি 4o-এর চেয়ে বেশি। ভিডিও বোঝার ক্ষেত্রে মডেলটি MLVU-তে ৭৫.২ পেয়েছে, যা জেমিনি 2.0 ফ্ল্যাশের ৭১.০ এবং জিপিটি 4o-এর ৬৪.৬-এর চেয়ে বেশি। সংগীতের কাজেও উন্নতি দেখা গেছে: GTZAN-এ ৯৩.০ এবং RUL MuchoMusic-এ ৫২.০। এই সংখ্যাগুলো নকশার অগ্রাধিকারের সঙ্গে সামঞ্জস্যপূর্ণ। অডিও এবং অডিও-ভিজ্যুয়াল বোঝার ক্ষেত্রে কিউওয়েন৩ ওমনি উচ্চ মানদণ্ড স্থাপন করেছে, পাশাপাশি লেখা ও ছবির কাজেও শক্তিশালী দক্ষতা বজায় রেখেছে।

বেঞ্চমার্ক কাজে লাগে, তবে এগুলো নিয়ন্ত্রিত পরীক্ষা। ডেটাসেট ও স্কোরিংয়ের পদ্ধতি প্রশিক্ষণের নির্দিষ্ট ধরনের তথ্যকে সুবিধা দিতে পারে। বাস্তবে ব্যবহারের সময় নতুন চ্যালেঞ্জ দেখা দেয়, যেমন মাইক্রোফোনের শব্দ, উচ্চারণের ভিন্নতা, ফোন ক্যামেরার অগোছালো ফুটেজ এবং দ্রুত কনটেক্সট বদল। মাল্টিমোডাল মডেলগুলোর ক্ষেত্রে আরেকটি সাধারণ সমঝোতার বিষয় রয়েছে। বিভিন্ন মাধ্যমের বিস্তৃত কাজের জন্য প্রশিক্ষণ দিলে শুধু লেখার কাজে বড় ও লেখা-প্রথম মডেলের তুলনায় সামান্য কর্মক্ষমতা কমতে পারে। দলগুলোর নিজেদের তথ্য দিয়ে নির্দিষ্ট ক্ষেত্রে পরীক্ষামূলক ব্যবহার চালানো উচিত, তারপর প্রয়োজন হলে মিশ্র মডেল কৌশল বেছে নেওয়া উচিত। অনেক প্রতিষ্ঠান ছোট মাল্টিমোডাল মডেল দিয়ে শোনা ও দেখার কাজ করায় এবং বড় টেক্সট মডেল দিয়ে প্রতিবেদন বা ইমেইলের খসড়া তৈরি করায়। উন্মুক্ত অ্যাপাচি লাইসেন্স সংগ্রহ ও ক্রয়ের জটিলতা ছাড়াই এমন সমন্বয় সহজ করে।

জিপিটি 4o, জেমিনি 2.5 প্রো ও জেমা 3n-এর সঙ্গে তুলনা

লেখা, ছবি ও অডিওকে ঘনিষ্ঠভাবে সমন্বিত করে স্বাভাবিক কথ্য ভাষায় একত্র করার মাধ্যমে প্রত্যাশার মানদণ্ড তৈরি করেছিল ওপেনএআইয়ের জিপিটি 4o। কিউওয়েন৩ ওমনি ইনপুটের তালিকায় ভিডিও বিশ্লেষণও যুক্ত করেছে। গুগলের জেমিনি 2.5 প্রোতে ভিডিও বিশ্লেষণের সুবিধা রয়েছে, তবে সেটি মালিকানাধীন। গুগল ওপেন মডেল হিসেবে জেমা 3n-ও দেয়। এতে লেখা, ছবি, অডিও ও ভিডিও ইনপুট নেওয়া যায়, কিন্তু আউটপুট কেবল লেখায় সীমিত। কিউওয়েন৩ ওমনি লেখা ও কথ্য ভাষা, দুই ধরনের আউটপুটই দেয়। ফলে সরাসরি অনুবাদ বা কল সেন্টারে এজেন্টের কাছে কথোপকথন হস্তান্তরের মতো ইন্টার‌্যাকটিভ ব্যবহারের ক্ষেত্র বাড়ে।

আরেকটি পার্থক্য হলো লাইসেন্স। কিউওয়েন৩ ওমনি পেটেন্ট লাইসেন্সসহ অ্যাপাচি 2.0-এর অধীনে প্রকাশিত হয়েছে। ফলে প্রতিষ্ঠানগুলোকে সোর্স কোড প্রকাশ করতে বা চালানোর জন্য ফি দিতে বাধ্য না করেই মডেলটি ব্যবহার, পরিবর্তন ও পণ্য হিসেবে বাজারে আনা যায়। বন্ধ মডেলগুলোর জন্য অর্থ দিয়ে প্রবেশাধিকার নিতে হয় এবং ব্যবহার নির্দিষ্ট সেবা প্রদানকারীর প্ল্যাটফর্মে সীমাবদ্ধ থাকে। আধুনিক ওপেন রিলিজে একটি বিষয় মনে রাখা দরকার: ওয়েটস ও ব্যবহারের কোড উন্মুক্ত হলেও, সাজানো প্রশিক্ষণ-তথ্যসহ গোড়া থেকে মডেল পুনর্নির্মাণের সম্পূর্ণ পদ্ধতি সাধারণত প্রকাশ করা হয় না। অনেক ব্যবহারকারীর প্রধান লক্ষ্য হলো মডেল চালানো, ফাইন-টিউন করা এবং উৎপাদন ব্যবস্থায় যুক্ত করা। এখানে সেই সুযোগ দেওয়া হয়েছে।

ল্যাটেন্সিও প্রতিযোগিতামূলক। আলিবাবার হিসাবে অডিওর প্রথম প্যাকেট আসে প্রায় ২৩৪ মিলিসেকেন্ডে এবং ভিডিওর ক্ষেত্রে প্রায় ৫৪৭ মিলিসেকেন্ডে। এটি সেরা কথোপকথনমূলক সিস্টেমগুলোর একই পর্যায়ের। প্রতিষ্ঠানগুলোকে প্রথম প্যাকেটের সময়ের বাইরেও সেবা-মানের লক্ষ্য যাচাই করতে হবে, যার মধ্যে স্থিতিশীল কনটেন্ট আসতে কত সময় লাগে এবং দীর্ঘ উত্তরের পুরো প্রতিক্রিয়ায় কত সময় লাগে, সেগুলোও রয়েছে। কিউওয়েন৩ ওমনিতে আরও দ্রুত প্রতিক্রিয়ার জন্য এপিআই ফ্ল্যাশ সংস্করণ রয়েছে, যা অন্য ইকোসিস্টেমের গতিনির্ভর স্তরগুলোর মতো।

প্রবেশাধিকার, মূল্য ও বিনা মূল্যের কোটা

ডেভেলপাররা কয়েকভাবে কিউওয়েন৩ ওমনি ব্যবহার করে দেখতে পারেন। প্রধান মডেল হাবগুলোতে এর ওয়েটস পাওয়া যায়। এপিআইতে চাহিদামতো ব্যবহার করা যায় এবং সক্রিয় করার পর ৯০ দিনের জন্য সব মাধ্যম মিলিয়ে ১০ লাখ টোকেন বিনা মূল্যে ব্যবহারের কোটা রয়েছে। প্রতি এক হাজার টোকেনের ভিত্তিতে মূল্য নির্ধারিত হয়। টেক্সট ইনপুটের খরচ ০.০০০২৫ ডলার। অডিও ইনপুটের খরচ ০.০০২২১ ডলার। ছবি ও ভিডিও ইনপুটের খরচ ০.০০০৪৬ ডলার। ইনপুটে কেবল লেখা থাকলে প্রতি এক হাজার টোকেনের টেক্সট আউটপুটের খরচ ০.০০০৯৬ ডলার। ইনপুটে ছবি বা অডিও থাকলে তা ০.০০১৭৮ ডলার। লেখা ও অডিও, দুই ধরনের আউটপুট চাইলে প্রতি এক হাজার টোকেনের অডিও অংশের খরচ ০.০০৮৭৬ ডলার; লেখার অংশ বিনা মূল্যে।

অনেক বন্ধ সেবার তুলনায় এই মূল্য কম, ফলে বড় বিলের আশঙ্কা ছাড়াই পরীক্ষা-নিরীক্ষা করা যায়। প্রতিষ্ঠানের তথ্য অনুযায়ী, থিংকিং ও নন-থিংকিং মোডে মূল্য একই। অডিও আউটপুট কেবল নন-থিংকিং মোডে পাওয়া যায়। মডেল স্টুডিওতে প্ল্যাটফর্মটি কনটেক্সটের সীমা ও মডেলের বিকল্পও দেখায়। সেখানে প্রতিষ্ঠানগুলো গতি, মান ও খরচ অনুযায়ী মডেল বেছে নিতে পারে। আনুষ্ঠানিক তথ্য আলিবাবা ক্লাউড মডেল স্টুডিওর এই লিংকে পাওয়া যাবে।

সহায়তা ডেস্ক থেকে মিডিয়া টুল: ব্যবহারক্ষেত্র

যেসব কাজে দেখা, শোনা ও কথা বলার সুবিধা গুরুত্বপূর্ণ, সেসবের জন্য কিউওয়েন৩ ওমনি তৈরি করা হয়েছে। কয়েকটি উদাহরণে এর ব্যবহারক্ষেত্র বোঝা যায়:

• সরাসরি প্রযুক্তিগত সহায়তা। সহকারী ফোনের ক্যামেরার দৃশ্য দেখতে ও গ্রাহকের কথা শুনতে পারে, তারপর স্বাভাবিক কণ্ঠে ধাপে ধাপে নির্দেশনা দিতে পারে।
• বহুভাষিক কথার প্রতিলিপি ও অনুবাদ। মডেলটি একাধিক ভাষায় বৈঠক, কল বা বক্তৃতার প্রতিলিপি তৈরি করতে পারে, তারপর ইংরেজিতে সারসংক্ষেপ দিতে বা অন্য ভাষায় কথা বলে উত্তর দিতে পারে।
• অডিওর ক্যাপশন ও সংগীতের ট্যাগ। ক্যাপশনার সংস্করণটি অডিওর, বিশেষ করে পটভূমির শব্দ ও সংগীতের বৈশিষ্ট্য নিয়ে, ভুল তথ্যের ঝুঁকি কম এমন বিবরণ তৈরি করে। অনুসন্ধান ও স্বত্ব ব্যবস্থাপনায় এটি কাজে লাগে।
• ভিডিও বোঝা। কোনো ক্লিপে কী ঘটেছে সে বিষয়ে প্রশ্নের উত্তর, ঘটনার ধারাবাহিকতা অনুসরণ এবং দৃশ্যের সারসংক্ষেপ দিতে পারে মডেলটি।
• ওসিআর ও নথি গ্রহণ। দৃষ্টিশক্তির সঙ্গে ভাষার সমন্বয়ে ফর্ম বা রসিদ থেকে তথ্য বের করে প্রসঙ্গ অনুযায়ী তা যাচাই করা যায়।
• ভোক্তা সহকারী। পরিধানযোগ্য ডিভাইস বা ফোনে মডেলটি মেনু অনুবাদ, পরিচিত স্থাপনা শনাক্তকরণ এবং আশপাশের পরিবেশ বর্ণনার মতো সহজলভ্যতার সুবিধায় ব্যবহার করা যায়।

সিস্টেম প্রম্পটের মাধ্যমে ডেভেলপাররা কথোপকথনের ধরন ও ব্যক্তিত্ব ফাইন-টিউন করতে পারেন। টুল ব্যবহারও সমর্থিত। ফলে তথ্য খোঁজা, হিসাব করা বা ডেটাবেসে অনুসন্ধানের জন্য মডেলটি বাইরের সেবা ব্যবহার করতে পারে। এতে এজেন্টধর্মী পদ্ধতি সম্ভব হয়, যেখানে মডেল পরিকল্পনা করে, টুল ব্যবহার করে এবং কথ্য ভাষায় ফল জানায়।

লাইসেন্স ও প্রতিষ্ঠানে প্রভাব

অ্যাপাচি 2.0 লাইসেন্স এই প্রকাশনার একটি গুরুত্বপূর্ণ দিক। এটি বাণিজ্যিক ব্যবহার, পরিবর্তন ও পুনর্বিতরণের অনুমতি দেয়। এতে পেটেন্ট লাইসেন্সও রয়েছে, যা মালিকানাধীন সিস্টেমে মডেল যুক্ত করার সময় আইনি ঝুঁকি কমায়। প্রতিষ্ঠানগুলো বিক্রেতাকে ফি না দিয়ে কিউওয়েন৩ ওমনি পণ্য বা অভ্যন্তরীণ কর্মপ্রক্রিয়ায় যুক্ত করতে পারে এবং তাদের পরিবর্তনগুলো ওপেন সোর্স করতে হয় না। তথ্য চলাচল ও লগিংয়ের ওপর নিয়ন্ত্রণ প্রয়োজন এমন নিয়ন্ত্রিত খাতগুলোর কাছে এটি আকর্ষণীয়। ওপেন ওয়েটস থাকায় নিজস্ব স্থাপনায় বা বিশ্বস্ত ক্লাউডে মডেল চালানোও সম্ভব।

ওপেন রিলিজ মানেই সব উদ্বেগের সমাধান নয়। প্রশিক্ষণের তথ্য এবং প্রশিক্ষণের সম্পূর্ণ কোড সাধারণত এতে থাকে না, ফলে পুরো প্রক্রিয়াটি কমিউনিটির পক্ষে পুনরুৎপাদন করা সম্ভব হয় না। অনেক ব্যবসার কাছে এটি গ্রহণযোগ্য, কারণ তাদের লক্ষ্য মডেল চালানো, নিজেদের প্রয়োজনে বদলানো এবং সেবা-মানের লক্ষ্য পূরণ করা। এই প্রকাশনা একাধিক মডেল একত্রে ব্যবহারের পক্ষে যুক্তি আরও জোরালো করে। দলগুলো প্রয়োজন অনুযায়ী দ্রুতগতির ওপেন মাল্টিমোডাল মডেলের সঙ্গে বড় মালিকানাধীন মডেল যুক্ত করতে পারে, অথবা প্ল্যাটফর্মের সীমাবদ্ধতা এড়াতে সবকিছু ওপেন রাখতে পারে। যেভাবেই হোক, নমনীয় লাইসেন্সে ভিডিও বোঝে ও কথা বলতে পারে এমন মডেল পাওয়া যাওয়ায় দীর্ঘ দর-কষাকষি ছাড়াই আরও বেশি কিছু তৈরি করা সম্ভব।

ঝুঁকি, সুরক্ষা এবং পরবর্তী মূল্যায়ন

মাল্টিমোডাল মডেলের নিরাপত্তা ও সুরক্ষা নিয়ে লেখার বাইরেও নানা প্রশ্ন রয়েছে। অডিও ও ভিডিও ইনপুটে সংবেদনশীল তথ্য থাকতে পারে। যথাযথ তথ্যভিত্তি বা যাচাই ছাড়া কথ্য আউটপুট বিভ্রান্ত করতে পারে। টকারের মাধ্যমে কথা বলার আগে বাইরের মডিউল থিংকারের আউটপুট আটকাতে পারে, এমন একটি যাচাই-ধাপের কথা আলিবাবা জানিয়েছে। এই নকশায় নীতিমালা যাচাই, তথ্য পুনরুদ্ধার বা রেড-টিম ফিল্টার ব্যবহার করা যায়। তবু প্রতিষ্ঠানগুলোকে নিজেদের পরিবেশ ও অঞ্চলে কনটেন্টের নিরাপত্তা যাচাই করতে হবে। এর মধ্যে প্রম্পট ইনজেকশন ঠেকানো, গোপনীয়তা নিয়ন্ত্রণ এবং রেকর্ডিং বা বিশ্লেষণের জন্য সম্মতি নেওয়াও রয়েছে।

বাস্তব তথ্য দিয়ে কর্মক্ষমতার দাবি পরীক্ষা করা উচিত। উচ্চারণের ভিন্নতা, ক্ষেত্রভিত্তিক পরিভাষা ও পটভূমির শব্দ স্বয়ংক্রিয় কথ্য ভাষা শনাক্তকরণের মান কমাতে পারে। কম আলো বা ক্যামেরার ঝাপসা নড়াচড়া দৃষ্টিশক্তির বোঝার ক্ষমতা কমাতে পারে। টুল ব্যবহার ও এজেন্ট পরিচালনায় নতুন ধরনের ত্রুটি দেখা দিতে পারে, যেমন ভুল টুল কল বা একই কাজের চক্রে আটকে যাওয়া। লগিং, মানুষের পর্যালোচনা ও আগের অবস্থায় ফেরার জন্য সুশাসন নীতি দরকার। অবকাঠামোও গুরুত্বপূর্ণ। বিপুল পরিসরে তাৎক্ষণিক কথ্য ভাষা চালাতে কাজের গতি, জিপিইউ মেমোরি এবং অতিরিক্ত চাপ কমানোর পরিকল্পনা সতর্কভাবে করতে হয়। মিক্সচার অব এক্সপার্টস দক্ষতা বাড়াতে সাহায্য করে, তবে হঠাৎ চাহিদা বৃদ্ধি ও দীর্ঘ কনটেক্সট সামলাতে দলগুলোকে ক্লাস্টার ও ক্যাশের আকার ঠিক করতে হবে।

মূল বিষয়

• আলিবাবা কিউওয়েন৩ ওমনিকে অ্যাপাচি 2.0-এর অধীনে ওপেন মডেল হিসেবে প্রকাশ করেছে। এটি লেখা ও কথ্য ভাষায় আউটপুট দেয় এবং লেখা, ছবি, অডিও ও ভিডিও ইনপুট হিসেবে গ্রহণ করে।
• সিস্টেমটি একযোগে অনেক অনুরোধ সামলানো এবং কম বিলম্বে স্ট্রিমিং কথ্য ভাষা তৈরির জন্য থিংকার-টকার নকশা ও মিক্সচার অব এক্সপার্টস ব্যবহার করে।
• প্রকাশিত হিসাবে, অডিওর প্রথম প্যাকেট আসতে প্রায় ২৩৪ মিলিসেকেন্ড এবং ভিডিওর ক্ষেত্রে প্রায় ৫৪৭ মিলিসেকেন্ড লাগে; রিয়েল-টাইম ফ্যাক্টর একের নিচে।
• তিনটি সংস্করণ পাওয়া যায়: পূর্ণাঙ্গ ইন্টার‌্যাকশনের জন্য ইনস্ট্রাক্ট, লেখা-ভিত্তিক গভীর যুক্তি বিশ্লেষণের জন্য থিংকিং এবং অডিওর ক্যাপশনের জন্য ক্যাপশনার।
• প্রশিক্ষণে রয়েছে প্রায় ২ কোটি ঘণ্টার তথ্য দিয়ে তৈরি কাস্টম অডিও ট্রান্সফরমার এবং প্রায় ২ ট্রিলিয়ন টোকেনের মাল্টিমোডাল করপাস।
• প্রতিষ্ঠানের প্রকাশিত বেঞ্চমার্কে কিউওয়েন৩ ওমনি অডিও, ভিডিও ও যুক্তি বিশ্লেষণের অনেক পরীক্ষায় এগিয়ে, পাশাপাশি লেখা ও দৃষ্টিশক্তির কাজেও প্রতিযোগিতামূলক।
• প্রতি এক হাজার টোকেনে মূল্য কম। এপিআইতে ৯০ দিনের জন্য ১০ লাখ টোকেন বিনা মূল্যে ব্যবহার করা যায় এবং নিজস্ব সার্ভারে চালানোর জন্য ওয়েটস পাওয়া যায়।
• অ্যাপাচি 2.0 লাইসেন্স পেটেন্ট ব্যবহারের অনুমতিসহ বাণিজ্যিক ব্যবহার, পরিবর্তন ও পুনর্বিতরণের সুযোগ দেয়, যা বিক্রেতার ওপর নির্ভরতা কমায়।
• প্রতিষ্ঠানগুলোর উচিত বাস্তব তথ্য দিয়ে নিরাপত্তা, ল্যাটেন্সি ও নির্ভুলতা পরীক্ষা করা এবং তাৎক্ষণিক কাজের জন্য সুশাসন ও অবকাঠামোর পরিকল্পনা করা।