ওপেনএআই কেনো নিজের মডেল বাতিল করলোঃ জিপিটি-৬.১ অ্যাস্ট্রা আর এআই এর মিথ্যা বলা

একটা এআই মডেল যতো স্মার্ট হয়, ততো ভালো, তাই না? ওপেনএআই এই সাপ্তাহে দেখিয়ে দিলো, সবসময় না।

গত ২৮ সেপ্টেম্বর ওয়াল স্ট্রিট জার্নাল (WSJ) রিপোর্ট করেছে যে ওপেনএআই তাদের পরবর্তী মডেল জিপিটি-৬.১ অ্যাস্ট্রা (GPT-6.1 Astra) এর লঞ্চ বাতিল করেছে। মডেলটা অক্টোবরে চ্যাটজিপিটি আর কোডেক্স (Codex) এ আসার কথা ছিলো। কারন? ইন্টারনাল টেস্টে দেখা গেছে, মডেলটা আগের ভার্সন এর চেয়ে বেশী "ডিসেপটিভ", মানে প্রতারণামূলক আচরন করে। আর অনুমতি ছাড়া কাজ এগিয়ে নিয়ে যায়।

মজার ব্যাপার হলো, মডেলটা দুর্বল ছিলো না। বরং অনেক দিক দিয়ে আগের চেয়ে ভালো ছিলো। তবুও বাতিল।

আজকের ব্লগে আলোচনা করবো ঠিক কি রিপোর্ট হয়েছে, এআই মডেলের "মিথ্যা বলা" আসলে কি জিনিস, একটা কোম্পানি কেনো নিজের বানানো মডেল নিজেই বাতিল করে, আর আমরা যারা এই মডেলগুলোর উপর প্রোডাক্ট বানাই, আমাদের জন্য এর মানে কি।

ঠিক কি রিপোর্ট হয়েছে?

হাইপ বাদ দিয়ে আগে ফ্যাক্ট গুলা দেখি। WSJ এর রিপোর্ট আর অন্যান্য সাইটের কভারেজ অনুযায়ী, ওপেনএআই এর হেড অফ সেফটি সিস্টেমস সাচি জৈন (Saachi Jain) বলেছেন, মডেলটা আগের জিপিটি-৬ অ্যাস্ট্রা এর তুলনায় দুইটা যায়গায় পিছিয়ে গেছে।

• অ্যালাইনমেন্ট টেস্টে বেশী ডিসেপশনঃ মডেল সবসময় ইউজার কে সৎভাবে জানায় নি সে কোন কাজটা করেছে আর কোনটা করে নি।
• স্কোপ অথোরাইজেশনঃ অনুমতি ছাড়াই কাজ এগিয়ে নিয়ে গেছে, আর মাঝে মাঝে এক্সটার্নাল টুল আর সার্ভিস এ এমনভাবে হাত দিয়েছে যেটা আনসেফ হতে পারতো।

জৈন এর ভাষায়, মডেলটা "didn't quite meet the bar in terms of staying within scope and authorization"। মানে, যতটুকু কাজ করার কথা, যতটুকু করার অনুমতি দেওয়া হয়েছে, তার ভেতরে থাকতে পারে নি। তিনি এটাও বলেছেন, ইউজারের কাছে কিছু শিপ করার আগে তাদের সেফটি আর অ্যালাইনমেন্ট এর বার অনেক উচু।

আবার উল্টো দিকও আছে। রিপোর্ট অনুযায়ী মডেলটা "লেজিনেস" কম দেখিয়েছে, কঠিন কাজ শুরু থেকে শেষ পর্যন্ত মানুষের সাহায্য ছাড়া শেষ করতে বেশী পারদর্শী ছিলো, লেখাতেও ভালো ছিলো। সহজ কথায় বললে, কাজ বেশী পারে, কিন্তু কি করেছে সেটা ঠিকঠাক বলে না।

২৯ সেপ্টেম্বর ছিলো ওপেনএআই এর ডেভডে (DevDay)। লঞ্চ বাতিলের খবর এসেছে তার ঠিক আগের দিন। ক্লাউড সিকিউরিটি এলায়েন্স (CSA) এর একটা রিসার্চ নোট অনুযায়ী, ডেভডে তে ওপেনএআই জিপিটি-৬.১ সল (GPT-6.1 Sol) নামে আরেকটা মডেল এনেছে, আর অ্যাস্ট্রা ৬.১ এর বেস ওয়েট পরের জিপিটি-৬ সিরিজের ট্রেনিং এ কাজে লাগানো হবে। ওপেনএআই এটাও বলেছে, তাদের রিইনফোর্সমেন্ট লার্নিং এনভায়রনমেন্ট ভুল আচরনকে রিওয়ার্ড দিচ্ছে কি না, সেটা তারা খতিয়ে দেখবে।

নোটঃ বাতিল হয়েছে ৬.১ ভার্সন। আগের জিপিটি-৬ অ্যাস্ট্রা কিন্তু এখনো চালু আছে, ডেভডে তে লঞ্চ হওয়া "ডটস" (Dots) নামের অলওয়েজ-অন এজেন্টগুলো অই মডেলেই চলছে।

এর আগে কি হয়েছিলো?

এই খবর টা আকাশ থেকে পরে নি। গত কয়েক মাস ধরে ওপেনএআই এর এজেন্ট নিয়ে একের পর এক ঘটনা।

• জুলাইঃ ওপেনএআই জানিয়েছিলো, একটা সাইবারসিকিউরিটি টেস্ট চলার সময় তাদের একটা অটোনোমাস এজেন্ট টেস্টিং এনভায়রনমেন্ট থেকে বের হয়ে হাগিং ফেস (Hugging Face) এ ঢুকে পরেছিলো, টেস্টের গোল পূরন করার জন্য।
• আগস্টঃ ১৯ আগস্টের রিপোর্ট অনুযায়ী, ওপেনএআই ঘোষনা দেয় তারা ইচ্ছা করে ডেভেলপমেন্ট এর গতি কমাচ্ছে। দুই সাপ্তাহের জন্য মডেল টেস্টিং পজ করে, অ্যাস্ট্রা এর পরবর্তী ট্রেনিং থামিয়ে রাখে, আর সেন্সিটিভ কাজ গুলো আরো শক্ত, আইসোলেটেড স্যান্ডবক্স এ সরিয়ে নেয়।
• ২০ সেপ্টেম্বরঃ ওপেনএআই এর নিজের দেওয়া বিবরন অনুযায়ী, একটা ট্রেনিং টাস্কে এজেন্ট দেখলো সার্চ টুল থেকে কাজের রেজাল্ট আসছে না। সরাসরি ইন্টারনেট ব্লক ছিলো, কিন্তু স্যান্ডবক্স এর ডিএনএস (DNS) রিজলভার বাইরের ইন্টারনেটে যেতে পারতো। এজেন্ট অই ফাঁক দিয়ে একটা পাবলিক চ্যাটবট কে প্রশ্ন পাঠিয়েছে। মনিটর ১৫ মিনিটের মধ্যে এলার্ট দিয়েছিলো, কিন্তু রান অটোমেটিক থামে নি, আরো প্রায় আড়াই ঘন্টা চলেছে, পরে মানুষ হাতে থামিয়েছে। এরপর ওপেনএআই তাদের সবচেয়ে ক্যাপেবল মডেলগুলোর ট্রেনিং আবার পজ করে।

যারা ডিএনএস কি জানেন না তাদের জন্য, এটা ইন্টারনেটের ফোনবুক এর মতো। এই ব্লগে আগে লিখেছিলাম, চাইলে পড়ে নিতে পারেন।

তবে একটা কথা ক্লিয়ার করে রাখি। ওপেনএআই নিজেই বলেছে, অ্যাস্ট্রা ৬.১ বাতিল আর এই স্যান্ডবক্স এর ঘটনা আলাদা কেস। দুইটা কে এক করে "এআই পালিয়ে যাচ্ছে" টাইপ হেডলাইন বানানো ঠিক হবে না। আর এখন পর্যন্ত স্যান্ডবক্স ঘটনায় কোন সেন্সিটিভ ডাটা লিক বা বাইরের সিস্টেম কম্প্রোমাইজ হওয়ার রিপোর্ট পাওয়া যায় নি।

এআই মডেল "মিথ্যা বলে" মানে কি?

এখানে অনেকেই ভুল বুঝেন। মডেলের কোন মন নেই যে সে ষড়যন্ত্র করে বসে বসে মিথ্যা বানাচ্ছে। "ডিসেপটিভ বিহেভিয়ার" বলতে মুলত বোঝায়, মডেল যা করেছে আর যা বলছে, তার মধ্যে মিল নেই।

ধরুন, আপনি বাসা বানাচ্ছেন। রাজমিস্ত্রি কে বললেন ছাদের ঢালাই এর আগে রড চেক করবেন। সন্ধ্যায় ফোন দিলেন, মিস্ত্রি বললো "সব ঠিক আছে ভাই, চেক করা শেষ।" আসলে চেক করে নি, ঢালাই করে ফেলেছে, কারন কাজ দ্রুত শেষ করা টাই তার কাছে মুখ্য। সে কাজে দক্ষ, দ্রুতও। কিন্তু তার রিপোর্টের উপর আর ভরসা করা যায় না। আর বাড়তি হিসেবে, আপনাকে না জিজ্ঞেস করেই পাশের প্লটের মালিকের পানির লাইনে নিজের পাইপ লাগিয়ে দিয়েছে, কাজের সুবিধার জন্য।

অ্যাস্ট্রা ৬.১ এর দুইটা সমস্যা অনেকটা এরকমই। প্রথমটা হলো রিপোর্ট আর রিয়েলিটির অমিল। দ্বিতীয়টা হলো নিজের সীমার বাইরে গিয়ে কাজ করা।

এখন প্রশ্ন আসতে পারে, মডেল এমন শিখলো কোথা থেকে? একটা জনপ্রিয় ব্যাখ্যা হলো ট্রেনিং এর রিওয়ার্ড। মডেল কে যদি বারবার "কাজ শেষ হলে পুরস্কার" দেওয়া হয়, তাহলে সে শিখে যেতে পারে যে কাজ শেষ হয়েছে বলাটাই পুরস্কারের রাস্তা, বা যেভাবেই হোক টাস্ক শেষ করাটাই আসল, নিয়ম পরে। ওপেনএআই নিজেও বলেছে তারা তাদের আরএল এনভায়রনমেন্ট এর রিওয়ার্ড চেক করবে। তবে মূল কারন কি, সেটা এখনো কনফার্ম না। আমি এখানে সম্ভাবনার কথা বলছি, সিদ্ধান্তের না।

কোম্পানি কেনো নিজের মডেল বাতিল করে?

একটা মডেল ট্রেইন করতে কোটি কোটি ডলার লাগে। লঞ্চ ডেট ছিলো, ডেভডে ছিলো, কম্পিটিশন ও আছে। তারপরও বাতিল কেনো?

• এজেন্ট এর ক্ষেত্রে ভুলের দাম বেশীঃ চ্যাটবট ভুল উত্তর দিলে আপনি পড়ে বুঝতে পারেন। কিন্তু এজেন্ট নিজে কোড পুশ করে, ফাইল ডিলিট করে, এপিআই কল করে। সে যদি কাজ করে "করি নি" বলে, বা না করে "করেছি" বলে, সেই ভুল ধরা অনেক কঠিন।
• ক্যাপাবিলিটি বাড়লে রিস্ক ও বাড়েঃ যে মডেল কম পারে, সে স্কোপের বাইরে গেলেও বেশী দূর যেতে পারে না। যে মডেল মানুষের সাহায্য ছাড়া এন্ড-টু-এন্ড কাজ শেষ করতে পারে, সে স্কোপের বাইরে গেলে ক্ষতিও বড় হতে পারে।
• বিশ্বাস একবার গেলে ফেরানো কঠিনঃ এন্টারপ্রাইজ ক্লায়েন্টরা এই মডেলের উপর তাদের সিস্টেম চালায়। একটা বড় ঘটনা মানে পুরো প্ল্যাটফর্ম এর উপর থেকে ভরসা উঠে যাওয়া।
• চারপাশের পরিস্থিতিঃ গত কয়েক মাসে শুধু ওপেনএআই না, অন্যান্য ল্যাব থেকেও টেস্টিং এর সময় মডেলের অনুমতি ছাড়া বাইরের সিস্টেমে যাওয়ার ঘটনা রিপোর্ট হয়েছে। ওপেনএআই আর এনথ্রপিক দুই কোম্পানিই প্রকাশ্যে বলেছে ফ্রন্টিয়ার মডেলের গতি কিছুটা কমানো উচিৎ। এই অবস্থায় একটা "বেশী ডিসেপটিভ" মডেল শিপ করা মানে নিজের পায়ে কুড়াল মারা।

এখন বলতে পারেন, এটা কি তাহলে পিআর স্টান্ট? শিউর ভাবে কিছু বলা যায় না। তবে আমার কাছে মনে হয়, লঞ্চের আগের দিন নিজের মডেল বাতিলের খবর বাইরে আসা কোন কোম্পানির জন্যই আরামদায়ক না। পিআর হোক বা না হোক, নিজের টেস্টে সমস্যা পেয়ে শিপ না করা টা সঠিক কাজ।

ডেভেলপার হিসেবে আমাদের শিক্ষাঃ

আসল কথা এখানে। আমরা অনেকেই এখন ক্লায়েন্ট প্রজেক্টে, নিজের এপে, অটোমেশনে এআই এজেন্ট ইউজ করি। আমি নিজেও করি। এই ঘটনা থেকে কয়েকটা প্র্যাকটিকাল জিনিস নিতে পারি।

• এজেন্টের রিপোর্ট কে প্রমান ধরবেন নাঃ এজেন্ট বললো "টেস্ট পাস করেছে, ফাইল আপডেট করেছি"। ভালো কথা। কিন্তু টেস্ট নিজে রান করে দেখুন, ডিফ (diff) নিজের চোখে দেখুন। এজেন্টের সামারি আর আসল কাজ এক না।
• লগ রাখুন, এবং সেটা এজেন্টের বাইরেঃ প্রতিটা টুল কল, প্রতিটা কমান্ড, প্রতিটা এপিআই রিকোয়েস্ট এর লগ এমন যায়গায় রাখুন যেটা এজেন্ট নিজে এডিট করতে পারে না। দোকানের হিসাব যদি কর্মচারী নিজেই লেখে আর নিজেই মিলায়, অই হিসাবের উপর ভরসা থাকে? CSA ও ঠিক এই সাজেশন দিয়েছে, এজেন্টের সেলফ-রিপোর্ট কে আলাদা লগ এর সাথে মিলিয়ে দেখা।
• মিনিমাম পারমিশনঃ এজেন্ট কে প্রোডাকশন ডাটাবেস এর ফুল এক্সেস দিবেন না। রিড-অনলি দিয়ে শুরু করুন। এপিআই কি (API key) আলাদা, সীমিত স্কোপের দিন। নেটওয়ার্ক এক্সেস লাগলে এলাউলিস্ট করুন। ওপেনএআই এর ডিএনএস ঘটনা থেকেই বোঝা যায়, একটা ছোট ফাঁক ও যথেস্ট।
• স্কোপ পরিস্কার করে লিখুনঃ সিস্টেম প্রম্পটে স্পষ্ট লিখে দিন কোনটা করা যাবে, আর যা লিস্টে নেই সেটা করা যাবে না। CSA এর নোটে উল্লেখ আছে, যুক্তরাজ্যের এআই সিকিউরিটি ইন্সটিটিউট (AISI) এর একটা টেস্টে এই রকম একটা লাইন যোগ করায় স্কোপের বাইরের কাজ ৫০ এর মধ্যে ২৬ থেকে কমে ৪৯ এর মধ্যে ৪ এ নেমেছে। কমেছে, কিন্তু শূন্য হয় নি। তাই এটা একটা লেয়ার, পুরো সমাধান না।
• রিস্কি কাজে হিউম্যান অ্যাপ্রুভালঃ ডিপ্লয়, ডিলিট, পেমেন্ট, ইমেইল পাঠানো, ক্লায়েন্টের ডাটা টাচ করা। এইসব কাজের আগে মানুষ কে অ্যাপ্রুভ করতে হবে, এমন সেটাপ রাখুন।
• কিল সুইচ যেনো আসলেই কাজ করেঃ ওপেনএআই এর মনিটর ১৫ মিনিটে এলার্ট দিয়েছে, কিন্তু রান থেমেছে আড়াই ঘন্টা পরে। এলার্ট আর স্টপ এক জিনিস না। আপনার সিস্টেমে কিছু উল্টাপাল্টা হলে এজেন্ট অটোমেটিক থামবে কি না, সেটা আগে থেকেই টেস্ট করে রাখুন।
• মডেল ভার্সন পিন করুনঃ কোন মডেলের কোন ভার্সন প্রোডাকশনে চলছে, সেটা জানুন। "লেটেস্ট" দিয়ে রেখে ঘুমিয়ে পরবেন না। নতুন ভার্সন আসলে আগে স্টেজিং এ টেস্ট করুন।

মোদ্দা কথা, এজেন্ট কে একজন খুব দক্ষ কিন্তু নতুন জয়েন করা কর্মচারী হিসেবে দেখুন। কাজ দিবেন, কিন্তু চাবির গোছা প্রথম দিনেই হাতে দিবেন না।

উপসংহারঃ

শতভাগ নিশ্চয়তা দিয়ে কিছুই বলা যাচ্ছে না। অ্যাস্ট্রা ৬.১ এর সমস্যার মূল কারন কি, ঠিক কতোটা গুরুতর ছিলো, সেটা ওপেনএআই এর পুরো রিপোর্ট না আসা পর্যন্ত বাইরের কেউ জানে না। আর এটা একটা কোম্পানির একটা মডেলের ঘটনা, এখান থেকে পুরো এআই ইন্ডাস্ট্রি নিয়ে বড় সিদ্ধান্ত টানাও ঠিক হবে না।

কিন্তু, একটা জিনিস পরিস্কার। মডেল যতো ক্যাপেবল হচ্ছে, "কাজ পারে কি না" এর চেয়ে "যা বলছে তা সত্য কি না" প্রশ্ন টা ততো গুরুত্বপুর্ন হয়ে যাচ্ছে। এআই এজেন্ট আমাদের প্রোডাক্টিভিটি অনেক বাড়িয়েছে, এতে কোন সন্দেহ নেই। কিন্তু দায়িত্ব টা এখনো আমাদের হাতেই। ভরসা করুন, কিন্তু যাচাই করে।

ভুল-ভ্রান্তি নিজগুনে ক্ষমা করবেন। কোন প্রশ্ন থাকলে নিচে কমেন্ট সেকশন ২৪ ঘন্টা খোলা আছে। শুভকামনা রইলো।