এনভিডিয়ার হাতে হাগিং ফেস, ওপেন সোর্স এআই এর কি হবে?

গতকাল, ৩ সেপ্টেম্বর, এনভিডিয়ার সিইও জেনসেন হুয়াং ঘোষণা দিলেন যে এনভিডিয়া হাগিং ফেস (Hugging Face) কিনে নিচ্ছে। দাম? ১২,৯৩০,৩০০,০০০ ডলার। মানে প্রায় ১২.৯৩ বিলিয়ন ডলার। এটা এনভিডিয়ার ইতিহাসে সবচেয়ে বড় একুইজিশন, ২০২০ সালের ৬.৯ বিলিয়ন ডলারের মেলানক্স (Mellanox) ডিল কেও ছাড়িয়ে গেছে।

খবরটা যে একদম আকাশ থেকে পরেছে, তা না। মাত্র দশ দিন আগে, ২৪ আগস্ট, বিজনেস ইনসাইডারের বরাতে খবর এসেছিলো যে হাগিং ফেস নিজেকে বিক্রি করার কথা ভাবছে, ভ্যালুয়েশন ১৩ বিলিয়ন ডলার বা তার বেশী। কে কিনবে তখন কেউ জানতো না। যা রটে তা একটু হলেও ঘটে, এবার পুরোটাই ঘটে গেলো।

এখন অনেকের মনে প্রশ্ন, হাগিং ফেস জিনিসটা আসলে কি? আর যারা প্রতিদিন সেখান থেকে মডেল নামান, তাদের কপালে কি আছে? সেটা নিয়েই আজকের ব্লগ লিখতে বসা।

হাগিং ফেস কি?

সহজ কথায় বললে, হাগিং ফেস হলো এআই মডেলের গিটহাব। গিটহাবে যেমন মানুষ কোড রাখে, শেয়ার করে, অন্যের কোড ক্লোন করে, হাগিং ফেসে ঠিক তেমনি মানুষ এআই মডেল, ডেটাসেট আর ছোট ছোট এআই এপ রাখে।

যারা মডেল জিনিসটা ঠিক বুঝেন না তাদের জন্য, এআই মডেল হলো ট্রেনিং করা একটা বিশাল ফাইল (বা ফাইলের সেট), যেটা ডাউনলোড করে নিজের কম্পিউটার বা সার্ভারে চালানো যায়। চ্যাটজিপিটির মতো কিছু, কিন্তু আপনার নিজের মেশিনে।

ধরুন আপনার গ্রামের হাট। সেখানে কেউ ধান নিয়ে আসে, কেউ সবজি, কেউ মাছ। হাট টা কারো একার না, সবাই আসে, কেনাবেচা করে, চলে যায়। হাগিং ফেস হলো এআই এর অই হাট। মেটা তার লামা (Llama) মডেল রাখে, আলিবাবা রাখে কুয়েন (Qwen), মিস্ট্রাল রাখে, আবার সাধারন ডেভেলপাররাও নিজের বানানো ছোট মডেল আপলোড করেন।

সংখ্যাগুলো শুনলে মাথা ঘুরে যাবেঃ

• মডেলঃ ৩০ লাখের (৩ মিলিয়ন) বেশী।
• ডেটাসেটঃ প্রায় ৫ লাখ।
• এপ্লিকেশন (Spaces)ঃ ১০ লাখের বেশী।
• কমিউনিটিঃ ১ কোটি ৮০ লাখের (১৮ মিলিয়ন) বেশী মানুষ, আর প্রায় ২ লাখ কোম্পানি।

কোম্পানিটা শুরু হয় ২০১৬ সালে, ক্লেমঁ দেলাঙ্গ (Clément Delangue), জুলিয়েন শমোঁ (Julien Chaumond) আর থমাস উলফ (Thomas Wolf) এর হাত ধরে। ২০২৩ সালের আগস্টে তারা ২৩৫ মিলিয়ন ডলার রেইজ করে ৪.৫ বিলিয়ন ডলার ভ্যালুয়েশনে। অই রাউন্ডে গুগল, এমাজন, সেলসফোর্স, আইবিএম, ইন্টেল, এএমডি, কোয়ালকম, এমনকি এনভিডিয়া নিজেও ইনভেস্টর ছিলো। তিন বছরের মাথায় দাম প্রায় তিনগুন।

একজন সাধারন ডেভেলপারের কাছে হাগিং ফেস কেনো গুরুত্বপুর্ন?

এজ আ ডেভেলপার, হাগিং ফেস কে আপনি হয়তো সরাসরি চিনেন না, কিন্তু ইউজ ঠিকই করছেন। কিভাবে?

• ট্রান্সফর্মার্স লাইব্রেরিঃ পাইথনে transformers লাইব্রেরি দিয়ে যে কোন মডেল দুই লাইনে লোড করা যায়। এটা হাগিং ফেসের বানানো।
• লোকাল এআইঃ অলামা (Ollama), এলএম স্টুডিও (LM Studio) বা llama.cpp দিয়ে যারা নিজের ল্যাপটপে মডেল চালান, তাদের অনেক মডেলের GGUF ফাইল আসলে হাগিং ফেস থেকেই আসে।
• স্পেসেস (Spaces)ঃ কোন নতুন মডেল বের হলে টেস্ট করার জন্য ব্রাউজারেই একটা ডেমো পাওয়া যায়, কোন সেটাপ ছাড়াই। স্টুডেন্টদের জন্য এটা দারুন জিনিস, কারন সবার কাছে দামী জিপিইউ নাই।
• ডেটাসেটঃ কোন প্রজেক্টে বাংলা টেক্সট ডেটা লাগবে? অনেক সময় খুজলে হাগিং ফেসেই পাওয়া যায়।

মোদ্দা কথা, ওপেন সোর্স এআই এর পুরো ইকোসিস্টেম টা এই একটা প্ল্যাটফর্মের উপর অনেকটা ভর দিয়ে দাড়িয়ে আছে। আর এজন্যই ভয়টা।

ভয়টা কোথায়?

এনভিডিয়া মুলত জিপিইউ বিক্রি করে। এআই এর যুগে জিপিইউ হলো সোনার খনি। এখন যে কোম্পানি কোদাল বিক্রি করে, সেই কোম্পানিই যদি খনিতে ঢোকার গেট টা কিনে ফেলে, তাহলে মানুষ একটু চিন্তায় তো পরবেই, তো নাকি?

ডেভেলপারদের মুল চিন্তাগুলো মোটামুটি এরকমঃ

• নিউট্রাল থাকবে তো? হাগিং ফেসের বড় প্লাস পয়েন্ট ছিলো এটা কারো পক্ষের না। এএমডি, ইন্টেল, গুগলের টিপিইউ, এপলের এম-সিরিজ চিপ, সবার জন্য সমান। এখন মালিক যদি একজন চিপ কোম্পানি হয়, তাহলে বাকিদের জন্য সাপোর্ট আগের মতো থাকবে কিনা, প্রশ্ন টা আসাই স্বাভাবিক।
• ফ্রি টায়ার কমবে কিনা? ফ্রি স্পেসেস, ফ্রি ডাউনলোড, এগুলো চালাতে অনেক টাকা খরচ হয়। নতুন মালিক এই খরচ নিয়ে কি ভাববে, কেউ জানে না।
• কি থাকবে, কি থাকবে না? কোন মডেল প্রমোট হবে, কোনটা সার্চে নিচে চলে যাবে, এসবের কন্ট্রোল এখন এক কোম্পানির হাতে।

আমি বলছি না যে এনভিডিয়া কাল সকালেই সব বন্ধ করে দিবে। আমি এটাই বলতে চাচ্ছি যে যখন পুরো কমিউনিটির হাট একজনের নিজস্ব জমিতে বসে, তখন জমির মালিকের মন-মেজাজের উপর অনেক কিছু নির্ভর করে।

এনভিডিয়া কি বলছে?

ক্রেডিট দিতে হয়, এনভিডিয়া শুরু থেকেই এই ভয়টা ঠান্ডা করার চেস্টা করছে। জেনসেন হুয়াং পরিস্কার বলেছেন, "Hugging Face will remain an open platform for the entire AI ecosystem." সাথে আরো একটা গুরুত্বপুর্ন লাইনঃ "NVIDIA compute will not be required to build on or deploy through Hugging Face."

মানে, হাগিং ফেসে কিছু বানাতে বা ডিপ্লয় করতে এনভিডিয়ার জিপিইউ বাধ্যতামুলক হবে না। ডেভেলপাররা আগের মতোই যে কোন মডেল, ফ্রেমওয়ার্ক, ক্লাউড আর কম্পিউট প্ল্যাটফর্ম বেছে নিতে পারবেন, এমনটাই বলা হয়েছে।

অন্যদিকে হাগিং ফেসের সিইও ক্লেম দেলাঙ্গ লিংকডইনে লিখেছেন, ওপেন সোর্স এআই কে আরো বড় করতে "more compute, more support, more collaboration and more visibility" দরকার, আর সেজন্যই তারা নিজেরাই জেনসেন হুয়াং এর কাছে গেছিলেন। তিনি এটাও জানিয়েছেন, টিমের কেউ বাদ পরছে না।

ডিলের হিসাবটাও ইন্টারেস্টিং। প্রায় ১১.৯ বিলিয়ন ডলার যাবে শেয়ারহোল্ডারদের কাছে, আর ১ বিলিয়ন ডলার পর্যন্ত ইক্যুইটি রাখা হয়েছে এমপ্লয়িদের ধরে রাখার জন্য। তবে হ্যা, এখনো রেগুলেটরি রিভিউ বাকি। এনভিডিয়ার হিসাবে ডিল টা ক্লোজ হতে পারে ২০২৭ সালের প্রথম ছয় মাসের মধ্যে। সুতরাং, আজকেই কিছু বদলাচ্ছে না।

এখন বলতে পারেন, কোম্পানি কেনার সময় সবাই তো এমন মিস্টি কথাই বলে। ভাই, কথা ঠিক। প্রতিশ্রুতি আর বাস্তবতার মাঝে অনেক সময় অনেক ফারাক থাকে। এজন্যই কথা না শুনে কাজ দেখার জন্য অপেক্ষা করা বেটার।

তাহলে আপনার জন্য কি বদলাবে?

আমার কাছে মনে হয়, শর্ট টার্মে প্রায় কিছুই বদলাবে না। আপনার from_pretrained() কাল সকালেও কাজ করবে, স্পেসেস চলবে, ডাউনলোড হবে।

লং টার্মে কিছু জিনিসে চোখ রাখা উচিৎঃ

• ফ্রি টায়ারের লিমিটঃ স্পেসেসের ফ্রি হার্ডওয়্যার, ডাউনলোড রেট লিমিট, এগুলোতে কোন পরিবর্তন আসে কিনা।
• নন-এনভিডিয়া সাপোর্টঃ এএমডি, এপল সিলিকন বা অন্য চিপের জন্য টুলিং আগের মতো আপডেট হয় কিনা।
• লাইসেন্স আর টার্মসঃ টার্মস অফ সার্ভিসে নতুন কোন শর্ত যোগ হয় কিনা।

পজিটিভ দিকও আছে। এনভিডিয়ার টাকা আর ইনফ্রাস্ট্রাকচার পেলে প্ল্যাটফর্ম টা আরো ফাস্ট আর স্টেবল হতে পারে, হুয়াং নিজেও রিলায়েবিলিটি, সেফটি আর ইনফারেন্স ভালো করার কথা বলেছেন। সব খবরই খারাপ খবর না।

ব্যাকআপ প্ল্যান কি হওয়া উচিৎ?

ভয় পেয়ে সব ছেড়ে দেয়ার কিছু নাই। কিন্তু দুই নৌকায় পা না দিলেও, এটলিস্ট একটা লাইফ জ্যাকেট সাথে রাখা ভালো। কয়েকটা প্র্যাক্টিক্যাল কাজ আপনি এখনই করতে পারেনঃ

১. যে মডেল ইউজ করেন, সেটা লোকালি রেখে দিনঃ

প্রোডাকশনে যে মডেল চলছে, সেটা প্রতিবার হাগিং ফেস থেকে না নামিয়ে নিজের স্টোরেজে একটা কপি রেখে দিন। হাগিং ফেসের CLI দিয়ে খুব সহজেই করা যায়ঃ

pip install -U huggingface_hub
huggingface-cli download Qwen/Qwen2.5-7B-Instruct --local-dir ./models/qwen2.5-7b

তারপর কোডে মডেলের নামের যায়গায় লোকাল পাথ দিয়ে দিলেই হলো। ইন্টারনেট বা প্ল্যাটফর্মে যাই হোক, আপনার এপ চলবে।

২. মডেলের লাইসেন্স সেভ করে রাখুনঃ

মডেলের সাথে তার লাইসেন্স ফাইল আর মডেল কার্ড টাও কপি করে রাখুন। পরে কোন কারনে পেজ টা না থাকলেও আপনার কাছে প্রমান থাকবে আপনি কোন শর্তে মডেল টা ইউজ করছেন।

৩. বিকল্প সোর্স গুলো চিনে রাখুনঃ

• ModelScopeঃ আলিবাবার মডেল হাব, অনেক জনপ্রিয় ওপেন মডেল এখানেও পাওয়া যায়।
• Ollama Libraryঃ লোকালি মডেল চালানোর জন্য অলামার নিজস্ব লাইব্রেরি আছে।
• Kaggle Modelsঃ গুগলের ক্যাগলেও এখন মডেল হোস্ট করা হয়।
• GitHubঃ ছোট মডেল আর কোড অনেকে গিটহাবেও রাখেন।

৪. নিজের প্রজেক্টে এবস্ট্রাকশন রাখুনঃ

কোডের সব যায়গায় সরাসরি হাগিং ফেসের পাথ হার্ডকোড না করে একটা কনফিগ ফাইলে রাখুন। দরকার হলে এক যায়গায় পাল্টে দিলেই কাজ শেষ। এটা শুধু এই ঘটনার জন্য না, এমনিতেই গুড প্র্যাক্টিস।

নোটঃ আমি কাউকে আজকেই হাগিং ফেস ছাড়তে বলছি না। এটা জাস্ট ইন্স্যুরেন্স, পালানোর প্ল্যান না।

উপসংহারঃ

হাগিং ফেস গত দশ বছরে ওপেন সোর্স এআই এর জন্য যা করেছে, তা ইম্পসিবল লেভেলের কাজ। এখন অই হাট টা একজন মালিকের হাতে যাচ্ছে, আর মালিক বলছেন হাট আগের মতোই সবার জন্য খোলা থাকবে।

শতভাগ নিশ্চয়তা দিয়ে কিছুই বলা যাচ্ছে না। ডিল এখনো ক্লোজ হয় নি, রেগুলেটররা দেখবে, আর আসল চেহারা বোঝা যাবে ২০২৭ এর পরে। কিন্তু, একটা জিনিস নিশ্চিত, যে প্ল্যাটফর্মের উপর আপনার কাজ দাড়িয়ে আছে, তার একটা ব্যাকআপ রাখা সবসময়ই বুদ্ধিমানের কাজ, মালিক যেই হোক।

এই ডিল নিয়ে আপনার কি মনে হয়? ভালো হলো না খারাপ? নিচে কমেন্ট সেকশন ২৪ ঘন্টা খোলা আছে। ভুল-ভ্রান্তি নিজগুনে ক্ষমা করবেন। হ্যাপী লার্নিং।