এমাজনের ১৮ লাখ ডলারের এআই বিলঃ ডেভেলপারদের জন্য শিক্ষা

এআই এপিআই এর বিল হলো মিটারে চলা সিএনজির মতো। গাড়িতে উঠে গল্পে মজে গেলেন, জ্যামে বসে থাকলেন, নামার সময় মিটার দেখে তব্দা খেয়ে গেলেন। পার্থক্য একটাই, সিএনজির মিটার অন্তত চোখের সামনে থাকে। এপিআই এর মিটার থাকে ড্যাশবোর্ডের কোন এক কোনায়, যেখানে কেউ উঁকি দেয় না।

সেই কথাই প্রমান করলো এমাজন। গত ৩০-৩১ জুলাই বেশ কয়েকটা টেক নিউজে খবর আসলো, এমাজনের একটা প্রজেক্টে Claude Sonnet ইউজ করে খরচ হয়েছে প্রায় ১.৮ মিলিয়ন ডলার, মানে ১৮ লাখ ডলার। বাজেটের চেয়ে ৮৬০% বেশী। আর সবচেয়ে মজার ব্যাপার, পাঁচ মাস ধরে এটা কেউ খেয়ালই করে নি।

আজকের ব্লগে ঘটনাটা সংক্ষেপে বলবো, তারপর আসল কথায় যাবো, আমার-আপনার মতো ডেভেলপার আর ফ্রিল্যান্সাররা যারা এলএলএম (LLM) এপিআই ইউজ করি, তাদের এখান থেকে কি শেখার আছে।

ঘটনা আসলে কি হয়েছিলো?

রিপোর্টগুলো মুলত Financial Times এর একটা রিপোর্টের উপর ভিত্তি করে লেখা, যেখানে এমাজনের একটা ইন্টারনাল মিটিং এর কথা এসেছে। সেখানে যা জানা গেছেঃ

• কাজটা কি ছিলোঃ এমাজনের স্টোরে অথর (লেখক) এর তথ্য প্রোডাক্ট লিস্টিং এর সাথে মেলানো। শুনতে খুব বড় কোন কাজ মনে হচ্ছে না, তো নাকি?
• মডেলঃ Anthropic এর Claude Sonnet।
• খরচঃ প্রায় ১.৮ মিলিয়ন ডলার, বাজেটের চেয়ে ৮৬০% বেশী।
• কতদিন চোখে পরে নিঃ প্রায় পাঁচ মাস।
• রেজাল্টঃ এতো টাকা খরচ করার পরও ডিপ্লয়মেন্ট টা শেষ পর্যন্ত ফেইল করেছে।

শুধু এটাই না। একই মিটিং এ আরো দুইটা কেস এসেছেঃ একটা ফাইনান্সিয়াল অডিটিং টুল প্রায় ৫ লাখ ৪১ হাজার ডলার বেশী খরচ করেছে, আর ডেলিভারি স্পিড বাড়ানোর একটা লজিস্টিক্স প্রজেক্টে বাড়তি খরচ হয়েছে প্রায় ১ লাখ ৩৪ হাজার ডলার, যেটা ধরতে দুই সাপ্তাহের বেশী লেগেছে।

এমাজনের সিনিয়র ইঞ্জিনিয়াররা একটা দারুন কথা বলেছেন। ট্র্যাডিশনাল সফটওয়্যারে যে ভুল "trivially cheap", এআই মডেলের সাথে সেই একই ভুল "catastrophically expensive" হয়ে যেতে পারে। একজন সিনিয়র এমপ্লয়ি FT কে বলেছেন, এআই রিলেটেড যেকোন কিছুর খরচ কতো, সেটা বের করাই কঠিন।

তবে হ্যা, ফেয়ার থাকা উচিৎ। এমাজন বলেছে, এগুলো বেছে বেছে আনা ছোট কিছু উদাহরন, তাদের টিমগুলো অভারল এভাবে কাজ করে না। আর নতুন টেকনোলজি নিয়ে তারা "experimenting, learning and improving" করছে। তারা এখন অটোমেটেড গার্ডরেইল বানাচ্ছে যাতে ইনভয়েস আসার আগেই খরচ আটকানো যায়। তাছাড়া এমাজনের এক কোয়ার্টারের রেভিনিউ ১৮০ বিলিয়ন ডলারের উপরে, সো তাদের জন্য এটা খুব বড় ক্ষতি না।

কিন্তু আপনার-আমার জন্য? একটা ছোট এজেন্সি বা একজন ফ্রিল্যান্সারের একাউন্টে এর একশো ভাগের এক ভাগ বিল আসলেও মাথায় হাত।

নোটঃ ৮৬০% বেশী মানে মোট খরচ বাজেটের প্রায় ৯.৬ গুণ। সেই হিসাবে আসল বাজেট ছিলো মোটামুটি ১ লাখ ৯০ হাজার ডলারের আশেপাশে। এটা আমার হিসাব, রিপোর্টে বাজেটের এক্সাক্ট সংখ্যা দেয়া নেই।

টোকেন কি, আর বিল এতো বাড়ে কেনো?

যারা টোকেন জিনিসটা জানেন না তাদের জন্য, টোকেন হলো টেক্সটের ছোট ছোট টুকরা। এলএলএম শব্দ না, টোকেন পড়ে আর টোকেন লেখে। আপনি যা পাঠান (ইনপুট) আর মডেল যা ফেরত দেয় (আউটপুট), দুইটার জন্যই টাকা দিতে হয়, আর আউটপুট টোকেনের রেট সাধারনত ইনপুটের চেয়ে বেশী।

সহজ কথায় বললে, বিলের ফর্মুলা মোটামুটি এরকমঃ

cost = (input_tokens * input_price + output_tokens * output_price) * calls

এখন ধরেন, আপনার কাছে ১০ লাখ প্রোডাক্ট আছে। প্রতিটার জন্য একটা কল যায়, প্রতি কলে লম্বা একটা সিস্টেম প্রম্পট, কিছু উদাহরন, আর প্রোডাক্টের ডাটা। কোন রেকর্ড ফেইল করলে স্ক্রিপ্ট আবার ট্রাই করে। একটা বাগের জন্য যদি একই রেকর্ড বারবার প্রসেস হয়, তাহলে মিটার ঘুরতেই থাকে। কেউ দেখার নেই।

ট্র্যাডিশনাল কোডে একটা লুপ ভুল চললে সার্ভারের সিপিইউ একটু গরম হয়, ব্যাস। এলএলএম এর সাথে প্রতিটা ভুল লুপ সরাসরি আপনার ক্রেডিট কার্ড থেকে টাকা খায়। এই পার্থক্য টাই আসল।

আর এমাজনের কেসে একটা মজার যায়গা আছে। ঠিক কি কারনে প্রজেক্ট টা ফেইল করেছে বা খরচ কেনো এতো বেড়েছে, রিপোর্টে তার টেকনিক্যাল ডিটেইল নেই। তাই আমি কারন বানিয়ে বলবো না। আমি শুধু বলবো, এই ধরনের কাজে সাধারনত কোন কোন যায়গা দিয়ে টাকা বের হয়ে যায়, আর সেটা কিভাবে আটকাবেন।

১. বাজেট আর এলার্ট আগে, কোড পরেঃ

এমাজনের সবচেয়ে বড় ভুল খরচ না, পাঁচ মাস টের না পাওয়া। পাঁচ দিনে ধরা পরলে গল্পটা এতো বড় হতো না।

• প্রোভাইডারের ড্যাশবোর্ডে লিমিটঃ Anthropic, OpenAI, Google, সবার কনসোলে স্পেন্ড লিমিট বা ইউসেজ লিমিট সেট করার অপশন আছে। প্রজেক্ট শুরুর দিনই সেট করুন।
• ক্লাউডে বাজেট এলার্টঃ যদি AWS Bedrock বা Google Vertex দিয়ে মডেল ইউজ করেন, AWS Budgets বা ক্লাউড বিলিং এলার্ট সেট করুন। ৫০%, ৮০%, ১০০% এ ইমেইল যাবে।
• প্রতি প্রজেক্ট আলাদা কীঃ সব ক্লায়েন্টের কাজ এক এপিআই কী দিয়ে চালাবেন না। আলাদা কী বা আলাদা ওয়ার্কস্পেস থাকলে কোন প্রজেক্ট টাকা খাচ্ছে সেটা এক নজরে বোঝা যায়।
• রোজ একবার দেখুনঃ সকালে কফির সাথে ৩০ সেকেন্ড ড্যাশবোর্ডে চোখ বুলান। খুব সহজ মনে হচ্ছে না? কিন্তু এই কাজটাই কেউ করে না।

২. কোডের ভিতরেই খরচের হিসাব রাখুনঃ

এপিআই এর প্রতিটা রেসপন্সে টোকেন ইউসেজ এর তথ্য ফেরত আসে। সেটা ফেলে না দিয়ে লগ করুন। নিচের মতো ছোট একটা গার্ড রাখলেই অনেক বিপদ থেকে বাচা যায়ঃ

MAX_JOB_COST = 50.0  # USD
spent = 0.0

for item in items:
    resp = client.messages.create(...)
    spent += cost_of(resp.usage)
    if spent > MAX_JOB_COST:
        raise RuntimeError(f"Budget hit: ${spent:.2f}")

এখানে cost_of() হলো আপনার নিজের ফাংশন, যেটা ইনপুট আর আউটপুট টোকেনকে মডেলের রেট দিয়ে গুন করে। জব যতো বড়ই হোক, লিমিট ছুলেই থেমে যাবে। পরে দেখে সিদ্ধান্ত নিবেন চালাবেন কি না।

সাথে রিট্রাই লজিকে অবশ্যই ম্যাক্সিমাম লিমিট রাখুন। ইনফিনিট রিট্রাই হলো এলএলএম বিলের সবচেয়ে বড় কালনাগিনী।

৩. আগে ছোট স্যাম্পলে টেস্ট করুনঃ

১০ লাখ রেকর্ড একবারে চালানোর আগে ১০০ টা চালান। দেখুন গড়ে একটা রেকর্ডে কতো টোকেন লাগলো, রেজাল্ট কতো টা ঠিক আসলো। তারপর গুন করে পুরো জবের খরচ এস্টিমেট করুন।

এমাজনের প্রজেক্ট টা শেষে ফেইল করেছে। মানে টাকাও গেছে, কাজও হয় নি। ছোট স্যাম্পলে যদি দেখা যায় এক্যুরেসি ভালো না, তাহলে সেখানেই থামা উচিৎ। ১৮ লাখ ডলার খরচ করে জানার দরকার নেই যে এপ্রোচ টা কাজ করে না।

৪. সবখানে সবচেয়ে বড় মডেল লাগে নাঃ

প্রতিদিনের বাজার করতে কেউ ট্রাক ভাড়া করে না। রিকশাই যথেস্ট। অথচ আমরা অনেকেই সিমপ্লি ডিফল্ট হিসেবে সবচেয়ে পাওয়ারফুল মডেল বসিয়ে দেই।

TNW এর রিপোর্টে বলা হয়েছে, Anthropic এর Haiku এর খরচ Sonnet এর তিন ভাগের এক ভাগ। নাম মেলানো, ক্যাটাগরি বাছাই, ডাটা এক্সট্রাক্ট করা, এই ধরনের রিপিটেটিভ কাজে ছোট মডেল অনেক সময় যথেস্ট। আমি সাজেস্ট করবো, আগে ছোট মডেল দিয়ে টেস্ট করুন। রেজাল্ট খারাপ হলে তখন বড় মডেলে যান।

আরেকটা স্মার্ট এপ্রোচ হলো রাউটিং। সহজ কাজ যাবে সস্তা মডেলে, কঠিন বা কনফিউজিং কেস গুলো যাবে বড় মডেলে। আর সবচেয়ে ভালো হয় যদি কিছু কাজ এলএলএম ছাড়াই করা যায়। দুইটা স্ট্রিং হুবহু মিলে গেলে সেখানে এআই ডাকার কি দরকার? একটা সাধারন if দিয়েই কাজ শেষ, খরচ শুন্য।

৫. ক্যাশিং আর ব্যাচ, দুই সস্তা অস্ত্রঃ

• প্রম্পট ক্যাশিংঃ প্রতি কলে যদি একই লম্বা সিস্টেম প্রম্পট আর একই উদাহরন যায়, সেটা ক্যাশ করুন। TNW এর রিপোর্ট অনুযায়ী Bedrock এ ক্যাশ করা প্রম্পটের খরচ সাধারন ইনপুট রেটের দশ ভাগের এক ভাগ। হাজার হাজার কলে এটা বিশাল পার্থক্য।
• ব্যাচ প্রসেসিংঃ যে কাজের রেজাল্ট এখনই লাগবে না, যেমন রাতের বেলা ডাটা ক্লিনআপ, সেটা ব্যাচ এপিআই দিয়ে পাঠান। একই রিপোর্টে বলা আছে Bedrock এর ব্যাচ ইনফারেন্স অর্ধেক দামে হয়। Anthropic এর নিজের এপিআই তেও ব্যাচ অপশন আছে।
• নিজের ক্যাশঃ একই প্রশ্নের উত্তর বারবার জেনারেট না করে ডাটাবেসে রেখে দিন। একই রেকর্ড দ্বিতীয়বার আসলে আগের উত্তর ইউজ করুন।

৬. রেট লিমিট আর কনকারেন্সি কন্ট্রোলঃ

রেট লিমিট শুধু প্রোভাইডারের জিনিস না, নিজের দিক থেকেও লিমিট রাখুন। প্রতি মিনিটে কতো রিকোয়েস্ট যাবে, কতোগুলো একসাথে চলবে, সেটা নিজে কন্ট্রোল করুন। এতে লাভ দুইটা। এক, কিছু ভুল হলে খরচ ধীরে বাড়ে, ধরার সময় পাবেন। দুই, প্রোভাইডারের রেট লিমিটে বারবার ধাক্কা খেয়ে রিট্রাই এর ঝড় তৈরি হয় না।

আর max_tokens সবসময় একটা যুক্তিসংগত সংখ্যায় সেট করুন। শুধু হ্যা/না বা একটা আইডি দরকার হলে মডেলকে উপন্যাস লেখার সুযোগ দিবেন কেনো?

৭. ফ্রিল্যান্সারদের জন্য আলাদা কথাঃ

এখানে একটা ব্যাপার অনেকে মিস করেন। ক্লায়েন্টের জন্য এআই ফিচার বানালে এপিআই বিল কে দিবে, সেটা কাজ শুরুর আগেই ক্লিয়ার করুন।

• ক্লায়েন্টের একাউন্ট, ক্লায়েন্টের কীঃ পারলে ক্লায়েন্টের নিজের একাউন্টে এপিআই কী তৈরি করান। আপনার কার্ডে বিল আসলে, আর ক্লায়েন্ট পরে টাকা না দিলে, সেই বাঁশ আপনার।
• খরচের এস্টিমেট লিখে দিনঃ প্রতি ১০০০ রিকোয়েস্টে আনুমানিক কতো খরচ, সেটা প্রপোজালে বা ডকুমেন্টে রাখুন।
• লিমিট সহ ডেলিভারি দিনঃ ড্যাশবোর্ডে স্পেন্ড লিমিট আর এলার্ট সেট করে তারপর হ্যান্ডওভার দিন। এটা প্রফেশনালিজম এর প্লাস পয়েন্ট।

এজ আ ডেভেলপার, ক্লায়েন্টের টাকা বাচানো ও আমাদের কাজের অংশ।

উপসংহারঃ

এমাজনের এই ঘটনা থেকে কেউ যদি ভাবেন এআই ইউজ করা বন্ধ করে দিবেন, সেটা ভুল সিদ্ধান্ত হবে। এআই এখন ডেভেলপমেন্টের অংশ, এটা থেকে দূরে থাকা মানে নিজেকে পিছিয়ে রাখা। আসল কথা হল, এআই কে ইউটিলিটি বিলের মতো দেখুন। পোস্টপেইড মিটারের মতো মাস শেষে সারপ্রাইজ না, প্রিপেইড মিটারের মতো আগে থেকেই লিমিট সেট করা।

মোদ্দা কথা, বাজেট আগে সেট করুন, ছোট স্যাম্পলে টেস্ট করুন, কাজ বুঝে মডেল বাছাই করুন, ক্যাশিং আর ব্যাচ ইউজ করুন, আর রোজ একবার মিটারে চোখ রাখুন।

এই নিয়মগুলো মানলেই যে কোনদিন বিল নিয়ে ঝামেলা হবে না, শতভাগ নিশ্চয়তা দিয়ে কিছুই বলা যাচ্ছে না। কিন্তু এটা বলা যায়, পাঁচ মাস পরে ১৮ লাখ ডলারের সারপ্রাইজ আপনার জন্য অপেক্ষা করবে না। এমাজনের এতো টাকা থাকার পরও যখন এটা খবর হয়, আমাদের তো আরো সাবধান থাকা উচিৎ, তো নাকি?

চেস্টা করেছি সহজভাবে বুঝানোর জন্য। যদি বুঝতে কোন সমস্যা হয়, নিচে কমেন্ট সেকশন ২৪ ঘন্টা খোলা আছে। হ্যাপী লার্নিং।