Foyda bo'lmagan 70 foiz
MindStudio yaqinda juda qiziq raqamni e'lon qildi: Anthropic kompaniyasi modelni ishlatish (inference) tushumining har bir dollaridan 70 sentini o'zida saqlab qolayotgan emish. Xulosa aniqdek go'yo. Agar token ishlab chiqarish shunchalik arzonga tushayotgan bo'lsa, API narxlari tushishi, bizning xarajatlarimiz esa kamayishi kerak.
Shoshilmaylik. Bu 70 foizlik raqam Anthropic'ning hisobotlaridan olingan emas. Uni SemiAnalysis tahlilchilarining Tokenomics hisob-kitoblaridan topishgan. 1-may kuni SemiAnalysis Anthropic'ning modelni ishlatish (inference) bo'yicha inference yalpi marjasi 38 foizdan 70 foizdan yuqoriga ko'tarilganini taxmin qilgan edi. 27-may kuni esa o'sha firmaning o'zi bu taxminni 60 foizlarning o'rtalari deb yangiladi. Jamoatchilik orasidagi bahslar hali ham 40 foizdan 80 foizgacha davom etmoqda. Sababi oddiy: tashqaridagilar real moliyaviy dashboardni ko'rmasdan, shunchaki xususiy kompaniya modelini taxmin qilishyapti xolos.
Inference yalpi marjasi - bu hali sof foyda emas. U faqatgina tokenlardan kelgan tushumni o'sha tokenlarni yetkazib berish (compute) xarajatlariga solishtiradi xolos. Keyingi modelni o'qitish (training), tadqiqotchilar, xodimlar, sotuv bo'limi, bepul foydalanuvchilar va boshqa xarajatlar shunchaki yo'q bo'lib ketmaydi. 70 foizni "sof foyda" deb atash - xuddi restoranning masalliqlar uchun sarflagan puliga qarab, ijara, oyliklar va oshxona xarajatlarini hisoblamasdan turib, "bu restoran boyib ketibdi" degan xulosaga kelish bilan barobar. Absurd, to'g'rimi?
Baribir, bu taxminlar bizga muhim narsani ko'rsatadi: tokenlar arzonlashmoqda. Yangi chiplar ko'proq tokenni qayta ishlayapti, dasturlar esa texnik imkoniyatlardan samaraliroq foydalanyapti. Keshlash (caching) takroriy ishlarni kamaytiryapti, kichikroq modellar esa ilgari faqat eng kuchli modellar bajargan ishlarni eplayapti.
Lekin dasturchilar va biznes egalari ko'pincha bundan noto'g'ri xulosa chiqarishadi. Ular arzonroq token avtomatik ravishda arzonroq AI mahsulotini anglatadi deb o'ylashadi. Unaqa narsa yo'q.
Yoqilg'i arzon, lekin yo'l qimmat
Tasavvur qiling, yoqilg'i 30 foizga arzonlashdi. Yaxshi xabar, to'g'rimi? Lekin eski mashinangiz bir marta borib keladigan yo'lni yangi "aqlli" mashinangiz yigirma marta aylanib, uyga xarita uchun qaytib kelib, yana o'sha yo'lni qaytadan yursa-chi? Litriga to'langan pul kamaydi, lekin umumiy safar qimmatlashdi.
Atrofdagi tizim pala-partish qurilgan bo'lsa, AI agentlari aynan shunday ishlaydi. Foydalanuvchining bitta so'rovi modelga o'nlab murojaatlarga aylanib ketadi. Har bir murojaatda tizim ko'rsatmalari (system prompt), suhbat tarixi, instrumentlar tavsifi, yuklangan hujjatlar va muvaffaqiyatsiz urinishlar qaytadan yuboriladi. Model bitta aniq javob uchun pul olmaydi. Dastur butun bir uzun safarni yig'ayotgan bo'ladi xolos.
Qimmat intellekt emas, behuda kezish xavfli
Yaqindagi bir preprintda sakkizta eng kuchli modelning dasturlash bo'yicha agentlik vazifalaridagi ishi o'rganildi. Tadqiqotchilar bu vazifalar oddiy kod yozish yoki chatga qaraganda 1000 marta ko'proq token sarflashini aniqlashdi. Bir xil vazifani bajarishda tokenlar sarfi 30 martagacha farq qilgan. Eng yomoni, ko'p token sarflash har doim ham aniq natija bermagan. Model ko'p pul sarflagani bilan, javob sifati yaxshilanmay qolgan holatlar ko'p.
Haqiqiy muammo qimmat intellektda emas. Haqiqiy muammo - behuda kezish va tartibsiz sarf-xarajatda.
Iyul oyida e'lon qilingan ikkinchi preprintda 22 ta vazifa va 6 ta model o'zgarishsiz qoldirilib, faqat ularni boshqaradigan kod (orchestration layer) o'zgartirildi. Natijada, har bir vazifa uchun o'rtacha xarajat 41 foizga, tokenlar soni 38 foizga, bajarilish vaqti esa 44 foizga qisqardi. Sifat esa deyarli bir xil darajada qoldi. Demak, atrofdagi kodni to'g'rilash eng arzon va eng qimmat modelni tanlashdan ko'ra ko'proq pulni tejaydi.
Endi savolni boshqacha qo'yish kerak.
Tokenni emas, natijani o'lchang
"Bir million token qancha turadi?" deb emas, "Bitta muvaffaqiyatli natija qancha turadi?" deb so'rang.
Mijozlarni qo'llab-quvvatlash xizmatida - bitta to'g'ri hal qilingan murojaat xarajatini o'lchang. Hujjatlar bilan ishlashda - bitta qabul qilingan hisobot narxini hisoblang. Dasturchi-agentlarda - tekshiruvdan o'tgan bitta tayyor kodning tannarxini biling. Bunga xatolar, qayta urinishlar, qo'shimcha chaqiriqlar va inson nazoratini ham qo'shing. Besh marta urinib arzon model bilan bajarilgan ish, bir urinishda tayyor qilgan qimmat modeldan qimmatroqqa tushishi mumkin.
Nazorat qilishning 5 ta usuli
Bizda beshta asosiy nazorat nuqtasi bor.
Birinchisi - vazifalarni qiyinchilik darajasiga qarab yo'naltirish. Oddiy tasniflash, ma'lumotlarni ajratib olish va qisqacha mazmun yozish kabi ishlarni kichik modellar boshlashi kerak. Eng kuchli modellarni faqat haqiqatda bunga ehtiyoj borligi isbotlangan holatlar uchun saqlab qo'ying.
Ikkinchisi - kontekstni jilovlash. Har bir qadamda butun suhbat tarixini, barcha instrumentlar tavsifini va yuklangan sahifalarni qayta-qayta yubormang. Ma'lumotlarni qisqartiring, faqat kerakli qismlarni qoldiring va eskirgan natijalarni tozalang.
Uchinchisi - keshni asrash. Anthropic keshdan o'qishni oddiy kirish xarajatidan o'n barobar arzonga baholaydi, ularning Batch API xizmati esa 50 foizlik chegirma beradi. 500 dan ortiq uzoq davom etgan agent sessiyalari bo'yicha tadqiqot shuni ko'rsatadiki, promptlarni to'g'ri keshlash xarajatlarni 41 foizdan 80 foizgacha kamaytirishi mumkin. Tizimda o'zgarmas boshlang'ich qismlar (stable prefixes) har doim birinchi navbatda turishi kerak. Dinamik ma'lumotlarni esa keyinga qoldiring.
To'rtinchisi - agentga limit belgilash. Qadamlar soni, urinishlar, tokenlar va vaqt uchun aniq chegaralar qo'ying. Agar agent belgilangan limit ichida ishni bitira olmasa, pulni behuda yoqishiga yo'l qo'ymasdan, jarayonni insonga topshiring yoki strategiyani o'zgartiring.
Beshinchisi - muqobil variantlarni saqlab qolish. Modelni oson ko'chira olish (portability) faqatgina tizim o'chib qolganda asqatadigan chora emas. Bu sizga oddiy ishlarni arzonroq modellarga tezda o'tkazish imkonini beradi va bitta provayderning narxlar jadvali sizning biznes modelingizga aylanib qolishining oldini oladi.
Birovning marjasini hisoblashni to'xtating
Fikrimcha, provayderlarning marjasi haqidagi bahslar dasturchilarni o'zlari nazorat qilishi mumkin bo'lgan eng foydali nazorat qilinadigan ko'rsatkichdan chalg'itadi. Anthropic modelni ishlatishdan 40 foiz, 65 foiz yoki 80 foiz foyda ko'rayotgandir. Lekin bu raqamlarning hech biri sizning tartibsiz tizimingiz va behuda sarflanayotgan tokenlaringiz uchun keladigan hisob-kitobni o'zgartirmaydi.
Agar API narxlari ikki barobar arzonlashsa-yu, lekin sizning agentingiz uch barobar ko'proq token sarflasa, xarajatingiz baribir oshadi. Bu isrofgarchilikni provayder emas, sizning arxitekturangiz yaratdi.
Birovning marjasini hisoblashni to'xtating. O'zingiz olgan natijaning tannarxini hisoblang.
Xulosa o'zingizga havola.
Xurshid Maroziqov