Mashinaviy o‘qitishda belgilar: kompaniya ma’lumotlari qanday modelga aylanadi

Mashinaviy o‘qitish loyihalarida ko‘pincha model tanlashga ko‘p e’tibor beriladi. Amalda esa natijaning katta qismi belgilarga bog‘liq — model qaysi ma’lumotlarni qanday shaklda ko‘rishiga.

Belgi nima

Belgi (feature) — har bir ob’ekt haqidagi o‘lchanadigan xususiyat. Agar vazifa mijoz ketishini bashorat qilish bo‘lsa, ob’ekt — mijoz, belgilar esa:

• oxirgi xariddan beri o‘tgan kunlar;
• oxirgi davrdagi xaridlar soni;
• o‘rtacha chek;
• shikoyatlar soni;
• mijoz bo‘lib kelayotgan muddat;
• asosiy xarid kanali.

Kompaniya ma’lumotlar bazasida bular tayyor holda bo‘lmaydi — ular buyurtmalar, to‘lovlar va murojaatlar jadvallaridan hisoblanadi. Bu jarayon belgilar muhandisligi (feature engineering) deb ataladi.

Xom ma’lumotdan belgilarga

1. Agregatsiya — tranzaksiyalardan yig‘indi, o‘rtacha, soni, maksimum
2. Davr bo‘yicha — oxirgi hafta, oy, chorak uchun alohida
3. Nisbatlar — qaytarishlar ulushi, chegirmali xaridlar ulushi
4. O‘zgarish — oxirgi oy oldingi oyga nisbatan
5. Vaqt belgilari — hafta kuni, oy, bayram oldi kunlari

Biznesni biladigan odam bu bosqichda eng foydali: u qaysi omillar muhimligini sezadi. Masalan, distribyutorda mijozning qarz muddati o‘tishi ketishdan oldingi signal bo‘lishi mumkin.

Toifali belgilar

Shahar, kanal, mahsulot toifasi kabi belgilar raqam emas. Ularni model uchun kodlash kerak: har bir qiymat uchun alohida ustun, yoki toifaning o‘rtacha natijasi bilan almashtirish, yoki model o‘zi toifalar bilan ishlay olsa — to‘g‘ridan-to‘g‘ri. Kam uchraydigan qiymatlarni «boshqa» guruhiga birlashtirish ko‘pincha natijani yaxshilaydi.

Bo‘sh qiymatlar

Ma’lumotda bo‘shliqlar bo‘ladi. Ularni o‘rtacha bilan to‘ldirish, alohida belgi bilan belgilash yoki maxsus qiymat berish mumkin. Ba’zan bo‘shliqning o‘zi signal: masalan, mijoz telefon raqamini qoldirmagan bo‘lsa. Bunday holatda «qiymat yo‘q» belgisini alohida qo‘shing.

Ma’lumot sizib chiqishi

Eng xavfli xato — bashorat paytida mavjud bo‘lmaydigan ma’lumotni belgiga qo‘shish. Misol: mijoz ketishini bashorat qilishda «shartnoma bekor qilingan sana» belgisi. Model bunday ma’lumot bilan juda yaxshi natija ko‘rsatadi, lekin real hayotda ishlamaydi. Har bir belgi uchun so‘rang: bashorat qilinadigan paytda bu qiymat haqiqatan ma’lum bo‘ladimi?

Belgilarni tanlash

Ko‘p belgi har doim yaxshi emas. Keraksiz belgilar shovqin qo‘shadi va modelni sekinlashtiradi. Tanlash usullari:

• modelning belgilar ahamiyati bahosi;
• bir-biri bilan kuchli bog‘langan belgilarni olib tashlash;
• belgini olib tashlab, natija o‘zgarishini tekshirish.

Barqarorlik va ishlab chiqarish

O‘qitishda belgilar qanday hisoblangan bo‘lsa, ishlab chiqarishda ham aynan shunday hisoblanishi kerak. Ikki joyda alohida yozilgan kod kichik farqlar keltirib, model sifatini jimgina buzadi. Belgilarni hisoblash mantiqini bir joyda saqlang va hujjatlashtiring. Katta jamoalarda buning uchun belgilar ombori (feature store) ishlatiladi.

Amaliy maslahat

Birinchi modelni oddiy, biznes uchun tushunarli belgilar bilan quring. Natija yaxshilanishi ko‘pincha murakkab algoritmdan emas, yangi, ma’noli belgidan keladi — buni biznes jamoasi bilan birga qidiring.