Katta ma’lumotlar texnologiyalari: saqlash va qayta ishlash

Katta ma’lumotlar texnologiyalari ro‘yxati qo‘rqinchli ko‘rinadi: o‘nlab nomlar va qisqartmalar. Lekin ularni vazifalar bo‘yicha guruhlasangiz, manzara ancha tushunarli bo‘ladi. Har bir guruh bitta savolga javob beradi.

Saqlash: ma’lumot qayerda yotadi

Taqsimlangan fayl tizimlari va obyekt xotirasi. Ma’lumot ko‘p server yoki disklar bo‘ylab bo‘linadi va nusxalanadi. Klassik misol — Hadoop’ning HDFS tizimi; bugun ko‘pincha S3-mos obyekt xotirasi ishlatiladi, bulutda ham, o‘z serverlarida ham.

Ma’lumotlar ko‘li (data lake). Xom ma’lumot o‘z formatida saqlanadigan joy: loglar, fayllar, eksportlar. Arzon va moslashuvchan, lekin tartib bo‘lmasa «botqoqqa» aylanadi.

Ma’lumotlar ombori (data warehouse). Tozalangan, tuzilgan, tahlil uchun tayyorlangan ma’lumot. Hisobotlar va BI shu yerdan oladi.

Lakehouse. Ko‘l va omborni birlashtirish g‘oyasi: arzon xotirada saqlangan fayllar ustida tranzaksiyalar va jadval tuzilmasi.

Qayta ishlash: ma’lumot qanday hisoblanadi

Paketli qayta ishlash. Katta hajm vaqti-vaqti bilan, masalan tunda, bir martada hisoblanadi. Apache Spark — bu sohaning eng mashhur vositasi: hisobni ko‘p serverga taqsimlaydi.

Oqimli qayta ishlash. Ma’lumot kelishi bilan hisoblanadi: firibgarlikni aniqlash, real vaqt monitoringi, darhol tavsiyalar. Apache Kafka hodisalarni uzatish uchun keng ishlatiladi; ularni qayta ishlash uchun Flink, Spark Streaming va boshqalar.

Tahlil uchun bazalar

Ustunli bazalar. Ma’lumotni ustunlar bo‘yicha saqlaydi va katta jadvallar bo‘yicha yig‘indilarni juda tez hisoblaydi. ClickHouse va bulutli omborlar shu toifaga kiradi. Analitika va loglar uchun mashhur.

NoSQL bazalar. Kalit-qiymat, hujjatli, keng ustunli bazalar — juda katta yozish oqimi va moslashuvchan tuzilma uchun.

Orkestratsiya va sifat

• Jarayonlarni boshqarish — Apache Airflow kabi vositalar: qaysi vazifa qachon va qaysi tartibda bajariladi
• Transformatsiyalar — SQL asosidagi modellashtirish vositalari, masalan dbt
• Ma’lumot katalogi va sifati — qaysi jadval nimani anglatadi, kim egasi, ma’lumot to‘liqmi

Bu qatlam ko‘pincha unutiladi, lekin aynan u tizimni boshqariladigan qiladi.

Bulut yoki o‘z serverlari

Bulutli xizmatlar infratuzilmani tez ko‘tarish imkonini beradi, lekin shaxsiy ma’lumotlarni lokalizatsiya qilish talablari va xarajatlarning o‘sishini hisobga olish kerak. O‘z serverlarida esa jamoa hamma narsani o‘zi qo‘llab-quvvatlaydi. O‘zbekistonda shaxsiy ma’lumotlar bilan ishlaydigan kompaniyalar uchun bu tanlov ko‘pincha yuridik talablar bilan belgilanadi.

Haqiqatan big data kerakmi

Ko‘p kompaniyalar uchun yaxshi sozlangan PostgreSQL va ustunli tahlil bazasi yetarli. Taqsimlangan tizimlar murakkablik qo‘shadi: ko‘proq server, ko‘proq mutaxassis, ko‘proq ishdan chiqish nuqtasi. Ularni ma’lumot oddiy vositalarga sig‘may qolganda tanlang, oldindan emas.

Tanlash tartibi

1. Ma’lumot hajmi va o‘sish sur’atini o‘lchang
2. Javob qanchalik tez kerakligini aniqlang: soniyalar, soatlar yoki bir kun
3. Kim qo‘llab-quvvatlashini belgilang
4. Eng oddiy yechimdan boshlang va faqat cheklovga duch kelganda murakkablashtiring