Loglarni parsing qilish: tizim jurnallaridan xato va nosozliklarni qanday topish

Ilova sekinlashdi yoki mijozlar to‘lov o‘tmayotganidan shikoyat qilmoqda. Sababni topish uchun dasturchi serverga kirib, matnli jurnal fayllarini qidiradi. Bitta server va bitta ilova bo‘lsa, bu ishlaydi. Serverlar, xizmatlar va jurnal hajmi ko‘paygach, qo‘lda qidirish imkonsiz bo‘ladi. Log parsingi bu muammoni hal qiladi.

Log nima

Log — tizim hodisalarining vaqt bo‘yicha yozuvi: so‘rov keldi, xato chiqdi, foydalanuvchi kirdi, disk to‘lmoqda. Manbalar:

• veb-server — har bir so‘rov: manzil, holat kodi, javob vaqti;
• ilova — biznes hodisalari va xatolar;
• ma’lumotlar bazasi — sekin so‘rovlar, ulanish xatolari;
• operatsion tizim — xizmatlar, xavfsizlik hodisalari;
• tarmoq qurilmalari va xavfsizlik devorlari.

Parsing nima uchun kerak

Oddiy matnli log satri inson uchun o‘qiladi, lekin tahlil uchun noqulay. Parsing satrdan maydonlarni ajratadi: vaqt, daraja, manba, foydalanuvchi, so‘rov manzili, holat kodi, xabar. Shundan keyin «oxirgi bir soatda qaysi manzil eng ko‘p xato berdi» kabi savollarga bir zumda javob olish mumkin.

Tuzilmali loglar

Eng yaxshi yechim — loglarni boshidanoq tuzilmali formatda, masalan JSON’da yozish. Har bir yozuvda bir xil maydonlar bo‘ladi va parsing deyarli kerak bo‘lmaydi. Agar ilovani o‘zingiz ishlab chiqsangiz, logging kutubxonasini shunday sozlang. Eski tizimlar va tashqi dasturlar uchun esa parsing qoidalari yoziladi — ko‘pincha muntazam ifodalar yoki tayyor shablonlar yordamida.

Markazlashtirilgan yig‘ish

1. Har bir serverda agent loglarni o‘qiydi
2. Loglar markaziy tizimga yuboriladi
3. U yerda parsing qilinadi va indekslanadi
4. Qidiruv, grafiklar va ogohlantirishlar sozlanadi

Bunday tizimlar uchun ochiq kodli stek va bulutli xizmatlar mavjud. Tanlov hajm, byudjet va jamoa tajribasiga bog‘liq.

Nimani kuzatish kerak

• Xatolar soni va ularning keskin o‘sishi
• Javob vaqti — o‘rtacha va eng sekin so‘rovlar
• Muvaffaqiyatsiz kirish urinishlari
• Disk, xotira va ulanishlar bo‘yicha ogohlantirishlar
• Biznes hodisalari: to‘lov xatolari, buyurtma yaratilmagan holatlar

Ogohlantirish ma’lum chegara oshganda mas’ul xodimga Telegram yoki pochta orqali boradi.

So‘rov identifikatori

Bitta foydalanuvchi so‘rovi bir nechta xizmatdan o‘tsa, har bir xizmat logiga umumiy identifikator yozilsin. Shunda muammoli so‘rovning butun yo‘lini bitta qidiruv bilan kuzatish mumkin.

Xavfsizlik va maxfiylik

Loglarga parollar, karta raqamlari, tokenlar va ortiqcha shaxsiy ma’lumotlar tushmasligi kerak. Ilova kodida bunday maydonlarni yashirish qoidasini kiriting. Log tizimiga kirish huquqi cheklangan bo‘lsin.

Saqlash muddati

Loglar tez o‘sadi. Qancha vaqt saqlanishini belgilang: tezkor tahlil uchun qisqa muddat, xavfsizlik va audit uchun uzoqroq — arxivda. Saqlash qoidalari soha talablariga mos kelishini tekshiring.

Kichik jamoa uchun boshlang‘ich qadam

Markaziy tizim hali bo‘lmasa ham, uchta oddiy odat ko‘p yordam beradi: barcha serverlarda vaqt bir xil sozlangan bo‘lsin, ilova loglari bitta formatda yozilsin va eng muhim xatolar uchun kamida bitta avtomatik xabar sozlansin. Keyinchalik markaziy yig‘ishga o‘tish shu asosda ancha osonlashadi.