Parsing va skreping: farqi nimada va nima uchun ular adashtiriladi

Buyurtmachi «saytni parsing qilib bering» deydi, dasturchi esa «skreper yozamiz» deb javob beradi. Ikkalasi bir narsani nazarda tutadi, lekin atamalar texnik jihatdan turli narsalarni bildiradi. Farqni bilish texnik topshiriq yozishda va pudratchi bilan muloqotda foydali.

Skreping nima

Skreping (ingliz tilidagi scraping — «qirib olish») — veb-sahifalardan ma’lumotni avtomatik yuklab olish jarayoni. Dastur sahifani ochadi, uning HTML kodini yoki sahifa yuklaydigan ma’lumotni oladi. Bu bosqichda asosiy vazifalar:

• kerakli sahifalarga so‘rov yuborish;
• sahifalar orasida o‘tish: ro‘yxatlar, sahifalash;
• tezlikni cheklash va bloklanishdan qochish;
• JavaScript bilan yuklanadigan kontentni olish.

Parsing nima

Parsing (ingliz tilidagi parsing — «tahlil qilish, tuzilmaga ajratish») — mavjud matn yoki hujjatdan tuzilmali ma’lumot ajratib olish. Masalan, HTML sahifadan mahsulot nomi, narxi va xususiyatlarini ajratish. Parsing faqat veb bilan bog‘liq emas: PDF, Excel, loglar, elektron xatlar, rezyumelar ham parsing qilinadi.

Ular qanday bog‘langan

Odatiy jarayon:

1. Krauling — qaysi sahifalarni olish kerakligini topish, havolalar bo‘yicha yurish
2. Skreping — sahifalarni yuklab olish
3. Parsing — yuklangan sahifalardan kerakli maydonlarni ajratish
4. Tozalash va saqlash — formatlash, takrorlarni olib tashlash, bazaga yozish

Kundalik hayotda bu jarayon to‘liq «parsing» deb ataladi, ingliz tilidagi manbalarda esa ko‘pincha «web scraping». Rus va o‘zbek tilidagi muhitda «parser» so‘zi ham butun jarayonni bajaradigan dasturni anglatadi.

Krauling haqida

Krauler — qidiruv tizimlari ishlatadigan dastur turi: u havolalar bo‘yicha saytlarni aylanib, sahifalarni indeksatsiya qiladi. Skreperdan farqi — krauler keng qamrab oladi, skreper esa aniq ma’lumot uchun aniq sahifalarga boradi.

Tipik vazifalar

• Raqobatchilar katalogini kuzatish
• Ochiq e’lonlarni yig‘ish va tahlil qilish
• Yangiliklar va maqolalar monitoringi
• O‘z eski saytingizdan kontentni yangi saytga ko‘chirish
• Hujjatlar va fayllardan ma’lumot ajratish

Oxirgi ikki vazifada skreping umuman bo‘lmasligi mumkin — faqat parsing.

Vositalar

Python’da sahifalarni olish uchun HTTP kutubxonalari, HTML’ni parsing qilish uchun maxsus kutubxonalar, katta loyihalar uchun skreping freymvorklari ishlatiladi. JavaScript bilan to‘ladigan sahifalar uchun brauzerni avtomatlashtirish vositalari kerak. Dasturchisiz vositalar ham bor — brauzer kengaytmalari va bulutli xizmatlar.

Huquqiy va axloqiy jihatlar

1. Saytning foydalanish shartlari va robots.txt faylini o‘qing
2. Serverga ortiqcha yuklama bermang
3. Shaxsiy ma’lumotlarni yig‘ishda qonunchilikka rioya qiling
4. Mualliflik huquqi bilan himoyalangan kontentni qayta nashr qilmang
5. Agar API mavjud bo‘lsa, undan foydalaning

Texnik topshiriqda nima yozish

Atamadan qat’i nazar, aniq yozing: qaysi manbalar, qaysi maydonlar, qanday davriylik, natija qanday formatda va qayerga tushadi, manba tuzilmasi o‘zgarsa kim yangilaydi. Shu tafsilotlar loyiha murakkabligini atama nomidan ko‘ra yaxshiroq belgilaydi.