Soal Kuis Esai – Kasus Scraping Data

1. Anda diminta untuk mengambil data harga produk dari sebuah situs e-commerce yang tidak menyediakan API. Jelaskan langkah-langkah yang akan Anda lakukan untuk melakukan scraping data tersebut, mulai dari identifikasi data hingga penyimpanan hasil scraping.

2. Sebuah website memiliki halaman yang memuat daftar produk dengan konten yang di-load secara dinamis menggunakan JavaScript. Bagaimana cara Anda mengatasi tantangan ini untuk mendapatkan data produk yang lengkap? Jelaskan alat dan metode yang akan digunakan.

3. Anda menemukan bahwa website yang ingin Anda scrape menggunakan proteksi berupa CAPTCHA dan pembatasan IP (rate limiting). Jelaskan strategi yang bisa digunakan untuk tetap melakukan scraping tanpa melanggar etika dan hukum.

4. Berikan contoh script sederhana (dalam Python menggunakan BeautifulSoup atau Scrapy) untuk mengambil judul dan harga produk dari halaman web statis yang memiliki struktur HTML seperti berikut:

 <div class="product">
  <h2 class="title">Produk A</h2>
  <span class="price">$100</span>
</div>
<div class="product">
  <h2 class="title">Produk B</h2>
  <span class="price">$150</span>
</div>

5. Jelaskan perbedaan antara web scraping dan web crawling. Dalam kasus pengumpulan data untuk analisis tren harga produk, metode mana yang lebih tepat dan mengapa?

6. Sebuah website mengubah struktur HTML-nya secara berkala sehingga script scraping Anda sering gagal. Bagaimana Anda mengatasi masalah ini agar scraping Anda tetap berjalan lancar?

7. Diskusikan aspek legal dan etika yang perlu diperhatikan ketika melakukan scraping data dari situs web pihak ketiga. Apa risiko yang mungkin dihadapi dan bagaimana cara meminimalkannya?