Scraping Data from Shopee Website with Data-Miner
Assalamualaikum wr.wb. teman-teman data enthusiastic……..
Dalam menjalankan bisnis online pastinya kita pernah melakukan pendataan kompetitor-kompetitor kita beserta informasi penting tentang produk atau layanan mereka. Kemudian, kita menyimpan data tersebut di dalam sebuah spreadsheet baik menggunakan Microsoft Excel, Google Sheet maupun aplikasi sejenisnya. Proses inilah yang disebut web scraping.
Dengan kata lain, web scraping dapat didefinisikan sebagai proses pengambilan data dari sebuah website.
Pada kesempatan kali ini saya akan melakukan analisis data menggunakan metode web scraping pada website Shopee dengan Data-Miner. Disini saya akan mengambil halaman scrape dari piyama tie dye set, karena saya ingin mencari dengan harga yang terjangkau tetapi produknya berkualitas yang berdasarkan dari banyaknya penjualan.
Sebelum melakukan scrape data, kita mengunduh aplikasi data-miner. Untuk membuka halaman website nya dapat melalui tautan ini.
Apabila sudah dibuka website nya, klik Add to Chrome. Setelah itu, aplikasi dapat diunduh dan ditambahkan ke extension chrome. Jika aplikasi tersebut telah ditambahkan, maka akan muncul ikon data miner pada kanan atas halaman chrome yang artinya aplikasi tersebut telah ditambahkan. Kemudian, kita harus login terlebih dahulu agar dapat mengakses aplikasi tersebut. Maka, akan muncul tampilan seperti di bawah ini.
Setelah itu, kita akan mengambil data dari website Shopee. Disini saya ingin mencari produk piyama tie dye set. Untuk membuka halaman website nya dapat melalui tautan ini. Maka akan muncul halaman website sebagai berikut:
Pada gambar diatas merupakan hasil pencarian dari produk tersebut. dan juga halaman ini terdapat 50 produk. Setelah itu, kita membuka aplikasi data miner yang berada di kanan atas extension chrome. Kemudian, klik New Recipe. Hasilnya dapat dilihat pada tampilan di bawah ini.
Maka muncul halaman Recipe Creator sebagai berikut:
Pada step 1-start, terdapat dua tipe halaman, yaitu list pages berfungsi untuk melakukan scraping beberapa baris dari halaman website tersebut. Kedua, detail page yaitu melakukan scraping secara keseluruhan dari halaman website tersebut. Kali ini kita akan memilih list pages.
Selanjutnya, pada step 2-rows yang berisikan penentuan yang akan dijadikan sebagai baris dengan cara klik Find pada tampilan step 2-rows seperti berikut:
Pilih satu area pada halaman Shopee, dimana akan menunjukkan suatu baris. Kemudian arahkan kursor ke halaman Shopee, sehingga kursornya nanti akan tershading dengan warna orange. Jika sudah ketemu, klik keyboard “shift”, sehingga muncul frame berwarna orange.
Kemudian, muncul element classes yang isinya berupa pengaturan. Lalu, klik kolom element’s classes. Pada halaman Shopee akan muncul frame berwarna hijau, dimana menunjukkan bahwa baris-baris yang sejenis dengan yang kita seleksi diawal tadi. Setelah itu, periksa apakah semua baris sudah terseleksi. Jika sudah terseleksi, maka klik confirm pada 50 produk yang sudah terseleksi.
Selanjutnya muncul tampilan jika kita sudah melakukan scraping halaman website sebanyak 50 data seperti tampilan di bawah ini:
Kemudian pada step 3-kolom dilakukan scraping data untuk menentukan kolom-kolomnya. Kolom pertama diisikan dengan judul_piyama dengan ekstraksi teks, maka akan muncul seperti tampilan berikut:
Kemudian, klik Find dan arahkan kursor ke halaman Shopee pada bagian judul produk, sehingga kursornya nanti akan tershading dengan warna orange. Jika sudah ketemu, klik keyboard “shift”, sehingga muncul frame berwarna orange. Lalu, muncul element’s classes yang isinya berupa pengaturan dan kita memilih element’s classes yang pertama. Setelah itu, periksa apakah semua baris sudah terseleksi. Jika sudah terseleksi, maka klik confirm pada 50 judul produk yang sudah terseleksi. Sehingga akan muncul tampilan sebagai berikut:
Untuk pembuatan kolom harga, barang terjual, dan kota asal menggunakan cara yang sama seperti kedua kolom sebelumnya. Maka, diperoleh hasil pembuatan kolom sebagai berikut:
Pada step 4-navigation, dilakukan tes navigasi. Navigasi digunakan untuk menemukan tombol menuju halaman berikutnya. Maka akan muncul tampilan seperti di bawah ini:
Kemudian, klik Find dan arahkan kursor menuju halaman Shopee pada bagian tombol Next, sehingga kursornya nanti akan tershading dengan warna orange. Jika sudah ketemu, klik keyboard “shift”, sehingga muncul frame berwarna orange. Lalu, muncul element’s classes yang isinya berupa pengaturan dan kita memilih element’s classes yang kedua. Maka akan muncul tampilan sebagai berikut:
Jika sudah terseleksi, maka klik confirm dan selanjutnya dapat dilakukan tes navigasi. Apabila tes berhasil, maka seharusnya pada halaman Shopee akan berpindah menuju halaman berikutnya. Tampilan yang dimaksud dapat dilihat di bawah ini:
Pada step 5-actions dan step 6-JS dilewati saja, karena tidak terdapat perubahan. Berikutnya, pada step 7-Save berfungsi yang berfungsi untuk menyimpan recipe yang telah dibuat, lalu mengisi recipe name dengan nama “Shopee Setelan Baju Tidur Piyama”. Maka tampilan dapat dilihat di bawah ini:
Kemudian, klik Save dan sekaligus klik Run Recipe. Maka hasilnya dapat dilihat di bawah ini:
Berdasarkan gambar di atas diperoleh hasil running data, dimana terdapat judul piyama, harga, barang yang terjual, dan kota asal. Selanjutnya, dilakukan pagination yaitu untuk scraping pada halaman berikutnya. Untuk waktu tunggu harus diisikan, agar kita tidak diblokir oleh Shopee. Kita ingin melakukan scraping untuk 5 halaman saja, kemudian isikan pada kolom tersebut dan klik Start Pagination sebagai berikut:
Apabila telah berhasil, maka akan muncul pemberitahuan sebagai berikut:
Kemudian datanya sudah bisa kita unduh dengan cara klik Download dan memilih format csv sebagai berikut:
Maka akan diperoleh hasil sebagai berikut:
Karena hasil scrapping pada gambar di atas masih belum rapi, sehingga kita harus merapikannya. Pada kolom harga terdapat rentang harga dan harus dirapikan, sehingga kita harus menghilangkan tanda Rp, (-), dan (.). Untuk memudahkan kalian, kita dapat menggunakan fitur Find and Replace. Caranya cari tanda yang ingin dihilangkan, kemudian dikolom “Replace with” dikosongkan saja, lalu klik “Replace All”. Untuk lebih jelasnya dapat dilihat di bawah ini:
Langkah selanjutnya adalah memisahkan harga yang ganda dengan cara memisahkan harga dari batas atas menuju kolom baru. Pertama, insert terlebih dahulu kolom baru. Kemudian, klik menu Data pada toolbar dan pilih Text to Columns sebagai berikut:
Berikutnya, kita pisahkan dengan menggunakan delimeters yaitu space dan klik Finish.
Kemudian untuk barang yang terjual memisahkan angka dan status terjual, serta caranya sama aja seperti yang sebelumnya. Maka akan diperoleh data yang sudah rapi sebagai berikut:
Sekian simulasi scraping halaman dari website Shopee menggunakan data miner, mohon maaf jika masih banyak kurangnya. Saya mengucapkan terima kasih dan semoga bermanfaat pagi para pembaca khususnya untuk data enthusiastic!!!:)))
Wassalamualaikum wr.wb.
Referensi:
Cara Mudah Scraping dengan Data-Miner, https://www.youtube.com/watch?v=8AQJn3j7tnI&t=2s
