ProgrammingTechnologyTips & TutorialWeb

Apa Itu Web Scraping?

September 10, 2021

525

Para pengembang program sudah tidak asing lagi dengan istilah web scraping sebab metode ini dapat dipakai untuk mengambil data dengan jumlah besar dari suatu website hanya dengan sebuah program. Web scraping adalah metode yang sangat berguna dalam bisnis dan pengembangan program seperti pembuatan API, pengolahan data, dan masih banyak lagi fungsi dari metode ini.

Web Scraping

Web scraping dapat didefinisikan sebagai proses pengambilan data dari sebuah website. Website scraping mempunyai 2 komponen utama, yaitu crawler dan scraper. Crawler adalah algoritma kecerdasan buatan yang menjelajahi website dan mencari informasi tertentu yang dibutuhkan dengan menelusuri tautan di internet. Crawler dapat dibuat dalam berbagai bahasa pemrograman.

Lalu, Scraper adalah sebuah alat atau script yang dibuat untuk mengekstrak informasi dan data dari sebuah website. Sama halnya dengan crawler, scraper dapat dibuat dengan bermacam- macam bahasa pemrograman. Tergantung kecocokan dengan kompleksitas serta ruang lingkup proyek sehingga Kamu bisa mengekstrak informasi dengan cepat dan akurat.

Website scraper bisa menghasilkan seluruh informasi yang sudah dikumpulkan ke dalam format yang lebih mudah dimanfaatkan oleh pengguna. Kebanyakan web scraper akan menghasilkan informasi ke CSV ataupun spreadsheet Excel, sedangkan web scraper yang lebih mutakhir telah dapat menunjang format lain semacam JSON yang biasa digunakan dalam pembuatan sistem API.

Teknik-Teknik Web Scraping

Bersumber dari blog niagahoster, Web scraping kini dimudahkan dengan bantuan browser extension dan aplikasi. Namun, hasilnya masih belum sebaik cara manual dan coding. Ada beberapa teknik yang digunakan untuk melakukan scraping

1. Manual Scraping

Teknik web scraping yang paling sederhana tapi memakan waktu yang lama adalah menyalin data website secara manual. Karena Anda harus mengambil dan menyimpan informasi yang Anda perlukan satu per satu, teknik ini jelas memakan waktu lama jika data yang diinginkan berjumlah banyak. Namanya juga manual, Anda sendiri yang melakukannya dan tidak dibantu oleh Bot.

Dari segi pencarian dan pengolahan data cara ini paling efektif. Tidak seperti memakai program atau bot, Anda sudah tahu letak informasi dan data yang ingin disalin dari suatu website. Sehingga hasil web scraping dengan cara ini sangat akurat. Cara ini dianjurkan jika data yang ingin Anda ambil hanya sedikit saja.

2. Menggunakan Regular Expression

Regular expression merupakan sebuah baris teks (code string) yang digunakan dalam algoritma pencarian untuk menemukan tipe data tertentu. Regex dapat digunakan untuk mendefinisikan sebuah pola pencarian sehingga dapat membantu kita untuk melakukan matching (pencocokan), locate (pencarian), dan manipulasi teks. Kegunaan utama menggunakan regular expression untuk web scraping adalah syntaxnya yang dapat digunakan dalam berbagai bahasa pemrograman seperti php dan python. Oleh sebab itu, teknik ini sangat fleksibel. Regular expression juga dapat digunakan untuk mencari data berdasarkan karakter, contohnya seperti alamat email, url, nomor telepon, dan data lainnya.

Contoh penggunaan Regular expression dengan pemrograman PHP

<?php
$email = "admin@helixs.id";
$t = preg_match_all("/[a-z0-9]+([_\\.-][a-z0-9]+)*@([a-z0-9]+([\.-][a-z0-9]+)*)+\\.[a-z]{2,}/i", $email, $matches); //Regex
if ($t) {
   $mail = array_unique($matches[0]);
   echo "Valid".$mail;
}
 else {
   echo "Invalid Email";
}
?>

<?php

$email = "admin@helixs.id";

$t = preg_match_all("/[a-z0-9]+([_\\.-][a-z0-9]+)*@([a-z0-9]+([\.-][a-z0-9]+)*)+\\.[a-z]{2,}/i", $email, $matches); //Regex

if ($t) {

$mail = array_unique($matches[0]);

echo "Valid".$mail;

}

else {

echo "Invalid Email";

}

Penggunaan Regex di atas berguna untuk validasi email yang di input pengguna, hal ini biasa diterapkan pada halaman login ataupun register pengguna.

Contoh penggunaan Regular expression dengan pemrograman JavaScript

<!-- Source from petanikode.com -->
<form id="myform">
    <label for="passowrd">Buat Password</label>
    <input type="password" name="password" pattern="(?=.*\d)(?=.*[a-z])(?=.*[A-Z]).{8,}" />
    <input type="submit" value="simpan" />
    <p id="invalid-passowrd" style="display:none;color:red">Panjang password minimal 8 kareter, dan harus mengandung huruf kapital, angka, dan simbol</p>
</form>

<script>
const passwordField = document.querySelector("[name=password]");

passwordField.addEventListener("keyup", (event) => {
    if(!passwordField.validity.valid){
        console.error("passowrd invalid");
        document.getElementById("invalid-passowrd").style.display = "block";
    } else {
         console.info("passowrd valid");
        document.getElementById("invalid-passowrd").style.display = "none";
    }
});
</script>

<label for="passowrd">Buat Password</label>

<p id="invalid-passowrd" style="display:none;color:red">Panjang password minimal 8 kareter, dan harus mengandung huruf kapital, angka, dan simbol</p>

</form>

const passwordField = document.querySelector("[name=password]");

passwordField.addEventListener("keyup", (event) => {

if(!passwordField.validity.valid){

console.error("passowrd invalid");

document.getElementById("invalid-passowrd").style.display = "block";

} else {

console.info("passowrd valid");

document.getElementById("invalid-passowrd").style.display = "none";

}

});

</script>

3. Parsing HTML

Pada dasarnya, parsing HTML merupakan tata cara yang dicoba dengan mengirimkan permintaan HTTP ke server yang menaruh informasi web website dari mana informasi tersebut hendak diekstraksi. Dengan memakai metode ini, Kamu tidak cuma bisa melaksanakan scraping pada halaman website statis, namun pula bisa melaksanakan scraping pada halaman dinamis. Tidak hanya itu, Parsing HTML membolehkan Kamu menyalin informasi dalam jumlah besar dalam waktu pendek. Namun, firewall website membolehkan buat menghindari Parsing HTML. Tidak cuma itu, bila Kamu kerap memakai metode ini, Kamu bisa jadi hendak diblokir oleh suatu web.

4. Analisa DOM

DOM atau document object model adalah wujud dari struktur suatu taman web yang ditulis dengan HTML. Kala melaksanakan parsing HTML, DOM dari taman yang mau di ambil informasinya hendak dilansir terlebih dulu. DOM pula bisa bawa informasi yang terdapat pada file HTML( HTML Source). Oleh sebab itu, analisa DOM dapat dijadikan alternatif buat melaksanakan website scraping terhadap taman web dinamis bila parsing HTML tidak membuahkan hasil. Metode ini bisa Kamu pakai dengan menggunakan pemakaian Regular expression.

Contoh pada pemrograman PHP

<?php
header("Content-type: application/json");
$get = file_get_contents('https://www.helixs.id/');
$t = preg_match_all("#(\<title.*?\>)(\n*\r*.+\n*\r*)(\<\/title.*?\>)#", $get, $matches);
if ($t) {
    $result['result'] = $matches[2];
    echo json_encode($result, JSON_UNESCAPED_SLASHES | JSON_UNESCAPED_UNICODE);
} else {
    $result['result'] = 'No Result';
    echo json_encode($result, JSON_PRETTY_PRINT);
}
?>

<?php

header("Content-type: application/json");

$get = file_get_contents('https://www.helixs.id/');

$t = preg_match_all("#(\<title.*?\>)(\n*\r*.+\n*\r*)(\<\/title.*?\>)#", $get, $matches);

if ($t) {

$result['result'] = $matches[2];

echo json_encode($result, JSON_UNESCAPED_SLASHES | JSON_UNESCAPED_UNICODE);

} else {

$result['result'] = 'No Result';

echo json_encode($result, JSON_PRETTY_PRINT);

}

Pada script diatas, fungsi file_get_contents akan mengambil HTML Source dari url yang diberi dan dengan regular expression akan mengambil data Title dari url yang diberi.

5. Menggunakan XPath

XPath merupakan bahasa query yang digunakan buat memilah node dari struktur file XML serta HTML. Implementasinya tidak jauh berbeda dengan analisa DOM. Kamu memakainya buat mencari informasi dari struktur file penunjang taman. Tidak hanya itu, XPath pula bisa digunakan buat mencari informasi pada elemen bacaan dalam file XML serta HTML. Dengan demikian, metode website scraping ini dapat Kamu seleksi kala analisa DOM kurang efisien.

6. Menggunakan Google Sheet

Google Sheet merupakan aplikasi website kepunyaan Google yang umumnya digunakan buat membuat spreadsheet. Hendak namun, aplikasi ini nyatanya pula dapat digunakan buat melaksanakan website scraping dengan gampang. Di samping Google Sheet, Kamu cuma membutuhkan browser yang mempunyai fitur inspect element. Sehabis itu, tinggal mengopi expression XPath dari elemen taman web yang informasinya mau Kamu salin ke dalam command IMPORTXML yang terdapat di Google Sheet.