Tampilkan postingan dengan label crawler. Tampilkan semua postingan
Tampilkan postingan dengan label crawler. Tampilkan semua postingan

Jumat, 17 Mei 2013

Spoofing dengan PHP

Leave a Comment
spoofing dapat didefinisikan sebagai "Teknik yang digunakan untuk memperoleh akses yang tidak sah ke suatu komputer atau informasi, dimana penyerang berhubungan dengan pengguna dengan berpura-pura memalsukan bahwa mereka adalah host yang dapat dipercaya".

Namun script yang saya buat kali ini tidak untuk kejahatan, fungsinya hanya mengirimkan HTTP Request palsu atau bisa dibilang kita akan belajar menipu web server , mencrawling URL target,dan  menampilkan konten dari URL target kedalam aplikasi kita dengan sama persis.
 

Pada tutorial kali ini saya menggunakan CURL  maka dari itu jika anda ingin mencoba menjalankan script dibawah pastikan CURL telah terinstal di PHP anda

<?php
 

set_time_limit(0);

$url = 'http://www.tujuan.com';



//spoofing HTTP request dengan header dan user agent palsu
function spoofer($url)
{


//penginisiansian curl
  $curl = curl_init();


//konfigurasi header
  $header[0] = "Accept: text/xml,application/xml,application/xhtml+xml,";
  $header[0] .= "text/html;q=0.9,text/plain;q=0.8,image/png,*/*;q=0.5";
  $header[] = "Cache-Control: max-age=0";
  $header[] = "Connection: keep-alive";
  $header[] = "Keep-Alive: 300";
  $header[] = "Accept-Charset: ISO-8859-1,utf-8;q=0.7,*;q=0.7";
  $header[] = "Accept-Language: en-us,en;q=0.5";
  $header[] = "Pragma: "; 


  curl_setopt($curl, CURLOPT_URL, $url);


//memalsukan user agent dan berpura-pura sebagai googlebot
  curl_setopt($curl, CURLOPT_USERAGENT, 'Googlebot/2.1

(+http://www.google.com/bot.html)');
  curl_setopt($curl, CURLOPT_HTTPHEADER, $header);


//memalsukan referer
  curl_setopt($curl, CURLOPT_REFERER, 'http://www.google.com');


  curl_setopt($curl, CURLOPT_ENCODING, 'gzip,deflate');
  curl_setopt($curl, CURLOPT_AUTOREFERER, true);
  curl_setopt($curl, CURLOPT_RETURNTRANSFER, 1);
  curl_setopt($curl, CURLOPT_TIMEOUT, 10);

  $html = curl_exec($curl); // meneksekusi curl  curl_close($curl); // menutup koneksi
  return $html; // and finally, return $html
}

// menampilkan konten website 

$text = spoofer($url);
echo $text;
?>


Penjelasan:

set_time_limit(0) : 
fungsi ini berfungsi untuk menseting waktu maksimum ekseskusi sebuah program PHP dikhawatirkan proses ini berlangsung lama maka kita beri parameter 0 yang artinya waktu ekseskusi tak terbatas, hal ini untuk mencegah berhentinya proses disaat sedang berjalan karena kehabisan waktu ekseskusi.
Namun harus diperhatikan bahwa disebaian web hosting fungsi ini didisable untuk alasan keamanan.

 

 
Read More...

Rabu, 15 Mei 2013

Membuat Mesin pencari berbasis PHP dan MySQL dengan sphider

Leave a Comment
Pernah terbayang ,membuat search engine layaknya google,yahoo atau bing?
tapi males berpusing-pusing ria?
Memang untuk membuat suatu search engine tidaklah mudah, dikarenakan algoritma yang rumit.
Search engine sendiri dibagi menjadi beberapa bagian sebagai berikut:
  1. Crawler
  2. Indexer
  3. Search Engine
Apa itu crawler? 

crawler atau sering disebut bot,robot,atau sphider adalah sebuah mesin yang bekerja mengumpulkan informasi dari website yang ia kunjungi.
Setelah data terkumpul oleh crawler kemudian indexer bekerja menyusun data kedalam database agar mempermudah search engine dalam pengumpulan data.

Dalam proses pencarian, search engine menempuh proses information retrieval yang sangat panjang namun berlangsung dengan sangat cepat.

tapi tidak usah khawatir, sekarang telah ada banyak sekali project open source termasuk search engine
salah satunya sphider, dan ini ling downloadnya download sphider.
Selamat mencoba :)
Read More...