Software Menyalin Website, Saya Membacanya Offline

March 3, 2007 by maseko

Ketika menemukan website yang halaman-halamannya menarik untuk untuk dibaca tetapi di sisi lain terlalu lama untuk ditelusuri ketika online, biasanya saya memutuskan untuk menyalin isi website tersebut untuk kemudian dibaca offline kala sempat. Untuk menyalin satu per satu halamannya akan sangat merepotkan baik ketika menyimpannya maupun membacanya. Jadi untut keperluan tersebut saya menggunakan software penyalin website (website copier). Alasan lainnya, halaman-halaman website yang disimpan dapat dibaca berulangkali tanpa mengakses internet kembali dan dalam penelusurannya mengikuti website aslinya.

Pertama kenal software yang dapat digunakan untuk menyalin website adalah GNU Wget. Waktu itu diberitahu teman di warnet karena melihat kerepotan saya dalam menyimpan halaman web yang saya kunjungi, padahal masih dalam satu website. Dan saya kebetulan diberi kesempatan mengakses melalui server warnet tersebut. Perintah wget masih sering saya pergunakan ketika menggunakan jasa hosting, walaupun sebatas menyalin file untuk disimpan di server hosting, agar mudah saya ambil kemudian karena saya belum memiliki PC sendiri.

Waktu berlalu, dan ketika kembali berhubungan dengan internet, hampir seharian saya adalah pengguna Windows. Mencoba beberapa software, sampai akhirnya saya memilih HTTrack sampai dengan saat ini. Entah berapa website yang sudah saya salin dengan HTTrack untuk kemudian saya baca di PC rumah. Berbagai konfigurasi seperti kedalaman direktori bawah, penanganan link keluar, tipe file yang akan didownload dan banyak setting lainnya termasuk apakah akan melewati aturan robots.txt atau tidak, dapat diatur di HTTrack.

Pengalaman buruk dengan penyalin website tapi belum menggunakan HTTrack (saya lupa namanya), dulu saya berniat menyalin beberapa halaman website yang menyediakan ringtone-ringtone, dan ternyata saya tertidur, otomatis sampai pagi hampir seluruh isi website termasuk ringtone-ringtone .mid tersimpan dalam hardisk. Padahal waktu itu akses menggunakan telkomnet instan. Dari pada sayang, kemudian saya taruh di web intranet. Pengalaman buruk kedua adalah beberapa waktu yang lalu, ketika menyalin website dan saya tinggalkan begitu saja prosesnya karena menggunakan fasilitas internet kantor, ternyata ketika pagi saya lihat hasilnya hampir satu gigabyte, padahal saya perkirakan tidak sampai sebegitu besarnya. Ternyata, website tersebut menggenerate nama halaman websitenya secara dinamis, jadi file index.html ada ratusan dengan berbagai tambahan seperti index3444.html dan sejenisnya, begitu juga dengan halaman lainnya.

Bagaimana kepatutan menyalin website? Saya pikir cara kerjanya seperti search engine yang sedang mengindeks suatu website. Jadi sepanjang mentaati aturan pada robots.txt atau melalui tag meta serta dengan tidak mengganti identitas software penyalin yang digunakan dengan nama browser yang memang diperkenankan misalnya, saya pikir tidak ada masalah. Karena tanpa batasan pemilik website melalui file robots.txt tadi, berarti pemilik website membolehkannya.

Category Posted in Internet, Software

Tulisan lain yang mungkin terkait dengan tulisan di atas:

30 Responses to “Software Menyalin Website, Saya Membacanya Offline”

Biho said on March 3, 2007, 9:43 am:

wadoh jebol tuh pulsa telpon ;)

kunderemp said on March 3, 2007, 9:56 am:

httrack, menyalin 17tahun.com, nyaris 1 CD..
Beberapa bulan kemudian, situsnya udah gak ada..

Masim "Vavai" Sugianto said on March 3, 2007, 10:35 am:

Ada beberapa website yang memasang jebakan pada penyalinan otomatis ini, dengan cara memanggil link lain yang kemudian memanggil link si pemanggil (bingung khan… :-P).

Ada juga website yang mencantumkan Disclaimer, tidak boleh disalin menggunakan software macam HTTrack, Teleport atau software sejenis lainnya. Alasannya, memonopoli bandwidth ke situs yang bersangkutan bo. Buat mas Romi SW, Sepertinya IKC perlu pelindung seperti ini. Karena, banyak yang malas download ISO tapi menggunakan akses penyalinan seperti ini.

Masim "Vavai" Sugianto said on March 3, 2007, 10:37 am:

#Kunderemp
Hihihi… pantesan 17tahun.com langsung kolaps, karena disedot sama Kunderemp ya :-))

ndra said on March 3, 2007, 1:53 pm:

kalo di print ke pdf gimana ya? bermasalah jugakah? Selama ini saya pake itu buat ngesave halaman web

jalansutera said on March 3, 2007, 1:54 pm:

wah, benwidth pemilik situs itu bisa jebol dong kalo dalam sehari saja sudah kesedot 1 giga. kalo 10 orang melakukan hall yang sama, wah…

kalo mau, sedot tuh ezinearticles.com. setelah itu cari software find-and-replace kode adsense. habis itu diupload lagi ke server sendiri. jadilah sebuah ezine tanpa perlu menulis.

moral cerita: sebuah software ibarat pedang bermata dua. bisa dipake untuk hal yang positif, bisa juga untuk hal yang super negatif. bukan begitu, mas?

maseko said on March 3, 2007, 5:12 pm:

#1
Betul, biasanya jatah 1 jam per hari, waktu itu berjam-jam. :)

#2
Besar juga ya? Apa satu halaman tersimpan jadi beberapa file juga?

#3
Tahu nggak Mas, cara bikin jebakan seperti itu? Betul, saya bingung tentang “memanggil link si pemanggil ”

#5
Kalau hanya satu atau beberapa halaman web saja, saya lebih suka menyimpan sebagai pdf, jadi cuma satu file aja. Menurut saya tidak ada masalah.

#6
Setuju mas Puji masalah pedang bermata duanya.

yudiwbs said on March 3, 2007, 9:41 pm:

Walaupun tidak ada robots.txt (atau ada tapi memang tidak ada larangan), tetap ada etikanya untuk meng-crawl sebuah site. Salah satunya adalah delay antar request untuk satu server. Terlalu pendek waktunya dapat dianggap serang DOS (denial of service), lagipula kasihan orang lain ‘kan?

kunderemp said on March 4, 2007, 1:38 am:

#4 Mas Vavai,
Nggak lah.. kan saat download aku set supaya unduhnya hanya satu per satu, tidak sekaligus banyak. Masak makan bandwith sih? Gak kan…

Kematian 17tahun.com banyak faktor, dari kebijakan mereka yang memasang javascript dan hanya enak diakses dengan IE, dan itupun refresh-nya mengganggu plus jumlah tulisan masuk sebelum masa tewasnya sangat sedikit dan itupun kebanyakan bertemakan gay yang *tebakanku sih.. tidak banyak penggemarnya.. tapi aku belum melakukan survey*

#7 maseko:
maksudnya tersimpan beberapa file bagaimana? Ada duplikasi file html-nya? Tidak ada..

Tapi satu halaman ceritanya memang terbagi file html dan javascript. Kalau tidak salah ingat, file cerita sesungguhnya dalam keadaan terenkripsi di file .js. Mesti ngecek lagi.

#10

akbar said on March 5, 2007, 9:59 am:

ass, mas eko apa software ini lebih baik ketimbang software teleport pro, dimanakah bedanya? terimakasih sebelumnya
wass.

#11

akbar said on March 5, 2007, 10:07 am:

oh ya satu lagi lupa, apakah maseko.com boleh dan bisa juga disedot? jika tidak bisa apakah saya boleh minta dikirimi semua artikel-artikel yang ada disini oleh mas eko? trmksh

#12

maseko said on March 5, 2007, 10:41 am:

#10
Dulu saya juga pernah mencoba Teleport Pro, tapi secara fitur saya lupa dan tidak bisa membandingkan dengan HTTrack. Tapi alasan yang kuta bagi saya HTTrack merupakan produk yang sifatnya free dan memang gratis.

#11
Silahkan saja, semoga berguna.

#13

gnine said on March 5, 2007, 11:15 am:

Maseko nih ada beberpa link ttg wget yg bisa buat mirirong situs. Me juga dulu sempet pake httrack, ta[pi pasa dah kenal wget lebih dekat, koq rasanya lebih asik ya… hehehehe
Ini linknya:
1. http://www.cyberciti.biz/tips/linux-wget-your-ultimate-command-line-downloader.html
2. http://www.lifehacker.com/software/top/geek-to-live–mastering-wget-161202.php
3. http://lifehacker.com/software/download-managers/geek-to-live–wget-local-copies-of-your-online-research-delicious-digg-or-google-notebook-200360.php

Semoga maseko bisa bikin tutor wget dg bahasa indonesia hehehehe…

#14

maseko said on March 5, 2007, 12:22 pm:

Terima kasih mas buat linknya. Memang saya banyak yang lupa tentang wget. Sapa tahu nantinya banyak menggunakan linux.
Tutorial? Sepertinya Mas Eko (gnine) lebih kompeten deh, tapi semoga saja saya bisa berbagi cerita juga.. :)

Btw, ngisi URL blog-nya salah, sampai sempat kaget, kok Gnine jadi ngilang..

#15

frento said on March 6, 2007, 3:55 pm:

Yup… gw kenal wget ampe sekarang tetap wget…
Alasannya karena size programnya kecil…
httrack blom pernah nyobain sih… tapi kalau GUI berarti cukup besar juga kan dan pernah pakai web offline [kalau gak salah nama programnya].. tetap back to wget.

cerita 17tahun… pernah sukses ambil ribuan cerita… hanya mo ulang lagi lupa rumusnya :D
sudahlah… gak boleh diambil sama gue kali kalau yang kayak gituan :p

wget… kecil tapi powerfull!

#16

blass said on March 9, 2007, 11:14 am:

hehehe.. yg udah nyedot 17thn. bagi dong.. buat nostalgia….

#17

Madsyair said on March 14, 2007, 6:02 pm:

Slam kenal 4 all. Kalo buat bikin arsip group di yahoo,bisa pake HTTrack? Kalo pake wget,caranya bgmana,mas? Trima kasih

#18

maseko said on March 14, 2007, 6:43 pm:

Sepengetahuan saya, sepanjang arsip grup tersebut dapat dilihat tanpa perlu login, HTTrack bisa digunakan.

Untuk penggunaan wget, salah satu tutorialnya bisa lihat di alamat ini
http://www.jim.roberts.net/articles/wget.html

#19

Madsyair said on March 15, 2007, 6:02 am:

Trima kasih,mas.Saya coba nanti,kalo sempat ke warnet. Kemarin jalan-jalan,dapat pesan dari mbah gugel,link ke tulisannya mas steven di majalah masterweb yg sudah almarhum, brjudul raja download. http://www.master.web.id/mwmag/issue/04/content/hack-wget/hack-wget.html

#20

maseko said on March 15, 2007, 8:24 am:

Terima kasih juga atas referensinya yang bagus.

#21

irwan said on April 5, 2007, 9:27 pm:

wah kebetulan lagi ada tugas TA nih bikin website offline gtu, mohon refernsiya kepada kaka2 sekalian trims.

#22

lewank said on April 21, 2007, 7:25 am:

Dari program2 diatas.. ada ga yang bisa mengunduh image ato file yang ternyata link ke address(website) lain.
trims.

#23

irwanbee said on December 6, 2007, 1:24 pm:

halo,.. saya irwan
hanya mau sharing aja temen2,..
kalo aku ,.. tuk copy website pakai produknya metaproduk.
namanya OFFLINE BROWSER.
setelah banyak mencoba software sejenis, aku rasa ini program adalah yang paling mantab.
mungkin kalo ada temen2 yang mau info lebih lanjut,..
aku pernah melihat artikel dan tempat donlotnya disini
http://reviewssoftware.blogspot.com/2007/11/offline-explorer-enterprise.html

semoga ada manfaat buat rekan2 semua

#24

azis said on August 2, 2008, 7:57 am:

mas, saya sudah mencoba mendownload HTtreck tetapi setiap akan saya buka, muncul pesan bahwa software tersebut penuh dengan virus, apakah ada pengaruhnya kalau saya nekat untuk menginstallnya, apabila sudah saya scan pakai anti virus apakah sudah aman untuk digunakan, terima kasih

#25

maseko said on August 2, 2008, 9:57 am:

#24
Dari yang pernah saya install dan coba, sepertinya tidak ada masalah, dan belum pernah mendengar berita jika HTtrack mengandung virus atau spyware. Antivirus yang mendeteksi apa?

#26

hening said on August 3, 2008, 2:18 pm:

mas boleh kasih tau ga’ cara menggunakan httreck, atau kalo ada tutorialnya tapi yang bahasa indonesia

#27

delta said on September 27, 2008, 11:39 am:

thank infonya

#28

I'm not said on October 21, 2008, 3:42 pm:

Apakah komentar saya di tulisan lama Mas Eko ini tetap dihiraukan? (Kalau bisa, hapus saja Mas. Saya lagi iseng kok.)

#29

agoes said on June 4, 2009, 2:10 am:

mas saya udah coba programnya kok gagal terus kirim ke email saya dong tutorialnya yang bahasa indonesia saya lagi soft kopy untuk tugas kuliah terima kasih