Teknologi

Cara Mencegah Pengunduhan Seluruh Situs Web Anda

Mencegah Pengunduhan Situs Web Menggunakan robots.txt

Langkah pertama adalah melarang pengunduhan program di file robots.txt Anda. Untuk melakukan ini, Anda perlu menentukan robot jahat mana yang ingin Anda larang.

Melarang program jahat di robots.txt tidak mencegah semua situs web mengunduh, karena banyak program jahat mengabaikan konten robots.txt dan melakukan apa yang ingin mereka lakukan.

Mencegah Pengunduhan Situs Web Menggunakan Pemblokiran Agen Pengguna di httpd.conf

Metode lain adalah mengecualikan agen pengguna program pengunduhan di httpd.conf.

Tambahkan setiap agen yang ingin Anda kecualikan ke httpd.conf:

^SetEnvIfNoCase User-Agent ^Httrack keep_away
SetEnvIfNoCase User-Agent ^Offline Explorer keep_away
SetEnvIfNoCase User-Agent ^psbot keep_away
SetEnvIfNoCase User-Agent ^Teleport keep_away
SetEnvIfNoCase User-Agent ^
WebEnvIfNoCase User-Agent ^WebEnvCopier keep_away
SetEnvIfNoCase User-Agent ^WebEnvCopier keep_away

Pesan Izinkan, Tolak
Izinkan dari semua
Tolak dari env=keep_away

Pemblokiran agen pengguna juga tidak mencegah pengunduhan semua situs web, karena pengguna dapat menghapus agen penggunanya atau memalsukannya agar tampak seperti Internet Explorer atau browser umum lainnya.

Mencegah Pengunduhan Situs Web Menggunakan Pemblokiran Agen Pengguna di PHP

Jika konten yang Anda coba lindungi ada dalam PHP, Anda mungkin tertarik dengan teknik pemblokiran agen pengguna yang dijelaskan dalam Tolak Spambot dan Cegah Pengambilan Email .