Cara Mengatasi Penggunaan Ram Tinggi Akibat Bandwith Habis dengan Memblock Visitor Bot

Cara Mengatasi Penggunaan Ram Tinggi Akibat Bandwith Habis

Jadi ceritanya saya pakai contabo, sudah di bulan ketiga gak ada problem error apapun. Bahkan baru saja saya menyimpulkan kalau contabo salah satu penyedia server yang lumayan bagus dan handal, dan yang terpenting murah.

Anehnya tanpa pemakaian apapun, server contabo saya tiba-tiba responnya lambat yang mengakibatkan blog saya sangat susah diakses bahkan sampai 504 Gateway Time Out. Sebagai penjelas bahwa blog yang saya build adalah grabb youtube.

Sampai akhirnya saya contact ke support contabo. Disini kelemahan contabo, cp nya sangat susah untuk dihubungi. Mengingat bahwa server ini berada di Eropa, dan perbandingan jam di Indo dan Eropa berbeda jauh. Akan cepat direspon jika di contact ketika jam malam Indo.

Saya bertanya apakah server down. Cp menjawab server normal dan on terus tidak pernah down. Semua perangkat merespon kecuali penggunaan ram yang over.

Saya cek melalui root ternyata benar, bahwa penggunaan ram sangat besar. Cuman menyisakan sekitar 200 mb - 100 mb saja. Dalam dunia server, sisa ram seperti ini sangat berpotensi website tidak bisa diakses.

ANEHNYA, kejadian ini baru pertama kali saya alami dan saya sendiripun tidak pernah utak-ik server untuk hal yang macam-macam.

Ram Tinggi Akibat Bandwith Habis

Ketika saya tanya dan sharing di forum di Facebook. Ada teman yang mau membantu dan menyarankan untuk melihat source trafik. Karena bisa saja trafik tinggi membuat penggunaan ram meningkat tajam. Hal ini karena bandwith yang terpakai besar-besaran dalam waktu yang bersamaan akan meningkatkan penggunaan ram.

Saya cek melalui root. Ternyata benar, dan payahnya, trafik tinggi tersebut bukan human reall, melainkan robot. Sampai sekarang saya tidak tahu apakah robot itu berasal dari search engine atau tidak. Trafik yang paling mendominasi berasal dari bot Mj12bot  dan Yandex. Untuk sekarang saya berkesimpulan awal kedua bot tersebut bukan berasal dari murni search engine, hal ini lantaran ketika saya lihat sumber refereal yang ada di histast tak satupun tertulis Yandex, hanya google, bing, baidu, dan yahoo saja. Logikanya kalau Yandex men-crawl blog saya otomatis blog saya muncul di mesin pencarian Yandex dan menghasilkan trafik, namun ternyata tidak.

Kesimpulan: Cara Mengatasi Penggunaan Ram Tinggi Akibat Bandwith Habis dengan Memblock Visitor Bot

Setelah saya block bot-bot yang tidak perlu, Alhamdulillah penggunaan ramnya kembali menurun dan bisa dibilang drastis. Ram 4 gb yang tadinya terpakai hampir 97% sekarang cuman terpakai sekitar 1 gb saja.

Informasi penggunaan ram di vps contabo saya

Berikut langkah-langkah yang saya ambil untuk mengurangi penggunaan ram yang tinggi akibat bandwith habis:

1. Memeriksa log website

Masuk ke root, dan tuliskan command: tail -f /var/log/httpd/domains/namadomainkamu.log
 atau tail -200 /var/log/httpd/domains/namadomainkamu.log
Disitu akan terlihat beberapa bot blog yang mendominasi trafik. Ini contoh nya:

Contoh tampilan hasil trafik log domain. Akan terlihat beberapa sumber trafik dari blog yang tidak berguna

Sampai disini kita sudah tahu jenis bot yang memakan banyak bandwhit kita, sekarang tinggal kita block.

2. Menambahkan kode block bot di robot.txt dan httaccess.

Masuk ke robot.txt dan tambahkan kode berikut:

User-agent: Yandex
Disallow: /
User-agent: YandexBot
Disallow: /
User-agent: MJ12bot
Disallow: /

Kalau kurang yakin, tambahkan juga di httaccess kode berikut:

SetEnvIfNoCase User-agent (yandex|baidu|foobar|Mj12bot) not-allowed=1
Order Allow,Deny
Allow from ALL
Deny from env=not-allowed

Selesai. Sekarang tinggal menunggu saja maksimal 1x24 jam. Pada kasus saya, penggunaan ram berkurang cukup signifikan karena penggunaan bandwith nya pun  berkurang drastis akibat kita memblock bot-bot yang dirasa tidak perlu.