Cara membuat file robots.txt perlu diterapkan pada blog wordpress self hosting. Cara membuat file robots.txt di wordpress tidak sama pada pengguna di blogspot. Membuat robots.txt adalah salah satu strategi untuk meningkatkan kualitas SEO pada situs wordpress.
Membuat file robots.txt ini berguna untuk memberikan informasi rambu-rambu bagi robot google yang akan merayapi situs anda. File ini akan memberi petunjuk pada google tentang halaman yang boleh dan tidak boleh diindex.
Daftar Isi Artikel
Kenali Dulu Apa Itu File Robots.txt
Robots.txt adalah file yang memuat rambu-rambu untuk robot google search. Di dalam file ini, akan berisi tentang halaman mana yang akan di index atau tidak di index. File tersebut juga bisa menjadi pintu masuk bagi robot perayap apa saja yang diizinkan.
Setiap kali bot mesin pencari datang ke situs Anda, ia membaca file robots.txt dan mengikuti petunjuknya. Dengan menggunakan file ini, anda dapat memberitahukan bot google bagian mana dari situs anda untuk dirayapi dan bagian mana yang harus dihindari.
Baca Juga: Cara Mengamankan WordPress Dari Serangan Hacker
Namun, jika file tersebut tidak ada pada wordpress anda maka robot google akan merayapi semua halaman situs anda.
Mengapa Tidak Membiarkan Google Merayapi Semua Halaman Situs?
Robot google telah dirancang secanggih mungkin untuk merayapi dan mengindeks informasi sebanyak mungkin dari sebuah situs.
Mungkin anda pasti akan bertanya mengapa tidak membiarkan saja robot google untuk mengindeks semua halaman web kita? Bukankah semakin banyak yang dirayapi maka semakin banyak pula yang terindex oleh google?
Pertanyaan anda sama dengan pertanyaan saya pertama kali belajar ngeblog. Saya sempat gagal faham tentang penggunaan fitur robots.txt di wordpress.
Ternyata, setelah saya analisa ada beberapa hal yang secara umum kita tidak boleh membiarkan robot google untuk mengindex semua halaman postingan kita.
Alasan tersebut yaitu:
- Jika semua data di rayapi oleh robot google dan terindex, maka sama halnya kita menampakkan isi dalam rumah yang akan membuat orang jahat mengincar keselamatan anda.
Sama halnya dengan situs, jika semua data di index ke mesin pencari maka hal ini akan membuat situs kita gampang untuk di hacker. Hacker tentu akan senang mendapat informasi tentang situs kita dengan mudah hanya dari google index. - Jika robot google berlama-lama di situs kita maka hal ini akan membuat konsumsi bandwidth semakin besar pula. Imbasnya, situs kita menjadi lambat.
- Menghindari robot google berlama-lama disitus kita adalah penting.
Maksudnya begini, kita berupaya agar ketika robot google datang untuk merayapi halaman web kita, robot tersebut langsung mendapat informasi yang memang harus diindekx tanpa membiarkan robot tersebut berlama-lama merayapi halaman-halaman yang tidak penting. Dengan demikian maka google akan lebih cepat dalam mengindeks halaman website kita.
Cara Setting File Robots.txt di WordPress Self Hosting
Jika sudah mengerti fungsi dari robots.txt itu sendiri maka selanjutnya bagaimana kita dapat membuat robots.txt itu sendiri. File robots.txt sebenarnya berada di folder public_html.
Jika belum ada, maka tugas kita adalah membuat sebuah file dengan nama “robots.txt” dan menyimpannya di folder public_html tadi. File ini berisi tentang perintah yang diizinkan dan yang tidak diizinkan atau yang kita kenal dengan istilah “Allow” dan Disallow”.
Halaman yang tidak kita inginkan untuk diindex selalu berada di baris disallow dan semau yang di izinkan selalu berada dibaris allow. Berikut ini contoh penerapannya.
User-Agent: *
Allow: /?display=wide
Allow: /wp-content/uploads/
Disallow: /wp-content/plugins/
Disallow: /readme.html
Disallow: /refer/
Sitemap: https://www.padilong.com/post-sitemap.xmlPenerapan file robots.txt di wordpress sebenarnya sangat sederhana. Baris pertama biasanya berisi nama agen penguna atau user agent.
User agent adalah robot perayap yang ingin diberitahu misalnya googlebot, bingbot, dll.
User agent biasanya disimbolkan dengan tanda * yang artinya semua bot.
Baris pertama biasanya memberi nama agen pengguna. Agen pengguna atau (User-Agent) adalah nama bot pencarian yang ingin Anda ajak berkomunikasi. Misalnya, Googlebot atau Bingbot.
Anda bisa menggunakan tanda asterisk * untuk menginstruksikan semua bot.
Dari contoh kode diatas kita melihat bahwa ada beberapa halaman dan file yang tidak diizinkan untuk di indeks robot perayap.
Baca Juga: Cara Membuat Blog Gratis di WordPress.com (Panduan Lengkap Untuk Pemula)
Salah satu yang perlu diperhatikan dalam menerapkan file robots.txt di wordpress yaitu agar tidak menyembunyikan konten berkualitas rendah dengan robots.txt.
Kemudian jangan menggunakan file robots.txt Anda untuk menghentikan google mengindeks kategori, tanggal, dan halaman arsip Anda lainnya. File robot.txt hanya akam memberikan instruksi tetapi tidak akan menghentikan perayapan.
Halaman login wordpress, direktori admin, atau halaman registrasi juga tidak perlu lagi ditambahkan dalam baris disallow file ini karena telah memiliki tag nonindex yang otomatis dari wordpress.
Untuk alasan keamanan diharapkan agar menambahkan anda menambahkan file readme.html di baris disallow robots.txt. File ini sering digunakan oleh seseorang ingin mengetahui versi wordpress yang anda gunakan.
Anda juga perlu menambahkan direktori plugin wordpress untuk menghindari seseorang yang akan mengeksploitasi file-file plugin wordpress anda.
User-agent: *
Allow: /
Allow: /wp-admin/admin-ajax.php
Disallow: /cgi-bin/
Disallow: /archives/
disallow: /*?*
Disallow: *?replytocom
Disallow: /comments/feed/
Disallow: /wp-register.php
Sitemap: https://www.padilong.com/post-sitemap.xmlSilahkan anda modifikasi sesuai kebutuhan pada situs anda. Jika sudah selesai, tunggu beberapa saat dan anda ke webmaster tool untuk menguji dan mengirimkan robots.txt wordpress di google.
