Website yang ingin tampil di Google perlu dapat diakses dan dipahami oleh crawler mesin pencari. Salah satu cara mengatur akses tersebut adalah melalui robots.txt.
Cara membuat robots.txt sebenarnya cukup sederhana. Anda hanya perlu membuat file dengan nama robots.txt, menentukan aturan crawler yang diperlukan, kemudian menempatkannya di lokasi yang tepat pada website. Namun, aturan yang keliru dapat membuat crawler tidak mengakses halaman yang seharusnya tetap terbuka.
Dalam artikel ini, Anda akan mempelajari fungsi robots.txt, hal yang perlu disiapkan, cara membuatnya, contoh aturan, hingga cara memasang dan mengeceknya agar konfigurasi website tetap tepat.
Apa Fungsi Robots.txt pada Website?
Robots.txt digunakan untuk memberikan instruksi kepada crawler mengenai bagian website yang dapat diakses. Google menjelaskan bahwa file ini membantu mengatur URL mana yang boleh atau tidak boleh diminta oleh crawler.
Mengatur Akses Crawler ke Website
Ketika crawler mengunjungi website, robots.txt dapat memberikan aturan mengenai bagian tertentu yang boleh atau tidak boleh dirayapi.
Misalnya, Anda dapat menggunakan aturan Disallow untuk mencegah crawler mengakses direktori tertentu yang memang tidak perlu dirayapi. Dengan begitu, pengaturan crawling dapat dibuat lebih sesuai dengan struktur website.
Membantu Mengontrol Halaman yang Dirayapi
Tidak semua bagian website memiliki nilai yang sama untuk proses crawling. Website dengan banyak halaman, parameter URL, atau area administratif dapat membutuhkan aturan crawling yang lebih terarah.
Namun, aturan tersebut perlu dibuat dengan hati-hati. Memblokir URL melalui robots.txt tidak otomatis membuat URL tersebut hilang dari hasil pencarian Google. Google menegaskan bahwa crawling dan indexing merupakan dua proses yang berbeda.
Robots.txt Bukan Alat untuk Menghapus Halaman dari Google
Jika tujuan Anda adalah mencegah halaman muncul di hasil pencarian, robots.txt bukan solusi yang tepat. Untuk mengontrol indexing, Google merekomendasikan penggunaan metode seperti noindex atau pembatasan akses melalui autentikasi, sesuai kebutuhan.
Karena itu, sebelum menambahkan aturan ke robots.txt, pastikan terlebih dahulu tujuan yang ingin dicapai: mengatur crawling atau mencegah indexing.
Untuk memahami pengelolaan SEO website secara lebih menyeluruh, Anda dapat menghubungkan bagian ini dengan artikel Team Forta yang membahas [artikel SEO teknis yang relevan] sebagai internal link.
Sebagai referensi utama, Anda juga dapat melihat dokumentasi resmi Google tentang robots.txt untuk memahami cara Google membaca dan menggunakan file tersebut.
Apa yang Perlu Disiapkan Sebelum Membuat Robots.txt?
Sebelum membuat robots.txt, tentukan terlebih dahulu bagian website yang perlu diatur. Jangan langsung menambahkan aturan Disallow tanpa mengetahui fungsi dan tujuan setiap URL.
Tentukan Halaman yang Boleh Dirayapi
Identifikasi halaman penting yang ingin ditemukan dan dipahami oleh mesin pencari, seperti halaman layanan, produk, artikel, dan informasi bisnis.
Untuk website perusahaan atau bisnis, halaman yang berpotensi mendatangkan pengunjung dari Google sebaiknya tidak diblokir secara tidak sengaja.
Identifikasi Direktori yang Tidak Perlu Dirayapi
Selanjutnya, periksa bagian website yang memang tidak perlu diakses crawler, seperti area administrasi atau direktori tertentu yang digunakan untuk kebutuhan internal.
Jika terdapat bagian yang perlu dibatasi, Anda dapat mengaturnya menggunakan Disallow. Namun, aturan sebaiknya dibuat berdasarkan struktur website, bukan sekadar mengikuti contoh robots.txt dari website lain.
Pastikan Halaman Penting Tidak Ikut Terblokir
Periksa kembali setiap URL atau direktori sebelum memasukkannya ke dalam aturan robots.txt. Kesalahan konfigurasi dapat membuat crawler tidak mengakses halaman yang sebenarnya penting bagi website.
Jika Anda sedang mengevaluasi kondisi website secara keseluruhan, memahami cara menggunakan Google Search Console juga dapat membantu dalam memantau performa dan kondisi website di Google.
Cara Membuat Robots.txt dengan Benar
Setelah mengetahui bagian website yang perlu diatur, Anda dapat mulai membuat file robots.txt. Prosesnya cukup sederhana, tetapi setiap aturan perlu disesuaikan dengan kebutuhan website.
Buat File Bernama robots.txt
Buat file teks biasa dengan nama:
robots.txt
Pastikan penulisannya tepat dan menggunakan format teks biasa. Jangan menyimpan file dengan ekstensi tambahan seperti robots.txt.html.
Sebagai contoh, jika alamat website Anda adalah:
maka file robots.txt seharusnya dapat diakses melalui:
File tersebut perlu berada di root domain agar dapat ditemukan crawler pada alamat yang sesuai.
Tambahkan Aturan User-agent
User-agent digunakan untuk menentukan crawler yang menjadi sasaran aturan dalam robots.txt.
Contoh:
User-agent: *
Tanda * berarti aturan tersebut berlaku secara umum untuk crawler.
Misalnya:
User-agent: *
Disallow:
Konfigurasi tersebut tidak memberikan larangan crawling pada direktori tertentu.
Gunakan Allow dan Disallow Sesuai Kebutuhan
Disallow digunakan untuk memberikan instruksi agar crawler tidak merayapi path tertentu. Sementara itu, Allow dapat digunakan untuk memberikan pengecualian pada kondisi tertentu.
Contoh sederhana:
User-agent: *
Disallow: /admin/
Aturan tersebut memberikan instruksi agar crawler tidak merayapi URL yang berada di bawah direktori /admin/.
Gunakan aturan secara spesifik dan hati-hati. Hindari memasukkan terlalu banyak direktori hanya karena dianggap tidak penting tanpa memahami dampaknya terhadap crawling website.
Simpan File dalam Format Teks Biasa
Robots.txt tidak membutuhkan format khusus. Simpan file sebagai plain text dengan nama robots.txt.
Setelah file selesai dibuat, langkah berikutnya adalah mengunggahnya ke root domain website. Pastikan file dapat dibuka melalui URL:
Jika URL tersebut dapat diakses dan menampilkan isi file robots.txt, berarti file sudah berada di lokasi yang sesuai.
Contoh Robots.txt untuk Website
Setelah memahami struktur dasarnya, Anda dapat menyesuaikan isi robots.txt berdasarkan kebutuhan website.
Contoh Robots.txt Sederhana
Jika tidak ada bagian website yang perlu dibatasi, Anda dapat menggunakan konfigurasi sederhana:
User-agent: *
Disallow:
Konfigurasi ini tidak memberikan larangan crawling pada path tertentu.
Untuk website sederhana, robots.txt cukup dibuat dengan aturan yang jelas dan tidak perlu terlalu kompleks. Gunakan aturan yang memang dibutuhkan agar konfigurasi tetap mudah dipahami dan dikelola.
Contoh Memblokir Direktori Tertentu
Jika terdapat direktori yang tidak perlu dirayapi, Anda dapat menggunakan Disallow.
Contohnya:
User-agent: *
Disallow: /admin/
Disallow: /login/
Dengan aturan tersebut, crawler mendapatkan instruksi untuk tidak merayapi direktori /admin/ dan /login/.
Namun, pastikan kedua direktori tersebut memang tidak perlu dirayapi. Jangan sampai aturan yang dibuat justru memblokir halaman yang memiliki nilai bagi pengguna maupun mesin pencari.
Contoh Robots.txt dengan Sitemap
Robots.txt juga dapat digunakan untuk menunjukkan lokasi sitemap website.
Contohnya:
User-agent: *
Disallow: /admin/
Sitemap: https://www.contohwebsite.com/sitemap.xml
Baris Sitemap membantu menunjukkan lokasi sitemap kepada crawler. Gunakan URL lengkap menuju file sitemap yang benar-benar tersedia di website.
Dengan konfigurasi tersebut, robots.txt tidak hanya memberikan aturan crawling, tetapi juga mencantumkan lokasi sitemap yang dapat digunakan crawler untuk menemukan URL website.
Kesimpulan
Cara membuat robots.txt pada dasarnya cukup sederhana. Anda hanya perlu membuat file teks dengan nama robots.txt, menentukan aturan crawler menggunakan User-agent, Allow, atau Disallow, kemudian menempatkannya di root domain.
Yang paling penting bukan membuat robots.txt dengan banyak aturan, tetapi memastikan setiap aturan memiliki tujuan yang jelas. Hindari memblokir halaman penting dan selalu periksa kembali file setelah diterapkan.
Untuk website bisnis, robots.txt sebaiknya menjadi bagian dari pengelolaan SEO teknis secara menyeluruh. Jika struktur website cukup kompleks atau terdapat masalah crawling dan indexing, pemeriksaan oleh tenaga profesional dapat membantu menemukan konfigurasi yang perlu diperbaiki.
Optimalkan SEO Teknis Website Bersama Team Forta
Robots.txt hanyalah salah satu bagian dari SEO teknis. Struktur website, indexing, kualitas konten, internal linking, kecepatan halaman, dan faktor teknis lainnya juga perlu diperhatikan agar website memiliki fondasi SEO yang kuat.
Jika Anda ingin memastikan website bisnis memiliki strategi SEO yang lebih terarah, Team Forta dapat membantu melakukan analisis dan optimasi sesuai kebutuhan bisnis.
Pelajari layanan jasa SEO terbaik dari Team Forta atau hubungi admin melalui WhatsApp untuk mendiskusikan kondisi website dan kebutuhan optimasi SEO Anda.