Apa itu Robots.txt?
Robots.txt adalah file teks sederhana yang ditempatkan di direktori root website untuk memberi instruksi kepada crawler mesin pencari (seperti Googlebot) halaman mana yang boleh dan tidak boleh diakses.
File ini penting untuk mengatur crawl budget — jatah kunjungan crawler ke website Anda — agar diarahkan ke halaman yang benar-benar penting, bukan ke halaman admin, hasil pencarian internal, atau halaman duplikat.
Cara Menggunakan Generator Robots.txt Ini
- Masukkan URL website Anda
- Pilih preset: Izinkan Semua, WordPress, atau Kustom
- Tambah/hapus path yang ingin diblokir sesuai kebutuhan
- Aktifkan opsi Sitemap agar baris Sitemap otomatis ditambahkan
- Salin atau unduh file robots.txt, lalu unggah ke direktori root website Anda
Contoh Kesalahan Umum Robots.txt
- Memblokir seluruh website secara tidak sengaja dengan
Disallow: / - Lupa menyertakan baris Sitemap sehingga crawler lebih lambat menemukan halaman baru
- Memblokir file CSS/JS penting sehingga Google tidak bisa merender halaman dengan benar
Butuh Audit SEO Teknis Menyeluruh?
Robots.txt hanya salah satu bagian dari SEO teknis. Jika Anda ingin memastikan seluruh struktur website sudah optimal untuk merayapan Google, tim Jasa SEO Google & AI Azolatekno siap melakukan audit menyeluruh untuk website Anda.