Penjana Robots.txt
Bina robots.txt anda secara visual — pilih user-agent, tambah peraturan Benarkan/Larang, tetapkan Sitemap dan Crawl-delay, kemudian salin atau muat turun.
Apakah Itu Penjana Robots.txt?
Fail robots.txt memberitahu crawler enjin carian halaman atau bahagian laman web anda yang boleh atau tidak boleh diakses. Penjana ini membolehkan anda membina fail robots.txt yang diformat dengan betul melalui antara muka visual — tidak memerlukan penyuntingan manual. Pilih user-agent seperti Googlebot, Bingbot, atau GPTBot, tambah peraturan Benarkan/Larang untuk laluan tertentu, sertakan URL Sitemap anda, dan tetapkan Crawl-delay pilihan. Fail dijana serta-merta dalam pelayar web anda dengan pratonton langsung.
Cara Menggunakan Penjana Robots.txt
- Pilih User-Agent — Pilih daripada bot biasa (Googlebot, Bingbot, GPTBot, dll.) atau masukkan nama tersuai
- Tambah Peraturan — Tetapkan jenis peraturan (Benarkan atau Larang), masukkan laluan (contohnya, /admin/), dan klik Tambah
- Tetapkan Sitemap — Masukkan URL sitemap anda (contohnya, https://example.com/sitemap.xml)
- Dayakan Crawl-delay — Secara pilihan, tetapkan kelewatan dalam saat antara permintaan crawler
- Pratonton & Eksport — Lihat fail yang dijana dalam masa nyata, kemudian salin atau muat turunnya
Mengapa Menggunakan Penjana Robots.txt Ini?
- Tiada Ralat Sintaks — Pembina visual memastikan pemformatan yang betul setiap masa
- Semua Bot Utama — Pramuat dengan Googlebot, Bingbot, GPTBot, ClaudeBot, dan banyak lagi
- Sekatan Bot AI — Sekat crawler AI seperti GPTBot dan ChatGPT-User dengan mudah
- Pratonton Langsung — Lihat perubahan serta-merta semasa anda menambah atau membuang peraturan
- Eksport Satu Klik — Salin ke papan klip atau muat turun sebagai fail robots.txt yang sedia untuk digunakan
- Keutamaan Privasi — Semuanya berjalan dalam pelayar web anda. Tiada data dihantar ke mana-mana pelayan
FreeToolbox vs Penjana Robots.txt Lain
| Ciri | FreeToolbox | SEOptimer | Ryte |
|---|---|---|---|
| Berasaskan Pelayar Web | Ya | Tidak (pelayan) | Tidak (pelayan) |
| Praset bot AI | Ya (GPTBot, ClaudeBot) | Tidak | Tidak |
| User-agent tersuai | Ya | Terhad | Ya |
| Pratonton langsung | Ya | Ya | Ya |
| Muat turun fail | Ya | Ya | Ya |
| Tidak memerlukan akaun | Ya | Ya | Memerlukan pendaftaran |
Soalan lazim
Apakah itu fail robots.txt?
Fail robots.txt ialah fail teks biasa yang diletakkan di akar laman web anda (contohnya, example.com/robots.txt) yang memberitahu crawler web URL yang dibenarkan atau tidak dibenarkan untuk diakses. Ia mengikut piawaian Protokol Pengecualian Robot.
Bagaimana cara saya menyekat crawler AI seperti GPTBot?
Pilih GPTBot (atau ChatGPT-User, ClaudeBot) daripada lungsur turun User-Agent, tambah peraturan Larang untuk '/', dan robots.txt yang dijana akan mengarahkan bot tersebut untuk tidak merangkak mana-mana halaman di laman web anda.
Di mana saya memuat naik fail robots.txt?
Muat naik fail robots.txt ke direktori akar laman web anda supaya ia boleh diakses di https://yourdomain.com/robots.txt. Kebanyakan hos web membenarkan ini melalui FTP, Pengurus Fail cPanel, atau tetapan CMS anda.
Adakah robots.txt menjamin halaman tidak akan diindeks?
Tidak. Robots.txt ialah arahan, bukan mekanisme penguatkuasaan. Crawler yang berkelakuan baik menghormatinya, tetapi bot berniat jahat mungkin mengabaikannya. Untuk penyahindeksan terjamin, gunakan teg meta noindex atau pengepala HTTP X-Robots-Tag.
Apakah yang dilakukan oleh Crawl-delay?
Crawl-delay memberitahu crawler untuk menunggu bilangan saat yang ditentukan antara permintaan. Ini boleh mengurangkan beban pelayan daripada crawler agresif. Ambil perhatian bahawa Googlebot mengabaikan Crawl-delay — gunakan Google Search Console untuk menetapkan kadar merangkak untuk Google.