Robots.txt Generator
สร้าง robots.txt ของคุณด้วยภาพ เลือก User-agents, เพิ่มกฎ Allow/Disallow, ตั้งค่า Sitemap และ Crawl-delay จากนั้นคัดลอกหรือดาวน์โหลด
Robots.txt Generator คืออะไร
ไฟล์ robots.txt จะบอกโปรแกรมรวบรวมข้อมูลของเครื่องมือค้นหาว่าหน้าหรือส่วนใดของเว็บไซต์ของคุณที่สามารถเข้าถึงได้หรือไม่ เครื่องมือนี้ช่วยให้คุณสร้างไฟล์ robots.txt ที่มีรูปแบบถูกต้องผ่านอินเทอร์เฟซแบบเห็นภาพ ไม่จำเป็นต้องแก้ไขด้วยตนเอง เลือก User-agents เช่น Googlebot, Bingbot หรือ GPTBot เพิ่มกฎ Allow/Disallow สำหรับเส้นทางเฉพาะ ใส่ Sitemap URL ของคุณ และตั้งค่า Crawl-delay (ไม่บังคับ) ไฟล์จะถูกสร้างขึ้นทันทีในเบราว์เซอร์ของคุณพร้อมตัวอย่างแบบเรียลไทม์
วิธีใช้ Robots.txt Generator
- เลือก User-Agent — เลือกจากบอททั่วไป (Googlebot, Bingbot, GPTBot ฯลฯ) หรือป้อนชื่อที่กำหนดเอง
- เพิ่มกฎ — ตั้งค่าประเภทกฎ (Allow หรือ Disallow) ป้อนเส้นทาง (เช่น /admin/) แล้วคลิก Add
- ตั้งค่า Sitemap — ป้อน URL ของ sitemap ของคุณ (เช่น https://example.com/sitemap.xml)
- เปิดใช้งาน Crawl-delay — เลือกที่จะตั้งค่าความล่าช้าเป็นวินาทีระหว่างการร้องขอของโปรแกรมรวบรวมข้อมูล
- แสดงตัวอย่าง & ส่งออก — ดูไฟล์ที่สร้างขึ้นแบบเรียลไทม์ จากนั้นคัดลอกหรือดาวน์โหลด
ทำไมต้องใช้ Robots.txt Generator นี้
- ไม่มีข้อผิดพลาดทางไวยากรณ์ — เครื่องมือสร้างแบบเห็นภาพช่วยให้มั่นใจได้ถึงรูปแบบที่ถูกต้องทุกครั้ง
- บอทหลักทั้งหมด — โหลดไว้ล่วงหน้าด้วย Googlebot, Bingbot, GPTBot, ClaudeBot และอีกมากมาย
- การบล็อก AI Bot — บล็อกโปรแกรมรวบรวมข้อมูล AI เช่น GPTBot และ ChatGPT-User ได้อย่างง่ายดาย
- แสดงตัวอย่างสด — ดูการเปลี่ยนแปลงทันทีที่คุณเพิ่มหรือลบกฎ
- ส่งออกด้วยคลิกเดียว — คัดลอกไปยังคลิปบอร์ดหรือดาวน์โหลดเป็นไฟล์ robots.txt ที่พร้อมใช้งาน
- ความเป็นส่วนตัวเป็นอันดับแรก — ทุกอย่างทำงานในเบราว์เซอร์ของคุณ ไม่มีข้อมูลถูกส่งไปยังเซิร์ฟเวอร์ใดๆ
FreeToolbox เทียบกับ Robots.txt Generators อื่นๆ
| คุณสมบัติ | FreeToolbox | SEOptimer | Ryte |
|---|---|---|---|
| ทำงานบนเบราว์เซอร์ 100% | ใช่ | ไม่ใช่ (เซิร์ฟเวอร์) | ไม่ใช่ (เซิร์ฟเวอร์) |
| ค่าที่ตั้งไว้ล่วงหน้าสำหรับ AI bot | ใช่ (GPTBot, ClaudeBot) | ไม่ใช่ | ไม่ใช่ |
| User-agent ที่กำหนดเอง | ใช่ | จำกัด | ใช่ |
| แสดงตัวอย่างสด | ใช่ | ใช่ | ใช่ |
| ดาวน์โหลดไฟล์ | ใช่ | ใช่ | ใช่ |
| ไม่จำเป็นต้องมีบัญชี | ใช่ | ใช่ | ต้องสมัคร |
คำถามที่พบบ่อย
ไฟล์ robots.txt คืออะไร
ไฟล์ robots.txt คือไฟล์ข้อความธรรมดาที่อยู่ในไดเร็กทอรีรากของเว็บไซต์ของคุณ (เช่น example.com/robots.txt) ซึ่งจะบอกโปรแกรมรวบรวมข้อมูลเว็บว่า URL ใดที่ได้รับอนุญาตหรือไม่ได้รับอนุญาตให้เข้าถึง เป็นไปตามมาตรฐาน Robots Exclusion Protocol
ฉันจะบล็อกโปรแกรมรวบรวมข้อมูล AI เช่น GPTBot ได้อย่างไร
เลือก GPTBot (หรือ ChatGPT-User, ClaudeBot) จากรายการ User-Agent แบบเลื่อนลง เพิ่มกฎ Disallow สำหรับ '/' และ robots.txt ที่สร้างขึ้นจะสั่งให้บอทเหล่านั้นไม่รวบรวมข้อมูลหน้าใดๆ บนไซต์ของคุณ
ฉันจะอัปโหลดไฟล์ robots.txt ได้ที่ไหน
อัปโหลดไฟล์ robots.txt ไปยังไดเร็กทอรีรากของเว็บไซต์ของคุณเพื่อให้สามารถเข้าถึงได้ที่ https://yourdomain.com/robots.txt โฮสต์เว็บส่วนใหญ่อนุญาตให้ทำเช่นนี้ผ่าน FTP, cPanel File Manager หรือการตั้งค่า CMS ของคุณ
robots.txt รับประกันได้หรือไม่ว่าหน้าเว็บจะไม่ถูกจัดทำดัชนี
ไม่ได้ robots.txt เป็นเพียงคำสั่ง ไม่ใช่กลไกการบังคับใช้ โปรแกรมรวบรวมข้อมูลที่ทำงานอย่างถูกต้องจะเคารพ แต่บอทที่เป็นอันตรายอาจละเลย หากต้องการยกเลิกการจัดทำดัชนีอย่างสมบูรณ์ ให้ใช้ meta tag noindex หรือส่วนหัว HTTP X-Robots-Tag
Crawl-delay ทำอะไร
Crawl-delay บอกโปรแกรมรวบรวมข้อมูลให้รอตามจำนวนวินาทีที่ระบุระหว่างการร้องขอ สิ่งนี้สามารถลดโหลดของเซิร์ฟเวอร์จากโปรแกรมรวบรวมข้อมูลที่รุนแรง โปรดทราบว่า Googlebot ละเว้น Crawl-delay ใช้ Google Search Console เพื่อตั้งค่าอัตราการรวบรวมข้อมูลสำหรับ Google