สร้างไฟล์ robots.txt สำหรับเว็บไซต์
เลือกว่าให้บอทตัวไหนเก็บข้อมูลเว็บได้ ปิดโฟลเดอร์ที่ไม่ต้องการ บล็อกบอท AI และใส่ลิงก์ Sitemap
เกี่ยวกับสร้าง robots.txt
เลือกค่าที่ต้องการ แล้วคัดลอกหรือดาวน์โหลดไฟล์ robots.txt ไปวางที่โฟลเดอร์หลักของเว็บ (เช่น https://example.com/robots.txt) ใส่เส้นทางที่ไม่ต้องการให้เก็บข้อมูลทีละบรรทัด เช่น /admin/ หรือ /search
robots.txt เป็นคำขอความร่วมมือ บอทที่ดีจะทำตาม แต่ไม่ใช่การป้องกันความปลอดภัย หน้าที่เป็นความลับต้องใส่รหัสผ่าน ถ้าไม่อยากให้หน้าหนึ่งขึ้นใน Google ให้ใช้แท็ก noindex แทน
คำถามที่พบบ่อย
บล็อก AI ไม่ให้เอาเนื้อหาไปเทรนได้ไหม
ติ๊ก “บล็อกบอท AI” จะใส่ GPTBot, ClaudeBot, Google-Extended, CCBot ฯลฯ บริษัทหลักเหล่านี้ประกาศว่าทำตาม robots.txt
เครื่องมืออื่นในหมวดนี้
ค้นหาข้อมูล IP เช็ค IPv6 เช็ค SSL เช็ค HTTP Header เช็ค SEO หน้าเว็บ เช็คโครงสร้างหัวข้อ H1–H6 ตรวจอีเมล สร้าง llms.txt สร้างลิงก์ UTM สร้าง Meta Tag