คิตตี้จะพาไปรู้จักกับสิ่งที่ชื่อว่า Robots.txt ฟังชื่อแล้วเหมือนหุ่นยนต์บุกเว็บ แต่จริง ๆ แล้วมันคือ “ผู้คุมประตู” ของเว็บไซต์เรานี่แหละค่ะ!
Robots.txt คืออะไร ?
Robots.txt คือไฟล์ข้อความที่วางไว้ที่รากโดเมน (/robots.txt) เพื่อบอก web crawler ว่าหน้าใดอนุญาต (Allow) หรือไม่อนุญาต (Disallow) ให้รวบรวมข้อมูล (crawl) — ช่วยบริหารทรัพยากรเซิร์ฟเวอร์และลดข้อผิดพลาดในการรวบรวมหน้า Google for Developers
จำไว้: Robots.txt “ขอความร่วมมือ” ไม่ใช่ระบบล็อก หากต้องซ่อนข้อมูลจริงให้ใช้การยืนยันตัวตนหรือแท็ก
noindexบนหน้าแทน Google for Developers Google Help
ทำไมต้องใช้ Robots.txt ?
อ่ะ! บางคนอาจคิดว่า “แล้วชั้นจะใช้มันทำไมอะคะคิตตี้?” มาค่ะ มานั่งจิบชานมแล้วฟังเหตุผลกัน…
1. ควบคุมการคลานของ Bot
ให้ Google รู้ว่าเราต้องการให้มัน index หน้าไหนบ้าง เช่น ไม่ต้องเข้าหลังบ้าน /wp-admin/ หรือโฟลเดอร์ลับ ๆ ของเรา
2. ประหยัด Budget Bot
Google มี “งบประมาณคลาน” หรือ Crawl Budget ถ้าปล่อยให้มันคลานมั่วซั่ว อาจทำให้หน้าสำคัญถูกละเลย!
3. ป้องกันข้อมูลส่วนตัว
บางไฟล์ หรือโฟลเดอร์ที่เราไม่อยากให้ใครมาเห็น (หรือหลุด SEO โดยไม่ตั้งใจ) เราก็กันไว้ก่อนด้วยไฟล์นี้เลยค่ะ
วิธีเขียน Robots.txt แบบง่าย ๆ (พร้อมตัวอย่าง)
ก่อนอื่นเลย ไฟล์นี้ต้องวางไว้ที่รากของเว็บไซต์ เช่น: https://www.mywebsite.com/robots.txt
1. โครงสร้างเบื้องต้น:
User-agent: [ชื่อบอทหรือ * หมายถึงทุกบอท]
Disallow: [เส้นทางที่ไม่ให้เข้า]
Allow: [เส้นทางที่ให้เข้า]
2. ตัวอย่าง Robots.txt เบื้องต้น:
User-agent: *
Disallow: /wp-admin/
Allow: /wp-admin/admin-ajax.php
แปลภาษาคิตตี้:
- บอกทุกบอทว่า “ห้ามเข้าโฟลเดอร์ /wp-admin/ นะจ๊ะ”
- แต่ถ้าเป็นไฟล์ ajax ที่จำเป็นกับเว็บ ก็ให้เข้าได้จ้า
3. อีกตัวอย่างที่คนทำ SEO ชอบใช้:
User-agent: *
Disallow:
Sitemap: https://www.mywebsite.com/sitemap.xml
แปลว่า “เข้ามาได้หมดเลยจ้า ไม่ห้ามอะไรเลย และนี่จ้า sitemap ของฉัน”
วิธีสร้าง Robots.txt ด้วย WordPress
1. ใช้ Plugin (ง่ายสุด เหมาะกับสายไม่อยากแตะโค้ดเลยค่ะ)
ตัวอย่าง Plugin ยอดนิยม:
- Yoast SEO
- Rank Math
- All in One SEO Pack
สมมติคิตตี้ใช้ Yoast SEO นะคะ
วิธีสรา้ง Robots.txt ด้วย Plugin:
- เข้าหลังบ้าน WordPress > ไปที่เมนู SEO > Tools
- คลิก File Editor
- ถ้าเว็บยังไม่มี robots.txt จะมีปุ่มให้ “สร้างไฟล์” เลยค่ะ
- จากนั้นสามารถแก้ไขเนื้อหาใน robots.txt ได้ตามใจเลย~
ตัวอย่างที่คิตตี้แนะนำ:
User-agent: *
Disallow: /wp-admin/
Allow: /wp-admin/admin-ajax.php
Sitemap: https://yourdomain.com/sitemap_index.xml
อย่าลืมเปลี่ยน
yourdomain.comเป็นโดเมนของคุณเองนะคะ
2. สร้างด้วยมือ (เหมาะกับสายเทคนิคหรืออยากควบคุม 100%)
ขั้นตอนการสร้างด้วยมือ:
- เปิดโปรแกรม Text Editor (เช่น Notepad หรือ VS Code ก็ได้)
- พิมพ์คำสั่งที่ต้องการลงไป (ตามโครงสร้างที่คิตตี้แนะนำด้านบน)
- บันทึกชื่อไฟล์ว่า
robots.txt - อัปโหลดไฟล์นี้ไปที่โฟลเดอร์รากของเว็บ (Root Directory) เช่น
/public_html/
วิธีอัปโหลดทำได้ผ่าน FTP (เช่น FileZilla) หรือ File Manager ใน cPanel ของโฮสต์นะคะ
3. เขียนเองผ่าน File Manager บน Hosting
ถ้าไม่อยากลง Plugin เพิ่ม และไม่อยากใช้ FTP ก็ดังนี้ค่ะ
ขั้นตอนการสร้างด้วยFile Manager บน Hosting :
- เข้าระบบ cPanel หรือ DirectAdmin
- ไปที่ File Manager
- เปิดโฟลเดอร์ public_html
- คลิก “+ File” แล้วตั้งชื่อว่า
robots.txt - แก้ไขเนื้อหาตรงนั้นได้เลยค่ะ
อย่าหาทำนะคะ! (ข้อควรระวัง)
- อย่าใช้ Robots.txt ซ่อนข้อมูลลับ เพราะคนทั่วไปยังเปิดดูไฟล์นี้ได้จากเบราว์เซอร์!
- อย่า Disallow หน้า SEO สำคัญ เดี๋ยว Google จะไม่ index หน้าเหล่านั้น แล้วอันดับหายไม่รู้ตัวนะคะ
- Robots.txt ไม่เท่ากับ Noindex
ถ้าอยากกันไม่ให้ index ต้องใช้ noindex meta tag หรือ HTTP header เพิ่มนะคะ
อยากดู Robots.txt เว็บอื่นทำยังไง ?
ง่ายมากเลยค่ะ! แค่พิมพ์ตามนี้:
https://anwseo.com/robots.txt
ลองดูของเว็บใหญ่ ๆ เช่น:
- Google: https://www.google.com/robots.txt
- YouTube: https://www.youtube.com/robots.txt
แล้วจะเห็นว่าพวกนี้ก็ใช้เหมือนกันเลยค่า~
สรุป
Robots.txt นี่เหมือนผู้ช่วยหน้าบ้านที่คอยโบกมือให้ Google “เข้ามาเลยจ้า~” หรือ “ตรงนี้อย่าเข้านะคะ!” ถ้าใช้อย่างถูกต้อง SEO จะปลอดภัย ไต่อันดับได้ง่ายขึ้นเยอะเลยค่ะ
หวังว่าทุกคนจะสนุกและได้ความรู้แบบเพลิน ๆ นะคะ ถ้าชอบบทความนี้ อย่าลืมกดแชร์ให้กำลังใจคิตตี้ด้วยน้าาาา ถ้าอยากให้คิตตี้เขียนเรื่องอื่นเกี่ยวกับ SEO เพิ่ม ก็บอกมาได้เลยนะคะ เดี๋ยวคิตตี้จะสวมวิญญาณแม่มด SEO แล้วแปลงร่างมาเขียนให้เลยค่ะ!
