robots.txt คืออะไร และวิธีการเขียนไฟล์ robots.txt เพื่อให้ google search engine สำหรับ SEO

เทคโนโลยีและความบันเทิง > robots.txt คืออะไร และวิธีการเขียนไฟล์ robots.txt เพื่อให้ google search engine สำหรับ SEO
06/08/2024 21:15

495

ไฟล์ robots.txt เป็นเหมือนป้ายบอกทางสำหรับบอทของเครื่องมือค้นหาอย่าง Google ว่าส่วนไหนของเว็บไซต์ที่สามารถเข้ามาดึงข้อมูล (crawl) ได้ และส่วนไหนที่ไม่ควรเข้ามา โดยไฟล์นี้จะวางไว้ที่ root directory ของเว็บไซต์ เช่น www.example.com/robots.txt [URL ที่ไม่ถูกต้องถูกนำออกแล้ว]

ทำไมต้องมีไฟล์ robots.txt?

ควบคุมการเข้าถึงของบอท: ป้องกันไม่ให้บอทเข้าไปดึงข้อมูลส่วนที่ไม่ต้องการ เช่น หน้า login, หน้า preview หรือไฟล์ที่ซ้ำกัน
เพิ่มประสิทธิภาพการค้นหา: ช่วยให้บอทโฟกัสไปที่เนื้อหาสำคัญ ทำให้ผลการค้นหาของเว็บไซต์ดีขึ้น
ป้องกันการคัดลอกเนื้อหา: ช่วยป้องกันไม่ให้เว็บไซต์อื่นๆ คัดลอกเนื้อหาของเราไป

วิธีการเขียนไฟล์ robots.txt

ไฟล์ robots.txt เป็นไฟล์ข้อความธรรมดา ใช้ภาษาอังกฤษ และมีโครงสร้างที่ค่อนข้างง่าย โดยมีคำสั่งหลักๆ ดังนี้

User-agent: ระบุบอทที่เราต้องการควบคุม เช่น Googlebot, Bingbot
Disallow: บล็อกไม่ให้บอทเข้าถึง URL ที่ระบุ
Allow: อนุญาตให้บอทเข้าถึง URL ที่ระบุ
Sitemap: ระบุตำแหน่งของไฟล์ sitemap.xml

ตัวของอย่างไฟล์ robots.txt

 User-agent: *
 Disallow: /admin/
 Disallow: /images/
 Allow: /images/products/
 Sitemap: https://www.example.com/sitemap.xml

อธิบายความหมายของโค้ดแต่ละบรรทัดกัน

ห้ามเข้าถึงโฟลเดอร์ admin ทั้งหมด (Disallow: /admin/)
ห้ามเข้าถึงโฟลเดอร์ images ทั้งหมด (Disallow: /images/)
อนุญาตให้เข้าถึงโฟลเดอร์ images/products/ (Allow: /images/products/)
ไฟล์ sitemap อยู่ที่ https://www.example.com/sitemap.xml

สิ่งที่ควรทราบเพิ่มเติมในการสร้างไฟล์ robots.txt

ไฟล์ robots.txt ไม่ได้เป็นกฎที่เข้มงวด: แม้ว่าเราจะใช้คำสั่ง Disallow แต่บอทบางตัวอาจจะยังเข้ามาได้
ไฟล์ robots.txt ไม่สามารถป้องกันการคัดลอกเนื้อหาได้ 100%: มีวิธีการอื่นๆ ที่สามารถใช้ในการป้องกันการคัดลอกเนื้อหาได้
การเปลี่ยนแปลงไฟล์ robots.txt อาจใช้เวลาในการปรับ: Google อาจใช้เวลาในการอัปเดตข้อมูลตามไฟล์ robots.txt ที่เราเปลี่ยนแปลง
มีเครื่องมือช่วยสร้างไฟล์ robots.txt: มีเครื่องมือออนไลน์มากมายที่ช่วยให้เราสร้างไฟล์ robots.txt ได้ง่ายขึ้น

ไฟล์ robots.txt เป็นเครื่องมือที่สำคัญสำหรับผู้ที่ต้องการควบคุมการเข้าถึงเว็บไซต์ของตนเอง การเขียนไฟล์ robots.txt ที่ถูกต้องจะช่วยให้เราสามารถเพิ่มประสิทธิภาพการค้นหาและปกป้องเนื้อหาของเราได้

ศึกษาคู่มืออย่างละเอียด: ก่อนที่จะเขียนไฟล์ robots.txt ควรศึกษาคู่มืออย่างละเอียดจาก Google Search Central
ทดสอบไฟล์ robots.txt: หลังจากเขียนไฟล์ robots.txt เสร็จแล้ว ควรทดสอบดูว่าบอทเข้าถึงเว็บไซต์ของเราตามที่เราต้องการหรือไม่
อัปเดตไฟล์ robots.txt เป็นประจำ: เมื่อมีการเปลี่ยนแปลงโครงสร้างของเว็บไซต์ ควรอัปเดตไฟล์ robots.txt ให้ทันสมัย