Tệp Robots.txt cho các công cụ tìm kiếm biết cách thu thập dữ liệu trang web của bạn, làm cho nó trở thành một công cụ SEO cực kỳ mạnh mẽ. Trong bài viết này, chúng tôi sẽ chỉ cho bạn cách tạo một tệp robot.txt hoàn hảo cho SEO.
Robots.txt là gì?
Danh mục bài viết
Robots.txt là một tệp văn bản mà chủ sở hữu trang web có thể tạo để báo cho bot công cụ tìm kiếm cách thu thập dữ liệu và lập chỉ mục các trang trên trang web của họ.
Nó thường được lưu trữ trong thư mục gốc còn được gọi là thư mục chính của trang web của bạn. Định dạng cơ bản cho tệp robot.txt trông như thế này:
User-agent: [user-agent name] Disallow: [URL string not to be crawled] User-agent: [user-agent name] Allow: [URL string to be crawled] Sitemap: [URL of your XML Sitemap]Bạn có thể có nhiều dòng hướng dẫn để cho phép hoặc không cho phép các URL cụ thể và thêm nhiều sơ đồ trang web. Nếu bạn không cho phép URL, thì các bot công cụ tìm kiếm cho rằng chúng được phép thu thập dữ liệu.
Đây là những gì một tệp ví dụ robot.txt có thể trông như sau:
User-Agent: * Allow: /wp-content/uploads/ Disallow: /wp-content/plugins/ Disallow: /wp-admin/ Sitemap: https://example.com/sitemap_index.xmlTrong ví dụ robot.txt ở trên, mình đã cho phép các công cụ tìm kiếm thu thập dữ liệu và lập chỉ mục các tệp trong thư mục tải lên WordPress của chúng tôi.
Sau đó, mình đã không cho phép các bot tìm kiếm thu thập dữ liệu và lập chỉ mục các plugin và thư mục quản trị WordPress.
Cuối cùng, mình đã cung cấp URL của sơ đồ trang web XML của chúng tôi.
Tạo file Robots.txt File trong WordPress
Đây là 2 cách để tạo một tệp robots.txt trong WordPress. Bạn có thể chọn cách nào phù hợp nhất với bạn:
Cách 1: Sử dụng Yoast SEO để chỉnh sửa tệp Robots.txt
Nếu bạn đang sử dụng plugin Yoast SEO, thì nó đi kèm với trình tạo tệp robots.txt.
Bạn có thể sử dụng nó để tạo và chỉnh sửa tệp robot.txt trực tiếp từ khu vực quản trị viên WordPress của bạn.
Chỉ cần truy cập SEO »Trang công cụ trong quản trị viên WordPress của bạn và nhấp vào liên kết Trình chỉnh sửa tệp.
Ở trang kế tiếp, Yoast SEO sẽ hiển thị các tệp robots.txt đã có.
Nếu bạn chưa có tệp robots.txt, Yoast SEO sẽ tạo 1 tệp robots.txt cho bạn.
Theo mặc định, trình tạo tệp Yo.txt SEO Yoast sẽ thêm các quy tắc sau vào tệp robot.txt của bạn:
User-agent: * Disallow: /Điều quan trọng là bạn xóa văn bản này vì nó chặn tất cả các công cụ tìm kiếm thu thập dữ liệu trang web của bạn.
Sau khi xóa văn bản mặc định, bạn có thể tiếp tục và thêm quy tắc robot.txt của riêng mình. Chúng tôi khuyên bạn nên sử dụng định dạng robot.txt lý tưởng mà chúng tôi đã chia sẻ ở trên.
Khi bạn đã hoàn tất, don Patrick quên nhấp vào nút ‘Lưu tệp tệp robots.txt’ để lưu các thay đổi của bạn.
Cách 2: Chỉnh sửa tệp Robots.txt bằng cách sử dụng FTP
Đối với phương pháp này, bạn sẽ cần sử dụng ứng dụng FTP để chỉnh sửa tệp robot.txt.
Chỉ cần kết nối với tài khoản lưu trữ WordPress của bạn bằng ứng dụng FTP.
Khi đã vào trong, bạn sẽ có thể thấy tệp robot.txt trong thư mục gốc của trang web của bạn.
Nếu bạn không tìm thấy, thì có khả năng bạn không có tập tin robot.txt. Trong trường hợp đó, bạn có thể tiếp tục và tạo một cái.
Robots.txt là một tệp văn bản đơn giản, có nghĩa là bạn có thể tải nó xuống máy tính của mình và chỉnh sửa nó bằng bất kỳ trình soạn thảo văn bản đơn giản nào như Notepad hoặc TextEdit.
Sau khi lưu các thay đổi của bạn, bạn có thể tải nó trở lại thư mục gốc của trang web của bạn.
Kết luận
Mục tiêu tối ưu hóa tệp robot.txt của bạn là để ngăn các công cụ tìm kiếm thu thập dữ liệu các trang không có sẵn công khai. Ví dụ: các trang trong thư mục wp-plugins hoặc các trang trong thư mục quản trị WordPress của bạn.
Mình khuyên các bạn nên làm định dạng robots.txt trên trang web của bạn.Mình hy vọng bài viết này đã giúp bạn tìm hiểu cách tối ưu hóa tệp robot.txt của WordPress cho SEO. Bạn cũng có thể muốn xem hướng dẫn SEO WordPress cuối cùng của chúng tôi và các công cụ SEO WordPress tốt nhất để phát triển trang web của bạn.
