[2023] Hướng dẫn tạo file robots TXT - Các nguyên tắc cơ bản

Hướng dẫn tạo file robots TXT sẽ giúp các bạn tạo file robots TXT một cách đơn giản và nhanh chóng nhất. Đây là một trong những bước quan trọng giúp Google nhận diện và đánh giá website của bạn. Giúp nội dung của website hiển thị trên kết quả tìm kiếm. Sau đây là Hướng dẫn tạo file robots TXT cho website nhanh chóng và đơn giản nhất đến từ WEBNOW

File robots TXT là gì?

File robots TXT có thể được hiểu là một lệnh cho phép Google thu thập những dữ liệu mà bạn mong muốn trên website của bạn. Đồng thời cũng chặn Google đọc những nội dung mà bạn không cho phép chúng đọc.

Để có thể thu thập được lượng thông tin khổng lồ đến từ hàng triệu website mỗi ngày. Google tạo ra những con robots. Chúng sẽ đến website của bạn và thu thập dữ liệu từ website. Gửi về giúp Google lập chỉ mục. Sau khi được lập chỉ mục, nội dụng website của bạn mới được hiển thị trên các công cụ tìm kiếm.

File robots TXT như là một sự cấp phép từ website của bạn đến những con Google Bot. Chúng sẽ thu thập dữ liệu từ những trang mà bạn cho phép. Index chúng. Đối với những trang mà bạn đặt lệnh cấm. Google Bot sẽ không thu thập dữ liệu cũng như không index chúng lên công cụ tìm kiếm của Google.

Nói tóm lại, file robots TXT chính là một người hướng dẫn viên trong “điểm du lịch” website của bạn. Chúng hướng dẫn Google bot những nơi được phép ghé thăm và những nơi không được bước đến.

Vì sao cần phải tạo file robots TXT cho website

Dưới đây là những lí do mà bạn nên tạo file robots TXT cho website của mình:

Website của bạn thường sẽ có một số nội dung trùng lặp. Và Google lại không đánh giá cao điều này. Vì thế file robots TXT sẽ giúp bạn ngăn chặn google bot cào phải những nội dung trùng lặp và index chúng.
Trong website của bạn sẽ có những trang mà bạn không muốn chúng hiển thị trên kết quả tìm kiếm. Robots TXT sẽ giúp bạn làm điều đó.
Giữ các trang kết quả tìm kiếm nội bộ không hiển thị trên SERP.
Giúp chỉ định vị trí của sitemap.
Tính năng Crawl-delay giúp người dùng chủ động cài đặt được thời gian quét của Google bot. Điều này sẽ giúp hạn chế được trường hợp quá tải máy chủ khi phải thu thập quá nhiều dữ liệu cùng lúc.

Hướng dẫn tạo file robots TXT cho website

Thông thường, các website WordPress sau khi được tạo sẽ có sẵn một file robots TXT đơn giản nằm bên dưới thư mục gốc. Nếu website của bạn không có. Bạn có thể đọc hướng dẫn tạo file robots TXT dưới đây:

Sử dụng plugin Yoast SEO

Đây là cách tạo file robots TXT đơn giản cho website của bạn. Để làm được điều này, bạn cần phải tải về và kích hoạt plugin Yoast SEO.

Sau khi đã cài đặt và kích hoạt Yoast Seo. Bạn vào phần SEO trên thanh công cụ quản lý website của WordPress. Chọn Tools. Sau đó chọn File Editor. Lúc này sẽ hiện ra cửa sổ cho bạn chỉnh sửa hoặc tạo file robots TXT. Sau khi chỉnh sửa theo nhu cầu, bấm “Lưu thay đổi vào robots.txt”

Sử dụng Plugin All in One SEO

Bên cạnh đó, bộ Plugin All in One SEO cũng là một công cụ tuyệt vời để tạo file robots TXT. Để tạo file robots TXT, bạn vào giao diện chính của plugin. Chọn All in One SEO => Features Manager. Sau đó nhấp Active cho mục robots.txt.

Đến đây sẽ có một cửa sổ chỉnh sửa file TXT hiện ra. Tại cửa sổ này bạn có thể tự do tạo hoặc chỉnh sửa file theo ý muốn.

Tạo và tải file robots TXT qua FTP

Đây là hướng dẫn tạo file robots TXT cho website mà không cần cài đặt plugin. Bạn có thể thiết kế file TXT thủ công trên Notepad hoặc Textedit. Sau đó đăng tải file này thông qua FTP. Cách làm này khá đơn giản và ít tốn thời gian. Tuy nhiên bạn cần tuân thủ theo một số quy tắc khi tạo file robots TXT cho website.

Một số quy tắc tạo file robots TXT

Đây là file robots TXT thông thường:

User-agent: *
Disallow: /wp-admin/
Disallow: /wp-includes/

Tuy nhiên, đối với từng website khác nhau sẽ có những yêu cầu khác nhau. Và bạn cần dựa trên những nguyên tắc dưới đây để có thể tạo một file robots TXT theo nhu cầu của bạn.

User-agent: Trường này sẽ nhập tên của bot cụ thể mà bạn muốn lệnh sau đó hướng đến.

Ví dụ:

User-agent: Bingbot
Disallow: /example-subfolder/blocked-page.html

File này chặn Bingbot truy cập vào tất cả các dữ liệu trên trang /example-subfolder/blocked-page.html.

Disallow: Lệnh chặn bot truy cập và thu thập dữ liệu.
Sau User-agent: Dấu * có ý nghĩa là quy tắc được áp dụng cho mọi loại bot Google trên website.

Ví dụ:

User-agent: *
Disallow: /wp-admin/
Disallow: /wp-includes/

File này ngăn chặn bot thu thập và index dữ liệu từ hai trang wp-admin và wp-includes.

File robots TXT cơ bản:

User-agent:
Disallow:
Allow:

FIle chặn bot thu thập dữ liệu của tất cả các nội dung trên trang web:

User-agent: *
Disallow: /

File cho phép bot thu thập tất cả dữ liệu của website:

User-agent: *
Disallow:

Để chặn bot thu thập bất kì thông tin nào có chứa miền www.example.com/example-subfolder/. :

User-agent: Googlebot
Disallow: /example-subfolder/

Cách kiểm tra file robots TXT

Để kiểm tra website của bạn đã có file robots TXT hay chưa. Bạn có thể làm theo cách sau đây.

Vào thanh tìm kiếm của Google, nhập Root Domain website của bạn và thêm /robots.txt vào cuối. Sau đó nhấn Enter.

Ví dụ: Saigonweb sẽ có Root Domain là https://sgweb.vn/. Bạn cần nhập https://sgweb.vn/robots.txt để kiểm tra file robots TXT.

Nếu trang TXT không xuất hiện nghĩa là website của bạn chưa được cài đặt file robots TXT.

Bạn cũng có thể kiểm tra file robots TXT của bất kì trang web nào không thuộc quyền sở hữu của bạn. Bây giờ bạn cũng có thể thử kiểm tra file robots TXT của trang SGWeb – WEBNOW.

Tổng kết

Trên đây là hướng dẫn tạo file robots TXT và những nguyên tắc cơ bản mà bạn cần phải biết. Nếu bạn là một trong những khách hàng đang sử dụng dịch vụ thiết kế website tại WEBNOW hoặc mua các dịch vụ về website tại đơn vị này. Đội ngũ kĩ thuật viên của chúng tôi sẽ hỗ trợ bạn làm file robots TXT cho website miễn phí.

Hiện nay, SGWeb – WEBNOW tự hào là đơn vị cung cấp các dịch vụ về website uy tín, chất lượng, có trách nhiệm và giá tốt hàng đầu thị trường. Hãy liên hệ ngay với chúng tôi khi bạn có nhu cầu thiết kế website hoặc mua tên miền, thuê hosting, cài đặt SSL,…

SGWeb – WEBNOW