John Mueller của Google cảnh báo rằng các trang bị chặn bởi robots.txt vẫn có thể được lập chỉ mục nếu có liên kết trỏ đến chúng.
Điều này có thể trở thành một vấn đề vì khi đó Google sẽ thấy các trang này không có nội dung do bị chặn thu thập thông tin.
>> Tham khảo: Cách để nội dung mới được lập chỉ mục nhanh chóng.
Mueller cho biết nếu bạn có nội dung trên trang web của mình mà bạn không muốn Google xem, cách hành động tốt nhất là sử dụng thẻ meta ngăn lập chỉ mục.
Chủ đề này đã xuất hiện trong một hangout Trung tâm quản trị trang web gần đây khi chủ sở hữu trang web hỏi liệu nó có đủ để “không cho phép” các trang không cần thiết để lập chỉ mục hay không.
Câu trả lời đầy đủ của Mueller được ghi lại bên dưới:
“Một điều có thể cần lưu ý ở đây là nếu các trang này bị chặn bởi robots.txt, thì về mặt lý thuyết có thể xảy ra trường hợp ai đó liên kết ngẫu nhiên đến một trong những trang này.
Và nếu họ làm như vậy thì có thể xảy ra trường hợp chúng tôi lập chỉ mục URL này mà không có bất kỳ nội dung nào vì URL bị chặn bởi robots.txt. Vì vậy, chúng tôi sẽ không biết rằng bạn không muốn các trang này thực sự được lập chỉ mục.
>> Tham khảo: Trang của TikTok cho thấy lý do tại sao một video được đề xuất.
Trong khi đó, nếu chúng không bị chặn bởi robots.txt, bạn có thể đặt thẻ meta ngăn lập chỉ mục trên các trang đó. Và nếu bất kỳ ai tình cờ liên kết với chúng và chúng tôi tình cờ thu thập dữ liệu liên kết đó và nghĩ rằng “có thể có điều gì đó hữu ích ở đây” thì chúng tôi sẽ biết rằng những trang này không cần được lập chỉ mục và chúng tôi có thể hoàn toàn bỏ qua việc lập chỉ mục cho chúng.
Vì vậy, về vấn đề đó, nếu bạn có bất kỳ thứ gì trên các trang này mà bạn không muốn lập chỉ mục thì đừng không cho phép chúng, thay vào đó hãy sử dụng noindex.”
