Cách kiểm soát tương tác của Googlebot với trang web

Nhóm Quan hệ tìm kiếm của Google cung cấp thông tin chuyên sâu về việc kiểm soát các tÆ°Æ¡ng tác của Googlebot với các trang web trên podcast ‘Search Off The Record’ mới nhất.

Mối quan hệ tìm kiếm của Google đã trả lời một số câu hỏi liên quan đến việc lập chỉ mục trang web trong tập mới nhất của podcast ‘Search Off The Record’.

>> Tham khảo: Google Bard hiện có thể sử dụng vị trí chính xác của thiết bị của bạn để có kết quả địa phương phù hợp hơn.

Các chủ đề được thảo luận là cách chặn Googlebot thu thập dữ liệu các phần cụ thể của trang và cách ngăn Googlebot truy cập vào một trang web hoàn toàn.

John Mueller và Gary Illyes của Google đã trả lời các câu hỏi được kiểm tra trong bài viết này.

1. Chặn Googlebot từ các phần trang web cụ thể

Mueller cho biết điều đó là không thể khi được hỏi cách ngăn Googlebot thu thập dữ liệu các phần cụ thể của trang web, chẳng hạn như các khu vực “cũng đã mua” trên các trang sản phẩm.

“Nói ngắn gọn là bạn không thể chặn thu thập thông tin của một phần cụ thể trên trang HTML,” Mueller nói.

Ông tiếp tục đưa ra hai chiến lược tiềm năng để giải quyết vấn đề, ông nhấn mạnh, cả hai chiến lược đều không phải là giải pháp lý tưởng.

>> Tham khảo: Lập bản đồ nội dung: Ai, cái gì, ở đâu, khi nào, tại sao và như thế nào?

Mueller đã đề xuất sử dụng thuộc tính HTML data-nosnippet để ngăn văn bản xuất hiện trong đoạn mã tìm kiếm.

Ngoài ra, bạn có thể sử dụng iframe hoặc JavaScript với nguồn bị chặn bởi robots.txt, mặc dù ông cảnh báo rằng đó không phải là một ý kiến ​​hay.

Mueller cho biết: “Việc sử dụng tệp iframe hoặc tệp JavaScript được rô bốt có thể gây ra các vấn đề khó chẩn đoán và giải quyết trong quá trình thu thập dữ liệu và lập chỉ mục.

Anh ấy trấn an mọi người đang lắng nghe rằng nếu nội dung được đề cập đang được sử dụng lại trên nhiều trang thì đó không phải là vấn đề cần khắc phục.

Ông nói thêm: “Không cần phải chặn Googlebot nhìn thấy loại bản sao đó.

>> Tham khảo: Meta bắt đầu hoàn tiền cho các nhà quảng cáo vì sự cố bội chi.

2. Chặn Googlebot truy cập trang web

Để trả lời câu hỏi về việc ngăn Googlebot truy cập vào bất kỳ phần nào của trang web, Illyes đã cung cấp một giải pháp dễ thực hiện.

“Cách đơn giản nhất là robots.txt: nếu bạn thêm disallow: / cho tác nhân người dùng Googlebot, Googlebot sẽ để trang web của bạn yên miễn là bạn giữ quy tắc đó ở đó,” Illyes giải thích.

Đối với những người đang tìm kiếm một giải pháp mạnh mẽ hơn, Illyes đưa ra một phương pháp khác:

Anh ấy nói: “Nếu bạn muốn chặn ngay cả truy cập mạng, bạn cần tạo các quy tắc tường lửa để tải các dải IP của chúng tôi thành một quy tắc từ chối.

>> Tham khảo: Tương lai của SEO và tại sao nó không chết?

Xem tài liệu chính thức của Google để biết danh sách địa chỉ IP của Googlebot.

Mặc dù không thể ngăn Googlebot truy cập vào các phần cụ thể của trang HTML, nhưng các phương pháp như sử dụng thuộc tính data-nosnippet có thể cung cấp quyền kiểm soát.

Khi xem xét việc chặn hoàn toàn Googlebot khỏi trang web của bạn, một quy tắc không cho phép đơn giản trong tệp robots.txt của bạn sẽ thực hiện thủ thuật. Tuy nhiên, các biện pháp cực đoan hơn như tạo các quy tắc tường lửa cụ thể cũng có sẵn.