Khắc phục lỗi “Googlebot cannot access CSS and JS files” trong Search Console

Một ngày đẹp trời bạn có thể bắt gặp cảnh báo “Googlebot cannot access CSS and JS files”, Google dịch tiếng Việt nó có nghĩa là “Googlebot không có quyền truy cập các tập tin CSS và JS” trong Google Search Console (Webmasters).
Đối với WordPress, có thể một số dòng bạn sử dụng trong robots.txt nhằm cấm quyền Gbot truy cập là nguyên nhân chính gây ra “lỗi” này. Rất đơn giản thôi, mời bạn xem bài này để giải quyết.

Google có muốn xem các tập tin CSS và JS của site bạn không?

Trước đây bạn chặn 2 loại tập tin thoải mái, xưa mình cũng làm vậy, thậm chí chặnnhiều hơn nữa, chủ yếu phục vụ các công việc “black SEO” của mình :D. Vài năm trở lại đây Google đòi xem chúng bằng được, tại sao??
CSS và JS là 2 tập tin quan trọng giúp căn chỉnh bố cục, trang trí giao diện website. Google muốn truy cập để dựa vào chúng mà có thêm yếu tố đánh giá chính xác mức độ thân thiện với người dùng của website bạn. Bình thường, Google mặc nhiên được phép truy cập các tập tin CSS và JS có trong site, vậy nếu bị cảnh báo tức là bạn đã làm gì đó cấm Googlebot truy cập rồi.

Cách để bạn phát hiện ra website đang block Googlebot truy cập vào các tập tin CSS, JS

Có 4 kiểu thông báo để bạn có thể nhận ra các cảnh báo:

1. Sử dụng Fetch as Google (tìm nạp như Google)
tìm nạp như Google

Bạn vào Search Console thử fetch một url nào đó và chọn chế độ “tìm nạp và hiển thị”. Sau khi fetch xong, bạn click vào link và xem các thành phần Google hiển thị, tài nguyên nào chặn Googlebot sẽ được thông báo.

fetch as Google

2. Xem “Tài nguyên bị chặn”

Trong phần “Chỉ mục của Google”, bạn tìm đến “tài nguyên bị chặn” và kiểm tra tình trạng website, bot bị chặn bởi những tài nguyên nào, ở url nào sẽ được liệt kê cụ thể ở đây.

3. Kiểm tra trong sitemap

Bạn cũng có thể xem các lỗi xảy ra trong khi Googlebot index các tập tin sitemap của site. Vào phần sitemap, các thành phần lỗi sẽ được báo, bạn click vào để xem.

4. Ngoài ra bạn cũng có thể được cảnh báo dưới dạng tin nhắn từ Google

Check hộp thư trong Search Console hằng ngày để phát hiện các lỗi phát sinh trong đó có cả việc Googlebot báo bị hạn chế quyền truy cập.

Nguyên nhân thường gặp khiến Googlebot bị block và cách khắc phục

1. Chặn Gbot từ file robots.txt

Một số website có file robots.txt bao gồm nhiều đường dẫn được liệt kê nhằm cấm Gbot truy cập vào các tập tin không cần thiết, hoặc quản trị viên không muốn Google crawl.

robots.txt

Những đường dẫn này có chứa các tập tin CSS và JS. Vì vậy khi disallow chúng, bạn vô tình cấm luôn Googlebot truy cập vào các tập tin CSS và JS có trong đó, nhất là thư mục wp-includes, plugin trong WordPress.

Cách khắc phục là bỏ disallow các dòng đó để bot có thể truy cập trở lại bình thường. Kinh nghiệm của mình thì bạn bỏ nó ra cũng không ảnh hưởng gì cả. File robots.txt của mình thường chỉ có hai dòng:

User-agent: *

Disallow: /wp-admin

Đối với website bình thường và hoạt động ổn định, bạn chỉ cần khai báo thế là đủ.

BONUS – xử lý một vài vấn đề liên quan tới Google bot bị cấm truy cập:

2. Googlebot bị chặn bởi các máy chủ proxy

Đôi khi các máy chủ DNS lại là nguyên nhân khiến robots của Google gặp vấn đề trong việc truy cập. Nguyên nhân của lỗi này mình cũng không rõ lắm.

Cách khắc phục: nếu bạn đang sử dụng một dịch vụ DNS trung gian như Cloudflare thì chú ý các cấu hình và theo dõi thường xuyên để phát hiện và xử lý.

3. Meta noindex

Khi cài đặt WordPress hoặc trong quá trình sử dụng website có cài đặt thêm một số Plugin, trong lúc cấu hình cài đặt và sử dụng hai công đoạn này bạn có thể vô tình tích chọn hoặc đồng ý để mã nguồn WordPress hay các Plugin disable bot của Google không cho index site. Cũng có thể bạn cố ý noindex một vài thành phần nhưng sơ suất để “lan rộng” sang những khu vực vốn dĩ cần được phổ biến.

Cách khắc phục: Làm cẩn thận các bước, đọc kỹ những hướng dẫn khi cài đặt và cấu hình. View source website lên tìm xem có thành phần trong website bị gắn thẻ “noindex” hay không, nếu có thì bỏ nó đi.

Vừa rồi mình hướng dẫn bạn tìm hiểu nguyên nhân thường gặp khiến Googlebot không thể truy cập vào các tập tin CSS, JS và một vài nguyên nhân làm website bạn vô tình cấm Gbot index. Nếu bạn còn các nguyên nhân khác vui lòng comment đóng góp cho bài hướng dẫn thêm đầy đủ nhé.

 

Ý kiến của bạn thế nào?

avatar
wpDiscuz
Optimization WordPress Plugins & Solutions by W3 EDGE