Blog, Tin tức

Cách Tạo File Robot.txt

Posted on by admin

Trong quá trình điều hành, quản lý website, khi bạn muốn trang của bạn xuất hiện trên trang kết quả tìm kiếm, bạn cần để “bots” truy cập vào những trang quan trọng trên website. File robots.txt dùng để quản lý truy cập của bots này tới trang bạn mong muốn. Và việc tối ưu hóa robots.txt tốt hay không sẽ ảnh hưởng rất nhiều đến việc truy cập của bots. Trong giới hạn bài viết này, chúng ta sẽ đi tìm hiểu tất tần tật về cách tạo file robots.txt.

tạo file robots.txt

File robots.txt là gì ?

File robots.txt là một tệp văn bản thuần túy theo tiêu chuẩn lọai trừ robot, gồm nhiều quy tắc, mỗi quy tắc chặn (cho phép) một trình thu thập dữ liệu nhất định truy cập vào một đường dẫn tệp được chỉ định trong trang web đó. 

Hiệu quả của file robots.txt là gì ?

File robots.txt tạo ra một bộ chỉ dẫn cho search engine bots. Thực tế cho thấy, trình tìm kiếm sẽ quét site của bạn kể cả khi bạn không cài robots.txt nhưng hiệu quả mang lại sẽ không cao, làm ảnh hưởng đến hiệu năng và tốc độ trải nghiệm người dùng. Vì thế cần tạo file robots.txt một cách tối ưu nhất sẽ là yếu tố quan trọng mang ý nghĩa xếp hạng cho websitte của mình.

Nguyên tắc cơ bản tạo file robots.txt

Thấy tầm quan trọng của file robots.txt, người dùng cần tạo file để làm tăng hiệu quả trang web của mình. Về cơ bản, tạo file robots.txt cần đảm bảo các nguyên tắc sau:

 

  • Định dạng vị trí

 

  • Đặt tên tệp là robots.txt
  • Trang web chỉ có một tệp robots.txt
  • File robots.txt phải nằm ở thư mục gốc của máy chủ trang web tương ứng, không được đặt tên trong thư mục con. Nếu không chắc chắn về cách truy cập thư mục gốc của web thì liên hệ với nhà cung cấp dịch vụ lưu trữ web.
  • File robots.txt có thể áp dụng với miền con
  • Nhận xét là bất kỳ nội dung nào sau dấu thăng (#)

Để soạn thảo file robots.txt, bạn có thể sử dụng hầu hết trình soạn thảo văn bản để tạo. Khuyến cáo không nên sử dụng trình xử lý văn bản vì nó thường lưu file dưới định dạng độc quyền và có thể thêm ký tự không mong muốn.

 

  • Cú pháp

 

  • Robots.txt là file văn bản mã hóa UTF-8 (gồm cả ASCII), không được sử dụng bộ ký tự khác
  • Mỗi file robot.txt gồm một hoặc nhiều nhóm, mỗi nhóm nhiều quy tắc hoặc chỉ thị, mỗi chỉ thị trên một dòng
  • Một nhóm cung cấp các thông tin sau:

+ Đối tượng (người dùng) mà nhóm áp dụng

+ Thư mục hoặc tệp mà người dùng có thể truy cập

+ Thư mục hoặc tệp mà người dùng không thể truy cập

+ Nhóm được xử lý từ trên xuống dưới và một tác nhân người dùng chỉ được khớp với một tập hợp quy tắc, là quy tắc đầu tiên, cụ thể nhất, khớp với tác nhân người dùng nhất định.

+ Giả định mặc định là tác nhân người dùng có thể thu thập dữ liệu của bất kỳ trang hay thư mục không bị chặn nào bởi quy tắc.

+ Phân biệt chữ hoa, chữ thường

tạo file robots.txt

 

Có thể sử dụng các chỉ thị sau trong file robots.txt

 

  • User-agent (tác nhân người dùng), bắt buộc, gồm một hoặc nhiều tác nhân người dùng trong mỗi nhóm. Tên của robot công cụ tìm kiếm (phần mềm thu thập dữ liệu web) được áp dụng quy tắc. Đây là dòng đầu tiên của bất kỳ quy tắc nào. Phần lớn tác nhân người dùng được liệt kê trong cơ sở dữ liệu robot trên web hoặc trong danh sách tác nhân người dùng của Google.
  • Disallow (không cho phép), ít nhất một hoặc nhiều mục Disallow hoặc Allow trên mỗi quy tắc thư mục hoặc trang tương ứng với tên miền gốc mà tác nhân người dùng không được thu thập dữ liệu. Nếu là trang đầy đủ thì hiển thị trong trình duyệt; nếu là thư mục phải kết thúc bằng dấu (/), hỗ trộ dấu (*) cho một tiền tố, hậu tố hoặc toàn bộ chuỗi đường dẫn.
  • Allow (cho phép), ít nhất một hoặc nhiều mục Disallow hoặc Allow trên mỗi quy tắc. Thư mục hoặc trang tương ứng với tên miền gốc mà tác nhân người dùng đề cập được ơhesp thu thập dữ liệu. Nếu là trang, phải có tên trang đầy đủ như hiển thị trong trình duyệt; nếu là thư mục phải kết thúc bằng dấu (/), hỗ trợ ký tự đại diện (*) cho tiền tố, hậu tốt hoặc toàn bộ chuỗi đường dẫn.
  • Sitmap (Sơ đồ trang web), tùy chọn có hoặc không có sở đồ trang web trong mỗi tệp, vị trí của sơ đồ trang web cho trang web này. Phải là URL đủ điều kiện, Google không giả định hoặc kiểm tra các phiên bản thay thế.

Ví dụ: sitemap – http://example.com/sitemap.xml

  • Bỏ qua các quy tắc khác

tạo file robots.txt

Để tăng khả năng tiếp cận của site lên trình tìm kiếm, việc cần làm là đảm bảo bots của search không bị chặn và đảm bảo quét đúng khu vực cần thiết, đúng các thông tin quan trọng. Qua đó, file robots.txt chuẩn sẽ giúp bots tương tác tốt với site, từ đó thông tin của site sẽ được hiển thị chính xác, đầy đủ hơn, đúng với mục đích, yêu cầu người tạo.

Bạn đang cần giải pháp cho việc tiếp cận site trên trình tìm kiếm thông qua việc tạo file robots.txt hoặc đang cần tư vấn về nó!

admin

Tên Miền & Hosting

Chọn tên miền có tính liên quan cao đến nội dung website. Có thể chứa một vài từ khóa chính của website càng tốt, tên miền có thời gian sử dụng càng lâu càng được đánh giá cao. 

Hosting có tấc độ nhanh, IP Server cũng ảnh hưởng đôi chút tới seo (Nếu bạn seo web ở Việt Nam nên mua server đặt tại Việt Nam)

1. Tối ưu hóa Url website

  • Url nên mã hóa theo tiêu đề bài viết, có liên quan tới nội dung bài viết, keywords, description.
  • Hạn chế độ dài của url tốt nhất cho seo chỉ là 3 cấp tính từ tên domain (domain.com/cap1/cap2/cap3).
  • Sử dụng rewrite url đối với các liên kết và phân tách mỗi từ bằng dấu trừ – hoặc gạch dưới _.

2. Title (tiêu đề bài viết):  thẻ này luôn đặt trên cùng và chứa nội dung liên quan tới nội dung bài viết, url website. Độ dài của title khoảng 60-65 ký tự

3. Keywords (từ khóa): nội dung thẻ này không chứa quá nhiều từ khóa, tổng số ký tự không quá 160 ký tự.

4. Description (mô tả) nội dung:  thẻ này không chứa quá nhiều từ khóa, tổng số ký tự không quá 160 ký tự. Mô tả ngắn gọn về nội dung bài viết.

5. Luôn đặt tiêu đề bài viết, từ khóa quan trọng trong thẻ h1, h2, h3…theo thứ tự ưu tiên quan trọng của từ khóa.

  • h1 Keywords h1
  • h2 Keywords h2
  • h3 Keywords h3

6. Tách các phần như style css, javascript, data thành các file độc lập. Hạn chế sử dụng javascript quá nhiều.

7. Hạn chế việc sử dụng table trong html. Đặc biệt là các table lồng table.

8. Cố gắng đặt nội dung chính nằm ở đầu của cấu trúc trang html.

9. Tạo các chỉ mục hướng dẫn (breadcumb). Mục đích cho phép người dùng dễ dàng quay lại các chỉ mục một cách dễ dàng.

10. Dùng định dạng chữ cho phần liên kết header và footer thay vì dùng hình ảnh. Có thể dùng javascript để xử lý các liên kết.

11. Tạo trang 404 cho các liên kết không tìm thấy.

12. Tạo mục chia sẻ bài viết đến các mạng xã hội bằng cách tạo ra các nút chia sẻ.

13. Tối ưu hiển thị trang web trên các thiết bị di động. Chính vì ngày nay việc truy cập trên các thiết bị di động không còn xa lạ do đó sẽ bị giảm thiểu người dùng nếu website của bạn không hỗ trợ việc hiển thị trên các thiết bị di động.

14. Tạo RSS feed cho nội dung website.

15. Tạo sitemap chứa liên kết đến các trang nội dung trên website. Nó cho phép người dùng có thể dễ dàng tìm kiếm và truy cập đến nội dung mà họ cần.

16. Kiểm tra cấu trúc html chuẩn với W3C (khi kiểm tra có thể bỏ qua các lỗi cảnh báo HTML5 và các thẻ og:title, og:description, og:image khi định dạng website bằng HTML5).

19. Cho phép thay đổi thẻ meta và title, keywords, description ứng với mỗi nội dung bài viết.

1. Khi cập nhật nội dung url, title, keywords, description phải liên quan tới nhau.

2. Chỉ sử dụng từ có nghĩa, cấu trúc có thể đọc được và dễ dàng để thu thập dữ liệu từ Google.

3. Đặt link vào các trang liên kết khác sẽ giúp người đọc dễ theo dõi và giúp index dễ dàng.

4. Nội dung bài viết dễ đọc. Phần đầu và nội dung bài viết nằm trong đoạn văn kết hợp với các sub header và number list. Chủ yếu là nội dung phải mới mẻ, lôi cuốn, trình bày đẹp mắt và mang tính thông tin cao.

5. Thêm hình ảnh để nội dung hấp dẫn hơn. Đặt các thuộc tính như title và alt vào hình ảnh sẽ giúp cho SE đánh giá cao cho nội dung website của bạn và từ khóa liên quan đối với hình ảnh.

6. Không nên nhồi nhét quá nhiều từ khóa vào mỗi trang web, hãy chọn những từ khóa tiêu biểu và đặt vào phần cuối của nội dung bài viết.

7. Hạn chế việc dùng flash hoặc tốt hơn là không dùng flash vì các công cụ tìm kiếm không đọc được nội dung trong flash.

8. Đặt link về các trang tác giả, trang phân tích có tính uy tính cao. Điều này sẽ giúp cho bài viết của bạn có tính thuyết phục và độ tin tưởng cao.

9. Cập nhật thông tin thường xuyên trên website của bạn. Điều này quan trọng nhất nó sẽ giúp cho bạn lôi cuốn được người đọc ghé thăm và nên nhớ nội dung nên tập trung vào các xu hướng hiện tại và phải liên quan đến chủ đề của website.

Số điện thoại