Tín hiệu robots.txt chung về huấn luyện AI: OpenAI, Google, Microsoft và Anthropic cùng làm gì?

Nếu bạn có một website, chắc hẳn bạn từng thắc mắc: bài viết, hình ảnh trên trang của mình có đang được dùng để huấn luyện AI hay không, và mình có quyền nói “không” hay không? Tin vui là từ cuối tháng 10/2026, câu trả lời đã trở nên đơn giản hơn nhiều nhờ tín hiệu robots.txt huấn luyện AI chung mà các hãng AI lớn cùng nhau tôn trọng.

Thay vì phải viết riêng một quy tắc cho từng “con bot” thu thập dữ liệu của từng hãng, chủ website sắp tới chỉ cần viết một quy tắc duy nhất, và nhiều hãng sẽ cùng hiểu theo một cách. Bài viết này giải thích cơ chế mới đó, những giới hạn bạn cần biết rõ, và cách chuẩn bị ngay từ hôm nay.

Tín hiệu robots.txt huấn luyện AI chung là gì?

Robots.txt là một tập tin nhỏ đặt ở “gốc” của website, ví dụ tenmien.com/robots.txt. Nó giống như một tấm bảng hướng dẫn đặt trước cổng nhà: bạn ghi rõ phần nào của website các chương trình tự động (gọi là crawler hay bot) được phép ghé thăm, phần nào thì không.

Từ trước đến nay, mỗi hãng AI lại có một crawler riêng: GPTBot của OpenAI, ClaudeBot của Anthropic, Google-Extended của Google… Muốn từ chối hãng nào, chủ website phải ghi tên riêng từng hãng đó. Vừa dài dòng, vừa dễ sót.

Ngày 30/10/2026, OpenAI, Google và Microsoft cùng thông báo sẽ tôn trọng một tín hiệu chung trong robots.txt, cho phép chủ website nói rõ nội dung có được dùng để huấn luyện AI tạo sinh hay không. Anthropic, hãng đứng sau Claude, cho biết đã bắt đầu triển khai tín hiệu này. Bản dự thảo do kỹ sư Kevin Kelley của Anthropic làm tác giả.

Tín hiệu robots.txt huấn luyện AI chung hoạt động ra sao?

Điểm khác biệt lớn nhất nằm ở tên nhóm quy tắc: thay vì ghi tên từng crawler, bạn ghi nhóm chung là __usage_ai-training. Một quy tắc viết cho nhóm này sẽ được nhiều hãng cùng hiểu, thay vì phải lặp lại cho từng hãng.

Ví dụ, nếu bạn không muốn bất kỳ nội dung nào trên website bị dùng để huấn luyện AI, đoạn quy tắc sẽ trông như sau:

User-Agent: __usage_ai-training
Disallow: /

Ngược lại, nếu bạn chỉ muốn cho phép một phần nội dung, ví dụ thư mục tài liệu công khai /press-kit/, bạn có thể viết:

User-Agent: __usage_ai-training
Allow: /press-kit/
Disallow: /

3 giới hạn quan trọng bạn bắt buộc phải biết

Tín hiệu mới rất tiện, nhưng nó chưa phải là “cây đũa thần”. Có 3 giới hạn bạn cần nắm rõ trước khi áp dụng, để không hiểu lầm rồi vô tình xóa nhầm các quy tắc cũ.

1. Đây mới chỉ là bản dự thảo, chưa phải chuẩn chính thức

Tín hiệu này nằm trong một bản dự thảo cá nhân gửi lên tổ chức IETF (Internet Engineering Task Force) — tài liệu draft-kelley-aipref-training-preference-signal-00, nộp ngày 30/10/2026 và sẽ hết hạn vào 03/05/2027 nếu không được sửa đổi, bổ sung. IETF chưa phê chuẩn nó thành chuẩn chính thức. Nói cách khác, đây là một đề xuất đang được các hãng lớn ủng hộ và triển khai, chứ chưa phải luật chung đã “đóng dấu” của ngành.

2. Đây là “tuyên bố ưu tiên”, không phải ổ khóa chặn crawler

Tín hiệu này chỉ nói lên mong muốn của bạn về việc nội dung có được dùng để huấn luyện hay không. Nó không chặn crawler ghé thăm và thu thập trang web của bạn, và cũng không đảm bảo mọi hệ thống trên thế giới đều tuân theo. Nếu bạn muốn chặn hẳn một crawler không được vào website, bạn vẫn cần quy tắc chặn riêng cho crawler đó, như trước đây.

3. Lịch triển khai của các hãng không giống nhau

Dù cùng ủng hộ một tín hiệu chung, mỗi hãng lại có lộ trình riêng: OpenAI cho biết sẽ triển khai “trong vài tháng tới”, Google dự kiến vào đầu năm 2027, Microsoft bắt đầu từ ngày 01/02/2027, còn Anthropic không nêu ngày cụ thể mà cho biết đã bắt đầu triển khai. Vì vậy, trong giai đoạn chuyển tiếp này, các quy tắc crawler hiện có của bạn vẫn giữ nguyên giá trị cho tới khi các hãng triển khai xong.

Chủ website nên làm gì ngay từ hôm nay?

Bước 1: Kiểm tra file robots.txt hiện tại

Gõ địa chỉ tenmien.com/robots.txt (thay tenmien.com bằng tên miền của bạn) vào trình duyệt. Bạn sẽ thấy ngay website của mình đang cho phép hay chặn những bot nào. Nếu bạn dùng WordPress, file này thường được tạo tự động, và nhiều plugin SEO cũng cho phép bạn chỉnh sửa nó ngay trong trang quản trị mà không cần đụng vào code.

Bước 2: Quyết định rõ bạn muốn cho phép hay từ chối

Bước 3: Thêm tín hiệu chung, nhưng đừng xóa quy tắc cũ

Khi các hãng bắt đầu hỗ trợ tín hiệu chung, bạn có thể thêm nhóm __usage_ai-training vào robots.txt. Tuy nhiên, hãy giữ nguyên các quy tắc cũ cho GPTBot, ClaudeBot, Google-Extended… cho tới khi việc triển khai hoàn tất, vì lịch triển khai của các hãng lệch nhau như đã nói ở trên. Xóa sớm quy tắc cũ có thể khiến một số hãng chưa kịp cập nhật hiểu sai ý bạn.

Bước 4: Kiểm tra lại định kỳ

Vì đây vẫn là bản dự thảo, hãy kiểm tra lại robots.txt vài tháng một lần.

Tín hiệu chung có ý nghĩa gì với người dùng ChatGPT?

Với người dùng bình thường, tín hiệu này không làm ChatGPT yếu đi trong một sớm một chiều. Nó chủ yếu thay đổi “luật chơi” ở phía chủ website và các hãng AI: minh bạch hơn, gọn hơn, và tôn trọng quyền lựa chọn của người tạo nội dung hơn. Về lâu dài, một hệ sinh thái mà nội dung được dùng đúng với mong muốn của tác giả sẽ lành mạnh hơn cho cả người đọc lẫn người viết.

Nếu bạn đang dùng ChatGPT để học một kỹ năng mới, ví dụ như học code, thì việc hiểu cách AI hoạt động cũng giúp bạn dùng công cụ này hiệu quả hơn. Bạn có thể tham khảo Cách dùng ChatGPT học lập trình cho người mới bắt đầu, không sợ code để bắt đầu từ những bước nhỏ nhất. Còn nếu bạn quan tâm ChatGPT đang thay đổi ra sao ở phía người dùng trả phí, hãy đọc thêm bài viết về việc ChatGPT tăng gấp đôi hạn mức cho gói Pro, Business và Premium.

Kết luận

Tín hiệu robots.txt chung là bước tiến thực tế: một quy tắc cho nhiều hãng, do OpenAI, Google, Microsoft cùng ủng hộ và Anthropic bắt đầu triển khai. Nhưng hãy nhớ ba điều: nó vẫn là bản dự thảo, nó là tuyên bố ưu tiên chứ không phải lệnh chặn tuyệt đối, và lịch triển khai của các hãng lệch nhau.