Bạn hỏi một trợ lý AI: "Cửa hàng X ở quận 3 có bảo hành đổi trả trong bao lâu?" Nó trả lời rất tự tin, nhưng sai, vì trang chính sách của shop là một mớ nút bấm, banner và script, còn câu chữ chính thức nằm sâu trong đó. Khách tin câu trả lời đó và đến shop với kỳ vọng sai.
Ngày càng nhiều người hỏi AI trước khi vào web. Bài này đi qua từng thứ người ta đang nhắc tới trong năm 2026 và nói rõ cái nào là chuẩn chính thức, cái nào mới chỉ là đề xuất. Mình lấy phatdev.net làm ví dụ vì đã làm thật và kiểm lại bằng lệnh.
Trước hết: Google nói gì
Về phần AI trong Google Search (AI Overviews, AI Mode), tài liệu của Google Search Central (kiểm ngày 21/10/2026) nói thẳng: bạn không cần file máy đọc mới, file văn bản cho AI hay loại dữ liệu có cấu trúc riêng nào để xuất hiện. Điều kiện chỉ là trang được lập chỉ mục (index) và đủ điều kiện hiện đoạn trích trong Search. Trang đó không nhắc tới llms.txt.
Nghĩa là nền tảng vẫn là SEO bình thường. Những thứ dưới đây là lớp thêm cho các AI agent khác. Xem thêm bài Làm sao để Google thấy đủ site hai ngôn ngữ của bạn (Next.js).
Cái nào là chuẩn, cái nào là đề xuất
| Thứ | Là gì | Tình trạng (kiểm 21/10/2026) |
|---|---|---|
| robots.txt | Nói với bot trang nào được vào | Quy ước lâu đời, bot tử tế tuân thủ, nhưng chỉ là lời đề nghị |
| Dữ liệu có cấu trúc (schema.org JSON-LD) | Nhãn cho máy biết đây là bài viết, sản phẩm, tác giả | Cách làm đã phổ biến, Google hỗ trợ |
| Google-Extended | Thẻ trong robots.txt để từ chối dùng nội dung cho Gemini | Công cụ chính thức của Google |
| llms.txt | File mục lục cho AI | Đề xuất cộng đồng, chưa phải chuẩn |
| Bản Markdown của trang | Trang phẳng, sạch cho AI | Nằm trong đề xuất llms.txt |
| MCP Server Card | Danh thiếp mô tả máy chủ MCP | Phần mở rộng chính thức, tuỳ chọn, của MCP |
| AI Catalog (ai-catalog.json) | Danh mục AI của một tên miền | Đang soạn, chưa hoàn tất |
| WebMCP | Trang web đăng ký công cụ cho AI trong trình duyệt | Bản nháp của nhóm cộng đồng, chưa ổn định |
Giờ đi từng cái.
robots.txt và quyền cho bot AI
robots.txt là file ở gốc site nói với bot đường nào được vào. Google mô tả nó là cách giảm tải máy chủ, không phải cách giấu trang: trang bị chặn vẫn có thể hiện trong kết quả nếu nơi khác link tới, và bot không tử tế có thể phớt lờ. Muốn giấu thật thì dùng noindex hoặc mật khẩu.
Với AI, có hai quyết định riêng: cho bot nào đọc, và có cho dùng nội dung để huấn luyện hay không. Google-Extended là thẻ quyết định phần dùng nội dung cho các mô hình Gemini, và Google nói thẻ này không ảnh hưởng việc site có mặt trong Google Search. Hãng AI khác có tên bot riêng, nên xem tài liệu từng hãng trước khi viết quy tắc.
phatdev.net hiện chỉ có quy tắc chung: cho mọi bot vào phần công khai, chặn khu quản trị và API, vì site muốn càng nhiều người tìm thấy càng tốt. Nếu nội dung của bạn là thứ bán lấy tiền, hãy cân nhắc khác.
Dữ liệu có cấu trúc
Đây là các khối JSON-LD trong trang cho máy biết: đây là bài viết, ai viết, ngày đăng. Google nói không cần schema riêng cho AI. Cứ làm đúng và khớp với nội dung hiển thị là đủ.
llms.txt và bản Markdown
Đề xuất này do Jeremy Howard đưa ra ngày 3/9/2024; theo llmstxt.org, bản hiện tại được sửa ngày 10/8/2026 và trang tự gọi là "một đề xuất". Ý tưởng: đặt file /llms.txt ở gốc site viết bằng Markdown, gồm tên site, một đoạn tóm tắt và danh sách link tới các trang quan trọng. Kèm theo, mỗi trang nên có bản Markdown sạch ở cùng địa chỉ cộng đuôi .md, và trang HTML nên trỏ tới bản đó bằng thẻ link rel="alternate" type="text/markdown".
Mình không tìm thấy tài liệu chính thức của Google nói họ dùng llms.txt. Vậy nên coi nó là món thêm, rẻ để làm, hữu ích cho các agent và công cụ chịu đọc nó, chứ đừng kỳ vọng nó đẩy thứ hạng.
phatdev.net làm đủ ba lớp: /llms.txt (mục lục có mô tả từng trang), /llms-full-vi.txt và /llms-full-en.txt (toàn bộ nội dung công khai, gộp theo ngôn ngữ, mỗi file khoảng 1,1 MB; /llms-full.txt là mục lục trỏ tới hai file này) và mọi trang có bản .md. Lấy bản Markdown bằng cách thêm .md vào địa chỉ, hoặc gửi yêu cầu kèm Accept: text/markdown.
MCP Server Card và AI Catalog
Nếu site có máy chủ MCP cho AI tra cứu (xem bài MCP là gì: cách AI nối với công cụ và dữ liệu của bạn, và rủi ro cần biết), AI cần biết nó ở đâu. MCP Server Card là một tệp mô tả máy chủ trước khi kết nối: địa chỉ, kiểu kết nối, phiên bản giao thức. Đây là phần mở rộng chính thức, tuỳ chọn, của MCP (SEP-2127, trạng thái Final). phatdev.net đặt ở https://phatdev.net/api/mcp/server-card.
AI Catalog (/.well-known/ai-catalog.json) là danh mục chung liệt kê các thứ AI của một tên miền, có thể trỏ tới Server Card. Repo Agent-Card/ai-catalog tự gọi mình là "kho làm việc tạm" do Linux Foundation duy trì, đặc tả còn đang soạn. phatdev.net đã đặt file này, nhưng hãy coi nó là thử nghiệm sớm và kiểm lại tài liệu hiện hành vì đường dẫn có thể đổi.
WebMCP
WebMCP cho phép trang web tự đăng ký "công cụ" ngay trong trình duyệt, để một AI agent đang chạy trong trình duyệt bấm đúng chức năng thay vì đoán nút. Bản đặc tả hiện là "Draft Community Group Report" ngày 20/10/2026 của Web Machine Learning Community Group, tức chưa nằm trên đường chuẩn W3C. Theo tài liệu Chrome (cập nhật 7/10/2026), nó đang thử qua origin trial từ Chrome 149 hoặc bật cờ thử nghiệm, và còn thay đổi: cách gọi hiện là document.modelContext.registerTool(...), còn tên cũ navigator.modelContext đã đổi theo bản nháp.
phatdev.net chỉ nạp WebMCP khi trình duyệt có hỗ trợ, và đăng ký các công cụ như tìm trong site, đọc trang hiện tại dạng Markdown, đổi ngôn ngữ, điền sẵn form liên hệ. Không công cụ nào tự gửi form, người dùng vẫn phải bấm Gửi. Chủ shop hiện chưa cần làm WebMCP; cứ theo dõi.
Cho bạn nào viết code
Đoạn Python sau đã chạy thật ngày 21/10/2026 để kiểm bốn lớp ở trên của phatdev.net (chỉ dùng thư viện chuẩn):
import urllib.request
def get(url, accept=None):
req = urllib.request.Request(url, headers={"Accept": accept} if accept else {})
with urllib.request.urlopen(req) as r:
return r.status, r.headers.get("content-type"), r.read(200).decode("utf-8", "ignore")
site = "https://phatdev.net"
for path, accept in [("/llms.txt", None), ("/vi/blog/mysql-index-explain.md", None),
("/vi/blog/mysql-index-explain", "text/markdown"), ("/.well-known/ai-catalog.json", None)]:
s, ct, head = get(site + path, accept)
print(path, s, ct, "|", head[:40].replace("\n", " "))
Kết quả: cả bốn trả 200. /llms.txt là text/plain, hai địa chỉ bài blog (thêm .md, và gửi Accept: text/markdown) đều trả text/markdown, còn ai-catalog.json trả application/ai-catalog+json.
Lỗi hay gặp
Hay gặp nhất là làm llms.txt rồi quên cập nhật. File liệt kê trang đã xoá, hoặc thiếu bài mới, còn tệ hơn không có; nên để hệ thống tự sinh từ dữ liệu thật như phatdev.net. Kế đó là tưởng chặn trong robots.txt là bảo mật: nội dung riêng tư cần mật khẩu, không phải một dòng Disallow. Cuối cùng là bản Markdown khác bản HTML, khiến bạn có hai bản chính sách mâu thuẫn nhau.
Nên làm gì tiếp
Theo thứ tự tiết kiệm công: kiểm trang quan trọng có được Google lập chỉ mục chưa, có dữ liệu có cấu trúc đúng chưa, rồi mới tới llms.txt và bản Markdown. Máy chủ MCP và WebMCP chỉ nên làm khi site của bạn có chức năng AI nên gọi được, như tra cứu sản phẩm hay đặt lịch. Nếu bạn muốn mình rà xem web hiện tại AI đọc được tới đâu và gợi ý việc nên làm trước, cứ nhắn mình.
