Vì sao AI trả lời rất tự tin mà vẫn có thể sai, giải thích bằng ví dụ đời thường, không cần biết lập trình.
Câu trả lời ngắn: AI viết ra câu nghe đúng nhất, không phải câu đã được kiểm chứng.
Lưu ý: chưa ai hiểu hết bên trong AI. Mọi hình ảnh trong bài chỉ để dễ hình dung, thực tế phức tạp hơn nhiều.
2023
Luật sư nộp lên tòa những vụ án do ChatGPT bịa ra. Có đủ tên, số hiệu, lời trích, nhưng không có thật. Bị phạt 5.000 USD.
2024
Chatbot hứa hoàn tiền vé tang lễ, nhưng hãng không có chính sách đó. Tòa buộc hãng bồi thường, vì chatbot là một phần của hãng.
2025
Công cụ AI tự xóa cơ sở dữ liệu thật của khách, dù đã được dặn không được đổi gì. Nó còn nói sai rằng không thể khôi phục.
AI không đọc từng chữ cái mà đọc từng mảnh, giống xếp hình bằng các khối chữ.
Mỗi mảnh chữ hay câu được gán một điểm trên bản đồ. Nghĩa gần nhau thì đứng gần nhau.
AI cho mỗi từ có thể đứng tiếp một số phiếu trong 100 phiếu. Nhiều phiếu nghĩa là dễ được chọn.
Núm chỉnh. Thấp thì luôn chọn từ nhiều phiếu nhất. Cao thì từ ít phiếu cũng có cơ hội.
AI nói điều không có thật bằng giọng như có thật.
AI tra tài liệu trước khi trả lời, như thi được mở sách.
Bàn phím không biết hôm nay bạn đi đâu. Nó chỉ biết, trong rất nhiều câu đã đọc, từ nào hay đứng sau cụm này.
Để dễ hình dung, có thể tưởng tượng AI trò chuyện cũng làm điều tương tự, nhưng đã đọc nhiều hơn rất nhiều và gợi ý từng từ một cho đến khi thành cả câu trả lời.
Trong cách hình dung này, không có bước nào hỏi: điều này có thật không? Từ được chọn vì nhiều phiếu, không phải vì đã được kiểm chứng. (Bên trong thực tế phức tạp hơn nhiều.)
Câu hỏi: Thủ đô của nước Úc là ...
Có thể tưởng tượng AI chia 100 phiếu cho các từ có thể đứng tiếp:
Số phiếu là ví dụ minh họa, không đo từ một AI cụ thể.
Hình dung máy bốc một phiếu ngẫu nhiên. Từ nhiều phiếu thì dễ trúng hơn, nhưng không chắc trúng.
Bốc 100 lần thì khoảng 19 lần ra đáp án sai, dù đáp án đúng đang dẫn đầu.
Cùng câu hỏi về thủ đô nước Úc, mỗi mức núm cho số phiếu khác nhau:
| Canberra | Sydney | Melbourne | |
|---|---|---|---|
| Thận trọngnúm = 0,5 | 96,5 | 3,2 | 0,3 |
| Thông thườngnúm = 1,0 | 80,8 | 14,8 | 4,4 |
| Sáng tạonúm = 2,0 | 60,2 | 25,7 | 14,1 |
Đơn vị: số phiếu trên 100, làm tròn một chữ số thập phân.
Núm này quyết định AI bám sát từ nhiều phiếu nhất, hay cho cả từ ít phiếu một cơ hội. Có thể hình dung như núm chỉnh một người kể chuyện.
Thấp: chỉ nói điều quen thuộc nhất.
Cao: phóng khoáng hơn, thỉnh thoảng nói điều bất ngờ.
Chỉnh thấp chỉ làm AI nhất quán hơn, không làm nó đúng hơn. Nếu nó nghiêng về đáp án sai, nó sẽ sai đều đặn.
Bạn hỏi: có phần mềm dựng sẵn nào đọc loại file này không? AI trả lời một cái tên nghe rất hợp lý:
Hình dung như học sinh giỏi văn chưa học bài: gặp câu hỏi lạ vẫn viết trôi chảy. Ảo giác (hallucination): nói điều không có thật bằng giọng như có thật.
Bài thi không trừ điểm khi sai. Bỏ trống được 0 điểm, đoán bừa thì có cơ hội trúng. Thí sinh khôn sẽ luôn đoán.
Theo nhóm nghiên cứu OpenAI, AI được huấn luyện và chấm điểm theo kiểu gần như vậy. Hỏi ngày sinh một người ít nổi tiếng: đoán thì trúng 1 trên 365, nói "không biết" thì chắc chắn 0 điểm. Nên nó có xu hướng luôn trả lời. (OpenAI, 2025)
Hãy tưởng tượng câu cùng chủ đề thì đứng gần nhau. Thước đo độ gần chạy từ 0 (không liên quan) đến 1 (gần như trùng). Tên kỹ thuật: cosine.
Độ gần giữa câu A và câu B trong ví dụ trước. Hệ thống coi hai câu là gần như giống hệt.
Nhưng một câu cho phép, một câu cấm. Có vẻ như bản đồ chỉ nắm được cùng chủ đề, chưa nắm được cùng kết luận.
Như thi được mở tài liệu: AI tìm vài đoạn liên quan trong kho tài liệu, rồi dựa vào đó trả lời. Tên kỹ thuật: RAG.
số câu hỏi bị bịa hoặc trả lời sai, tùy sản phẩm. Thấp hơn chatbot thường nhưng vẫn là cỡ 1 câu sai trên 6 câu.
Các hãng phản biện cách đo, nên đây là một bằng chứng chứ không phải con số tuyệt đối.
AI kể: "Cộng hàng đơn vị, nhớ 1, rồi cộng hàng chục". Đó là cách dạy ở trường, và theo nghiên cứu của Anthropic thì nhiều khả năng không phải cách nó đã làm.
là mức độ chính xác của một số AI có thể tụt xuống, ví dụ khi thêm câu "5 quả hơi nhỏ hơn trung bình" mà AI đem trừ 5. (Apple, 2024)
Cách làm đúng: việc tính toán giao cho máy tính hoặc bảng tính, AI chỉ giúp viết công thức.
AI dễ trả lời: "Đúng rồi ạ!"
AI buộc phải soi lỗi thay vì xác nhận.
trợ lý AI hàng đầu được thử đều có xu hướng đồng tình với người hỏi. Một lý do được đề xuất: con người có xu hướng chấm điểm cao những câu trả lời hợp ý mình. (Anthropic, 2024)
Nhóm nghiên cứu lén gợi ý đáp án cho AI, rồi xem nó có thừa nhận đã dùng gợi ý khi giải thích hay không.
Phần còn lại, AI dùng gợi ý nhưng viết ra một lý do khác.
Chỉ khoảng 25 lần (Claude 3.7 Sonnet) hoặc 39 lần (DeepSeek R1) trong 100 lần dùng gợi ý, AI mới nhắc đến gợi ý.
Hãy coi lời giải thích của AI như bài văn viết sau, không phải camera quay lại những gì đã xảy ra.
lập trình viên đã dùng hoặc định dùng công cụ AI trong công việc.
không tin độ chính xác của AI, so với số người tin. Chỉ 3% tin rất nhiều.
gặp câu trả lời "gần đúng nhưng chưa đúng", loại lỗi khó nhận ra nhất.
Thử nghiệm của METR (2025): 16 lập trình viên giàu kinh nghiệm làm 246 việc thật trong dự án họ rất quen, mỗi việc được chia ngẫu nhiên là có hoặc không được dùng AI.
Đừng kết luận "AI luôn làm chậm". Nhóm nhỏ, công cụ đầu 2025. Điều nên nhớ: đừng đánh giá hiệu quả AI bằng cảm giác.
tên phần mềm do AI gợi ý không tồn tại. Thử 16 mô hình, hơn nửa triệu đoạn code mẫu.
tên bịa lặp lại ở cả 10 lần hỏi lại. Tên bịa đoán trước được, nên kẻ gian đăng ký trước được.
Ví dụ minh họa. Chưa có số liệu mới nào, AI đổi ý chỉ vì bị hỏi lại.
số câu hỏi mà mô hình cũ nhất trong thử nghiệm nhận một lỗi không có thật khi bị chất vấn. Mô hình khác chỉ khoảng 30%, và mô hình hiện nay có thể khác.
Thay vì "Bạn chắc chứ?", hãy hỏi: "Điều kiện nào thì ý này đúng, điều kiện nào thì sai? Cho tôi cách đo." Rồi tự đo bằng công cụ.
trong 1.689 chương trình do GitHub Copilot viết, ở 89 tình huống bảo mật, có lỗ hổng. Đây là bản Copilot năm 2021.
47 người làm 5 bài lập trình bảo mật. Nhóm dùng AI viết code kém an toàn hơn ở 4 trên 5 bài, nhưng lại tin hơn là code của mình an toàn.
Người ít tin AI hơn và chịu viết lại câu hỏi nhiều hơn thì có ít lỗ hổng hơn. Nhóm nhỏ, mô hình đời cũ: hãy đọc như một dấu hiệu.
Trước khi hỏi, tự hỏi: nếu sai thì ai chịu, nặng đến đâu?
Đừng nhờ chính AI vừa viết xác nhận nó đúng.
Cộng trừ, lọc, so khớp: dùng máy tính hoặc bảng tính.
Xin tên tài liệu, đường link, câu nguyên văn. Rồi tự mở ra đọc.
Chỉ cho đọc khi có thể, tách dữ liệu thật khỏi dữ liệu thử, có bản sao lưu.
Hỏi trung lập, đảo câu hỏi, hỏi hai lần, cho phép AI nói "không biết".
Mỗi kết quả luôn có một con người ký tên chịu trách nhiệm.
Giao việc cho nó, kiểm tra theo mức hậu quả, và giữ trách nhiệm ở phía mình.