Phác họa bài post:
Đề dẫn.
❶. Cần chú ý gì khi một LLM được phát hành (released)?
❷. Trang web nào
phân tích LLM tốt nhất?
🤔. Suy ngẫm chậm
~
Để giúp anh/chị
quyết định có đọc tiếp hay không, tôi xin phép cung cấp các thông tin liên quan
đến bài post này như sau:
· Chủ đề: Machine Learning
· Tính thời sự: tháng 10/2026
· Thời gian đọc: 7 phút kể cả thời gian uống cà phê
Đề dẫn
Tôi, và có thể
có nhiều anh/chị nữa có cùng suy nghĩ, là làm thế nào để ‘đo’ được mức độ thông
minh/trí tuệ của một mô hình AI? Rõ ràng, đây là một vấn đề không hề đơn giản,
đúng không ạ?! Vậy chúng ta cùng xem ‘thiên hạ’ người ta tiếp cận vấn đề này
như thế nào.
Tiêu đề lần này
tôi đặt là ‘AI Analysis’ – nghĩa là ‘Phân tích AI’. Nhưng vì vào thời điểm
hiện nay, AI trên thực tế là các mô hình LLM (Large Language Model) nên
câu chuyện phân tích AI biến thành việc phân tích LLM. Để đơn giản hóa vấn đề,
trong bài post này tôi chỉ tập trung vào 2 điểm chính: (1) khi một LLM được
phát hành (released) thì chúng ta nên chú ý đến những gì và (2) định vị
một hoặc vài trang web mà trang đó (hoặc các trang đó) cho chúng ta biết một
cách nhanh nhất chất lượng (‘độ’ thông minh) cùng các tiêu chí khác của LLM vừa
phát hành.
-
❶.
Cần chú ý gì khi một LLM được phát hành (released)?
Khi chúng ta
xem các thông số của một chiếc TV, thường chúng ta chú ý đến: kích thước màn
hình (Inch), độ phân giải (HD, Full HD, 4K UHD, 8K), công nghệ tấm nền (LED,
OLED, QLED), công nghệ âm thanh (Dolby Atmos, Dolby Audio, DTS), tính năng
thông minh (Google TV, Tizen OS, WebOS), … Vậy khi “khảo sát” một LLM chúng ta
nên xem các thông số nào? Khi các Lab hàng đầu (OpenAI, Anthropic, Google,
DeepSeek, Meta AI, Z.ai, Alibaba Cloud, …) giới thiệu phiên bản mới, họ thường
viết bài giới thiệu tóm tắt trên nền tảng X (trước đây là Twitter) kèm theo một
blog. Bài giới thiệu thường bắt đầu bằng quảng bá các tính năng nổi trội của mô
hình, dẫn dắt người đọc vào một mê cung, và thường làm chúng ta bị “lạc lối”,
không biết nên chú ý đến các thông số nào. Theo quan điểm cá nhân tôi, đối với
người dùng phổ thông, chúng ta chỉ cần đọc một vài thông số cơ bản:
· Input (đầu vào): Các phương thức được hỗ trợ (văn bản, hình ảnh, âm thanh, video, tệp), định dạng được chấp nhận, độ dài ngữ cảnh tối đa (context window), và giới hạn đầu vào (input limit).
· Output (đầu ra): Số lượng token đầu ra tối đa, các định dạng được hỗ trợ, đầu ra có cấu trúc/JSON, truyền dữ liệu dạng luồng (streaming), đầu ra đa phương thức, và độ chi tiết hoặc văn phong (verbosity/style).
· Model architecture (kiến trúc mô hình): Họ kiến trúc (architecture family), đặc (dense) hay MoE (Mixture-of-Experts), số lượng tham số (nếu được công bố), cơ chế chú ý (attention mechanism)/ngữ cảnh, kiến trúc suy luận. Các chi tiết này có thể không được công bố, đặc biệt nếu là mô hình nguồn đóng.
· Knowledge (kiến thức): Knowledge cutoff (mốc thời gian giới hạn kiến thức). Ví dụ: Mô hình Claude Opus 5.5 của Anthropic, phát hành hôm 25/9/2026, có knowledge cutoff là tháng 6/2026.
Knowledge cutoff chỉ mốc thời gian cuối cùng mà dữ liệu huấn luyện
(training data) của mô hình được thu thập. Mô hình sẽ không có thông tin hay kiến
thức về các sự kiện, tin tức hoặc sự phát triển diễn ra sau mốc thời gian này
(trừ khi kết hợp với các công cụ tra cứu thời gian thực như Tìm kiếm/RAG).
· Tools & agents (công cụ & tác tử AI): Có function/tool calling không, có computer use không, có browsing không, có code execution không, có parallel tool calls không, có agentic workflows không.
-
Cô đọng hơn nữa,
có lẽ chúng ta chỉ cần để ý đến input và output là đủ. Tức là đầu
vào, đầu ra chấp nhận các phương thức dữ liệu nào: văn bản, hình ảnh, âm thanh,
video, tệp.
-
❷.
Trang web nào phân tích LLM tốt nhất?
Từ “tốt nhất”
này là quan điểm cá nhân tác giả - có tham khảo cộng đồng và một số chatbot.
Trang đó là: Independent analysis of AI. Mời anh/chị cùng khảo sát trang này.
✪
Khi vào trang
chủ, cái đập vào mắt chúng ta là biểu đồ của 3 chỉ số chính: Intelligence (Trí
tuệ/Độ thông minh), Speed (Tốc độ) và Cost per Task (Chi phí / Tác vụ).
Rất trực quan
và dễ hiểu! Nhìn lướt qua chung ta biết ngay LLM nào ‘thông minh’ nhất, cái nào
nhanh nhất và cái nào rẻ nhất. Biểu đồ cột, mỗi một cột tương ứng với một mô
hình, các cột có cùng màu sắc biểu thị các mô hình thuộc cùng một Lab/công ty,
dưới các cột in nghiêng là tên mô hình và logo của Lab/công ty. Nhìn biểu đồ
chúng ta có ngay một bức tranh tổng quan về chỉ số cạnh tranh của các mô hình
tiên phong.
✪
Nhưng đó chỉ là
bức tranh khái quát và vắn tắt. Khi chúng ta kéo con trỏ xuống dưới, chúng ta sẽ
thấy các phân tích chuyên sâu. Mời anh/chị cùng lướt qua các mục này theo thứ tự
xuất hiện trên trang web.
-
⬛ Intelligence
(Trí tuệ / độ thông minh)
◼ Intelligence
Index
Mục này hiển thị
một biểu đồ cột cho 25 mô hình đạt Intelligence Index cao nhất. Điểm Max là 100
(tính theo phương pháp %) – anh/chị tò mò có thể tham khảo phương pháp luận của họ. Nếu không thấy mô hình mà mình
quan tâm, anh/chị có thể thêm vào biểu đồ bằng cách chọn một mô hình trong hộp
thả (drop box) rồi nhấn nút
+ Add model from specific provider.
◼ Anh/chị đừng
quên tham khảo các biểu đồ tách ra từ biểu đồ Intelligence Index gồm:
· Open Weights / Proprietary (Trọng số mở / Độc quyền [mã nguồn đóng]). Khi tham khảo mục này, anh/chị sẽ thấy phần lớn các mô hình mã nguồn đóng thuộc Mỹ trong khi phần lớn các mô hình mã nguồn mở thuộc Trung Quốc.
· Reasoning / Non-Reasoning (Có lập luận / Không lập luận)
· Text Only / Multimodal Inputs (Chỉ văn bản / Đầu vào đa phương thức)
· By Country (Theo quốc gia). Khi tham khảo mục này, anh/chị sẽ thấy phần lớn các mô hình tiên phong thuộc hai cường quốc là Mỹ và Trung Quốc. Trong số 25 mô hình hàng đầu, chúng ta thấy có một mô hình của UAE (United Arab Emirates - Các tiểu vương quốc Ả rập thống nhất) và một của Pháp.
-
◼ Tiếp đó
là các biểu đồ
· Cost per Task (Chi phí / Tác vụ),
· Time per Task (Thời gian / Tác vụ),
· Output Tokens per Task (Số token đầu ra / Tác vụ).
Chú ý: “Task” mang ý nghĩa là một bài toán, một thử thách hoặc một
đơn vị công việc hoàn chỉnh (chẳng hạn như giải một bài toán lập trình, xử lý một
quy trình công việc agentic). Người ta sử dụng đơn vị đo là “Task” thay vì
“Token” vì cách đo này có ý nghĩa thực tế hơn.
◼ Anh/chị
cũng đừng bỏ qua 3 biểu đồ đối sánh tương ứng với các biểu đồ ở trên được đặt
tên là:
· Intelligence Index vs. Cost per Intelligence Index Task (Chỉ số Trí tuệ so với Chi phí cho mỗi Tác vụ). Trong ngữ cảnh chuyên ngành, người ta gọi là tỷ lệ hiệu năng trên giá thành (P/P - Performance/Price).
· Intelligence Index vs. Time per Task (Chỉ số Trí tuệ so với Thời gian cho mỗi Tác vụ). Ý nghĩa chỉ số (Metric Insight): Biểu đồ này dùng để đánh giá mối quan hệ giữa hiệu năng và tốc độ. Các mô hình đạt điểm Intelligence Index cao nhưng mất nhiều thời gian suy luận (Reasoning) sẽ nằm ở vùng thời gian xử lý dài hơn.
· Intelligence Index vs. Output Tokens per Intelligence Index Task (Chỉ số Trí tuệ so với Số Token Đầu ra cho mỗi Tác vụ). Trong ngữ cảnh chuyên ngành, người ta gọi là Chỉ số hiệu năng và Dung lượng đầu ra. Ý nghĩa chỉ số (Metric Insight): Biểu đồ này giúp nhận biết mô hình nào có lối suy luận dài dòng/nhiều token (như các mô hình chuyên về Reasoning) so với các mô hình đưa ra câu trả lời trực tiếp và ngắn gọn để đạt cùng một mức độ thông minh.
Chú ý: Tất cả 3 biểu đồ trên đều có một
dòng chữ:
“Most
attractive quadrant ... Pareto line” (Góc phần tư hấp dẫn nhất... Đường Pareto).
Nhìn
xuống biểu đồ, anh/chị thấy góc phần tư (trái trên) được tô màu nền xanh nhạt kèm theo một đường chấm chấm
(…) gọi là đường Pareto.
Ý
nghĩa của góc phần tư:
Góc
phần tư này chứa các mô hình tối ưu (về giá thành, về thời gian, về dung lượng
đầu ra).
Ý
nghĩa của đường Pareto:
Ranh
giới đánh đổi: Mọi mô
hình nằm trên đường này đều đại diện cho sự cân bằng tối ưu nhất trong phân
khúc. Để có một mô hình thông minh hơn so với mô hình đang nằm trên đường này, anh/chị
phải dịch chuyển sang phải và trả chi phí cao hơn. Để tìm một mô hình rẻ hơn, anh/chị
phải dịch chuyển xuống dưới và chấp nhận giảm độ thông minh.
Ưu
thế vượt trội so với đối thủ:
Các mô hình nằm trên đường này "áp đảo" những mô hình nằm ở phía dưới
bên phải chúng. Nếu Mô hình A nằm ngay trên đường này còn Mô hình B nằm ở phía
dưới hoặc bên phải nó, thì Mô hình B được coi là kém hiệu quả; lý do là vì nó đắt
hơn nhưng có cùng độ thông minh, hoặc kém thông minh hơn nhưng có cùng mức giá.
⬛ Coding Agent Index
(Bảng chỉ số các tác tử lập trình)
Phần này người
ta chia thành 3 biểu đồ thành phần là:
· Index (Chỉ số),
· Cost (Chi phí)
· Execution Time (Thời gian thực thi).
Phía dưới 3 biểu
đồ này là biểu đồ đối sánh có tên là “Artificial Analysis Coding Agent Index vs. Cost per Task” (Chỉ số Coding
Agent so với Chi phí cho mỗi Tác vụ) với cùng nguyên lý như đã được đề cập ở phần
trước: Coding Agent nào nằm trong vùng “xanh”, nằm trên đường Pareto (cân bằng tối ưu giữa hiệu năng và chi
phí).
Chúng ta có thể
dễ dàng nhận thấy số mô hình có Coding Agent ít hơn nhiều so với tổng số các mô
hình (tại thời điểm bài viết, tỷ lệ này là 31:689).
⬛ Cyber
(Năng lực phòng thủ tấn công mạng)
Phần này đánh
giá năng lực mô hình trong lĩnh vực phòng thủ mạng doanh nghiệp (enterprise
cyber defense). Họ có 2 biểu đồ thành phần được đặt tên là:
· Cyber Index: Chỉ số chung về phòng thủ an ninh mạng
· Score by Benchmark: Chỉ số cho từng benchmark: CWE-Bench-AA, DeepsecBench-AA, CyberGym-E2E-AA
Chú ý: Có 2 thước đo đặt tên là 'Successes' và
'Safety blocks'. Chúng là gì?
· Successes (Thành công): Tỷ lệ phần trăm hoặc số lượng tuyệt đối các tác vụ an ninh mạng mà mô hình đã giải quyết thành công.
· Safety Blocks (Chặn vì lý do an toàn): Tỷ lệ các tác vụ trong bài kiểm tra chuẩn mà mô hình hoặc nhà cung cấp API từ chối thực hiện vì lý do an toàn.
Ở phía dưới chúng
ta cũng nhìn thấy biểu đồ đối sánh có tên là ‘Score vs. Cost per Task’ (Điểm số so với Chi
phí mỗi Tác vụ) – theo cùng nguyên lý như đã được phân tích ở trên: Hiệu năng
phòng thủ / giá thành.
⬛ Image & Video
(Ảnh & Video)
Phần này gồm các
biểu đồ thành phần:
· Text to Image (Chuyển Văn bản thành Hình ảnh). Có 167 mô hình có chức năng này / 689 (tổng số mô hình).
· Image Editing (Chỉnh sửa Hình ảnh). Có 80 mô hình có chức năng này / 689 (tổng số mô hình).
· Text to Video (Chuyển Văn bản thành Video). Có 28 mô hình có chức năng này / 689 (tổng số mô hình).
· Image to Video (Chuyển đổi Hình ảnh thành Video). Có 36 mô hình có chức năng này / 689 (tổng số mô hình).
· Video Editing (Chỉnh sửa video). Có 9 mô hình có chức năng này / 689 (tổng số mô hình).
Chú ý: Khác với các biểu đồ trước, các biểu đồ trong phần này được
chấm điểm theo hệ thống Elo: các mô hình thi đấu với nhau trên cùng một đấu trường.
“Trọng tài” là đội ngũ (con người) do công ty vận hành trang web tuyển chọn.
- “Trọng tài” sử dụng cùng 1 Prompt cho 2 mô hình ẩn danh, rồi đánh giá kết quả
(Response) xem mô hình nào “thắng” mô hình nào.
- Vì vậy, cách xếp hạng này mang tính “chủ quan” (của con người) chứ không dựa
trên tính “khách quan” như cách đánh giá dựa trên các benchmark.
⬛ Speech
(Giọng nói)
Phần này đánh
giá năng lực các mô hình trong Text-to-Speech (chuyển đổi Văn bản thành Giọng nói),
Speech-to-Text (chuyển đổi Giọng nói thành Văn bản), Speech-to-Speech (chuyển đổi
Giọng nói thành Giọng nói). Họ có các biểu đồ thành phần sau:
· Provider Voice (Nhà cung cấp dịch vụ Text-to-Speech).
Giải thích: Thuật ngữ "Provider Voice" (giọng nói của nhà cung cấp) đề cập đến các tùy chọn chuyển đổi văn bản thành giọng nói (TTS) hoặc tạo âm thanh cụ thể, do chính mô hình AI cung cấp và vận hành để chuyển đổi các phản hồi dạng văn bản thành âm thanh lời nói.
· Controlled Voice (Kiểm soát giọng nói trong Text-to-Speech).
Giải thích: Khái niệm "Controlled Voice" đề cập đến các kỹ thuật hoặc cơ chế cho phép quản lý một cách chính xác và có thể tái lập các tham số đầu ra về âm thanh hoặc chuyển đổi văn bản thành giọng nói của mô hình—chẳng hạn như tông giọng, cảm xúc, sắc thái hay các đặc tính âm học khác.
· Word Error Rate Index (Non-Streaming) (Chỉ số Tỷ lệ lỗi từ (Không phát trực tuyến)).
Giải thích: Tỷ lệ lỗi từ (WER: Word Error Rate) ở chế độ không phát trực tuyến (non-streaming) là một chỉ số dùng để đánh giá độ chính xác của các mô hình chuyển đổi giọng nói thành văn bản (nhận dạng giọng nói tự động - ASR); Trong bối cảnh không phát trực tuyến, mô hình sẽ xử lý toàn bộ tệp âm thanh cùng một lúc sau khi quá trình ghi âm đã hoàn tất, thay vì chuyển đổi theo thời gian thực (streaming) ngay khi người dùng đang nói.
· AA-WER Streaming Index vs. Time to Final Transcription (Chỉ số AA-WER trực tuyến (Streaming) so với Thời gian hoàn tất phiên âm). Biểu đồ đối sánh “tỷ lệ lỗi từ” so với “Thời gian hoàn tất phiên âm” với cùng nguyên lý như đã được đề cập ở trên: hiệu năng của kiểm soát lỗi / thời gian phiên âm.
Nhận xét chung: Không
nhiều các mô hình có chuyển đổi văn bản – giọng nói (vào thời điểm của bài viết
thì tỷ lệ số mô hình loại này / tổng số mô hình là ~ 50/689)
⬛ Capability Indexes
(Chỉ số năng lực)
Phần này có các
biểu đồ thành phần sau:
· Finance & Accounting (Tài chính & Kế toán)
· Strategy & Ops (Chiến lược và Vận hành)
· Legal (Pháp lý)
· Healthcare & Medical (Chăm sóc sức khỏe & Y tế)
· Engineering (Kỹ nghệ)
· Economics (Kinh tế)
Nhận xét chung: Không
nhiều các mô hình có các năng lực như trên (vào thời điểm của bài viết thì tỷ lệ
số mô hình có năng lực / tổng số mô hình là ~ 200/689)
⬛ Benchmarks
Xin phép anh/chị
bỏ qua, không đề cập phần này vì số lượng các benchmarks rất nhiều. Cũng xin lưu
ý rằng, về thực chất, các biểu đồ ở các phần trên đều dựa vào tổ hợp các đánh
giá từ benchmark.
🤔.
Suy ngẫm chậm
✪
·
Ngoài
trang này (Independent analysis of AI), các bài giới thiệu về LLM gần đây hay
đề cập đến trang Vals AI. Trang Vals AI đánh
giá các tác vụ có giá trị kinh tế.
·
Xếp
hạng theo hình thức “đấu trường” có trang https://arena.ai/.
Ai cũng có thể tham gia xếp hạng.
·
Xếp
hạng một cách hàn lâm có trang https://crfm.stanford.edu/helm/.
✪
Cái
để lại ấn tượng nhất có lẽ là biểu đồ đối sánh Intelligence Index vs. Cost per Intelligence Index
Task (Chỉ số Trí tuệ so với Chi phí cho mỗi Tác vụ) vì biểu đồ này cho
chúng ta biết tỷ lệ hiệu năng trên giá thành (P/P - Performance/Price) –
xem chụp màn hình ở dưới.
Trong hình trên, hãy chú ý đến đường Pareto (được thể hiện bằng …) trong ô nền xanh nhạt. Các mô hình nằm trên đường Pareto (hoặc sát đường này) có tỷ lệ hiệu năng trên giá thành là tối ưu (đủ thông minh và đủ rẻ). Không phải cứ chọn mô hình thông minh nhất là tối ưu vì có thể chi phí vượt ngân sách cho phép. Cũng không phải chọn mô hình rẻ nhất là tối ưu vì mô hình rẻ có thể không đáp ứng nhu cầu bài toán.
Chú
ý rằng biểu đồ này không cố định theo thời gian vì sẽ có các mô hình mới xuất
hiện, có thể trám chỗ quanh đường Pareto. Càng có nhiều LLM thì việc lựa chọn tối
ưu càng phong phú. Nhưng tối ưu động (theo nghĩa là có thuật toán chọn sử dụng các mô hình nằm trên hoặc quanh đường Pareto) lại là một câu chuyện khác. Liên quan đến vấn đề tối ưu động theo nghĩa này,
nếu anh/chị có nhiều thời gian và tò mò, xin tham khảo thêm OpenRouter.
~~~
Chúc anh/chị đọc vui nhã
LeVanLoi
Không có nhận xét nào:
Đăng nhận xét