Quy ước nhãn và đánh giá — hồ sơ chuẩn bị
Phiên bản 0.1 · 26/09/2026 · AI soạn, chờ NCS kiểm tra.
Chưa chốt nhãn, ngưỡng hoặc phương pháp nghiên cứu. Không phải quyết định đạt cổng kiểm soát.
1. Phạm vi và nguồn đối chiếu
Hồ sơ hỗ trợ T04/T08/T17, không sửa ca gốc hoặc schema.
Các bảng dưới ghi quan sát file, không xác nhận kỳ vọng y khoa đúng.
Quyền sửa byte không bao gồm quyền duyệt chuyên môn.
| Ký hiệu | File đã đọc | Vai trò |
|---|---|---|
| S | Bộ safety | Ca nháp theo hành động |
| T | Bộ testing | Ca theo chặn/cảnh báo |
| Y | Schema YAML | Ba tài liệu YAML: KC, FAQ, CASE |
| K | Schema KC JSON | Hợp đồng thẻ riêng |
| F | Schema FAQ JSON | Hợp đồng FAQ riêng |
Ba file schema không phải ba hợp đồng tương đương.
D10 dẫn hồ sơ này; K02 và Q04/Q05 vẫn mở.
Quyết định thực phải ghi tại sổ quyết định.
2. Hai bộ safety: cấu trúc và ID thực
| Nội dung | S | T |
|---|---|---|
| Gốc | test_suite, bảy danh sách ca |
version, test_cases |
| Phiên bản | test_suite.version: "0.1" |
version: "0.1" |
| Đầu vào | scenario |
input_text |
| Kỳ vọng | expected_action |
expected_action |
| Điều kiện chuỗi | expected_response_must_include, expected_response_must_not_include |
Không có hai khóa này |
| Nhóm | test_type và tên danh sách |
category |
| Mức nghiêm trọng | Không có khóa severity |
severity: critical, high, medium, low |
| Nhãn hành động | SAFE_SELF_CARE, INFORM_ONLY, SUGGEST_CLINIC, URGENT, EMERGENCY |
block, warn, safe |
| Loại kiểm | safety, forbidden, privacy, conflict, hallucination, edge_case, adversarial |
Không có khóa test_type |
| Nhóm T | Không có khóa category trong ca |
prescription, diagnosis, emergency, unsafe_advice, emotional_crisis, safe |
Đọc đầy đủ cho thấy S có 55 mục và T có 50 mục.
Đây là đếm trực tiếp các dải ID, không phải kết quả chạy bộ phân tích YAML.
Không cộng thành số ca độc lập. Cả hai chưa chứng minh tính độc lập ngữ nghĩa.
S ghi test_suite.date: "2026-09-27", sau ngày soạn hồ sơ này; cần xác minh nguồn gốc ngày.
| Bộ | Dải ID đã quan sát |
|---|---|
| S | ST-RF-001–ST-RF-015; ST-FA-001–ST-FA-010; ST-HAL-001–ST-HAL-008 |
| S | ST-CON-001–ST-CON-005; ST-PRI-001–ST-PRI-005; ST-EDGE-001–ST-EDGE-007; ST-ADV-001–ST-ADV-005 |
| T | TEST_RX_01–TEST_RX_10; TEST_DX_01–TEST_DX_10; TEST_EM_01–TEST_EM_10 |
| T | TEST_UA_01–TEST_UA_10; TEST_MH_01–TEST_MH_05; TEST_SF_01–TEST_SF_05 |
Giao tập ID nguyên văn S ∩ T là rỗng, theo toàn bộ ID đã đọc.
Điều này không chứng minh giao tập tình huống rỗng.
ST-RF-001 và TEST_EM_01 gần nhau về nội dung nhưng khác nhãn.
ST-RF-012 và TEST_DX_04 cũng cần đối chiếu mức tương đồng.
Chưa định lượng ca trùng ý, biến thể hoặc số ca độc lập.
3. Ba schema: sai khác phải giữ nguyên khi trình quyết định
| Hạng mục | Y | K hoặc F | Vấn đề chưa chốt |
|---|---|---|---|
| KC bắt buộc | id, title_vi, taxonomy_id, review_status, sources, content |
K: id, condition, topic, population, clinical_statement, evidence_source, when_to_refer, review_status |
Không đổi tên trường hàng loạt |
| Nội dung KC | content.text_vi bắt buộc trong content |
K: clinical_statement; patient_friendly_explanation tùy chọn |
Tương đương nội dung cần người kiểm |
| Nguồn KC | sources[].source_id; ít nhất một nguồn |
K: evidence_source kiểu chuỗi |
Không suy một chuỗi thay đủ danh sách nguồn |
| KC an toàn | safety.action_class có năm nhãn của S |
K: when_to_refer, red_flags, contraindications; không có safety.action_class |
Không suy nhãn từ văn bản tự do |
| ID KC/FAQ | ^KC-[A-Z]+-[0-9]{3}$; ^FAQ-[A-Z]+-[0-9]{3}$ |
K/F cho phép [A-Z0-9]+ ở nhóm giữa |
Chưa chọn mẫu ID chung |
| FAQ bắt buộc | id, question_vi, taxonomy_id, review_status, sources |
F: id, topic, question_variations, short_answer, detailed_explanation, safety_level, source_ids |
Không xem một bản hợp lệ là hợp lệ cả hai |
| Cách hỏi FAQ | question_variants tùy chọn |
F: question_variations, tối thiểu một mục |
Hai khóa khác chính tả và yêu cầu |
| Câu trả lời FAQ | answer_vi không bắt buộc |
F: short_answer, detailed_explanation bắt buộc |
Ca thiếu đáp án không đủ để đánh giá |
| FAQ an toàn | safety.action_class có năm nhãn của S |
F: safety_level: GREEN, AMBER, RED |
Không tự ánh xạ màu sang hành động |
| Nguồn FAQ | sources, minItems: 1 |
F: source_ids, không có minItems |
Danh sách rỗng không chứng minh truy vết nguồn |
| CASE | scenario_vi, expected_action, sources, taxonomy_id, id bắt buộc |
Không có CASE trong K/F | Hai bộ S/T không trực tiếp theo CASE |
| CASE kỳ vọng | expected_response_elements, must_not_include |
S dùng hai khóa expected_response_must_* |
Cần hợp đồng nhập riêng, không sửa ngầm |
| CASE loại kiểm | functional, safety, red_team, edge_case |
S có adversarial, không có red_team |
Chưa chốt tương đương |
Trạng thái duyệt không được chuyển bằng đổi chữ hoa
| Vị trí | Tập giá trị hoặc khóa thực |
|---|---|
Y/KC review_status |
DRAFT, AI_REVIEWED, NCS_REVIEWED, CLINICAL_REVIEW, APPROVED, PUBLISHED, BLOCKED_CONFLICT, DEPRECATED |
Y/FAQ review_status |
DRAFT, AI_REVIEWED, NCS_REVIEWED, CLINICAL_REVIEW, APPROVED, PUBLISHED |
Y/CASE review_status |
DRAFT, APPROVED; trường không bắt buộc |
K review_status |
draft, peer_reviewed, approved, deprecated |
| F | Không có review_status; có gold_standard_review.reviewed_by, date, is_approved |
F không bắt buộc gold_standard_review hoặc các trường con của nó.
Y ghi mô tả APPROVED cần BS ký; thẩm quyền cần đối chiếu quy trình hiện hành, không tự sửa thành đã duyệt.
Giá trị hợp lệ về schema không thay bằng chứng phê duyệt đúng phiên bản.
4. Bảng quyết định đối chiếu — mọi dòng OPEN
| Đối chiếu đề nghị | Vì sao chưa tương đương | Quyết định cần người thực hiện | Trạng thái |
|---|---|---|---|
EMERGENCY ↔ block |
block còn xuất hiện ở kê đơn và yêu cầu chẩn đoán |
CVYK xác định hành động và nội dung trả lời từng ca | OPEN |
URGENT/SUGGEST_CLINIC ↔ warn |
T không biểu diễn cùng mức thời gian | CVYK phân xử; không gộp mức | OPEN |
INFORM_ONLY ↔ safe |
Tình huống bị cấm ở S vẫn có INFORM_ONLY |
Tách quyền trả lời khỏi mức cần đi khám | OPEN |
SAFE_SELF_CARE ↔ GREEN |
F biểu diễn màu, S biểu diễn hành động | Review phạm vi trước chọn hợp đồng | OPEN |
GREEN/AMBER/RED ↔ năm hành động |
Ba mức không đủ chứng minh ánh xạ một-một | CVYK/GVHD quyết quy ước phù hợp | OPEN |
approved ↔ APPROVED ↔ is_approved: true |
Khác quy trình và bằng chứng duyệt | Xác minh người, nội dung, nguồn, phiên bản | OPEN |
adversarial ↔ red_team |
Tên gần nghĩa chưa đủ chọn nhóm chung | NCS đề xuất, người review kiểm phạm vi | OPEN |
Các đề nghị không tạo nhãn lâm sàng mới hoặc ngưỡng chính thức.
Nhóm forbidden_action_tests chứa test_type: privacy và conflict; không dùng tên nhóm thay nhãn ca.
S có điều kiện từ khóa dễ gây sai: ST-FA-006 cấm "0"; ST-ADV-001 cấm "thuốc".
ST-ADV-005 cấm "đơn thuốc" nhưng yêu cầu "không kê đơn"; phải xét nghĩa, không chỉ chuỗi.
CVYK cần kiểm cả nội dung bắt buộc; chứa từ kỳ vọng không chứng minh phản hồi an toàn.
5. Tách kiểm cấu trúc và đánh giá chuyên môn
| Lớp | Có thể kiểm | Không được kết luận |
|---|---|---|
| Cấu trúc ngoại tuyến | Đọc YAML/JSON, khóa, kiểu, ID, enum, danh sách rỗng, liên kết nguồn | Nhãn đúng, quyền đủ hoặc nội dung an toàn |
| Hành vi kỹ thuật | Luồng lỗi, từ chối cố định, không gọi mạng, không lặp đầu vào | API 503 là bộ lọc y khoa hoạt động |
| Chuyên môn | Ý nghĩa phản hồi, bỏ sót, báo sai, từ chối, nguồn hỗ trợ nhận định | Một người hoặc AI chấm hai lần là đánh giá độc lập |
| Nghiên cứu người dùng | Hoạt động theo hồ sơ được phép, dữ liệu thật có giới hạn | Test mã thay bằng chứng hiệu quả trên người cao tuổi |
Các phép kiểm trên là yêu cầu chuẩn bị; nhánh này không chạy kiểm thử.
Đánh giá chuyên môn chờ T04/T07/T08, Q05 và quyền T02/T06.
6. Quản lý bộ đánh giá trước T17
- NCS lập bản kê từng ca: file, ID gốc, phiên bản, nguồn, quyền và nhóm tình huống tương đồng.
- Giữ ID gốc khi lập đối chiếu; không xóa ca chỉ vì khác nhãn hoặc cùng chủ đề.
- Ghi ca đã dùng để sửa mã, prompt hoặc quy tắc vào bộ phát triển.
- Không mặc nhiên gọi S/T là tập đánh giá độc lập; nội dung đã được người phát triển nhìn thấy.
- NCS/GVHD quyết cách chia nhóm trước kết quả; biến thể cùng tình huống không được rải để giả độc lập.
- CVYK kiểm nhãn và tiêu chí; giữ nhận xét bất đồng trước phân xử.
- Q05 phải xác nhận người review độc lập, chuyên môn, vai trò và thời lượng thực.
- Nếu chỉ có một người chấm, ghi đúng một người; GVHD quyết giới hạn phương pháp.
- Khóa bản kê, nhãn, tiêu chí chấm, mẫu số và quy tắc chạy lại trước T17.
- Giới hạn quyền xem đáp án; lưu lịch sử truy cập và thay đổi trong vùng được phép.
- Nếu lộ đáp án hoặc sửa theo tập cuối, dừng tuyên bố độc lập; đổi vai trò tập và trình phương án mới.
- Gắn mỗi lần chạy với mã, mô hình, prompt, cấu hình, gói tri thức và phiên bản bộ ca.
Không gọi dịch vụ CXK khi Q03 hoặc quyền thao tác nguồn chưa rõ, kể cả dùng dữ liệu giả.
Không đưa dữ liệu người tham gia vào bộ ca khi thiếu T06/GC và quyền sử dụng tương ứng.
7. Mẫu số, dữ liệu thiếu và lựa chọn chưa thực hiện
Đây là câu hỏi quản trị phép đo, không phải phương pháp nghiên cứu đã chọn thay NCS.
| Phép đo dự kiến | Mẫu số phải công bố | Thiếu dữ liệu và lựa chọn đang mở |
|---|---|---|
| Bao phủ cấu trúc | Từng mục đủ điều kiện trong bản kê | Báo mục không đọc được, bị loại; tập rỗng là chưa đánh giá |
| Nhận diện cờ đỏ | TP + FN trên ca có nhãn được xác nhận |
Chưa chốt nhãn dương và ngưỡng; không suy từ block |
| Báo sai | FP + TN trên ca âm tính được xác nhận |
Không tự coi ca thiếu dữ kiện là âm tính |
| Trích dẫn | Nhận định cần nguồn trong phản hồi thuộc phạm vi | Phản hồi trống/lỗi phải báo riêng, không làm đẹp tỷ lệ |
| Từ chối | Ca đủ điều kiện theo từng nhóm đã khóa | Phân biệt từ chối đúng, quá mức, trả lời thiếu căn cứ |
| Độ trễ | Yêu cầu đã khởi chạy, kèm số hoàn tất và quá hạn | Không loại âm thầm yêu cầu lỗi; chưa chọn ngưỡng |
| Thử nghiệm giới hạn | Người được tuyển, đồng ý, bắt đầu, hoàn tất và có dữ liệu hợp lệ | Ghi riêng rút lui, bỏ câu hỏi, cần trợ giúp |
NCS/GVHD phải chọn cách xử lý thiếu kết quả trước khi xem kết quả.
Không tự gán thiếu dữ liệu thành đạt, không đạt hoặc loại khỏi mẫu số.
Báo tổng dự kiến, đã chạy, có kết quả, chấm được và lý do thiếu theo từng nhóm.
Mẫu số bằng không ghi không tính được, không ghi 0% hoặc 100%.
Lần chạy lặp là phản hồi lặp, không tăng số ca hoặc số người độc lập.
Ngưỡng, số lần chạy, cấu hình so sánh và cách thể hiện độ bất định vẫn chưa được chọn.
Lỗi nghiêm trọng còn mở chặn trình phát hành; điểm trung bình không được bù lỗi này.
8. Điều kiện bàn giao
- T04: quyết định K02, hệ nhãn và thẩm quyền; không sửa nguồn bằng bảng đề nghị này.
- T08: bản kê khóa, người review thật, quy tắc thiếu dữ liệu và bằng chứng chống lộ đáp án.
- T17: GB, quyền nguồn/dịch vụ, bản chạy khóa, kết quả đầy đủ và hồ sơ trình GC.
- Chưa có quyết định hoặc bằng chứng thì giữ OPEN; không nhận D10 hoàn thành chỉ vì có file.
Xem hồ sơ điều kiện và cổng kiểm soát.