Các công cụ AI cho gây mê nha khoa có triển vọng nhưng cần phải cải thiện

Các LLM do các nhà nghiên cứu lựa chọn cũng bao gồm Gemini 1.0 và được sử dụng trong kỳ thi chứng nhận hội đồng của Hiệp hội Gây mê Nha khoa Nhật Bản. Mục tiêu là đánh giá tính hữu ích của các mô hình này bằng cách so sánh độ chính xác của chúng trong việc trả lời các câu hỏi trong kỳ thi, đưa ra hiểu biết sâu sắc về ứng dụng của chúng trong gây mê nha khoa.

Nghiên cứu đã sử dụng 295 câu hỏi trắc nghiệm từ kỳ thi, kéo dài từ năm 2020 đến năm 2022, không bao gồm các câu hỏi yêu cầu diễn giải trực quan hoặc được coi là không phù hợp. Các câu hỏi được nhập thủ công vào LLM mà không có kỹ thuật nhắc nhở chuyên biệt. Mỗi mô hình trả lời các câu hỏi ba lần và độ chính xác được xác định bằng cách so sánh các phản hồi với các câu trả lời đồng thuận từ các bác sĩ gây mê nha khoa được hội đồng chứng nhận. Hiệu suất được phân tích trên sáu hạng mục: sinh lý cơ bản, gây tê tại chỗ, gây mê và gây mê toàn thân, quản lý toàn thân, quản lý cơn đau và sốc và hồi sức.

ChatGPT‑4 đạt độ chính xác cao nhất (51,2%), tiếp theo là Claude 3 Opus (47,4%), trong khi Gemini 1.0 tụt hậu đáng kể (30,3%). ChatGPT‑4 và Claude 3 Opus hoạt động đặc biệt tốt trong các lĩnh vực như quản lý toàn thân và quản lý cơn đau. Tuy nhiên, tất cả các mô hình đều cho thấy tỷ lệ chính xác chung dưới 60%, cho thấy những hạn chế trong tiện ích hiện tại của chúng đối với việc ra quyết định lâm sàng trong gây mê nha khoa.

Nghiên cứu quy kết độ chính xác tương đối thấp cho một số yếu tố. Đầu tiên, tính khả dụng của thông tin gây mê nha khoa trực tuyến bị hạn chế, có khả năng ảnh hưởng đến hiệu suất của các mô hình. Ngoài ra, việc không có kỹ thuật nhắc nhở cụ thể và sự mơ hồ tiềm ẩn trong các câu hỏi gốc bằng tiếng Nhật có thể đã góp phần làm cho kết quả không tối ưu hơn nữa. Các tác giả lưu ý rằng việc tối ưu hóa các lời nhắc có thể cải thiện đáng kể độ chính xác của LLM trong việc trả lời các câu hỏi y khoa.

Bất chấp những hạn chế này, nghiên cứu đã nêu bật tiềm năng của LLM trong việc hỗ trợ hoạt động gây mê nha khoa, đặc biệt là trong các nhiệm vụ hành chính như lập hồ sơ. Tuy nhiên, nghiên cứu cũng cảnh báo không nên dựa vào chúng để đưa ra các quyết định lâm sàng phức tạp do những rủi ro như "ảo giác", trong đó các mô hình tạo ra những phản ứng hợp lý nhưng không chính xác.

Nghiên cứu có tiêu đề "Đánh giá các mô hình ngôn ngữ lớn trong gây mê nha khoa: Phân tích so sánh ChatGPT‑4, Claude 3 Opus và Gemini 1.0 trong kỳ thi chứng chỉ của Hội đồng gây mê nha khoa Nhật Bản", đã được công bố trực tuyến vào ngày 27 tháng 9 năm 2024 trên Cureus.

Topics:

Tags: