Nghiên cứu đánh giá độ tin cậy của mô hình ngôn ngữ tiết lộ lỗ hổng tiềm ẩn

Gần đây, một nhóm gồm nhiều trường đại học và tổ chức nghiên cứu nổi tiếng đã công bố một nghiên cứu đánh giá toàn diện về độ tin cậy của các mô hình ngôn ngữ lớn (LLMs). Nghiên cứu đã phân tích toàn diện các mô hình như GPT và phát hiện một số vấn đề liên quan đến độ tin cậy mà trước đây chưa được tiết lộ.

Nghiên cứu cho thấy, mô hình GPT dễ dàng tạo ra các đầu ra độc hại và có thiên kiến, đồng thời cũng có thể rò rỉ thông tin riêng tư từ dữ liệu huấn luyện và lịch sử trò chuyện. Thú vị thay, mặc dù GPT-4 thường đáng tin cậy hơn GPT-3.5 trong các bài kiểm tra chuẩn, nhưng lại dễ bị tấn công hơn khi đối mặt với các gợi ý được thiết kế ác ý. Điều này có thể do GPT-4 tuân theo các chỉ dẫn gây hiểu lầm một cách chính xác hơn.

Đánh giá này đã phân tích toàn diện mô hình GPT từ tám khía cạnh khác nhau, bao gồm nhiều tình huống, nhiệm vụ, chỉ số và tập dữ liệu. Mục tiêu của nhóm nghiên cứu là đánh giá hiệu suất của mô hình GPT từ các góc độ độ tin cậy khác nhau, cũng như khả năng thích ứng của chúng trong môi trường thù địch.

Trong lĩnh vực tấn công văn bản chống đối, các nhà nghiên cứu đã thiết kế ba kịch bản đánh giá: bài kiểm tra chuẩn, bài kiểm tra dưới các hướng dẫn nhiệm vụ khác nhau, và bài kiểm tra văn bản chống đối có mục tiêu hơn. Những bài kiểm tra này nhằm đánh giá toàn diện tính mạnh mẽ và sự dễ tổn thương của mô hình.

Nghiên cứu cũng phát hiện rằng, mô hình GPT bảo vệ một số loại thông tin riêng tư như số an sinh xã hội ( khá tốt, nhưng vẫn có nguy cơ rò rỉ thông tin riêng tư ở những khía cạnh khác. Đặc biệt, khi thông tin cá nhân được tiêm vào lịch sử hội thoại, mô hình có thể rò rỉ những thông tin này. Hơn nữa, mô hình cũng có sự khác biệt trong việc hiểu các từ vựng liên quan đến quyền riêng tư.

Nhìn chung, nghiên cứu này cung cấp một khung đánh giá độ tin cậy cho các mô hình GPT, tiết lộ một số nguy cơ an ninh tiềm ẩn. Nhóm nghiên cứu hy vọng công việc này có thể thúc đẩy nhiều nghiên cứu liên quan hơn và cuối cùng giúp phát triển các mô hình ngôn ngữ mạnh mẽ và đáng tin cậy hơn.