Chúng tôi đã nghe tất cả các đánh giá ngang hàng. Nó mang lại sự tin cậy cho nghiên cứu và các bài báo học thuật. Nhưng nó có nghĩa gì? Làm thế nào nó hoạt động?
Chính xác thì đánh giá ngang hàng là gì? Hình ảnh qua AJ Cann / Flickr.
.Bởi Andre Spicer, Thành phố, Đại học London và Thomas Roulet, Đại học Oxford
Đánh giá ngang hàng là một trong những tiêu chuẩn vàng của khoa học. Đó là một quá trình mà các nhà khoa học (người ngang hàng) đánh giá chất lượng của các nhà khoa học khác làm việc. Bằng cách này, họ nhằm mục đích đảm bảo công việc nghiêm ngặt, mạch lạc, sử dụng nghiên cứu trong quá khứ và thêm vào những gì chúng ta đã biết.
Hầu hết các tạp chí khoa học, hội nghị và các ứng dụng cấp có một số loại hệ thống đánh giá ngang hàng. Trong hầu hết các trường hợp, đó là đánh giá ngang hàng mù đôi. Điều này có nghĩa là người đánh giá không biết (các) tác giả và tác giả không biết danh tính của người đánh giá. Ý định đằng sau hệ thống này là để đảm bảo đánh giá không bị sai lệch.
Tạp chí, hội nghị, hoặc cấp càng có uy tín, quá trình xem xét sẽ càng đòi hỏi khắt khe và càng có nhiều khả năng bị từ chối. Uy tín này là lý do tại sao các bài viết này có xu hướng được đọc nhiều hơn và được trích dẫn nhiều hơn.
Quá trình chi tiết
Quá trình đánh giá ngang hàng cho các tạp chí bao gồm ít nhất ba giai đoạn.
1. Giai đoạn đánh giá bàn
Khi một bài báo được gửi đến một tạp chí, nó sẽ nhận được sự đánh giá ban đầu của tổng biên tập hoặc một biên tập viên liên kết có chuyên môn liên quan.
Ở giai đoạn này, một trong hai bàn làm việc có thể từ chối giấy tờ: nghĩa là từ chối tờ giấy mà không đưa nó cho các trọng tài mù. Nói chung, các giấy tờ bị từ chối nếu giấy không phù hợp với phạm vi của tạp chí hoặc có một lỗ hổng cơ bản khiến nó không phù hợp để xuất bản.
Trong trường hợp này, các biên tập viên từ chối có thể viết một bức thư tóm tắt mối quan tâm của anh ấy hoặc cô ấy. Một số tạp chí, chẳng hạn như Tạp chí y học Anh, bàn từ chối tối đa hai phần ba hoặc nhiều giấy tờ.
2. Đánh giá mù
Nếu nhóm biên tập đánh giá không có sai sót cơ bản, họ sẽ xem xét cho các trọng tài mù. Số lượng người đánh giá phụ thuộc vào lĩnh vực: trong tài chính có thể chỉ có một người đánh giá, trong khi các tạp chí trong các lĩnh vực khoa học xã hội khác có thể yêu cầu tới bốn người đánh giá. Những người đánh giá được biên tập viên lựa chọn trên cơ sở kiến thức chuyên môn của họ và sự vắng mặt của họ liên kết với các tác giả.
Người phản biện sẽ quyết định từ chối giấy, chấp nhận nó như vậy (điều này hiếm khi xảy ra) hoặc yêu cầu giấy được sửa đổi. Điều này có nghĩa là tác giả cần thay đổi bài báo phù hợp với các nhà phê bình.
Thông thường các đánh giá liên quan đến tính hợp lệ và chặt chẽ của phương pháp thực nghiệm và tầm quan trọng và tính nguyên bản của các phát hiện (cái được gọi là đóng góp của Hồi giáo đối với tài liệu hiện có). Biên tập viên thu thập những bình luận đó, cân nhắc chúng, đưa ra quyết định và viết một bức thư tóm tắt những người phản biện và những mối quan tâm của anh ấy hoặc cô ấy.
Do đó, có thể xảy ra rằng mặc dù có sự thù địch từ phía những người đánh giá, biên tập viên có thể cung cấp cho bài báo một vòng sửa đổi tiếp theo. Trong các tạp chí tốt nhất trong ngành khoa học xã hội, 10% đến 20% bài báo được cung cấp một bản sửa đổi và gửi lại hồi giáo sau vòng đầu tiên.
3. Bản sửa đổi - nếu bạn đủ may mắn
Nếu bài báo chưa bị từ chối sau vòng đánh giá đầu tiên này, nó sẽ được gửi lại cho (các) tác giả để sửa đổi. Quá trình này được lặp đi lặp lại nhiều lần khi cần thiết để biên tập viên đạt được điểm đồng thuận về việc chấp nhận hay từ chối bài báo. Trong một số trường hợp, điều này có thể kéo dài trong vài năm.
Cuối cùng, ít hơn 10 phần trăm các bài báo được gửi được chấp nhận trong các tạp chí tốt nhất trong khoa học xã hội. Tạp chí nổi tiếng Thiên nhiên xuất bản khoảng 7 phần trăm của các bài báo được gửi.
Điểm mạnh và điểm yếu của quá trình đánh giá ngang hàng
Quá trình đánh giá ngang hàng được coi là tiêu chuẩn vàng trong khoa học vì nó đảm bảo tính nghiêm ngặt, mới lạ và tính nhất quán của kết quả học tập. Thông thường, thông qua các vòng đánh giá, các ý tưởng thiếu sót được loại bỏ và các ý tưởng tốt được củng cố và cải thiện. Đánh giá ngang hàng cũng đảm bảo rằng khoa học tương đối độc lập.
Bởi vì các ý tưởng khoa học được đánh giá bởi các nhà khoa học khác, thước đo quan trọng là tiêu chuẩn khoa học. Nếu những người khác ở ngoài lĩnh vực tham gia vào việc đánh giá các ý tưởng, các tiêu chí khác như lợi ích chính trị hoặc kinh tế có thể được sử dụng để chọn ý tưởng. Đánh giá ngang hàng cũng được xem là một cách quan trọng để loại bỏ tính cách và sự thiên vị khỏi quá trình đánh giá kiến thức.
Mặc dù có những điểm mạnh không thể nghi ngờ, quá trình đánh giá ngang hàng như chúng ta biết đã bị chỉ trích. Nó liên quan đến một số tương tác xã hội có thể tạo ra thành kiến - ví dụ, các tác giả có thể được các nhà đánh giá xác định nếu họ ở trong cùng một lĩnh vực và từ chối bàn không bị mù.
Nó cũng có thể ủng hộ nghiên cứu gia tăng (thêm vào nghiên cứu trước đây) thay vì nghiên cứu sáng tạo (mới). Cuối cùng, người đánh giá là con người sau tất cả và có thể mắc lỗi, hiểu sai các yếu tố hoặc bỏ lỡ lỗi.
Có sự thay thế nào không?
Những người bảo vệ hệ thống đánh giá ngang hàng cho biết mặc dù có những sai sót, chúng tôi vẫn chưa tìm được một hệ thống tốt hơn để đánh giá nghiên cứu. Tuy nhiên, một số đổi mới đã được đưa ra trong hệ thống đánh giá học thuật để cải thiện tính khách quan và hiệu quả của nó.
Một số tạp chí truy cập mở mới (như XIN MỘT) xuất bản các bài báo với rất ít đánh giá (họ kiểm tra công việc không sai sót sâu sắc về phương pháp). Trọng tâm là hệ thống đánh giá ngang hàng sau xuất bản: tất cả người đọc có thể nhận xét và phê bình bài báo.
Một số tạp chí như Thiên nhiên, đã thực hiện một phần của quy trình đánh giá công khai (đánh giá mở Open), cung cấp một hệ thống kết hợp trong đó đánh giá ngang hàng đóng vai trò của người giữ cổng chính, nhưng cộng đồng các học giả công khai đánh giá song song (hoặc sau đó trong một số tạp chí khác) giá trị của nghiên cứu.
Một ý tưởng khác là có một bộ các nhà phê bình đánh giá bài báo mỗi lần nó được sửa đổi. Trong trường hợp này, các tác giả sẽ có thể chọn xem họ có muốn đầu tư nhiều thời gian hơn vào bản sửa đổi để có được đánh giá tốt hơn hay không và công khai tác phẩm của họ.
Andre Spicer, Giáo sư Hành vi tổ chức, Trường Kinh doanh Cass, Thành phố, Đại học Luân Đôn và Thomas Roulet, Nghiên cứu viên Novak Druce, Đại học Oxford
Bài viết này ban đầu được xuất bản trên Cuộc hội thoại. Đọc bài viết gốc.
Điểm mấu chốt: Đánh giá ngang hàng là gì? Những gì nó thực sự có nghĩa là gì và làm thế nào nó hoạt động.