페이퍼

호기심으로 조작된 데이터를 밝히다.

저명한 저널에 소개된 임상 논문이 만약 조작된 것이라면 믿을 수 있을까? 각 사람의 정보가 각각 들어간 임상 논문도, 데이터 조작을 피할 수는 없었다. 신기한 것은 이를 밝혀내고 수많은 논문을 철회했던 간단한 방법이다.

존 칼라일(John Carlisle)은 아주 간단한 통계적 시험을 통해 임상시험 데이터 조작을 찾아낸 마취과 의사이다. 지금도 아침 4시 30분에 일어나 한시간 반 동안 발표된 임상시험 논문의 데이터를 시험해 보기 위해 정리하고, 마취과 의사로 일하면서도 틈틈이 시간이 날 때 마다 임상시험 논문 데이터를 검사하고 있다.

칼라일이 데이터를 처음부터 검사하기 시작한 것은 지금으로부터 10년 전 일본 연구원인 후지이 요시타가(Yoshitaka Fujii)가 발표한 결과에 의심을 가진 후다. 데이터는 너무나도 깨끗해 보였던 무작위 실험결과를 가지고 그는 직접 통계 수치를 통해 확인해 보고자 했다. 간단한 P 테스트로 알아본 결과 무작위 통제 임상 연구의 우연한 데이터 패턴 가능성이 ‘극도로 작음’을 발견했다. 이에 후지이가 실은 저널의 편집자는 후지이가 일하고 있던 대학과 이전 대학에 조사를 요청했다. 다음 2012년 후지히는 일하고 있던 토호 대학교에서 해고당했으며 그의 논문 중 183편이 철회되기에 이르렀다.

바뀐 세계보건기구의 권고사항

칼라일의 호기심은 멈추지 않았다. 4년 후 칼라일은 다른 일본 마취과 의사인 후지이 (Fujii ‘s)와 종종 공동 저자로 연구 결과를 발표했었던 사이토(Yuhji Saitoh)의 연구 결과 데이터가 의심스러웠다. 그는 같은 방법으로 데이터에 문제가 있음을 입증했고, 사이토의 논문 53여 개가 철회되었다.

2017 년에 그는 마취과 저널에 16년 동안 발표된 5,000건이 넘는 시험 중 90건에서 의심스러운 데이터를 찾았다고 발표했다. 이와 더불어 이탈리아 외과 의사 마리오 쉬에트로마 (Mario Schietroma)가 발표한 임상 실습 결과가 신뢰할 만한 결과가 아니라고 주장했다. 칼라일의 이 주장은 WHO의 권고사항을 조정하는데 영향을 끼치기도 했다.

어떻게 조작된 데이터를 알아낼까?

그렇다면 세계 보건기구의 권고사항까지 바꿀 수 있었던 칼라일의 방법은 무엇일까? 바로 임상시험 참가자의 신장, 성별, 체중 및 혈압과 같은 기준 데이터를 임의의 모집단 표본과 알려진 분포와 비교하는 것이다.

다행히도 기 출판된 데이터를 다시 확인하기 위해 칼라일의 방법이 유일한 방법은 아니다. 네덜란드 틸버그 대학교(Tilburg University)에서 분석 방법을 연구하는 미셸 뉫젠(Michele Nuijten)은 자신이 기술한 통계가 내부적으로 일관성이 있는지 확인하기 위해 저널 기사를 스캔 할 수 있는 “통계 철자 검사기”(Statcheck) 이라고 하는 방법을 개발했다. “통계 철자 검사기”는 예컨대 결과 부문에 보고된 데이터가 계산된 P값과 일치하는지 확인한다. 수십 년 전의 저널에서 오류(일반적으로 숫자 오타)를 표시하는 데 사용되었다고 한다.

이 외에 네덜란드의 그로닝겐 대학교(University of Groningen)에서 심리학을 전공한 닉 브라운(Nick Brown)과 매사추세츠 주 보스턴에 있는 노스이스턴 대학교(Northeastern University)에서 과학적 방법을 연구하는 제임스 헤더(James Heathers)는 통계 계산을 재확인하기 위해 GRIM이라는 프로그램을 사용했다. 의심스러운 데이터에 주의 플래그를 놓는 다른 방법이다.

세계적인 트렌드인 데이터 신뢰성

위에서 언급한 도구들의 진정한 가치는 문제가 되는 데이터가 출판되기 전에 이를 심사하고 처음부터 문헌에 도달하기 전 사기 또는 실수를 방지하는 데 있을 것이다. 이러한 트렌드는 한국 연구계에도 많은 것을 시사한다. 논문 철회율이 아주 높은 한국에서 데이터 조작 및 사기 행각 그리고 오해를 살 수 있는 작은 실수도 미리 잡아내야 할 것이다. 가장 먼저 간단한 칼라일 방법을 사용해 보는 것은 어떨까?

분야마다 다르겠지만, 오늘날 단일 저자 논문을 접하기란 쉽지 않다. 특히 과학과 생명과학 및 의료계열 논문이 그렇다. 공저자를 거의 찾아볼 수 없었던 과거와 달리, 요즘은 평균 공저자 수가 두 명에서 일곱 명까지 늘었다고 한다. 과학 연구가 더욱더 복잡해지고 분야별 장벽이 느슨하게 혹은 사라져가는 현실이 이 첫 번째 이유일 것이다.  또 하나는 연구 결과 평가의 기준이 이전보다 더 혹독하기 때문이다. 더 복잡하고 초 학제적(transdisciplicanry)인 연구를 하고, 더 많고 더 좋은 연구 결과를 내기 위해 팀워크는 이제는 필수이다.

하지만 연구 결과의 재현성 위기가 화두가 되고, 연구 부정행위에 대한 걱정과 논의가 활발하게 일어나는 요즘이다. P값 해킹, 자기 표절, 아이디어의 부정 사용, 사기 등 안타깝지만 다양한 부정행위가 일어나고 있다. 그럼 팀워크가 빈번한 과학 연구에서 부정행위의 책임은 누구에게 있는가?  한 논문에서 연구 부정행위가 드러났다면 그 책임은 누가 물어야 하는가?  이 질문에 Hussinger와 Pellens가 지난달(2019년 5월) 연구 결과를 발표했다. 책임을 모두가 묻든, 끝까지 따져 책임자를 가려내든, 통계적으로 제1저자가 연구 부정행위를 약 38% 더 많이 한다는 것이다.

제 1저자가 연구 부정행위를 약 38% 더 많이 한다.

Hussinger와 Pellens은 미국 연구 정직성 관리국(ORI)에서 조사한 80개의 연구 부정행위 조사를 분석했다. 그 결과 총 184편의 논문이 연구 부정행위와 관련한 것으로 파악되었고, 이항 회기 분석 모델을 통해 저자별 연구 부정행위 연관성을 조사하였다. 그 결과 제1 저자가 중간에 놓인 – 교신저자와 제1, 2 저자를 제외한 공저자들 – 보다 38% 더 연구 부정행위에 기여한다고 한다. 또한, 교신저자의 경우 중간 저자들보다 14% 더 연구 부정행위에 기여한다고 한다.  꽤 직감적인 결과라고 할 수 있다. 제1저자, 교신저자 그리고 때때로 제2 저자가 아닐 경우 해당 논문에 대한 인정을 받지 못하는 현실이다. 가장 얻을 게 많은 제1 저자와 교신저자가 기타 공저자들보다 더 많은 위험을 감수할 것이라는 예상이 맞아떨어지는 결과이다.

원래 주저자가 논문의 책임자이다.

제1저자, 교신저자가 다른 공저자들보다 연구 부정행위에 더 많은 기여를 하는 것은 사실 이들이 얻을 것이 더 많기 때문이다. 원래 논문에 대한 공로를 이 둘이 대부분 가져간다. 이 말은 바꿔 말하면 논문의 책임이 이 둘에게 가장 많다는 말도 된다.

사실 많은 저널에서 제1 저자를 주 저자(principal author)라고 부른다. 그리고 주 저자라고 할 수 있는 사람을 공정하게 판단하도록 많은 기준을 제시한다. 주저자와 저자가 무엇이 다른지 기준을 살펴보자.

논문의 저자는 ‘충분히’ 연구에 참여해야 했고, 그 내용에 대한 공적인 책임을 져야 한다. 저자는 (a) 논문 데이터의 개념, 디자인, 분석, 해석 등에 기여해야 하고 (b) 논문을 작성하거나 지적인 내용에 대해 날카로운 피드백을 해야 하고 (c) 논문의 최종본에 대해서도 그렇다[(b)를 해야 한다]. 더 나아가 논문의 주 저자는 전체 연구를 기획하고 주도하는 사람으로서 연구 논문에 대한 ‘직접적인 책임’을 진다.

위의 기준은 지금까지도 쓰고 있는 저자와 주저자의 기준이다. 이와 더불어 교신저자는 ‘논문 연구 내용, 데이터의 해석 등을 지도하는 자’ 등으로 정의한다. 이런 기준은 실제 연구 현실에서의 교수, 책임연구원의 일과 크게 다르지 않다. 주저자 혹은 저자인 학생 혹은 연구자들도 마찬가지다.

특히 주저자인 학생은 한 테마를 받아 연구를 계속 진행한다. 연구 데이터는 대부분 그 학생이 만들고 해석하고 발표하며, 여기서 선배나 후배의 도움을 받을 뿐이다. 선배와 후배는 공저자로 논문에 이름을 올린다. 논문을 쓰는 사람은 주로 주저자인 학생이며, 이 학생이 맨 먼저 제1 저자로 이름을 올린다.

논문 저자, 주저자, 교신저자의 기존 정의와 현실에서의 상황을 살펴봤을 때, Hussinger와 Pellens의 연구는 직관적인 결과를 보여줌을 다시금 확인할 수 있다.

보증인 모델: 주저자가 사전 책임을 진다.

직감적인 결론을 다시금 확인하는 것 외에, Hussinger와 Pellens는 중요한 의견을 제시한다. 바로 연구 부정행위에 대한 책임을 ‘어떻게’ 물을 것인지에 대한 답이다. 바로 보증인 모델이 가장 합리적임을 피력하고 있다.

원래 연구 부정행위에 대한 책임을 누가 지느냐에 대해 세 가지 이론이 있다. 첫 번째는 공동책임(joint accountability) 모델로, 연구 논문에 실린 공저자 모두가 연구 부정행위에 대한 책임이 있다. 두 번째는 개인 책임(individual accountability)로 책임자를 찾아내어 개별적으로 책임을 지게 하는 것이다. 세 번째가 보증인 모델(guarantor model)로 제1저자가 연구 부정행위에 대해 사전 책임을 지는 보증인과 같은 역할을 한다.

Hussinger와 Pellen의 연구에서 중간 저자들이 연구 부정행위의 기여도가 꽤 낮게 나타난 점을 고려했을 때 공동책임 모델은 과도하다. 예컨대 세포를 키워 물질을 처리한 사람은 그 세포를 분석한 데이터에 대한 책임이 없다. 이와 비슷하게 이전 Helgesson과 Eriksson이 공동책임 모델로 정직한 연구자가 피해를 보는 것은 부당하다고 주장한 적이 있었다. 하지만 이런 주장은 통계적 혹은 과학적으로 ‘증명’되어야만 한다. Hussinger와 Pellen이 이를 해 낸 셈이다.

그래서 보증인 모델이 가장 좋은 대안임을 주장하고 있다. 개인 책임 모델을 따르면 가장 좋지만, 이는 경제적이지 않다. 개인 모두를 찾는 것은 사실 불가능에 가깝다. 가장 좋은 모델은 부정행위에 가장 기여를 했을 사람에게 책임을 묻는 것이다. 그렇다고 다른 공저자들에게 책임이 없는 것은 아니다. 이들은 ‘무관심’ 혹은 ‘태만’으로 부정행위를 묵과한 책임이 있다. 이것을 모두 가능케 하는 것이 보증인 모델이다. 정확히 누가 부정행위를 저질렀는지 밝혀지기 까지, 제 1저자는 ‘사전(ex ante)’ 책임을 진다.

다른 연구들도 보증인 모델을 추천한다.

보증인 모델이 가장 우수함을 주장한 것은 Hussinger와 Pellen뿐 만이 아니다. 과학계는 20년 이전부터 연구가 더 많은 사람과 팀워크를 통해 이뤄짐에 따라 발생할 수 있는 저자문제에 대해 고민해왔다.

멀게는 1997년의 Rennie부터, 최근에는 2012년 Smith와 Williams-Jones까지, Hussinger와 Pellen과 같이 보증인 모델이 가장 좋은 대안이라고 제시해왔다. 저자를 세분화하여 책임을 나누었는데, 앞서 소개한 것과 같이 제1저자가 주저자(principal author)로 논문에 대한 직접적인 책임을 진다고 한다. 그 외 기여자(contributor), 시니어 저자(senior author), 교신저자(corresponding author) 등이 있다. 이들은 논문의 꽤 많은 책임을 지지만 – 데이터 해석, 데이터 제공 등 – 주저자인 제1저자보다 책임이 적다고 볼 수 있다.

제1 저자 혹은 주저자가 가장 연구 부정행위에 기여를 많이 한다는 결론은 꽤 당연하다. 처음으로 이러한 직관적인 결론을 ‘증명한’ Hussinger와 Pellens의 연구. 수많은 논문이 기재되고, 철회되는 순간에 모든 제1 저자들과 책임자들이 논문 ‘저자’라는 이름의 의미와 기준을 되새겨야 하겠다. 논문 기재로 얻을 것이 가장 많지만, 잘못된 연구로 가장 잃을 것이 많은 것도 주저자이기 때문이다.

K: 잘 되고 있어? 지난번 물질 처리한 후에 반응 결과 보니까 그래프상에서는 큰 차이가 있어 보이더라, 좋은 결과인 거 같아! 곧 랩미팅 때 발표 잘하겠는데?

A: 전혀. 사실 이번에 교수님이 말했던 통계분석을 돌렸어. 통계적 유의성을 확인해야 더 좋은 데이터니까. 당연한 거지. 중요한 건 내 결과가 통계적으로 유의하지 않는 것으로 나왔어. p 값이 0.067이더라고. 유의 값이 0.05 이하가 되어야 내가 한 실험이 우연에 의한 결과가 아니라, 이 물질에 의한 결과라는 것을 말해주는데.  큰일 났어.  과제 발표는 다음 달이고, 결과가 만족스럽지 않으면 내년 연구비를 못 딸 수도 있어. p 값이 엄청 좋게 나와야 결국 이 물질이 유의미한 차이를 내는 것을 ‘증명’하는 건데 큰일이지. 그래서 사실 반복 실험 중에서 두세 개 정도를 뺄가 해. 그럼 편차가 줄어서 p 값이 0.03이 되더라고.

K: 음 지금 p 값 해킹을 하려고 하는 거야? 내 생각엔 그렇게 실험하는 건 연구자로서 정말 비윤리적인 것 같아. p 값 해킹은 결국 체리피킹이라고도 하는 행동을 통해 유의성을 조작하는 거잖아. 사실 이미 많은 연구자가 P값이 보여주는 통계적 유의성을 위해 데이터를 골라서 P값을 분석하거나, 다른 통계분석 방법을 통해 P값을 더 낮춰보거나 여러 방법을 쓰고 있어. 하지만 이것 모두 거짓 양성을 만들어 낼 수 있어. 다 p 값 해킹에 해당하지. 가장 객관적이고 신뢰할 수 있는 결과를 내야 하는 연구자잖아. 그리고 네가 실력이 없는 것도 아니고. 상황이 너무 버겁더라도, 그렇게까진 안했으면 좋겠어.

꽤 흔한 데이터 조작: P값 해킹

K: 논문에서 p 값을 데이터의 신빙성을 논하기 위해 주로 사용하는데, p 값이 잘못 사용될 경우 두 가지 오류가 발생할 수 있어. 하나는 거짓 음성, 즉 유의한 연구 결과임에도 p 값이 낮아 묵과되는 경우이고, 다른 하나가 거짓 양성, 바로 p 값 해킹을 통한 무의미한 연구 결과가 유의미한 데이터로 위장되는 거지. 대부분의 연구자가 알게 모르게 하는 것이 p값 해킹이야.

대부분의 논문이 통계적으로 유의한 결과를 요구하고, 그 통계적 유의성은 p 값으로 나타나기에 연구자들은 무엇이든지 해서 p 값을 0.05 이하로 만들려고 해. P 해킹은 대체로 세 가지 경우에 나타날 수 있어. 적절하지 않은 통계분석을 하는 거야. 아웃라이어를 제외하거나, 독립변수를 전략적으로 다수 모델에서 제외할 수도 있어. 모두 진실한 데이터가 아니라 통계가공물, 혹은 거짓 양성을 만들기 충분한 방법이야. 이렇게 연구자들이 적합하지 않은 통계분석을 통해 통계가공물을 만들어내는 것, 혹은 선택적 디버깅(selective debugging)을 통해 p 값을 해킹하는 거지

두 번째는 바로 오버 해킹(over hacking), 과도하게 p 값을 지속해서 해킹하는 것이야. 이미 0.05 이하의 p 값이 나왔어도, 연구 결과를 더 좋아 보이게 하기 위해 최대한 낮은 유의 값이 나올 때까지 해킹하는 것이 오버 해킹에 해당해.

세 번째는 선택 편향(selective bias)이야. 예컨대 통계 분석을 통해 p 값이 0.07인 것과 0.04인 결과가 나왔다면, p값 해킹을 통해 당연히 0.04인 결과를 제출하겠지. 하지만 연구 결과 p 값이 0.01과 0.04가 나왔다면?  모두 다 제출해도 상관없음에도 대부분이 p 값이 0.01인 결과만을 제출할 것이라는 거야.

한 번의 해킹, 논문 철회, 그리고 재현성 위기

A: 나도 양심이 있는데 정말 안 하고 싶지. 하지만, 딱 한 번이고, 전체 논문에서도 한 데이터인데 이번 고비를 넘기기에 괜찮지 않을까 싶어. 우리가 집중을 안 하고 실험을 했다고 데이터를 버리기도 하잖아. 그거랑 뭐가 다르겠어?

K: 사실 P 해킹으로 많은 논문이 철회되고 있다고 봐도 무방하다고 생각해. 논문 철회 숫자도 2001년부터 2009년까지 약 10배 증가했고, 논문 철회 이유의 약 삼 분의 이가 ‘잘못된 연구’ 때문이라고 해. 이 중 약 절반 정도가 ‘사기’ 혹은 ‘사기가 의심되는’ 연구라서 철회되었고.  이미 과학계에서는 재현성 위기를 겪고 있어. 약 70%의 연구 결과가 재현성이 없다고도 했지. 이에 따라 p 값에 대한 회의론도 많아지고 있어. 화두가 되기도 했고. 축구 관련 데이터를 가지고 심판이 피부색이 더 검은 사람들에게 레드카드를 주는 경향이 있는지를 분석했는데, 20개의 연구팀은 그런 경향이 있다고 판단했지만, 9개의 연구팀은 상관이 없다고 결론을 내렸어. 또 한 영양 논문에서는 p 값을 해킹해서 아주 신빙성 있게 – 하지만 거짓되게 – 초콜렛이 체중감소에 도움을 준다고 주장하기도 했었어.

이미 사람들은 연구 재현성, p 값에 대한 회의적인 태도, 그리고 데이터 조작 가능성의 이해를 꽤 하는 편이야. 연구자에게 가장 치명적인 논문 철회까지 이어질 수 있는데, 위험을 감수하지 않는 것이 좋겠어.

진실한 데이터를 위한 다른 통계적 지표

K: 몰라서라도 p 해킹을 하지 않기 위해서는 실험과정에서부터 조심해야 해. 분석 과정에서 조작하지 않더라도, 실험 후 데이터를 기록하는 과정에서, 혹은 실험 과정에서 나도 모르게 p해킹을 할 수 있으니까.

먼저 실험할 때 통계 변수를 미리 결정해 놓고, 바꿔야 할 경우 바로바로 보고해야 해. 나는 이 데이터를 분석할 때 Student T-test를 하겠다. 이런 식으로 정해 놓는 거지. 그리고 데이터를 모을 때, 언제 그만 모을 것인지 결정하고, 또 아웃라이어의 기준을 세워놓아야 해. 먼저 아웃라이어를 정의하고 (표준 편차 2.5레벨 이상 등) 언제까지의 데이터를 사용할 것인지 결정하면, 데이터를 임의로 추가하거나 제외하는 일이 없어지겠지. 그리고 당연한 말이지만 반복 실험을 하고, 다양한 통계분석을 통해 일관되고 진정한 p 값을 도출해야 해.

그런데 이런 방법을 통해 개인의 양심과 성실성에 데이터의 진실성을 모두 맡기기에는 무리가 있을 수 있어. 그래서 가장 좋은 방법은 선 등록제도가 있어. 선 등록은 연구자가 연구 전 미리 연구 계획을 준비하게 해. 여기엔 통계 분석 방법도 포함되어 있지. 오픈 사이언스 프레임워크 나 다른 온라인 등록 사이트에 계획을 등록하고 결과를 보고하면 돼. 독자들이 항상 결과와 선등록된 계획을 확인할 수 있어, 해당 연구 결과가 p 값 해킹이 되지 않았음을 알 수 있지.

A: 사실 사람들이 p 값에 대해서 그렇게 많이 조작하고 있다면, p값을 사용하는 것이 의미가 있을까 싶어. 조작이 쉬운 것이라면, p값 외에 나중에라도 내 데이터가 아주 유의미하다는 것을 어떻게 설명하면 좋을까?

K: 좋은 질문이야. 원래 통계학자들 사이에서 p값이 0.05이하 인 것이 꼭 ‘유의미함’을 정의해주진 않는다고 해. 오히려 귀무가설(null hyphothesis)가 틀렸다는 것을 말해주는 것일 뿐이지. 즉 이게 우연으로 일어난 게 아니라는 것만 말해줄 수 있어.

그래서 p 값 대신에 베이지안 추론을 하는 것은 어떻냐는 의견도 있어. 확률로 나타내거나 메타 통계학을 사용해야 한다는 의견도 있지. 하지만, 이것은 학계 전체에서 논의되어야 할 문제야. 연구자들은 먼저 논문이나 데이터를 발표할 때 사용한 통계분석 방법을 자세히, 투명하게 공개해야 하겠어.

2004년, 전 세계를 발칵 뒤집은 논문이 하나 발표되었습니다. 세계에서 가장 공신력 있는 학술지 중 하나인 사이언스에 인간 체세포를 이용한 배아줄기세포 배양에 성공했다는 내용의 논문이 게재된 것입니다. 이 연구를 진행한 주역은 서울대학교 수의과대학 교수로 재직 중이던 황우석 박사였습니다. 이 논문으로 인해 많은 난치병 환자들이 엄청난 희망에 부풀어 올랐습니다. 많은 사람들이 황우석 박사의 학문적 업적을 찬양했고, 신문부터 라디오, TV까지 한국의 모든 언론 매체는 그의 이름으로 도배되었습니다. 그러나 2005년 11월, 그때보다 더 큰 파급력을 가진 소식이 다시 한번 전 세계를 뒤흔들었습니다. 그것은 바로 사이언스에 게재됐던 황우석 박사의 연구 논문이 조작되었다는 사실이 밝혀진 것이다. 하반신 마비 환자들을 걷게 만들고, 난치병 환자들을 치료하겠다던 그의 말들이 전부 거짓임이 밝혀지면서, 한국의 온 국민은 물론 전 세계 과학계는 큰 충격을 받았습니다. 또한 이 사건으로 대외적으로 한국 과학계의 신뢰를 떨어뜨렸다는 비난도 있었습니다.

위기에 처한 ‘연구 재현성’

위의 사례에서도 볼 수 있듯 연구의 투명성과 신뢰성은 어떤 경우에도 절대적으로 지켜져야 하는 가치 입니다. 하지만, 에디슨의 전구 발명 과정에서도 알 수 있듯이 모든 과학 기술은 수천 수만 번의 실패를 겪은 후 얻게 되는 것이기 때문에 많은 과학자들이 한번쯤은 연구 진행 중간에 실패를 경험하는 순간을 겪게 됩니다. 문제는 모든 연구자들이 자신이 진행하던 프로젝트의 성공이 의심될 때 이에 잘 대처하는 것은 아니라는 점입니다. 황우석 박사의 사례에서 알 수 있듯이 실패를 인정하는 대신에 존재하지 않는 연구 성과를 꾸며내거나, 연구 결과를 부풀려 실험이 성공한 것처럼 꾸미는 사례가 적지 않습니다. 이러한 연구 자료의 조작 또는 결과를 부풀린 연구들은 그 연구를 재현하는 것이 불가능하기 때문에 현재 과학계에 ‘연구 재현성의 위기’라는 심각한 문제가 되고 있습니다.

연구 재현성 위기의 가장 큰 이유는 연구 과정 및 결과에 대한 투명성의 결여입니다. 현재로서는 이미 발표된 논문의 연구를 재현하는 재현 논문이 그 가치를 제대로 인정받지 못하는 경우가 많고, 심지어 결과가 안 좋게 나올 경우 이것이 연구자에게 어떠한 대외적 혹은 금전적 이익을 가져다 주지 못하는 경우가 대부분입니다. 그렇기 때문에 연구 재현 논문이 더 많이 쓰여지기가 어려운 상황입니다. 이렇게 연구의 투명성이 증명되는 경우가 적다 보니, 이는 많은 논문들에 연구 투명성이 결여되는 부정적인 결과로 나타나게 된 것입니다.

최근 미국의 심리학자 다나 카니 (Ms. Dana Carney)박사는 자신이 2010년 동료 심리학자 에이미 커디 (Ms. Amy Cuddy)박사와 공동 집필한 논문의 내용을 더 이상 신뢰하지 않음을 공개적으로 밝혔습니다. 이 논문에서 두 저자는 인간이 당당한 포즈를 취하면, 이로써 신체의 호르몬 및 정신적 변화가 생겨 결과적으로 스트레스나 정신적 압박을 받는 상황을 더 잘 헤쳐나갈 수 있다는 내용을 주장했습니다. 이 주장은 ‘당당한 포즈 효과 (Power-pose effects)’라고 불렸으며, 이 논문으로 인해 두 저자는 학계에서 유명세를 얻었습니다. 하지만, 2016년 다나 카니는 자신의 웹사이트에 이와 같은 효과가 실재한다고 생각하지 않는다는 글을 남기게 됩니다. 그녀는 동료 연구자들이 ‘당당한 포즈 효과’를 입증하려고 노력했지만, 계속해서 실패했고 오히려 많은 연구 자료들이 이러한 효과는 실재하지 않는다는 것을 입증했다고 밝혔습니다. 다나 카니의 이런 고백은 연구 투명성에 대한 많은 질문을 던지게 되는 계기가 되었습니다. 왜냐하면 대부분의 연구자들은 자신의 연구에 문제가 있다는 생각이 들어도, 이를 공개적으로 인정하는 경우는 굉장히 드물기 때문이다. 그렇지만 다나 카니는 공개적으로 자신의 논문에 가지는 의심을 밝혔고, 이로써 그녀의 논문이 철회되지는 않았지만 그 자체로 전 세계 과학계에 반향을 일으켰습니다.

 연구 신뢰도 상실 공개 프로젝트

위의 사건을 계기로 이후 연구 투명성과 과학의 순수한 발전을 위해 과학자들에게 양심 고백을 독려하는 프로젝트가 진행되기 시작했습니다. 이 프로젝트는 다른 과학자들에게도 다나 카니처럼 더 이상 신뢰할 수 없는 자신의 연구 논문에 대해 그 사실을 투명하게 밝힐 것을 격려했습니다. 이를 통해 다수의 연구자들이 자신이 진행한 연구의 불신임을 대외적으로 밝히는 것에 대해 느낄 심리적 부담감이 줄어들 것을 기대하고 있습니다. 또한 이 프로젝트는 앞으로 이런 행동을 고무하기 위해 연구 신뢰도 상실을 발표하는 것에 대한 과학계 및 사회적 오명 및 편견을 없애는 것을 목표로 합니다. 하지만 이 프로젝트에 대한 연구자들의 의견은 엇갈리는 상황입니다. 일각에서는 이 프로젝트에 많은 과학자들이 참여할수록 연구 투명성을 독려하고 학자로서의 양심을 지키는데도 많은 도움이 될 것이라며 환영하는 사람들이 있습니다. 한편, 대부분의 과학자들은 이런 양심 고백이 장기적으로는 자신들의 학자로서의 명성과 명예에 부정적인 영향을 끼칠 것이라며 우려를 표하고 있습니다.

2004년, 전 세계를 발칵 뒤집은 논문이 하나 발표되었습니다. 세계에서 가장 공신력 있는 학술지 중 하나인 사이언스에 인간 체세포를 이용한 배아줄기세포 배양에 성공했다는 내용의 논문이 게재된 것입니다. 이 연구를 진행한 주역은 서울대학교 수의과대학 교수로 재직 중이던 황우석 박사였습니다. 이 논문으로 인해 많은 난치병 환자들이 엄청난 희망에 부풀어 올랐습니다. 많은 사람들이 황우석 박사의 학문적 업적을 찬양했고, 신문부터 라디오, TV까지 한국의 모든 언론 매체는 그의 이름으로 도배되었습니다. 그러나 2005년 11월, 그때보다 더 큰 파급력을 가진 소식이 다시 한번 전 세계를 뒤흔들었습니다. 그것은 바로 사이언스에 게재됐던 황우석 박사의 연구 논문이 조작되었다는 사실이 밝혀진 것이다. 하반신 마비 환자들을 걷게 만들고, 난치병 환자들을 치료하겠다던 그의 말들이 전부 거짓임이 밝혀지면서, 한국의 온 국민은 물론 전 세계 과학계는 큰 충격을 받았습니다. 또한 이 사건으로 대외적으로 한국 과학계의 신뢰를 떨어뜨렸다는 비난도 있었습니다.

위기에 처한 ‘연구 재현성’

위의 사례에서도 볼 수 있듯 연구의 투명성과 신뢰성은 어떤 경우에도 절대적으로 지켜져야 하는 가치 입니다. 하지만, 에디슨의 전구 발명 과정에서도 알 수 있듯이 모든 과학 기술은 수천 수만 번의 실패를 겪은 후 얻게 되는 것이기 때문에 많은 과학자들이 한번쯤은 연구 진행 중간에 실패를 경험하는 순간을 겪게 됩니다. 문제는 모든 연구자들이 자신이 진행하던 프로젝트의 성공이 의심될 때 이에 잘 대처하는 것은 아니라는 점입니다. 황우석 박사의 사례에서 알 수 있듯이 실패를 인정하는 대신에 존재하지 않는 연구 성과를 꾸며내거나, 연구 결과를 부풀려 실험이 성공한 것처럼 꾸미는 사례가 적지 않습니다. 이러한 연구 자료의 조작 또는 결과를 부풀린 연구들은 그 연구를 재현하는 것이 불가능하기 때문에 현재 과학계에 ‘연구 재현성의 위기’라는 심각한 문제가 되고 있습니다.

연구 재현성 위기의 가장 큰 이유는 연구 과정 및 결과에 대한 투명성의 결여입니다. 현재로서는 이미 발표된 논문의 연구를 재현하는 재현 논문이 그 가치를 제대로 인정받지 못하는 경우가 많고, 심지어 결과가 안 좋게 나올 경우 이것이 연구자에게 어떠한 대외적 혹은 금전적 이익을 가져다 주지 못하는 경우가 대부분입니다. 그렇기 때문에 연구 재현 논문이 더 많이 쓰여지기가 어려운 상황입니다. 이렇게 연구의 투명성이 증명되는 경우가 적다 보니, 이는 많은 논문들에 연구 투명성이 결여되는 부정적인 결과로 나타나게 된 것입니다.

최근 미국의 심리학자 다나 카니 (Ms. Dana Carney)박사는 자신이 2010년 동료 심리학자 에이미 커디 (Ms. Amy Cuddy)박사와 공동 집필한 논문의 내용을 더 이상 신뢰하지 않음을 공개적으로 밝혔습니다. 이 논문에서 두 저자는 인간이 당당한 포즈를 취하면, 이로써 신체의 호르몬 및 정신적 변화가 생겨 결과적으로 스트레스나 정신적 압박을 받는 상황을 더 잘 헤쳐나갈 수 있다는 내용을 주장했습니다. 이 주장은 ‘당당한 포즈 효과 (Power-pose effects)’라고 불렸으며, 이 논문으로 인해 두 저자는 학계에서 유명세를 얻었습니다. 하지만, 2016년 다나 카니는 자신의 웹사이트에 이와 같은 효과가 실재한다고 생각하지 않는다는 글을 남기게 됩니다. 그녀는 동료 연구자들이 ‘당당한 포즈 효과’를 입증하려고 노력했지만, 계속해서 실패했고 오히려 많은 연구 자료들이 이러한 효과는 실재하지 않는다는 것을 입증했다고 밝혔습니다. 다나 카니의 이런 고백은 연구 투명성에 대한 많은 질문을 던지게 되는 계기가 되었습니다. 왜냐하면 대부분의 연구자들은 자신의 연구에 문제가 있다는 생각이 들어도, 이를 공개적으로 인정하는 경우는 굉장히 드물기 때문이다. 그렇지만 다나 카니는 공개적으로 자신의 논문에 가지는 의심을 밝혔고, 이로써 그녀의 논문이 철회되지는 않았지만 그 자체로 전 세계 과학계에 반향을 일으켰습니다.

 연구 신뢰도 상실 공개 프로젝트

위의 사건을 계기로 이후 연구 투명성과 과학의 순수한 발전을 위해 과학자들에게 양심 고백을 독려하는 프로젝트가 진행되기 시작했습니다. 이 프로젝트는 다른 과학자들에게도 다나 카니처럼 더 이상 신뢰할 수 없는 자신의 연구 논문에 대해 그 사실을 투명하게 밝힐 것을 격려했습니다. 이를 통해 다수의 연구자들이 자신이 진행한 연구의 불신임을 대외적으로 밝히는 것에 대해 느낄 심리적 부담감이 줄어들 것을 기대하고 있습니다. 또한 이 프로젝트는 앞으로 이런 행동을 고무하기 위해 연구 신뢰도 상실을 발표하는 것에 대한 과학계 및 사회적 오명 및 편견을 없애는 것을 목표로 합니다. 하지만 이 프로젝트에 대한 연구자들의 의견은 엇갈리는 상황입니다. 일각에서는 이 프로젝트에 많은 과학자들이 참여할수록 연구 투명성을 독려하고 학자로서의 양심을 지키는데도 많은 도움이 될 것이라며 환영하는 사람들이 있습니다. 한편, 대부분의 과학자들은 이런 양심 고백이 장기적으로는 자신들의 학자로서의 명성과 명예에 부정적인 영향을 끼칠 것이라며 우려를 표하고 있습니다.

요즘 젊은 세대 사이에서 유행하는 아르바이트가 있습니다. 많은 시간과 노력을 들이지 않고도 고수입을 올릴 수 있는 생물학적 동등성 시험 아르바이트 (줄임말: 생동성 실험 아르바이트)인데요, 신체 건강한 젊은이들이 부작용이 있을 수 있는 위험을 무릅쓰고도 많이 지원하고 있다고 합니다. 때문에 일을 구하려면 높은 경쟁률을 뚫어야 한다고 합니다. 하지만 대부분의 경우 연구의 목적과 신체에 미치게 될 수 있는 영향, 혹은 연구의 결과 등에 대해 알고 지원하는 경우가 드물고, 안다고 하더라도 아주 대략적인 정보만 모호하게 알고 있을 뿐이라고 합니다. 그 이유는 연구의 목적 및 진행 과장, 실험 참가자에게 있을 수 있는 영향들을 자세하게 설명하는데 많은 시간을 들이고자 하는 연구자가 드물기 때문일 것입니다. 하지만 시간이 흐르면서 연구 참가자들의 의식수준도 변화하기 시작하였고, 이제는 연구자들 사이에서도 연구 참여 대상에게 어느 정도 수준의 정보까지를 공유해야지 윤리적으로 타당한 것인가에 대한 논의가 활발하게 이루어지고 있습니다. 이번 글에서는 생동성 실험 참가자에게 연구자는 어느 수준까지 연구 실험 정보를 공유해야 하는가라는 윤리적 문제에 대해서 살펴보겠습니다.

인간을 실험 대상으로 하는 임상 연구 윤리

임상 의학 연구의 경우 아직까지는 최종 단계에 사람을 직접 대상으로 하는 방법 외에는 이를 대체할 수 있는 기술이 개발되어 있지 않습니다. 따라서 임상 연구를 성공적으로 진행하기 위해서는 연구에 참여하는 대상자가 필수적이며, 이를 기반으로 연구를 신빙성과 진정성이 있게 진행하는 자세가 필수적입니다. 특히 연구를 통해 실험의 진정한 발전을 이루기 위해서는 연구 논문을 기반으로 한 동일한 방식의 연구를 진행했을 때, 논문에서 도출한 연구 결과와 동일한 실험 결과를 얻을 수 있는 연구 재현 가능성이 꼭 수반되어야 합니다. 임상 연구를 진행하는 대상의 경우 대부분 자진해서 참여하는 경우가 많지만, 이들의 참여를 통해 얻게 될 연구 성과나 연구가 참가자에게 미칠 수 있는 효과에 대해서는 알지 못한 채 진행되는 경우가 대부분입니다. 이것의 가장 대표적인 사례로 헨리에타 랙스(Henrietta Lacks)의 헬라세포(Hela-Cell)를 들 수 있습니다.

실험 참가자에게 연구 정보 공유하기

1951년 10월 4일, 헨리에타 랙스는 암으로 사망했습니다. 사실 그녀가 죽기 약 8개월 전인 2월 8일, 암 치료를 받던 헨리에타의 자궁경부암 세포가 그녀의 동의 없이 의료진에 의해 채취되었습니다. 그러나 이 세포의 특별한 비밀일 밝혀질 때까지는 이는 아무런 문제가 되지 않았습니다. 이후 생물학자 조지 오토 게이(George Otto Gey)는 이 세포에서 이상한 점을 발견하게 됩니다. 보통의 세포가 채취 후 며칠 안에 죽는데 반해, 이 세포는 오랜 시간이 지나도록 죽지 않은 것입니다. 그는 이 세포는 무수한 세포 분열에도 죽지 않았고, 과학자들은 그녀의 ‘불멸의 세포’를 통해 연구를 계속할 수 있었습니다. 이후 이 세포는 과학계 전반에 계속해서 연구를 진행할 수 있는 샘플을 제공해주게 됩니다. 과학자들은 이를 헬라 세포계(HeLa Cell-line)라고 부르는데, 알려진 바에 의하면 지금까지 약 50톤이 넘는 헬라 세포계가 과학자들에 의해 배양되었다고 합니다.

하지만 헬라 세포계가 과학계에 이바지한 공은 헨리에타 본인은 물론 그녀의 가족들도 알지 못했습니다. 헨리에타의 세포로 연구를 진행한 그 어느 연구자도 이들에게 자신의 연구 목적이나 연구 성과 등을 그녀와 그녀의 가족들에게 공유하지 않았기 때문입니다. 하지만 최근 들어 전 세계적으로 과학자들은 윤리적인 연구를 진행하기 위해 이러한 문제를 개선하고자 노력하고 있습니다. 이를 위해 참여자에게 연구에 관한 정보를 어느 정도 수준까지 제공하는 것이 타당한지에 대한 지침서가 만들어지고 있는데요, 이러한 연구 투명성 제고를 통해 연구의 참여자들에게도 더 많은 정보를 제공할 수 있고, 의학 연구의 질도 높일 수 있을 것으로 기대가 되고 있습니다.

연구 정보 알림에 대한 지침 정하기

실험 참가자에게 어느 정도 수준까지의 연구 정보가 공유되는 것이 타당한가를 두고 연구자들 사이에서도 많은 혼란이 있습니다. 이는 각 연구자가 필요하다고 생각하는 정보의 공유 수준이 다르기 때문인데요, 새로이 생겨나는 지침들의 경우 정보 공유의 범위에 대해 조심스럽게 그 방향을 제시하는 경우를 찾아볼 수 있습니다. 대부분의 지침들에서는 연구자들은 실험 참가자가 알아야 할 필요가 있는 정보만을 공유를 하는 것이 타당하다는 의견이 주를 이루고 있습니다. 또한 애초에 동의된 연구 범위를 벗어나서 연구를 진행할 경우, 참가자에게 추가적으로 동의를 얻어야 한다는 것에 대부분 동의한다는 의견을 보이고 있습니다.

의학 연구에 주는 시사점

과학 연구의 투명성은 윤리적으로 올바른 의학 연구를 위해서는 필수적으로 동반되어야 하는 사항입니다. 특히 의료계의 경우 연구 재현성이 뛰어난 연구들이 계속해서 의학적 발전을 이끌어가고 있는 상황이기 때문에 연구 투명성이 더욱 요구됩니다. 실제 사람을 대상으로 진행되는 연구의 경우 윤리적인 연구 및 뛰어난 성과를 내기 위해서 연구 투명성을 더 엄격하게 지켜나가야 할 것입니다.

학자에게 표절은 치욕이자 물질적, 정신적 피해를 끼칩니다. 명예 실추는 물론 법적 책임을 물 수도 있습니다. 피어리뷰 단계에서 적발되면 오히려 다행이라 할 수 있겠습니다. 높은 임팩트 팩터를 가진 출판물이 표절 판정을 받을 때의 충격은 더 클 것입니다. 물론, 피어리뷰 과정에서도 상당히 자세하게 확인하나 1~2명이 전담하는 피어리뷰와 출판사 에디터가 찾아낼 수 없는 표절이 있는 것도 사실입니다. 또한, 표절 의도가 없었더라도 표절 판정을 받는 경우도 있습니다. 이런 경우 억울한 생각이 들 수도 있겠지만, 모든 것은 데이터와 출판 시기에 달렸기 때문입니다.  표절을 피하려면 어떻게 접근하고, 준비해야 할까요? 대표적인 8가지 표절 유형에 대해 알아보도록 하겠습니다.

• 완전 표절

가장 심각한 표절입니다. 말 그대로 영역을 지정하여 복사한 후 붙여넣기 한 것입니다. 다분히 의도적이라 할 수 있습니다. 참조용으로 사용했던 타인의 논문 데이터를 실수로 삭제하지 않고 제출하여 적발된 사례도 있습니다.

• 조작, 위조, 허위 생성된 표절

완전 표절과 마찬가지로 의도적 표절인 경우가 많습니다. 존재하지 않거나, 게재 취소된 논문을 인용한 경우가 있는가 하면, 실제 실험 수치를 논문 평가에 유리한 쪽으로 수정하거나 허위로 자료를 생성한 경우입니다. 재현 실험 수행으로 표절이 확인되는 경우가 많습니다.

• 직접 표절

직접 표절은 저자가 따옴표나 인용 표기를 하지 않고 다른 저자의 텍스트나 단어를 복사하여 자신의 것으로 전달할 때 발생합니다. 이는 완전 표절과 같지만, 다른 사람의 텍스트의 전체가 아닌 일부분을 가져온 점이 다릅니다. 이러한 유형의 표절은 학계에서 부정한 것으로 간주되며, 학계의 규칙과 윤리를 심각하게 위반하는 것으로 학문적 징계 조치가 필요합니다.

• 자기 표절

자신이 저자로 등록된 논문의 자료를 재사용한 경우입니다. 이 경우에도 표절을 피하려면, 출처 표기를 명확히 해야 합니다.

• 의역 표절

이는 완전 표절과 비슷한 표절로 단어나 문장 구조 등을 바꾸어 표절을 회피하려 한 경우입니다. 영어에서 한국어로 번역한 문장을 다른 사람이 한국어에서 영어로 번역했을 때의 결과와 비슷하다고 볼 수 있습니다. 가장 많이 적발되는 표절 유형이며, 의도적인 경우가 대부분이나, 낮은 빈도로 비의도적인 경우도 있습니다. 자기 표절을 이 방식으로 진행하는 경우도 있습니다.

• 부적절한 공동 저자 등록

연구에 직접 참여하지 않거나, 기여도가 많이 부족한 이를 집필진 목록에 기재하는 경우입니다. 무임승차라는 표현으로도 지칭되며, 표절의 정의와는 약간 다른 범주지만 비슷한 관점으로 평가하는 경우가 많습니다.

• 모자이크 표절

여러 논문의 데이터를 조금씩 가져와 하나의 논리 구조를 만든 경우입니다. 좋은 쪽으로 비유하자면, 완성품 PC를 구매하는 것과 부품을 하나씩 사서 직접 조립한 경우 중 후자를 모자이크 표절로 볼 수 있습니다. 상세 사항까지 다 확인해 보기는 힘들기 때문에 피어리뷰 이후에 적발되는 경우도 많으며, 대부분 의도적인 표절에 해당합니다.

• 비의도적 표절

상기한 바와 같이 여러 사유로 인해 비의도적이지만 표절 판정을 받는 경우입니다. 증명 가능한 사실로만 판정할 수 있습니다.

모든 연구 논문은 그 과정 및 결과가 재현 가능해야 합니다. 그래야만 연구의 신빙성과 진실성을 검증할 수 있기 때문입니다. 이런 이유로 많은 연구자들이 발표된 자료를 바탕으로 연구를 재현하여 그 결과를 또 다른 논문의 형식으로 발표하기도 합니다. 네덜란드에 위치한 막스 프랭크 언어심리학 기관(Max Planck Institute for Psycholinguistics)에서 일하는 몬테 니에울란드(Monte Nieuwland)와 그의 동료들은 2015년에 발표된 연구 논문을 재현하기 위한 시도를 했고, 그 결과를 논문 형식으로 작성해 세계적인 학술지 네이처(Nature)에 발표하고자 했습니다. 네이처(Nature)는 처음에는 출판에 관심을 보였으나 이후 재현 연구 논문이라는 이유로 출판을 거부한 것으로 알려졌습니다. 이 글에서는 재현 연구의 의미와 중요성에 대해서 이야기해 보겠습니다.

재현 연구란?  

재현 연구는 타인의 논문을 토대로 이미 진행된 연구를 재현해 보는 것을 의미합니다. 이미 이뤄진 연구에 대한 검증을 위해 사용되기도 하고, 연구를 재현하는 의미에서 확장해 새로운 사실을 발견하거나 새로운 연구 아이디어를 얻는 데 목적을 두기도 합니다. 많은 연구들이 산업 기준을 충족하는 환경에서 실험을 진행할 자격이 충분히 되는 전문 인력을 통해 체계적으로 재현 연구를 진행합니다. 네이처(Nature) 학술지도 이런 상황을 잘 알고 있기에 초반에는 만테 니에울란드와 그의 동료들의 논문을 출판하는 것에 관심을 보였던 것입니다. 나중에 거절하기는 했다고 하더라도 말입니다.

재현 연구의 중요성

모든 연구 논문은 연구 환경에 대한 세세하고 정확한 기록을 바탕으로 합니다. 연구의 결과와 그 과정을 기록한 자료를 바탕으로 최종 논문이 작성되기 때문입니다. 이때 연구의 모든 환경과 과정을 기록된 자료와 동일하게 재현했을 때, 같은 결과가 도출된다면 이를 ‘재현성’이 있는 연구라고 칭합니다. 많은 사람들이 연구의 결과에 대해 관심을 표현하는 만큼 연구의 내용을 정리한 논문이 세상에 발표될 때는 그 안에 기록된 정보가 정확하고 유익한 내용이 될 것을 기대하는 심리가 존재합니다. 그리고 기록된 정보의 정확성, 연구의 신빙성을 입증하는 것은 연구의 재현이 가능한가, 즉 ‘재현성’의 존재 여부에 달리게 됩니다. 연구의 전 과정을 그대로 재현했음에도 불구, 과정이 똑같이 도출되지 않는다면 그것은 연구 과정 또는 기록된 데이터 중 무언가 잘못되었다는 것을 의미할 수 있기 때문입니다. 따라서 연구의 신빙성을 입증하는 데 ‘재현성’이 중요하게 여겨지는 만큼 정확한 ‘재현 연구’의 진행 역시 매우 중요합니다.

도표와 그래프에 변화 줘보기 

출판된 연구 논문 또는 저널의 경우, 도표나 그래프가 원고에 포함된다 하더라도 그 쓰임이 정적입니다. 하지만, 디스틸(Distill)을 사용한다면 각 실험 모델에 변화를 줄 수 있고, 실험의 제약 사항 또는 입력값에 변동을 준 뒤 이것이 실험 결과에 어떤 변화를 주는지 확인할 수 있습니다. 연구 논문을 정적으로 읽어나가는 것을 넘어서 연구 결과를 도출해 낸 수치를 변화시켜가며 연구 과정을 심도 있게 들여다볼 수 있게 된 것입니다. 모든 연구자 및 유저들이 디스틸(Distill)을 사용하여 연구 과정 및 결과를 도표 및 그래픽과 상호 소통하며 이해할 수 있습니다.

재현 연구의 필요성

네이처를 포함한 많은 저널들이 공식적으로 재현 연구 논문에 관한 각자의 입장을 표명했습니다. 맥스 프랭크언어심리학 기관(Max Planck Institute for psycholinguistics)의 몬테 니에울란드(Monte Nieuwland)가 최근에 밝힌 바에 따르면 논문 출판의 선도적인 입장에 있는 많은 잡지들이 재현 연구 결과를 담은 자신들의 논문을 출판하는 것을 꺼려 할 수 있다고 밝혔습니다. 이 논문은 몬테 니에울란드(Monte Nieuwland)와 그의 동료들이 함께 진행한 것으로 2015년에 네이처 신경과학(Nature Neuroscience)에 실린 레롱(Lelong)과 그의 동료들이 출판한 연구 결과를 검증하기 위한 것이었습니다. 왜냐면 2015년도에 실린 레롱(Lelong)의 논문이 본 연구 진행 과정에서 발견된 안 좋은 결과들은 누락시키고 샘플 내용을 더 좋게 포장하였고, 샘플 사이즈 또한 증강하였기 때문입니다. 하지만 논문은 피어 리뷰도 받지 못한 채 거절당했습니다. 이런 사실은 bioRxiv를 통해 온라인에도 발표가 되었습니다. 그리고 많은 사람들이 이 사안에 대해 관심을 드러낸 것으로 알려져 있습니다. 연구가 진행되고 논문이 발표되기까지 수많은 사람들이 연구의 신빙성을 확인하기 위해 여러 검증 절차를 거칩니다. 그리고 이러한 검증 절차는 논문이 발표된 후에라도 끊임없이 되풀이되어야 할 것입니다. 그래야만 잘못된 연구 결과가 사실인 것처럼 세상에 알려지는 것을 방지할 수 있고 이를 통해 인력과 재화의 낭비를 예방할 수 있기 때문입니다. 그렇기 때문에 더더욱 재현 연구 논문의 출판을 거절한 ‘네이처(Nature)’의 결정을 선뜻 납득하기가 어렵고, 오히려 학술 출판을 선도하는 네이처(Nature)와 같은 기관들이 재현 연구의 진행과 논문 작성을 고무시켜야 한다는 생각이 드는 이유입니다.