1. INTRODUCTION
효과적으로 논문을 읽는 것은 중요하지만 많은 사람들이 가르쳐 주지 않는 기술이다. 그래서 많은 초보 대학원생들이 시행착오를 통해 스스로 배워야된다. 필연적으로 많은 학생들이 그 과정에서 많은 노력을 낭비하고 종종 좌절에 빠진다.
본 논문은 ‘Three-pass’ 접근 방식과 문헌 조사에서의 이 방식의 사용법에 대해 묘사합니다.
2. THE THREE-PASS APPROACH
핵심 아이디어는 논문을 처음부터 끝까지 읽는게 아니라 최대 3번의 패스로 읽는 것이다.
각 패스 단계는 특정한 목표를 달성하고 이전 패스를 기반으로 한다.
- First pass : 논문에 대한 일반적인 아이디어를 획득한다.
- Second pass : 내용을 파악한다. 하지만 디테일한 단계는 아니다.
- Third pass : 논문을 깊이 이해하는데 도움을 준다.
2.1-The first pass
첫 단계에서는 종이를 한눈에 빠르게 스캔하는 것이다. 이때 이 논문을 패스를 할지 말지 결정할 수도 있다. 이 패스는 약 5~10분이 걸린다. 과정은 다음과 같다.
- 주의깊게 제목, 초록, 소개를 읽어라 (Title, Abstract, Introduction) .
- 각 대목차와 소목차의 제목만을 읽는다 (Section, Sub-section).
- 결론을 읽는다(Conclusions).
- 한눈에 참고문헌(Reference)을 보고 이미 읽은 내용을 머리속으로 체크한다.
first pass의 마지막에서 우리는 5C(본문에서는 five Cs라고 되어있다.)에 대해 답변할 수 있다.
- Category : 어떤 타입의 논문이지? 측정 논문? 이미 존재하는 시스템의 분석 논문? 연구 프로토타입을 묘사한 논문?
- Context : 어떤 논문과 관련이 있지? 문제를 분석하기 위해 어떤 이론적 근거를 사용했지?
- Correctness : 논문의 가정이 타당한가?
- Contributions : 논문의 주요 기여는 뭐지?
- Clarity : 잘 작성된 논문인가?
이정보들을 사용해 이 논문을 읽지 않을지 우선적으로 판별할 수 있다. 이 논문이 관심 없는 분야거나 이 논문을 이해할 충분한 지식이 없거나 저자가 잘못된 가정을 했을 수 있다. First pass는 우리의 연구분야에 관련이 없는 논문에 대해서 적당하지만 언제 관련성이 있을지는 아무도 모른다.
추가적으로, 우리가 논문을 쓸때 대부분의 reviewer분들이 첫 단계에서 우리의 논문을 패스할 수도 있다는 것을 예상해야 한다. 일관된 대목차와 소목차의 타이틀 그리고 간결하고 논문의 전체내용을 요약할 수 있는 초록을 작성해야 한다.
만약, reviewer가 요점을 한번에 이해할 수 없을때 논문이 reject될 수 있다. 만약 독자가 5분이 지나도록 논문의 강점을 이해하지 못하면 이 논문은 절대로 안읽을 것이다.
2.2-The second pass
두 번째 단계에서는 주의하며 논문을 읽지만 증명과 같은 세부 디테일은 건너 뛴다. 읽으면서 요점(key point)을 적거나 주석(comment)을 단다.
- 주의 하며 논문의 사진, 다이어 그램, 일러스트를 본다. 그래프에 특히 집중한다. 축이 올바르게 지정되어 있나? 결론이 통계적으로 유의하도록 결과 그래프에 error bar가 표시 되어있나? 이러한 일반적인 실수들은 정말 훌륭한 논문과 급하고 엉성한 논문을 분리 시켜줄 것이다.
- 나중에 읽기 위해 관련된 참조 논문중 읽지 않은 것들을 체크해라(논문의 배경에 대해 더 많이 공부할 수 있는 좋은 방식이다.).
The second pass는 한시간 정도 소요된다. 이 단계 후에 우리는 이 논문의 내용을 파악할 수 있어야 한다. 우리는 이 논문의 주요 내용을 뒷받침하는 증거와 함께 다른 사람에게 요약해서 설명할 수 있어야 한다. 이 정도의 디테일은 우리가 관심있는 논문에 대해서는 적절하지만 연구 전문 분야에 관련된 논문은 해당되지 않는다.
때때로 우리는 second pass의 마지막에도 논문을 이해할 수 없을 것이다. 아마 주제가 낯선 용어와 약어로 범벅되어 새롭게 느껴지기 때문이다. 아니면 저자가 사용한 증명 혹은 실험적인 테크닉을 우리가 이해할 수가 없으니 이게 논문의 전체가 싹다 이해 안 되는 경우도 있다. 논문이 근거없이 주장을 펼쳤거나 너무 수많은 related reference 때문에 형편없이 쓰여질 수 있다. 이때 우리는 다음 세 가지를 선택 할 수있다.
- 이 논문없이도 성공가능하다고 생각하고 그만 읽는다.
- 배경 자료를 읽고 다시 이 논문을 읽는다.
- Thrid pass로 간다.
2.3-The thrid pass
전체적으로 논문을 이해하려면, 특히 reviewer라면 thrid pass는 무조건 해야한다. Thrid pass의 핵심은 이 논문을 다시 구현하는 시도를 하는 것이다. 즉, 논문의 저자와 똑같은 가정을 만들고 다시 만들어 보는 것이다. 다시 만든 것과 실제 논문을 비교하면 이 논문의 혁신(innovation) 뿐 아니라 숨겨진 실패와 가정들을 쉽게 알아차릴 수 있다.
Third pass는 디테일에 많이 집중을 해야 한다. 모든 진줄에서 모든 가정들을 식별하고 도전해야 한다. 또한, 내가 어떻게 특정 아이디어를 제시할 것인지 생각해야 한다. 실제의 논문과 비교하면서 증명에 대한 날카로운 통찰력과 논문의 프레젠테이션 테크닉을 얻을 수 있고 내 레퍼토리에 추가할 수 있다.
이 pass 과정에서 우리는 향후 작업을 위한 아이디어도 적어 두어야한다.
이 과정은 초보자에게는 4~5시간, 숙련된 독자의 경우 한시간 정도 소요된다. 이 pass의 마지막에서 우리는 우리의 머리속에서 논문의 전체 구조를 떠올릴 수 있고 이 논문의 강점과 약점도 알 수 있다. 특히 우리는 암시적 가정, 관련 작업에 대한 인용 누락, 실험 또는 분석 기술에 관련된 내재된 문제들을 정확히 파악할 수 있어야 한다.
3. DOING A LITERATURE SURVEY
논문 실력을 테스트 하기 위해서는 익숙하지 않은 분야에서 수십 개의 논문을 읽어야한다. 어떤 논문을 읽어야 할까? 다음은 three-pass 접근법을 우리가 사용하는 방법이다.
첫째, 먼저 Google Scholar 또는 CiteSeer와 같은 학술 검색 엔진과 잘 선택된 키워드를 사용해 해당 분야에서 최근 3~5개의 논문을 찾는다. 감각을 갖기 위해 각 논문에 One pass를 적용하고 그 다음 Related work 부분을 읽는다. 우리는 최근 연구에 대한 요약을 찾을 수 있고 운이 좋으면 최근의 survey paper를 찾을 수 있을 것이다. 만약 survey 논문을 찾을 수 있으면 끝난거다. 이거는 진짜 운좋은 거다 survey 논문 읽어라.
만약 못찾았으면 Second pass 단계에서 반복적으로 언급되거나 인용된 저자 이름을 찾아라. 이 논문 혹은 연구원은 이 분야에서 중요하다는 것이다. 주요 논문을 다운로드해 따로 보관해 둬라. 그 다음 주요 연구원의 웹사이트에 가서 최근에 게시 한 곳을 확인해라. 이런 분들은 보통 그 분야의 제일 저명한 conference에 제출하시기 때문에 top conference를 식별하는 데에도 도움이 된다.
세번째 단계는 이 top conference 웹사이트에 가서 최근에 연구가 어떤 동향을 가지고 있는지 보는 것이다. 일반적으로 최근 높은 퀄리티를 가진 논문을 빠르게 찾는다. 이 논문들은 앞서 제정한 논문과 함께 우리 조사의 첫번째 버전을 구성한다. 이 논문을 second pass 해라. 이 논문들이 이전에 찾지 못한 핵심 논문을 인용했으면 필요에 따라서 반복해서 읽고 읽는다.
4. EXPERIENCE
논문의 저자는 15년 동안 이 방법을 사용해 conference preceeding들을 읽고, 리뷰를 작성하고, 배경 조사를 하고, 토론 전에 논문을 빠르게 리뷰했다. 이 훈련된 방식은 논문에 대한 대략적인 이해(논문에서는 brid’s-eye-view를 갖기 전이라고 되어있다.) 전에 세부사항에 너무 집중하는 것을 방지 할 수 있다. 이 방식들을 통해 논문들을 검토하는데 얼마나 시간을 소요할지 예측 할 수 있다. 더욱이 내가 가진 시간과 내 필요에 따라 논문 평가에 대한 깊이를 조절할 수 있다.
5. RELATED WORK
만약 리뷰를 하기 위해 논문을 읽는다면 Timothy Rescoes의 논문 “Writing reviews for systems conferences”를 읽어 봐야 한다. 만약 테크니컬한 논문을 쓸 계획을 하고 있으면 Henning Schulzrinnes의 website와 George Whitesides의 프로세스에 대한 개요를 읽어보면 좋다.
6. A REQUEST
저자분께서는 좋은 의견이 있으면 이 논문이 지속적으로 업데이트 되는 것을 원하신다. 개선에 대한 의견이나 제안을 저자분의 이메일(keshav@uwaterloo.ca)이나 CCR 온라인 버전인 CCRo(ACM SIGCOMM Computer Communication Review Online)에서 의견을 추가할 수 도 있다고 한다.
Comments