Interviews

[ Geoffrey Hinton ]

Four Questions For: Geoff Hinton (Jan 16, 2017) [Original][Sum-up]
* 3년전만해도 Neural Net이 raw data로부터 linguistic knowledge를 얻으리라는 예상을 하지 못해, Machine Translation에는 사용을 안했다. 하지만 지금의 NMT는 대세이다.
* 특이점이 오는 AI를 두려워하진 않는다. 단, 이들을 군사목적으로 사용되는데 있어서 국제적인 동의를 반드시 가져야 할 것이다.
* AI가 노동시장에 영향을 끼치는데 긍정적으로 바라본다. 이들은 생산성을 높여줘 (예전의 2차 산업때와 같이) 모든 사람들에게 좋은 영향을 주기 때문이다. 단, 올바르고 공정한 정치적 시스템이 전제되어야 할 것이다. 기술은 문제가 되지 않는다. 혜택을 모든 사람들에게 주지 않는 비공정 정치 시스템이 문제이다.
* 최근 deep learning이 여러 도메인 (e.g., image, speech, text)에 막대한 영향을 끼치고 있는데, 우리는 20년 또는 그 전부터 기초 neural network으로부터 이들의 잠재력(flowering)을 봐왔다. 그 잠재력은 더 좋은 타입의 뉴런, 더좋은 아키텍쳐, Deep Net을 학습하는 더 좋은 방법, 모델이 input의 실체를 더 잘 살펴보도록 하는 방법에 있다. 이러한 deep learning의 잠재력은 앞으로 계속 발전될 것이다.
* 앞으로 가장 기대가 되는 부분은, neural network가 정말로 document의 content를 이해하는 것이다. 최근 핫 토픽 중 하나인, new types of temporary memory가 이 부분에 속한다.
* 한가지 문제는 neural network가 small amounts of data에서 generalize를 잘 하지 못한다는 부분이다. 추측컨데, 이것을 해결하기 위해서는 완전 새로운 타입의 neuron을 개발해야 할 것이다.
* deep learning를 적용함으로써 우리가 얻는 교훈은 실제 인간 뇌의 뉴런이 어떻게 동작하는지 더 큰 insight를 가져다 주는 것이다. 그리고 이러한 insight는 앞으로의 deep learning 발전에 큰 영향을 미칠 것이다.

[국내 최초 단독 인터뷰]  21세기 인공지능의 대부 제프리 힌튼 (July 31, 2016) [Origianl]
* 지난 세기동안 대부분의 AI 연구자들은 많은 문제와 규칙을 프로그래밍해서 AI에 집어 넣으면 추론이 가능하다고 생각했으나, 이는 지식을 입력하는데 비용과 시간이 많이 걸리는 일이라고 생각했다. 
* 인간의 뇌가 작동하는 방식처럼 AI도 지식을 프로그래밍화하는 것이 아니라 스스로 배우게 해야한다고 믿었다. 따라서, 심층 신경망이 규칙을 일일이 입력해야 하는 논리 기반의 AI를 대체할 것이라는 사실에 단 한 번도 의심하지 않았다.
* 인공지능이 인간을 뛰어넘는 '특이점(Singularity)'은 분야마다 각기 다른 시간이 걸릴 것이다. 의료영상 분석은 5~10년 안에도 되겠지만, 극작가나 소설가를 뛰어넘는 데는 50년이 걸릴 수도 있다.
* AI는 생산성을 획기적으로 늘려주는 강력한 도구이다. 이는 모든 사람들에게 헤택을 줄 수 있고, 소수의 엘리트만 풍족하게 할 수도 있다. 후자가 되는 것은 공정하지도, 현명하지도 않다.
* 바둑의 경우 직관력이 요구된다. 다음 수를 결정하기 위해서 수많은 계산이 필요하지만, 직관력이 없으면 계산은 통제불능 상태에 이른다. 알파고는 인공신경망을 사용해 이런 직관력을 배웠다. 알파고의 성공은 인간의 직관이 인공신경망에 의해 실현될 수 있다는 또 다른 증거이기도 하다. 
* 근원적 호기심이 기반이 된 기초연구에 집중적인 투자가 이뤄진다면 한국 인공지능 역시 선진국 수준에 도달할 수 있을 것이다. 단기적인 성과를 위해 학자들을 압박하는 것보다 무엇이든 자유롭게 연구할 수 있도록 해주는 것이 훨씬 효과적인 방법이다. 딥러닝도 그렇게 만들어졌다.
* 기초과학을 현실에 응요하는 것이 중요하다. 하지만, 정부가 대학에 연구지원을 할 때, 그 목적을 '응용'에 맞추는 것은 옳지 않다. 정치인들은 일자리 창출과 이익확대를 위해 연구투자를 결정하지만, 사실 뜻밖의 큰 이익을 내는 건 호기심 그 자체가 목적인 연구라는 것이다. 따라서, 대학은 기초과학에, 기업은 응용분야에 몰두하는 게 맞다.

[ etc. ]

Episode 22: 자연언어처리 특집 (나는프로그래머다) [Sum-up]
[느낀점]
마이크로소프트 NLP연구자에 대한 인터뷰로, 마치 아는 선배가 이야기해주는 것처럼 친근했다. NLP의 전체적인 윤곽에 대해 이해할 수 있었고, 어디서 초점을 맞춰야될 지 고민할 기회를 주었다. 어떤 개념에 대한 강의/논문도 중요하지만, 이런 큰 그림을 그려주는걸 한 번씩 들으면 내가 원하는 방향으로 가는데 도움을 줄 것 같다.
[정리]
* 자연어(NL)의 큰 특징은 '모호함'(ambiguity)이다. 자연어 처리(NLP)는 모호함을 컴퓨터가 이해할 수 있도록 방법론이나 모델을 만드는 분야라고 할 수 있다.
* 이제는 검색의 시대에서 개인 비서(Task Completion)의 시대로 넘어가고 있다.
* NLP 파이프라인 중 stemming을 하는 이유는 sparse problem을 해결하기 위해 (i.e., study와 studies를 같다고 판단해야 한다.)
* 머신러닝은 간단한 output (e.g., integer or real value) NLP는 structured prediction (e.g., sequence, tree) (즉, NLP는 output자체가 구조(structrue)를 가진다.)
* NLP에서는 typology를 잘 이해하는 것이 중요하다. (언어마다 frame이 다르다.)
* 모호함을 해결하기 위한 연구는? (tree 구조를 이용한) Parsing (단어들의 dependency 파악)과 Semantic Role. 
* 회사마다 NLP방법론들은 서로 비슷하지만, 데이터 양과 품질로 판가름이 난다.
* 확률과 통계는 확실히해야 되고 (기본개념이 굉장히 중요), 선형 대수와 그래프 이론도 배우길 추천
* NLP를 잘하기 위해서 dynamic programming을 잘해야 한다.