Ⅵ. 언어와 소통 – 2. 자연어 처리가 무엇인가요?

  ‘I go to school.’을 번역하기 위해 [(I, 나), (go, 가다), (to, ~로/에/쪽으로), (school, 학교)]가 있는 단어 사전을 구축해야 합니다. 각 단어를 한국어로 치환한 후 한국어의 어순에 맞도록 위치를 바꾸어주면 자연스럽게 번역할 수 있습니다.

  냉전 시기 미국은 러시아 문서의 자동 번역을 위한 시스템 개발을 시도하였습니다. 미국 정부의 지원으로 1952년에 시작하여 1964년 GAT(Georgetown Automatic Translation)이 개발되었습니다. 소련어로 된 물리학 관련 문서를 영어로 번역하는 것을 목표하였으나 사람에 비해서는 번역의 질이 매우 떨어졌습니다. 언어학 이론을 전혀 사용하지 않고, 단어+약간의 숙어 처리를 하는 방식으로 번역기를 만들었습니다.

  1960년대에 본격적인 자연어 처리 연구가 이루어졌는데, 데이터베이스와 연동하여 질의에 응답하는 시스템을 개발하였습니다. 프랑스의 CETA, 캐나다의 TAUM이 그때 개발된 시스템입니다. 하지만 이때의 기계 번역은 완벽하지 않았습니다. 당시 학자들은 인공지능이 문장을 ‘이해’하지 못해도 구조 분석과 단어 대치 등으로 외국어 번역이 가능할 것이라 생각했으나 실제로 그렇지 않았기 때문이지요. 이 때문에 학자들은 인공지능에게 대화하는 영역에 대한 지식이 필요하다는 것을 깨닫게 됩니다.

  이전 파트에서 설명한 위노그라드 스키마 챌린지를 기억하시나요? 이 대회의 이름의 주인공인 테리 위노그라드(Terry Winograd)는 1971년 MIT 학위 논문으로 SHRDLU 시스템을 만듭니다. SHRDLU는 물리적 법칙과 같은 간단한 세상을 이해하고 있어 자연어 처리 영역에서 인간의 언어처리 방법과 추론 방법을 결합한 모형을 사용했다는 측면에서 큰 발전을 이루었습니다.

  그러나 1980년대 이후 자연어 처리의 암흑기가 도래하는데, 고전적인 방법으로 자연어를 처리하는 것에 한계를 느끼게 됩니다. 이후 딥러닝이 이를 해결하였고 현재는 사람과 대화가 가능한 수준까지 이르게 됩니다. 사람 같은 모습을 한 로봇에 챗봇을 장착해 대화를 시도하기도 합니다. 인공지능 로봇 제조사 핸슨 로보틱스(Hanson Robotics)가 개발한 인공지능 로봇 ‘소피아’가 대표적인 예입니다.