올해 1월 중국 전자상거래 업체 알리바바는 자체 개발한 심층신경망(deep neural network) AI 모델의 성능을 시험하기 위해 10만개 이상의 질문을 주고 정확한 답변을 이끌어 낼 수 있는지 테스트를 실시했다.
해당 시험은 스탠포드 대학이 만든 읽기 테스트 ‘데이터세트(SQuAD)'로 위키피디아 문서를 참조해 만든 독해력 평가 테스트다. 이 테스트에서 알리바바가 개발한 AI가 인간보다 우수한 점수를 냈다.?알리바바는 이 시험에서 로봇이 사람을 이긴 것은 처음이라고 밝혔다.
500개가 넘는 위키피디아 문서를 기반으로 만들어진 SQuAD 질문은 머신러닝 학습 모델이 대량의 정보를 처리하고 질문에 정확한 답변을 제공할 수 있는지를 파악하기 위해 만들어진 것이다. SQuAD을 활용해 AI가 어느 정도의 독해 능력을 가지고 있는지 점수로 평가할 수 있다.
SQuAD 테스트에는 구글, IBM, 마이크로소프트, 삼성 등 다양한 연구기관과 IT 기업이 참여했다. 그 중 알리바바가 개발한 AI인 ‘SLQA +’가 82.44점을 기록하며 인간 참가자들(82.304점)을 눌렀다. 다른?참여자의 점수는 다음 페이지(https://rajpurkar.github.io/SQuAD-explorer/)에서 확인할 수 있다.
알리바바가 개발한 신경망 모델은 '단락에서 문장, 단어까지'를 읽고 답변을 특정하는 'Hierarchical Attention Networks' 기술을 기반으로 하고 있다.
알리바바는 이 기술을 지난해 11월 11일 거래 총액이 1682억 위안에 달해 화제를 모았던 '독신의 날(光棍節)'에도 적용해 고객 응대 서비스를 한 것으로 알려졌다.
일본 IT 매체 기가진(gigazine)은 알리바바가?중국 텐센트와 바이두와 AI 개발 경쟁을 펼치고 있으며?중국 정부가?2030년을 목표로?AI 업계를 선도하기 위해 AI 관련 기업에 많은 지원을 하고 있다고 전했다.
AI 활용 분야 가운데에서도 SLQA+와 같이 인간의 언어를 이해하려는 노력은 ‘자연어 처리’ 분야로 분류된다. 알리바바 자연어 처리 연구를 총괄하는 루오 시(Luo Si)는 "이 기술(SLQA +)은 고객 서비스, 박물관 설명, 환자 의료 문의에 대한 온라인 응답 등 다양한 용도로 점차 채택되고 있으며 전례 없는 방식으로 인간에 의한 입력 필요성을 줄여 나갈 수 있다"고 언급했다.
김정은 기자
oliver3@thedailypost.kr