네이버 뉴스, 인공지능이 추천한다

네이버 뉴스, 인공지능이 추천한다.

http://www.bloter.net/archives/272268

네이버 뉴스편집에서 인간의 개입이 줄어든다. 네이버는 지난 2월17일 모바일 메인 ‘뉴스판’에서 에어스(AiRS, AI Recommender System, 이하 ‘에어스’)를 통한 뉴스 추천 베타테스트를 사작한다고 밝혔다. 에어스는 네이버가 자체 연구, 개발한 인공지능 기반 추천 시스템이다.

사진=네이버

에어스 추천 뉴스 베타판은 무작위로 선정된 일부 사용자를 대상으로 제공된다. 네이버 다이어리에서도 만나볼 수 있다. 에어스는 공기(air)와 같이 항상 이용자 곁에서 유용한 콘텐츠를 추천한다는 의미로 명명된 인공지능 기반 추천 시스템이다. 네이버는 이 같은 시스템을 2016년 MY피드, 네이버 TV 일부에 적용, 이용자들의 콘텐츠 소비패턴과 시간의 경과에 따라 변하는 개인별 관심사를 분석하며 이에 따른 콘텐츠를 자동으로 추천하고 있다.

네이버는 모바일 메인 ‘뉴스판’ 중단 배너 영역 아래, ‘AiRS 추천 뉴스 영역(베타버전)’을 마련하고, 최근 7일 간 ▲사용자가 네이버 모바일과 PC에서 구독한 뉴스 및 ▲사용자와 관심사가 비슷한 그룹이 구독한 뉴스를 기반으로, NPMI(추천 스코어)Normalized Point-wise Mutual Information, Item-to-item 모델에서 item(콘텐츠)간 유사도 계산 시에 사용되는 통계값이다.  co-occurrence(동시 발생)만을 고려한 모델에 비해 item간 조건부 확률까지 분석해, 보다 정교한 추천이 가능한 방식이다close, 최신성, 다양성 등을 추출 및 분석해 개인별 관심도, 선호도가 높은 뉴스를 추천한다. 해당 영역에서는 사용자의 관심사에 따른 뉴스를 추천하며, 소비에 따라 실시간으로 새로운 뉴스를 업데이트하며 다양한 뉴스를 제공한다.

네이버의 뉴스판은 워낙 많은 사람이 이용하다 보니 편집과 관련해 정치·사회적으로 민감하다. 비교적 논란이 적을 수 있는 ‘연예’, ‘스포츠’보다 뉴스판에 먼저 에어스를 적용한 이유는 베타 테스트의 관점에서 테스트 사용자의 규모와 추천 대상 콘텐츠의 생산량(회전율)을 고려했기 때문이다. 향후 에어스는 네이버 모바일 주제판인 ‘연예’, ‘스포츠’ 등 더욱 다양한 주제판과 ‘웹툰’과 같은 네이버의 콘텐츠 서비스로 확대해, 사용자들의 세분화, 개인화된 관심사와 니즈에 적합한 맞춤 콘텐츠를 추천해나갈 예정이다.

비슷한 관심사의 사람들이 본 뉴스를 추천한다

에어스는 같은 관심사를 가진 사용자 그룹이 구독한 콘텐츠를 추천하는 CF(Collaborative Filtering, 협력 필터) 기술을 바탕으로 한다. CF기술은 컴퓨터가 보편화하던 1970년대부터 시작됐다. 정보의 양이 빠른 속도로 증가하면서 그에 걸맞은 정보 추천 시스템이 필요해져서다.

CF 기술은 네이버의 ‘콘텐츠 네트워크’에 적용, 비슷한 관심사를 가진 사용자 네트워크를 구축하고, 해당 구성원들이 많이 본 콘텐츠 중 관련도가 높은 콘텐츠를 우선 추천한다. CF기술은 넷플릭스의 영화 및 드라마 추천, 아마존의 쇼핑 상품 추천, 유튜브의 동영상 추천 등 글로벌 IT기업들도 활용하고 있다.

사진=네이버

네이버는 인공신경망 기술인 순환신경망(RNN, Recurrent Neural Network)을 통해 콘텐츠를 추천하기 위한 내부 연구도 진행 중이라고 알렸다. 해당 기술은 사용자가 콘텐츠를 구독한 순서까지 기억한다. 시간이 지날수록 더욱 정교하게 콘텐츠를 분석하고, 생성된 지 얼마 되지 않은 최신 콘텐츠까지 추천할 수 있는 기술이다. 스스로 학습이 가능한 추천 시스템이다.

사진=네이버

최재호 에어스 리더는 “에어스는 계속해서 학습을 통해 고도화되기 때문에 추천 품질은 지속적으로 좋아지게 된다”라며 “앞으로 CF 기술과 RNN 등 딥러닝 기술이 가진 장점을 융합해 더욱 고도화된 형태의 추천 시스템으로 진화하기 위한 연구를 지속할 예정”이라고 밝혔다.

편리한 기술, 부작용은 없을까?

콘텐츠 추천 시스템은 편리하다. 사람이 할 일이 줄어든다는 것은 부차적이다. 개인화된 맞춤 추천도 사용자 입장에서 편리하게 받아들여질 수 있는 기술이다. 대중의 취향보다는 같은 관심사를 공유하는 사람들의 취향이 사용자의 입맛에도 맞다. 알고리즘이 추천하는 시스템을 적용하면 ‘포털이 사실상의 뉴스편집권을 행사한다’는 논란을 비껴가기에도 좋다. ‘로봇이 사용자의 관심사를 기반으로’ 추천한다는 사실은 굉장히 공정해 보이기 때문이다.

‘다음’을 운영하고 있는 카카오는 2015년부터 ‘루빅스’라는 이름의 알고리즘 기반 추천 시스템을 뉴스 콘텐츠 제공에 사용하고 있다. 카카오 측은 “루빅스 적용 후 사용자에 따라 다른 뉴스가 노출되므로 메인에 노출되는 뉴스 수가 늘어난다”라며 “사용자의 입맛에 맞는 콘텐츠를 노출하게 되므로 뉴스 콘텐츠 소비량도 증가하는 효과를 얻을 수 있다”라고 장점을 강조한다.

▲필터버블은 개인 맞춤형 정보를 제공하는 과정에서 생겨난다. 

다만 비슷한 그룹의 관심사에 기반해 추천하는 기술은 ‘필터버블’의 우려에서 벗어나지 못한다. 필터버블은 인터넷 정보제공자가 이용자 맞춤형 정보를 제공해 필터링 된 정보만 이용자에게 도달하는 현상을 지칭한다. 개인 맞춤형 콘텐츠 추천 시스템의 부작용이다.

개인 맞춤형 콘텐츠 추천 시스템에 뉴스가 섞이면 부작용이 생긴다. 자기가 좋아하는 뉴스, 보고 싶은 뉴스만 보면 결국 정치·사회적인 문제에서 고정관념과 편견을 강화하는 계기가 된다. 강화된 고정관념과 편견은 좀 더 입맛에 맞는 게시물만 가지고 온다. 악영향이 강화되는 셈이다. 이렇게 되면 여론을 잘못 이해하게 될 뿐만 아니라, 전혀 잘못된 소식이 확산력을 가지게 되는 상황도 생긴다. 이러한 필터버블은 개인의 편견이나 고정관념을 강화하는 데 그치지 않고 사회와 정치에도 악영향을 미칠 수 있다.

네이버는 이러한 우려에 대해 “이용자 행태를 분석하는 과정에서 일괄적으로 필터링하거나 어느 한쪽으로 쏠리기보다는, 개개인의 시시각각 변하는 관심사를 인식하여 최적화된 추천 결과를 예측하는 데 중점을 두고 있다”라며, “뉴스판의 경우만 보더라도 npmi(추천 스코어) 이외에 다양성이나 최신성 등이 충분히 고려되며, ‘추천 뉴스 새로 보기’를 통해 여러 분야의 다양한 기사들도 계속 접할 수 있다”라고 답변했다.

시스템과 로직은 공개할 의향 있어

보통 알고리즘은 기업 비밀로 취급되곤 한다. 하지만 뉴스편집은 약간 예외가 될 수 있다. ‘왜 해당 뉴스가 비중있게 다뤄지는지’, ‘더 긴 노출 시간을 확보하는지’는 기업의 문제이면서 동시에 사회의 문제다. 이와 관련된 알고리즘이 투명하게 알려지는게 중요한 이유다. 카카오는 작년 말에 “루빅스가 어떤 팩터로 구성됐고, 어떻게 작동하는지에 대한 공개를 준비하고 있다”라고 밝힌 바 있다. 네이버 측도 “아직 연구 실험 중인 부분이 있어 향후 바뀔 수는 있지만”이라고 전제는 달았지만 “기본적인 시스템이나 로직은 기회가 된다면 공개할 예정이다”라고 답변했다.

유봉석 네이버 미디어서포트 리더는 “에어스를 통해, 사용자들이 네이버 모바일 홈에서 다양한 영역에 걸쳐있는 개인 관심사에 대한 뉴스를 더욱 편리하게 확인할 수 있게 될 것으로 기대한다”라며, “기술을 기반으로 투명한 뉴스 서비스를 제공하기 위한 노력을 이어갈 것이다” 라고 말했다.

.