모질라의 유튜브 알고리즘 비판 연구가 마침내 발표됐습니다. 모질라는 지난해 7월부터 올해 5월까지 무려 10개월 여 동안 유튜브 추천 알고리즘의 문제를 밝히기 위해 크라우드소싱 조사 작업을 진행했습니다. 극단화를 부추긴다는 비판을 받아온 유튜브의 알고리즘을 실증적으로 확인하고 그것의 영향과 효과를 분석하려는 방대한 작업이었습니다. 그 결과가 바로 어제 공개된 것입니다.

연구방법론은 예전 더마크업 '시민 브라우저'를 통한 페이스북 알고리즘 조사와 유사했습니다. 사용자들에게 크롬과 파이어폭스 확장프로그램을 깔게 한 뒤 유튜브에서 발견한 '문제의 영상'(유감 영상) 신고하도록 한 거죠. 정성, 정량분석을 함께 결합해서 신뢰도를 높였습니다. 이 확장프로그램을 설치한 사용자만 전세계 190개국 3만7380여명이었습니다. 물론 이 가운데 유감 영상을 보고한 이들은 91개국 사용자로 줄어들긴 했습니다.

아마 제가 알고 있는 수준에서 유튜브 알고리즘에 대한 가장 방대한 연구조사인 것 같습니다. 게다가 진단 자체에 그치지 않고 각 행위자에 대한 제안사항까지 제시하고 있어서 국내 정책연구자들이나 당국자들이 참고해 볼 것들이 많다고 생각합니다.

보고서 전문을 번역하지 않았습니다. 아래는 핵심 요약문만 번역한 것입니다. 방법론과 결론부분  번역물은 미디어고토사 도서관을 통해 유료 구독자에게만 제공합니다. 이해를 부탁드립니다.

📮 이 보고서의 핵심 요약 + 방법론 + 결론 번역물 바로가기


핵심 요약

YouTube는 세계에서 두 번째로 많이 방문하는 웹사이트이며, 그 알고리즘은 매일 7억 시간으로 추정되는 플랫폼 시청시간(Watch Time)의 70%를 유도하고 있습니다. 수년 동안 이 추천 알고리즘은 건강에 대한 잘못된 정보, 정치적 허위정보, 혐오스러운 비난 및 기타 유감스러운 콘텐츠를 전 세계 사람들에게 전파하는 데 도움을 줬습니다. YouTube의 막대한 영향은 이러한 영상들이 급진화에서 양극화에 이르기까지 수많은 삶에 깊은 영향을 미치면서 엄청난 수용자들에게 도달할 수 있음을 의미합니다. YouTube는 관성과 불투명성에 대한 비판에 직면해왔습니다.

2020년, YouTube가 추천 알고리즘에 대해 더 투명해지고 연구자들이 플랫폼을 연구할 수 있도록 허용하겠다고 선언한 뒤, Mozilla는 사용자가 대신 발언권을 높일 수 있도록 권능을 부여해서 이 플랫폼의 비대응 행동에 대응했습니다. 우리는 YouTube 알고리즘이 사람들에게 미칠 수 있는 피해를 더 잘 이해하기 위해 브라우저 확장 프로그램이자 크라우드 소싱된 연구 프로젝트인 RegretsReporter를 시작했습니다.

37,380명의 유튜브 사용자들은 유튜브 감시견으로 한발 내디딘 뒤 Mozilla 연구원들이 신중하게 분석할 수 있도록 유튜브에서 겪은 유감스러운 경험에 대한 데이터 보고하기로 자원했습니다. 그 결과 Mozilla는 YouTube 내에 단단히 보관된 데이터풀에 대한 통찰을 얻을 수 있었습니다. YouTube 알고리즘에 대한 사상 최대 규모의 크라우드 소싱 조사입니다. 총체적으로 이들 자원 봉사자들은 2020년 7월부터 2021년 5월까지 91개국에서 3,362개의 유감스러운(regrettable) 동영상을 신고해 주셨습니다.

이 보고서는 RegretsReporter 연구를 통해 배운 내용을 강조해 보려고 합니다. 구체적으로 다음과 같은 세 가지 주요 결과를 새롭게 발견했습니다.

  • YouTube Regrets(영상들)은 이질적이면서 충격적입니다. 자원 봉사자들은 Covid의 공포를 조장하는 것에서부터 정치적 허위정보, 매우 부적절한 “어린이” 만화에 이르기까지 모든 것을 보고했습니다. 가장 빈번한 Regrets 영상 카테고리는 허위정보(misinformation), 폭력적이거나 노골적인 콘텐츠, 증오혐오 표현 및 스팸 / 사기입니다.
  • 알고리즘이 문제입니다. 모든 Regret 영상 신고의 71%는 YouTube의 자동 추천시스템이 자원 봉사자에게 추천한 동영상에서 나왔습니다. 또한 추천 동영상은 검색한 동영상보다 자원 봉사자들이 보고할 가능성이 40% 더 높았습니다. 그리고 여러 경우에 YouTube는 실제로 자체 커뮤니티 가이드를 위반하거나 이전에 시청한 동영상과 관련이 없는 동영상을 추천했습니다.
  • 비영어권 사용자가 가장 큰 타격을 받았습니다. YouTube Regret 영상의 비율은 영어를 모국어로 사용하지 않는 국가(브라질, 독일, 프랑스가 특히 높음)에서 60% 더 높았으며, 특히 비영어 언어권에서 팬데믹 관련 Regret 영상이 만연했습니다

이 보고서에서 우리는 데이터 분석 및 충분한 사례 연구를 통해 이러한 각 발견 사항을 압축했습니다. 실제로 Mozilla의 연구에서 얻은 몇 가지 사례가 생생한 그림을 그립니다. 한 자원봉사자는 어린이 영화 "토이 스토리"의 성적인 패러디인 애니메이션 비디오 "우디의 나무를 가져 왔습니다"를 신고했습니다. 또 다른 자원 봉사자는 일한 오마르(Ilhan Omar) 미국 하원 의원과 선거 사기에 대한 음모 이론 비디오를 추천받았습니다. 3 분의 1은 인종차별적이고 공격적인 언어와 아이디어를 담은 '권력있는 흑인은 흑인에게 힘을 주지 않는다'라는 동영상을 추천했습니다.

Mozilla는 문제만 진단하는데 그친 것이 아니라 문제의 해결을 돕고 싶습니다. 이 보고서의 '권장 사항'(Recommendations) 섹션에는 YouTube, 기타 인터넷 플랫폼, 정책 입안자 및 대중을 위한 명확한 지침이 나와 있습니다. 이러한 권장 사항 중 일부는 다음과 같습니다.

  • 플랫폼은 연구원이 추천시스템을 감사할 수 있도록 해야 합니다.
  • 플랫폼은 추천 시스템의 작동 방식에 대한 정보와 시간 경과에 따른 문제 영역 및 진행 상황에 대한 충분한 통찰을 제공하는 투명성 보고서를 게시해야 합니다.
  • 정책입안자는 YouTube에 정보를 공개하고 추천 알고리즘을 독립적으로 조사할 수 있는 도구를 만들도록 요구해야 합니다.
  • 정책입안자는 조사를 위해 플랫폼에서 제공하는 방법이 아닌 대체 방법을 사용하는 연구원, 언론인 및 기타 감시인을 보호해야 합니다.
  • 사람들은 YouTube와 Google의 데이터 설정을 업데이트하여 자신과 가족을 위한 올바른 제어를 해야 합니다.

이 보고서에는 Mozilla의 연구를 설명하는 포괄적인 방법론 섹션도 포함되어 있습니다. 연구 질문, 브라우저 확장 작업, 분석 방법 등을 자세히 설명합니다.