Everyday carnival!

텍스트 파일을 다운로드 하세요.gugudan1.txt

엑셀-수업자료입니다.
다운로드 받으세요.mozo.zip

출처: http://ideas.tistory.com/1228153

Problem Definition

기존의 검색 엔진은 유저의 query에 대한 결과로 popular한 페이지를 검색 결과의 상위에 보여준다. 그 결과 popular한 페이지는 더 popular해지기 쉬운 반면, unpopular한 페이지는 일반적인 유저들에게 무시당하게 된다. 실제로 이러한 "Rich-get-richer" 현상은 새롭게 만들어진 high-quality의 페이지들이 그 높은 quality에도 불구하고 유저의 주의를 끌 기회 조차 가질 수 없기 때문에 문제가 된다. 이 페이퍼에서는 기존의 popular-based ranking(예를 들면 PageRank)의 문제를 완화할 수 있는 새로운 ranking function, "Page Quality"을 제안하려고 한다.

Their Solution & Results

PageRank의 핵심적인 feature는 그것이 웹 페이지의 popularity에 기초하고 있다는 것이다. 지금까지 popular한 페이지는, 새로운 유저가 보더라도 좋아할 확률이 높다는 것을 가정하고, 검색 엔진은 그들의 결과로 높은 PageRank를 갖는 페이지들을 상위에 보여준다. 그러나 동시에 unpopular한 페이지, 특히 최근에 새롭게 만들어진 페이지에 대해서는 매우 unbiased한데, 예를 들어 매우 훌륭하게 만들어져서 누구라도 좋아할만한 웹 페이지가 새롭게 만들어졌다면, 아직 많은 사람이 알지 못하기 때문에 적은 (또는 전혀 없는) 링크 수를 갖게 되고, 낮은 PageRank로 이어진다. 결국 검색 결과의 아랫 부분에 등장하게 되며, 이것은 다시 적은 수의 유저들에게만 이 페이지가 노출됨을 의미한다.

이러한 논의를 중심으로 생각해본다면, 우리가 정말로 원하는 것은 현재의 popularity에 기초한 ranking metric이 아니라, 처음 페이지를 보는 유저가 그 페이지를 얼마나 좋아(like)하는지에 대한 probability에 기초한 시스템이라 할 수 있겠다. 즉, Page Quality는 유저가 어떤 페이지를 처음 보았을 때 그 페이지를 좋아할 조건부 확률(conditional probability)이라 할 수 있다. 이제 문제는, 그것을 어떻게 구해낼 것인지에 관한 것이다.

그들의 아이디어는 크게 두 가지에 기초한다.

1. 그 페이지에 대한 링크가 만들어진다는 것은, 곧 유저가 그 페이지를 좋아한다는 것을 의미한다.
2. high-quaility의 페이지는 방문자의 대부분이 좋아할 것이기 때문에, popularity가 증가하는 속도가 다른 페이지에 비해 매우 빠르다.

첫 번째는 PageRank 알고리즘의 성공이 증명하고 있다. 유저는 자신이 어떤 페이지에 대한 흥미를 느낄 때 그 페이지에 대한 링크를 만든다. 그러므로 페이지에 대한 link가 만들어지는 것에 주목하면, 어느 정도의 유저가 그 페이지를 현재 좋아하고 있는지 대강이나마 추측할 수 있다. 두 번째는 직관적으로 이해할 수 있다.

이제 문제는 어떻게 popularity의 증가를 정확히 어떻게 quaility의 측정에 이용할 것인지에 관한 것이다. 저 둘이 비례할 것인가? 우리는 현재의 popularity와 popularity의 증가를 동시에 고려해야 하는가? 저 둘을 어떻게 합칠 것인가? 어떻게 합친 것이 가장 좋은 방법인지를 알아낼 수는 있는가? 등등.

이런 질문에 답하기 위해 간단한 웹-유저 모델로부터 출발한다. 이 모델은 어떤 식으로 유저가 웹을 surfing하는지를 반영하고 있다. 그래서 popularity evolution function을 얻어낼 수 있다면, 그것의 연구를 통해 어떤 식으로 quality를 추정할 수 있는지를 연구할 수 있을 것이다.

(논리의 전개 & 각종 수식의 유도는 논문을 직접 참고하시고)

페이지가 만들어진 당시에 많은 유저들은 그 페이지에 대해서 알지 못한다. 그렇기 때문에 그 페이지의 popularity는 quality를 정확히 반영하지 못한다. 하지만 페이지를 방문하는 유저의 대부분이 first-time visitor 이므로, 페이지의 퀄리티가 높기만 한다면 페이지의 popularity는 빠르게 증가할 것이다. 그러므로 상대적인 popularity의 증가는 좋은 quality estimator가 될 수 있다. 시간이 지나고 많은 유저가 그 페이지에 대해 알게 되면 페이지의 popularity는 더 이상 증가하지 않는다. 하지만 이 시점에서는 popularity 자체가 quality의 좋은 estimator가 될 수 있다.

이런 논의로부터 Relative popularity increase와 popularity 의 관계에 주목하면, 그 두 값은 상호 보완적이므로 두 값의 합을 구해보면 두 값의 합은 계속 일정하며, 그 값은 quality에 대한 좋은 estimator가 됨을 알 수 있다.

Strong Points

• 수학적 모델에 기초를 둔 논리 전개가 설득력 있음
• 처음에는 간단한 모델에서 시작해서 개념적인 이해를 도왔으며, 다양한 factor를 반영하여 새로운 모델을 만들어가는 과정에서도 여전히 첫 모델에서 얻어낸 concept이 옳다는 것을 이끌어내는 과정이 좋았음.
• PageRank의 단점을 보완했음을 이론적으로/실험적으로 증명했음.
• 기존에 존재하는 방법들(예를 들면 PageRank)보다 새롭게 만들어진 high-quality의 페이지가 유저에게 노출될 때까지 걸리는 시간이 줄어들었음.
• PageRank의 목표도 common-case를 유저에게 더 잘 제공할 수 있는 것이지만 이 시스템은 좀 더 현실의 유행에 민감한 common-case를 보여준다. 어떤 사건이 일어나면 같은 검색어에 대해서도 어제 유저들이 찾던 토픽과 오늘 유저들이 관심 있는 토픽이 다르다는 것을 고려할 때 Page Quality에 기반한 시스템은 유저들이 찾는 것을 보다 정확히 제공할 가능성이 높다.
• link structure가 만들어진 이후 contents의 변화에 대해 quality를 다시 계산하는 효과가 있다. 실제로 링크는, 만들어진 이후에는 잘 관리되지 않는다. (아무 블로그에나 가서 예전 글들을 보면 끊어진 링크나 내용이 변한 링크를 쉽게 발견할 수 있다) 그렇기 때문에 링크된 컨텐츠가 변경되었다 할지라도 link structure는 유지되기 때문에 PageRank의 방법에서는 - 끊어진 링크는 탐지해낼 수 있다 하더라도 - 변경된 컨텐츠에 덜 민감하다. 하지만 이 Page Quality의 방법은 popularity의 변화량을 같이 고려하기 때문에 PageRank보다 더 탄력적으로 반응할 수 있다.

Weak Points

• (페이퍼에서도 언급하고 있지만) 적은 scale로 실험이 이루어졌음
• (이것도 어느 정도는 언급하고 있지만) 실제로는 popularity의 시간에 대한 미분 값을 구할 수 없으므로 어느 정도의 시간차를 두고 PageRank의 값을 구해 그 차이를 이용해야 하며 오차가 필연적으로 발생한다.
• 실제로 구현/적용하기 위해서는 기존의 popularity-based ranking 시스템을 구현해야 하며, 그것을 기초로 다시 pageRank 값의 차이를 계산하는 시스템을 이중으로 구현해야 한다. (구현의 비용!)
• 새로 생겨난 페이지에 대해서 만들어지는 링크에 대해 매우 sensitive하므로, overestimating할 위험이 있다.
• n/r 파라미터를 정확히 결정하지 않으면 큰 효용을 얻기 어려움에도 불구하고 n/r의 최적 값을 구할 수 있는 것은 quality가 popularity와 어느 정도 비슷해 졌을 (충분한 시간이 흘렀을) 때이다. 또한 저 값은 검색어마다도 다를 것이고, 시간이 변하면 함께 변하는 값일텐데 ... 음. 로또인가.

New Idea

• 1세대 검색이 페이지의 content에 기반한 ranking metric, 2세대 검색이 현재의 link structure에 기반한 PageRank ranking metirc, 그리고 3세대 검색이 현재의 link structure 뿐만 아니라, 앞으로의 변화와 확장도 고려하는 Page Quality ranking metric 이라는데 음. 어느 정도 동의한다. 특히 네이버에 비해 구글이 '지금 당장'의 토픽에 덜 민감한 것을 고려하면 - 물론, 네이버는 Page Quality ranking metric을 도입하고 있는 것이 아니지만 - PageRank는 어떤 식으로든 이런 방향으로의 개선이 필요하다고 생각한다.
• 실시간 인기 검색어를 응용하면 유저의 최근 behavior를 보다 더 잘 반영할 수 있을 것 같다. 순위가 급등한 검색어에 대해서는 그만큼 'popularity의 증가율'에 가중치를 두어 계산한다고 하면 더 빠르게 그러한 경향을 검색 결과에서 보여줄 수 있다.

[http://ittrend.egloos.com]

주말에 간만에 서핑을 하다보니 두개의 기사가 각기 다른 출발점에서 중앙으로 모여 내 머릿속에서 교집합을 만들어낸다. 하나는 소셜 네트워크가 미디어 소비의 핵심이라는 얘기고, 다른 하나는 구글이 가젯(Gadget) 광고를 테스트 중이란 소식이다. 뭐 별 상관관계가 없을 수 있지만, 소셜 네트워크 서비스에서의 광고모델이 떠오르는 건 어쩔 수 없다.

소셜 네트워크가 향후 미디어 소비의 해법

구글 가젯 광고 테스트

소셜 네트워크 서비스가 미디어의 중요한 소비채널이란 점은 굳이 강조하지 않아도 되겠지만(YouTube와 MySpace가 공생구조가 보여주듯) 소셜 네트워크 서비스가 유통 플랫폼 역할을 톡톡히 하고 있고 사용자들의 Destination으로의 역할이 확대되는데 반해, 여전히 제대로된 광고 BM은 없다.

이와 다르게 구글은 요전에 더블클릭(DoubleClick)을 인수하면서 종합 광고회사로써의 포트폴리오 완결성을 이루려 한다. 그들은 이제 더블클릭의 Head영역 광고는 그대로 캐시카우(CashCow)로 삼고, 여기서 나아가 LongTail영역 광고로 디스플레이 광고 네트워크를 확장해 나갈 것이다. 바로 소셜 네트워크가 타겟일 것이고 그 외형이 가젯 형태일 것이다.

사용자와 가장 가까운 접점이 된 소셜 네트워크 서비스에 가젯 광고를 붙이는 것 그 자체는 뭐 대단한 일도 뭐 그리 어려운 일은 아니지만 사용자에게 부담을 안 주면서 광고효과를 어떻게 올릴 수 있을지가 숙제다.(어려운 숙제라 상대적으로 관심을 못 받는건지 아니면....)

분명한 것은 광고주는 웹 사이트에 광고를 실을 때 그 페이지의 광고영역을 구매하는 것이 아니라 그 사이트의 페이지에 들어오는 방문객의 Attention을 구매하는 것이다. Attention! Attention 과부하 환경에서 광고는 어떻게 보여줘야 효과적일까? 어떻게 해야 도달율, 신뢰도를 어떻게 높힐 수 있을까?

"일단 광고는 단순해져야 할 것이다."

P.S. 소셜 네트워크 서비스인 만큼 광고를 사람과 엮어보면 어떨까? 심증은 있는데 물증이 없네. :)

Paul Lamb ( CNET News.com )   2006/09/13

[Topcontent] 지금까지 소셜 네트워크는 대부분 젊은이들과 디지털 사회에서 활발히 활동하고 있는 사람들에 국한되어 있는 문화였다.

청소년과 20대 사람들의 요구를 충족시켜 주는 마이스페이스닷컴, 페이스북, 그리고 짱가와 같은 사이트들은 지속적으로 인기차트의 상위권을 휩쓸고 있다. 미국인 3명 중 2명은 이미 소셜 네트워크 사이트들을 방문하고 있고, 대략 90%의 젊은이들은 인터넷을 사용하고 있다.

핸드폰 부문을 살펴보면, 18세에서 27세 사이의 미국인들 중 63%는 현재 문자 메시지를 통해 의사소통을 한다. 매달 전송되는 문자 메시지 건수는 올해 80억 건이고, 2008년에는 800억 건으로 늘어날 것으로 전망하고 있다.

수많은 사회적 연결을 위한 도구들이 최근의 트렌드의 이점을 이용해 최신 유행을 따른 사람들의 시선을 끌고자 만들어지고 있다. ‘닷지 볼’, ‘미트로’ 와 같은 서비스들은 자신이 현재 거주하는 지역 주변에 거주하는 잠재적인 친구들과의 연결을 주선하고, 이들이 서로 핸드폰 문자 메시지나 랩톱의 인스턴트 메시지를 통해 서로 이야기를 나눌 수 있도록 서비스하고 있다.

‘플레이스사이트’ 는 사람들로 하여금 자신이 제일 좋아하는 카페에서 한가롭게 라떼를 마시면서도, 랩톱으로 비슷한 취미를 가진 사람들을 만날 수 있게 끔 한다. ‘노키아 센서’, ‘플레이txt’, 그리고 ‘맴잼’ 등은 술집이나 나이트클럽에서 놀 때, 핸드폰 기반의 개인 정보와 문자 메시지를 통해 낮 선 사람에게 접근하여 함께 즐길 수 있도록 돕는 서비스를 제공하고 있다.

이와 비슷하게, ‘잠보’는 다양한 종류의 무선 통신 수단을 사용하여 저장된 프로필을 볼 수 있게끔 함으로써, 컨퍼런스나 공항에서, 자신과 비슷한 흥미를 가진 사람들끼리 연결 하는 서비스를 제공한다.

하지만 가난한 사람들, 컴맹, 그리고 연로한 이들 (오히려 청소년들이나 20대들 보다 더 많은 수를 차지하고 있는) 이들은 어떤가? 소셜 네트워크가 이들에게도 혜택을 부여하는가? 대부분, 그렇지 못하다. 적어도 지금까지는 말이다.

만약 현 시중에 나와 있는 소셜 네트워킹 수단들 중 가장 뛰어난 도구가 단지 젊은이들만 사용할 수 있는 것이 아닌, 더 많고 다양한 계층의 사회 구성원들이 함께 사용할 수 있게끔 된다면, 세상은 어떤 모습으로 변화할 것인가?
• 이웃간의 소셜 네트워크 구축. 집에 앉아 컴퓨터를 하면서, 또는 핸드폰을 들고 동네 안을 운전하며 돌아다니면서, 그 주위에 거닐고 있는 이웃들 중 나와 흥미가 비슷한 사람들을 식별해 내고, 연결할 수 있다. 서로 아직까지 알지 못하는 이웃들은 자신들의 프로필을 사람들과 공유함으로써 서로에 대해서 더욱 알아갈 수 있는 기회를 마련할 수도 있다.
만약 이웃에 연로한 노인이 살고 있으신데, 가구를 혼자 들지 못해서 곤란을 겪고 있다면, 나는 그것을 이웃들 간의 소셜 네트워크를 통해 전달받아 기꺼이 도와주기를 자원할 수도 있다.

• 교육 관련 소셜 네트워크 구축. 학생들과 선생님들, 그리고 전체 공동체가 학교 내외의 도움이 동시에 필요로 하는 숙제나 활동, 기타 등 학교를 기반으로 한 시스템에 광범위하게 참가하여 도울 수 있게 한다.

• 사회 복지 사업 관련 네트워크 구축. 저렴한 무선 장비를 이용하여, 학대당한 배우자, 그리고 막 출소한 사람 등 도움을 필요로 하는 사람들이, 일시적인 거처 마련, 상담, 그리고 취업 지원 등과 같은 혜택을 곧바로 받을 수 있게끔 해준다.

• 영리한 길거리 구걸에도 사용될 수 있다. 지나가는 사람들은 동전 하나 던져주고 가는 대신, 원 클릭 시스템을 통해 지역 식품 가게나 식당의 계좌로 돈을 직접 송금하는 방식을 사용할 수 있게 된다.

하지만 이러한 서비스들이 상용화 되기 위해 겪어야 할 도전 과제들을 제쳐 놓고서라도, 현실의 벽은 높기만 하다. 저소득 계층을 비롯한 많은 사람들은 아직까지 컴퓨터나, 랩톱, 핸드폰 없이 생활하고 있다. 또는 이러한 서비스를 제공받을 수 있는 경제적 여력이 없는 경우도 많다.

이와 더불어, 이러한 기술들을 사용하기 위해 배워야 할 교육의 수준이, 저학력의 사람들에게는 매우 난해하고 힘들 수 있다. 현재 대부분의 소셜 네트워크 서비스들은 기술의 발전에 매우 민감한 젊은 이들에 의해 디자인 되고, 젊은이들에 의해 소비되고 있다. 이것은 개선되어야 한다.

마지막으로, 굳이 이렇게 개성 만점의 전자 도구들과 최신 웹 서비스를 사용해야지 만이 성공적인 소셜 네트워크를 구축할 수 있는 것은 아니다. 서로의 눈을 바라보고, 따뜻한 손으로 악수를 나누며, 서로에 대해 소개를 하는 것이, 그저 문자 메시지를 주고 받는 것 보다 오히려 서로에게 더 좋은 교류 방법일 수 있다.

그러나 앞에서 소개되었던 사회적 연결 도구들이 잘 활용 되었을 때, 이들이 사람들 간의 의미 있는 관계를 만들어 나가는 능력을 향상시켜 주는 것만은 분명하다. 기술 집약적인 사회 연결 도구를 만들어 나갈 때, 오직 상업적인 측면에서만 바라보지 말고, 큰 틀에서 공익에 기여한다는 마음자세를 유지하는 것이 중요할 것이다.

소셜 네트워크가 사회적으로 각광을 받고, 우리 사회 안에 완전히 흡수 될 수 있도록 노력하자.