홈 » 현암사 꼬리가 달린 글

통계적으로 생각하기 (Thinking Statistically)

통계적으로 생각하기

세상을 살아가며 각종 통계 자료를 접할 일이 많은데, 이 책은 자료를 바르게 이해하도록 조언해준다.
그뿐만 아니라, 어떤 데이터를 통계로 가공할 때 놓치기 쉬운 부분들을 짚어준다.

• 선택 편향을 조심하자.
• 만약 P(E|H대안가설들) = 0 라면 P(E|가설)가 매우 낮더라도 H1이 옳다.
• 기저율(base rate)이 올바르게 되었는지 확인한다.
• 필요한 모든 정보를 얻고, 빠진 정보가 없도록 한다.
• 필요한 모든 변수를 포함하는지 확인한다.
• 그 모형의 오차항이 완전히 무작위적이고 다른 변수들 또는 빠진 변수들과 숨겨진 상관관계를 가지고 있지 않은지 확인한다.
• 새로운 정보에 기초해 확률적 평가를 업데이트하지만, 다른 대안 가설들의 기존 확률들을 잊지 않는다.

통계적으로 생각하기 - 책갈피

우리는 종종 관련 모집단의 크기를 정확히 모르는 상태에서 특정 질문에 대한 답을 할 때가 있습니다. 그래서 우리가 얻고 있는 데이터가 존재하는 모든 데이터를 대표한다고 생각하기 쉽지요. 두 번째로 무응답이 존재하는 것을 알더라도 쉽사리 그 무응답자들이 무작위적일 것이고 차이를 만들어내지 않을 것이라 가정하곤 합니다. 아마도 이러한 종류의 실수를 방지하기 위한 가장 좋은 방법은 선택 편향에 존재하는 이론적인 문제점들을 이해하는 것일 수 있겠죠.

미국 연방 정부는 인구조사의 숫자에 기초해 주 정부를 포함한 지방 정부의 사회복지 지원금을 결정합니다. 만약 도시의 저소득층 거주 지역의 주민들이 인구조사에서 빠진다면, 그 지역은 받아야 할 지원금보다 적은 금액을 받게 되는 것이죠.

상사들이 어리석은 결정을 하는 것은 대부분 악의적이거나 지능이 떨어져서가 아니라 데이터의 흐름이 지연되어 정말로 현실을 모르기 때문이라고 말입니다.(또한 그 결과로 발생하는 표본의 선택 편향 역시 원인이 되지요).

만약 당신이 관리자의 위치에 있다면, 좋고 나쁜 피드백이 모두 당신에게 전해지는 시스템을 활용해 다른 경쟁자들을 제치고 앞서갈 수 있습니다.

개인적 삶 가운데 선택 편향이 일어나는 경우가 많은데, 그 이유는 우리가 오직 ‘1인칭’ 시점으로 우리에게 일어나는 일들만 경험할 수 있고 다른 사람의 ‘1인칭’ 경험에 대해서는 정보를 가지고 있지 않기 때문입니다.

내생성((endogeneity)’: 해당 시스템 내에서 결정되거나 생성되는 것을 내생성적이라 한다.

외생성적 : 그 시스템 밖의 요소로 결정되거나 생성되는 것

P(X|Y) : Y가 일어났다는 제약하에서 X가 일어날 조건부 확률 (수직바 (|)는 뒤의 사건이 일어났다는 제약을 뜻한다)

베이지안 분석(Bayesian analysis) -베이즈(Thomas Bayes) 정리

조건부 확률 P(가설|증거)가 네가지 다른 것들에 의존한다.

첫 번째, P(가설|증거)는 P(증거|가설)의 확률에 의존합니다. 만약 가설이 사실일 때 주어진 증거가 일어날 확률이 매우 높다면, 증거가 발생했다는 사실이 가설이 맞을 확률을 증가시킵니다.

두 번째, P(가설|증거)는 새로운 증거를 보기 전에 가설이 맞았을 확률에 의존합니다. 통계학자들은 이러한 확률을 '사전 확률(prior probability)'이라 부릅니다. 새로운 증거를 사용해 우리가 이전에 가지고 있던 가설을 '업데이트’할 수 있습니다. 즉 새로운 증거로 인해 기존의 가설이 맞을 확률이 증가하거나 감소할 수 있는 것이죠. 하지만 이 사전 확률을 절대로 잊어서는 안되죠.

세 번째, 대안 가설의 제약하에서 새로운 증거가 일어날 확률.

네 번째, 이 대안 가설들의 사전 확률

P(가설| 증거) = P(증거|가설)P(가설)/P(증거)

P(X) = X가 일어날 확률

P(X|Y) = Y가 일어났다는 제약하에서 X가 일어날 확률

H : 가설, E : 증거

우리의 가설하에서 새로운 증거 사건이 일어날 확률이 더 높을수록 새로운 증거 사건의 발생이 우리의 가설이 맞을 확률을 증가시킵니다. 만약 사전 확률 P(H1)이 증가한다면 사후 확률 P(H1|E)또한 증가하게 됩니다. 가설의 사전 확률이 높을수록 새로운 증거 사건이 발생한 후 사후 확률이 높아지게 되겠죠. 반대로 P(E|H대안가설들)이 증가한다면 사후 확률 P(H1|E)가 감소하게 됩니다. 대안 가설하에서 새로운 증거 사건이 일어날 확률이 증가한다면, 새로운 증거의 존재는 우리의 H1이 맞을 확률을 감소시킵니다. 마지막으로 사전 확률 P(H대안가설들)이 증가한다면 사후 확률 P(H1|E)가 감소하게 됩니다. 대안 가설들의 사전 확률이 높을수록 새로운 증거 사건이 발생한 후 사후 확률 또한 높아지게 되고, 새로운 증거 사건이 기존 가설을 뒷받침하는 것이 아니라 오히려 대안 가설들이 옳았다는 증거가 될 수 있습니다.

이러한 작용들은 여러 가지 유용한 결과들로 이어지게 됩니다. 그중 하나는 어떠한 증거 사건이 주어졌을 때 우리의 가설이 맞을 확률이 매우 낮더라도, 다른 가설들이 맞을 확률이 더욱 낮다면 우리의 가설은 상대적으로 일어날 확률이 더 높아지게 된다는 점입니다. 셜록 홈즈(Sherlock Holmes)는 "불가능을 제거하고 나면, 남은 것이 아무리 일어날 것 같지 않은 것이라도 그것이 진실이다"라는 말을 합니다.

그가 정말 하고자 했던 말은 "만약 P(E|H대안가설들) = 0 라면 P(E|H1)이 매우 낮더라도 H1이 옳다"라는 것이겠죠.

새로운 증거에 기초해 우리의 가설을 업데이트하는 방법은 항상 중요하지만, 이런한 과정은 당신이 수정 가능한 어떤 '사전 가설’을 가지고 있다는 가정하에서 이루어집니다. 만약 사전 확률을 잘못 알고 있다면 올바른 수정 과정을 시행하더라도 틀린 결론을 얻게 되겠죠. 이 사전 확률의 다른 이름이 바로 기저율(base rate)입니다.

• 항상 당신이 필요한 모든 정보를 얻었는지 확인하고, 그 정보가 누락되지 않았는지 확인하세요.

• 당신의 머릿속 모형이 필요한 모든 변수들을 포함하는지 확인하세요. 그 모형의 오차항이 완전히 무작위적이고 다른 변수들 또는 누락된 변수들과 숨겨진 상관관계를 가지고 있지 않은지 확인하세요.

• 새로운 정보에 기초해 확률적 평가를 업데이트하지만, 다른 대안 가설들의 기존 확률들을 잊으면 안 됩니다.

by 月風

Tags : 공부, 김수환, 유리 브람, 책, 통계적으로 생각하기, 현암사, Thinking Statistically

대학

대학으로 유학을 배우고 공자를 알자.

‘공자’라는 이름에 나는 왠지 뻣뻣함이 생각나고 불편하고 고리타분하다. 그냥 느낌으로 그렇다. <대학‧논어‧맹자‧중용> 겨우 이 네 권의 책을 안 읽어서 아무것도 모르면서 불편하다. 어쩌면 공자는 괜한 오해를 받고 있는지도 모른다. 그것을 확인하기 위해서는 적어도 네 권 정도는 읽어야 지금처럼 막무가내로 넘겨짚음이 아니라 의견이 생긴다. 봉황을 한번 본 적도 없으면서 피닉스랑 닮았네 사실은 토루코막토보다 약하네 해봤자 그냥 헛소리다. 천천히 네 권을 읽고 공자가 어떤 사람인지 좀 알아보자.

대학 - 책갈피

‘신민’도 이와 같은 뜻이다. 자신의 ‘밝은 덕을 밝혀 홀로 자신만 선하게 하는 데에 머물지 않고 다른 사람의 ‘밝은 덕’도 밝혀 줌으로써 천하와 함께 선을 하는 데로 나아감을 말한다. 이것은 대중‧민중을 교화시켜 나감을 의미한다.
유교가 종교인가 치세(治世)의 경륜인가 하는 문제는 우선 덮어 두기로 하자. 모든 종교는 자체의 주장에 따라 대중을 교화하는 기능을 가지고 있음이 사실이다. 불교에서 말하는 화행(火行)이나 기독교의 전도가 모두 그것이요, 여기서 말하는 ‘신민’도 같은 의의를 지니는 것이다.

결론적으로 ‘지지선’은 칸트의 유명한 명제 “네 마음 속의 도덕률이 언제나 보편적 입법 원리로 적용될 수 있도록 행위하라”는 것과 같은 내용이라고 보아도 좋다. 그리고 그것은 지극히 평범한 일상에서 일어나는 절실한 문제이지 결코 잡기 어려운 먼 이상으로 떠 있는 것이 아니다.
‘명명덕’‧‘신민’에서 나와 너의 ‘밝은 덕’을 최대한으로 보전하고 고양시켜서 그 환한 덕성에 의해 서로의 관계를 이루어 나가고 온갖 사물에 대처해 감이 ‘지지선’이다.

사물이 구명된 뒤에야 앎이 투철해지고, 앎이 투철해진 뒤에야 뜻이 성실하게 되고, 뜻이 성실하게 된 뒤에야 마음이 발라지고, 마음이 바르게 된 뒤에야 몸이 닦이고, 몸이 닦아지고 난 뒤에야 집안이 바로 잡히고, 집안이 바로잡히고 난 뒤에야 나라가 다스려지고, 나라가 다스려지고 난 뒤에야 천하가 화평하게 된다.
(격물치지 성의정심 수신제가 치국평천하 格物致知誠意正心修身齊家治國平天下)

청송((聽訟)은 오늘날의 재판관이 하는 일로 ⟪주례周禮⟫에 의하면 당시 소사구(小司寇)가 이 일을 맡았다. ‘오청(五淸)’으로 사건의 진상을 파악했다고 하는데, 그 오청이 재미있다.
첫째는 사청(辭聽), 소송 당사자들의 진술 태도를 살펴보면 정직하지 못할 경우 말이 수다스럽다고 한다. 둘째는 색청(色聽), 얼굴 색을 살펴보면 정직하지 못할 경우 얼굴이 빨개진다는 것이다. 셋째는 기청(氣聽), 숨쉬는 것을 살펴보면 정직하지 못할 경우 숨소리가 헐떡거린다는 것이다. 넷째는 이청(耳聽), 말을 듣는 태도를 살펴보면 정직하지 못할 경우 헛갈리게 듣는다는 것이다. 다섯째는 목청(目聽), 눈동자를 살펴보면 정직하지 못할 경우 동자가 맑지 못하다는 것이다.

자기가 진실로 좋아하지 않으면서도, 진실로 미워하지 않으면서도, 남의 이목 때문에 혹은 외부의 어떤 것에 따라 구차스럽게 좋아하고 미워한다면 그것은 위선이요 사(邪)다. 그만큼 ‘자기 쾌족’은 선‧악‧사‧정을 제대로 판단하고 선택하여, 진실한 마음으로 그 길로 나아가는 자기를 전제로 하고서야 얻을 수 있는 경지이다. 끝까지 진실한 마음을 잃지 않고 자신이 선택한 길로 나아갈 때 비로소 마음이 발라지고 몸이 닦이는 것이다.

부는 집을 윤택하게 하고 덕은 몸을 윤택하게 한다. 마음이 넓어지면 몸도 편안하나니, 그러므로 군자는 반드시 뜻을 참되게 한다.

몸을 닦음이 마음을 바르게 함에 달렸다는 것은 마음에 노여워 하는 바가 있으면 바르게 할 수 없고, 두려워하는 바가 있으면 바르게 할 수 없고, 좋아하는 바가 있으면 바르게 할 수 없고, 걱정하는 바가 있으면 바르게 할 수 없다는 말이다.
마음이 있지 않으면 살펴도 보이지 않고, 귀 기울여도 들리지 않으며, 먹어도 맛을 알지 못하니, 이를 두고 ‘몸을 닦음이 마음을 바르게 함에 달렸다’고 한다.

⟪강고⟫에 “갓난아기 돌보듯 하라”고 했다. 마음으로 정성껏 구하기만 하면 비록 딱 들어맞지는 못한다고 하더라도 멀리 벗아나지는 않으리니, 어린애 기르기를 배우고 난 뒤에야 시집갔다는 사람 아직은 없다.

‘서’는 ‘자신의 경우를 미루어 남에게 미치게 함 (추기급인推己及人)’이다. 세속적인 의미의 용서의 뜻도 여기서 나왔지만 ‘서는 그렇게 단순한 내용으로 받아들여질 성질은 아니다. ‘서恕’라는 글자의 본뜻은 ‘여심如心’이다. 자신을 다루는 마음과 ‘같은 마음’으로 남을 다루며, 자신을 사랑하는 마음과 ‘같은 마음’으로 남을 사랑하라는 뜻이다.

늙은이를 늙은이로 섬김은 ‘효’요, 어른을 어른으로 받듦은 ‘제’요, 외로운 이들을 불쌍히 여겨 잘 보살핌은 ‘자’이다.

주희의 설을 따르면 ‘혈(絜)’은 ‘헤아리다’는 뜻이요, ‘구(矩)’는 네모난 물건을 만들 때 쓰는 곱자(曲尺)다. ⟪순자荀子⟫에 “다섯 치 짜리 곱자로 천하의 네모난 것을 다한다”고 했다. 여기서 혈구지도 ‘絜矩之道’는 자신의 마음을 잣대로 삼아 남의 마음을 헤아린다는 비유로 쓰였다. 자신의 마음을 가지고서 남의 마음을 헤아려 가면 그가 바라는 것과 꺼리는 것을 이해하지 못할 사람이 없다. 그것은 마치 곱자를 가지고 모난 것을 재거나 마르면 천하에 재어지지 않거나 마르지 못할 것이 없는 것과 같다는 말이다.

“앞에서는 상행하효(上行下效)를 설명했고 ‘혈구’에 와서는 정사에 관련시켜 말했다. 착한 마음(善心)을 불러일으키기만 하고 그 마음을 실천할 수 있게 해주지 못하면 비록 착한 마음이 일어날 수 있다 해도 헛될 뿐이다. 가령 정치가 번잡하고 세금이 무거워서 부모를 봉양하고 처자를 돌볼 수 없다면 어떻게 그 착한 마음을 실천할 수 있겠는가? 모름지기 자신으 마음을 미루어 저들|백성|에게 미치게 하여 저들이 우러러선 부모를 섬기기에 넉넉하고 굽어선 처자를 돌보기에 충분하게 해주어야 목적을 달성할 것이다. 사람들을 감화시켜 분발할 수 있게 하는 것은 성인의 교화이고, 그 분발한 마음을 행동으로 옮길 수 있게 하는 것은 성인의 정사이다.
구(矩)는 마음이다. 내 마음이 하고자 하는 것은 바로 다른 사람이 하고자 하는 것이다. 내가 ‘효’‧‘제’‧‘자’를 하고 싶으면 반드시 다른 사람들도 다 나와 똑같이 ‘효’‧‘제’‧‘자’를 할 수 있게 해주어서, 제 하고 싶은 것을 이루지 못하는 사람이 한 사람도 없게 해야만 비로소 되었다고 할 수 있다. 나 혼자만 할 수 있고 다른 사람은 할 수 없으면, 이것이 바로 불평(不平)이다.” ⟪朱子語類‧대학⟫
요컨대 ‘혈구지도’는 백성들에게 ‘효’‧‘제’‧‘자’를 할 마음이 일어나게 한 뒤에 그 일어난 마음을 실제로 실행할 수 있도록 베푸는 정사의 문제란 말이다.

재화가 모이면 민심은 흩어지고, 재화가 흩어지면 민심은 모인다. 그러므로 패역(悖逆)하게 나간 말은 패역한 말로 돌아오고, 패역하게 들어온 재화는 역시 패역하게 나간다.

그래서 다스리는 지위에 있는 이에게는 대도(大道)가 있나니, 반드시 충신해야 얻고 교만하면 잃는다.
재물을 불어나게 하는 데에는 대방(大方)이 있나니, 생산하는 사람은 많고 그저 먹는 자가 적으며, 만드는 사람은 부지런히 하고 소비하는 자는 천천히 하면 재물은 항상 풍족하게 된다.

주희는 ‘충’은 ‘스스로의 내부에서 움직여 자신의 마음을 다하는 것(발기자진 發己自盡)’이고, ‘신’은 ‘사물의 이치와 도리에 순응하여 위배되지 않는 것 (순물무위 循物無違)’이라고 정의 했다. 그리고 ‘충’은 ‘신의 바탕 信之本’이요 ‘신’은 ‘충의 드러남 忠之發’이라고 했다. 또 ‘충’과 ‘신’ 두 개념을 결합하여 ‘충신’이란 “자신의 마음을 다해 사물의 이치와 도리에 위배되지 않음”이라고도 정의 했다.

인자는 재화로 몸을 일으키고 불인한 자는 몸으로 재화를 일으킨다.
윗사람이 인을 좋아하는데도 아랫사람들이 의를 좋아하지 않는 일이란 없는 법이다. 아랫사람들이 의를 좋아하고서 윗사람이 꾀하는 일이 이루어지지 못한 적은 아직 없었으며 곳간의 재화가 그의 재화가 되지 않은 적이 없었다.

by 月風

통계적으로 생각하기 (Thinking Statistically)