Bayesian Approach(베이지안 접근)

베이즈 분석(Bayes Analysis) 포스트 시리즈는 확률을 기반으로 추론하는 통계의 거대 분야 중에서 베이즈적 접근을 포괄적으로 다루고자 한다.

베이즈 분석의 가장 기반이 되는 부분은 확률을 “불확실성의 정도(quantifying uncertainty)”라고 생각하는 것이다. 확률을 이렇게 생각하는 것은 분명히 새로운 접근일 것이다. 지금까지 확률의 특성상 불확실성의 의미가 없었겠냐마는 사실 그건 오히려 확률의 의미를 제대로 생각해보지 않은 탓이다. 베이즈 이론을 처음 접하기 전에는 우리는 항상 빈도론자(frequentist)의 입장으로만 생각했을 것이다. 그리고 그 빈도론자가 생각하는 확률의 의미와 베이지안(Bayesian)이 생각하는 확률의 의미가 분명하게 다르기에 베이즈 분석과 빈도론적 분석이 모델을 구성하는 방식과 추론을 진행하는 방식에 차이가 있다.

우리가 익숙히 다루어왔던 통계적 추론은 빈도론적 접근 방법이다. 빈도론자는 확률을 “빈도”로 생각한다. 즉, 시행을 무한 번 했을 때 어떤 사건이 어느 정도의 빈도로 발생하는지를 확률로 생각한다는 것이다. 그렇기 때문에 큰 수의 법칙(Law of Large Numbers)가 중요시 되는 것이고, 표본(sample)의 개수가 중요시되며, 그 표본의 개수가 무한대로 갔을 때 그 극한의 분포(limiting distribution)이 중요시되는 이유도 바로 여기에 있다. 무한 번 시행하여 직접 어느 정도의 비율로 사건이 발생하는지 확인한다는 관점에서 objective probability라고 표현하기도 한다.

하지만 베이지안은 조금 다르다. 확률을 불확실성의 정도라고 바라본다는 것은, 어떤 사건을 바라볼 때 익히 알려져 있는 사실, 알고 있는 사실 등을 종합하여 어떤 사건이 어느 정도의 불확실성으로 나타날지 판단한다는 것이다. 사전 지식 등으로 다른 사건과 비교하여 해당하는 사건이 더 일어날 가능성이 높다고 판단되면, 그 사건에 확률을 더 크게 부여하는 식이다. 그러므로 절대적 기준이랄 게 없고, subjective probability라고 불리기도 한다.

예를 들어, 동전을 던져 앞면이 나올 확률은 $\frac{1}{2}$이라는 것이 익히 알려져 있다. 왜 $\frac{1}{2}$이라고 생각하는가? 이를 베이지안과 빈도론자의 시각에서 각각 바라보자.

1. 동전을 던져 앞면이 나오는 것과 뒷면이 나오는 것은 서로 다른 점이 없다(이를 다중에 exchangeability가 있다고 표현할 것이다). 이는 물리적으로 보아도 차이가 없으므로 두 사건에 동일한 불확실성을 부여할 수 있을 것이다. 이 경우 우리는 확률을 다음과 같이 생각할 수 있다.

   \[\text{probability}=\frac{\text{# of favorable cases}}{\text{# of possibilities}}\]

2. 동일한 조건 하에서 동전을 수없이 많이 던졌을 때 앞면이 나오는 빈도는 전체 던진 횟수의 절반 정도이다.

물론 두 확률의 시각 모두 매우 객관적인 것이 없다. 확률을 수치화하는 것, 사건이 서로 불변한 조건 하에서 동일하다는 것, 사건이 서로 독립적이라는 것 모두 언어적 표현으로 정의한다. 빈도론자의 시각은 여기에 나아가 ‘무한히 시행’해본다는 현실적이기보다는 가설적인 표현도 등장한다. 이는 달리 말해 동전을 한 번 던져봐서는 확률을 정의할 수 없음을 시사한다.

그렇다면 확률을 불확실성을 바라보는 것에 대해선 이질감이 생기는지 생각해보았을 때, 다음 상황들을 고려하면 꽤나 타당한 접근임을 알 수 있다.

1. 무작위성의 실체는 불확실성이기 때문에. 즉, 불확실성을 설명하기 위해서 ‘무작위’로 발생하는 ‘사건(event)’의 개념을 도입하는 것은 합리적이다. 실례로, 미래에 불확실성이 담긴 상황을 언어적으로 ‘probable’ 혹은 ‘unlikely’라고 표현하므로, 이를 수치화한 ‘probability’의 개념으로 추론을 이어나가기에 자연스럽다.
2. 확률을 불확실성으로 접근함으로써, 불확실성이 있다는 전제 하에 통계학 추론의 큰 축인 decision theory를 논개하기 수월하다. Decision theory는 이러한 불확실성을 공리처럼 여겨 gain과 loss에 대한 개념을 펼쳤고, 이를 바탕으로 우리는 최종 선택(decision)을 할 수 있는 일련의 절차를 정립할 수 있다. 이러한 과정을 정립하기 위해 수리적 공리(순서 공리(ordering principle), 추이성(transitivity) 등)에 입각하면 불확실성은 사실상 ‘확률’로써의 수치화로 해야만 한다.
3. 불확실성에 기반하여 확률을 정량화할 때, 공정한 내기(bet)를 생각할 수 있다. 어떤 사건 발생 여부를 두고 $p$원을 베팅하고 실제로 발생하면 1원을 가져올 수 있는 상황을 고려하자. 즉, 만약 그 사건이 발생하면 궁극적으로 $(1-p)$원을 가져올 수 있고, 반대로 발생하지 않는다면 $p$원을 그대로 뺏기는 것이다. 이러한 상황을 $(1-p): p$ odds를 가진다고 표현한다. 베팅 금액 $p$원은 내가 조정할 수 있는데 만약 이 내기가 공정하다고 생각되는 $p$를 정했을 때, 우리는 “이 사건이 발생할 확률은 $p$”라고 정의할 것이다. 예컨대,
   • 동전 던지기. 동전의 앞뒷면은 동일하므로 서로 동일한 odds를 고려할 수 있다. 이에 대응하는 $p=1/2$이므로 동전의 앞면이 나올 확률은 $1/2$이라고 할 수 있다.
   • 내일 비가 올 지에 대한 내기를 했다고 하자. 나의 사전지식에 의한 주관적 불확실성에 의하면 10:1 odds 정도(즉, 1원을 베팅하고 실제로 비가 왔을 때 순이익 10원 발생)가 정당하다고 생각했다. 그러면 내가 정의한 내일 비가 올 확률은 $1/11$이 되는 것이다.

   이렇게 각각의 사건에 대응되는 확률은 그 사건을 일종의 공정한 내기를 통해 그 어느 상대방을 만나도 상대방의 기대수익(definite gain)이 없도록 조정하게끔 하여 일종의 일관성의 법칙(coherence principle)을 지켜내는 것이다. 이 일관성의 법칙이 성립하지 않는, 즉 베이지안 확률로 설정하지 않아 나의 기대수익이 음수인 내기가 존재한다면 누군가는 그 내기를 찾아 참여하기를 수락한다음 나의 돈을 다 가져가게 된다. 일관성의 법칙 아래에서 우리는 모두가 돈을 잃지 않게끔 정당한 odds를 제시하게 될 테고, 이렇게 모든 내기가 공정하게 된다면 우리 모두는 각자의 불확실성을 모두 고려한 상태가 될 터이다. 이를 기반으로 우리는 베이지안 확률을 잘 정의할 수 있게 된다. 이렇게 정의한 확률은 수리적으로 정립된 확률 공리와 기본적인 성질들을 모두 만족함을 증명할 수 있다. 물론 이 논리에도 사소한 한계점이 존재한다.

   • 일관성의 법칙을 위해서라면 개개인은 항상 정확한(exact) odds를 제시해야 한다. 하지만 나 스스로가 이 사건에 대해 확실치 않은 상황이라면 정확한 odds를 어떻게 제시하는가?
   • 상대방은 나하고 내기를 하고 싶어하고 나는 모르는 정보를 상대방이 알고 있다면, 나는 사실상 내기에 참여하지 않는 편이 낫다. 이러한 정보의 격차 탓 등으로 인하여 모든 확률을 오로지 내기의 과정으로만 정의하는 것은 부족할 수도 있다. 즉, 베이지안 확률은 내기 성립에 필요한 조건이지만, 되려 충분한 조건은 아님을 알 수 있다.

비록 한계점들이 보였을 수 있겠지만 확률을 불확실성으로 정의하는 것은 여러 기본적 이치에 부합함을 알아보았다. 물론 더 진정한 가치를 알기 위해서는 이를 기반으로 한 여러 모델의 발전 등의 응용과정을 살펴보아야 할 것이다. 그리고 이 시리즈에서는 왜 이러한 베이즈안 접근이 통계학 모델을 유연하고 여러 상황에 적용 가능한 만능의 틀을 제공해주는 등 어떻게 진정한 가치를 성립시켜주는지 자세히 살펴볼 것이다.

사실 베이지안적 확률 사고가 베이즈(Bayes)에 의해 먼저 시도된 것으로 보아 이 확률의 정의가 인간이 어떤 미지의 가능성을 확률로써 표현할 때 조금 더 자연스러웠을지도 모른다. 이후에 무한 번 시행을 기반으로 한 빈도론자가 등장하였고, 우리는 통계학을 접할 때 빈도론적 시각을 먼저 접하게 된다. 하지만 베이즈 분석 기법은 통계 모델에서 여러 근간을 다루었기도 하고, 비록 이후에 다룰 여러 단점 때문에 빈도론적 모델에 묻혀 지냈지만 최근에 다시 베이즈 기반 모델이 주목을 받고 있으므로 이들의 철학에 주목할 필요가 있다고 생각한다. 과연 이들은 확률을 어떻게 바라본 것이고, 그것이 모델을 구성할 때 어떤 방향성을 제시했는지 그 기저에 깔린 철학을 말이다. 베이즈 분석을 공부해보며 통계학은 과연 수학에 기반한 모델만이 전부가 아니고, 그 모델을 구성한 데에 기인한 여러 통계학자들의 사색 과정과 철학을 함께 살펴보는 것이 중요하다는 것을 절실히 느꼈다. 이것이 지니는 장점과 한계를 파악하고 이를 이후에 새로운 확률적 접근을 할 때도 활용할 수 있어야 할 것이다.

1.1. Steps of Bayesian Data Analysis

베이지안의 확률 접근 방식을 생각해보며 베이지안의 데이터 분석 기법이 어떤 큰 틀을 가지는지 살펴보도록 하자.

1. Full probability model: 어떤 문제를 다룰 때 등장하는 측정 가능한 변수(=데이터)와 불가능한 변수(=모수, parameter)까지 모조리 고려하는 joint probability distribution이다. 이 모델을 결정할 때는 데이터가 어떠한 과정으로 확보되는지 알 필요가 있고 또 이 문제와 관련하여 여러 과학적 사실을 고려할 필요가 있다. 이를테면, 교통사고 발생 가능성을 다루는 문제라면 교통사고는 매우 희박한 가능성으로 발생하며, 데이터를 수집할 때 어떤 시간 구간을 정해두고 그 빈도를 따진다. 그러므로 측정 가능한 변수에 대해서는 Poisson이나 Exponential distribution이 적절한 모델 설정일 것이다. 한편, 측정 불가능한 변수, 즉 여기서는 Poisson이나 Exponential distribution에 활용되는 unknown parameter $\lambda$에 대해서도 적절한 distribution을 가정해야 한다. 이 또한 과거 연구 분석 결과나 사회적/과학적 사실에 기인하여 적절히 선택한다. 이를 사전분포, prior distribution이라고 부른다. Full probability model은 이 prior distribution과 데이터가 따르는 분포(Poisson or Exponential)의 joint가 될 것이다.
2. Posterior Analysis: 측정 가능한 변수에 대해 데이터를 수집한다. 측정한 데이터를 반영하여 측정 불가능한 변수의 분포가 prior distribution에서 어떻게 달라지는지 관찰하고 해석해야 한다. 달리 말하면, 측정한 데이터가 주어진 상태에서의 parameter의 분포는 어떻게 되는지 계산하며, 이를 사후분포, posterior distribution이라고 부른다. 위의 예시를 가져오면, 실질적인 교통사고 데이터를수집하여 데이터 $X$를 확보한다. 이를 토대로 우리는 $\lambda \vert X$의 분포를 계산하고, 이 분포가 posterior distribution이 된다.
3. Fit of Model, Implications of the Posterior Distribution: 우리가 설정한 모델이 데이터를 얼마나 잘 적합(fit)시키는지 수치화할 필요가 있다. 뿐만아니라 우리가 설정한 모델로 도출된 posterior distribution이 어느 정도의 의미를 가지는지, 또 데이터를 어느 정도로 prior distribution에 예민하게 반영시켜 posterior distribution을 내놓는지도 따져야 한다. 더불어, posterior distribution을 기반으로 우리는 각종 추론(inference)를 하게 된다.

이러한 베이지안의 기본적인 분석 틀은 적어도 당시 40년 동안은 지속되었다. 이 모델을 기반으로 수도없이 많은 데이터 분석이 이루어졌을 뿐만아니라 이에 대한 우려스러운 점, 한계점 등이 제시되기도 했다. 그중에서 가장 대두되었던 것은 “그래서 우리가 설정하는 적절한 모델들은 근본적으로 어디에서 비롯되는가 “였다. 이는 결국 우리가 적절한 모델을 설정하기 위해서 따르는 정형화된 방법이 그닥 없음을 시사한다. 이러한 점 때문에 model fit을 평가하는 과정이 매우 중요하게 되었고, 적합한 모델을 세우는 것의 근간을 찾기보다는 model fit 평가 수치를 이용하여 결과론적으로 정당성을 얻을 수 있음을 앞으로 소개할 것이다. 또한, 수치 계산 능력의 발달로 우리는 과거와 다르게 순식간에 많은 posterior distribution을 게산할 수 있게 되었고, 이를 통해 다양한 모델 별로 그 적합성을 수치적으로 계산할 수 있게 되었다. 이렇게 하여 우리는 적절한 prior distribution을 제시할 수 있다.

베이지안 접근 방식을 활용하게 되는 가장 큰 이유는 상식적으로 해석할 수 있는(그러므로 직관적인) 통계적 추론 탓일 것이다. 예컨대, 베이지안 분석에서 제시하는 parameter의 확률구간(probability interval)은 빈도론자들이 제시하는 parameter의 신뢰구간(confidence interval)과 대응할 수 있는 개념인데, 확률구간은 신뢰구간과 다르게 아주 직관적인 해석이 가능하다는 장점이 있다. 확률구간은 그 자체로 parameter가 해당 interval에 높은 ‘확률’로 속한다는 의미이다. 반면에 신뢰구간은 반복해서 표본을 추출하여 구성한 interval 중 상당히 많은 interval이 parameter를 포함한다는 의미를 가지고 있으며, parameter가 interval에 속할 ‘확률’이라는 개념이랄 것이 없고 빈도적 의미로써 맥락이 이어진다. 이 때문에 처음에 신뢰구간의 개념을 접할 때, 오개념으로 parameter가 해당 interval에 속할 실질적 확률이 높다고 잘못되게 이해할 수 있다.

이러한 베이지안 분석 기법에 직관적인 해석이 가능토록 해주는 이유는 바로 확률을 불확실성을 수치화(quantification of uncertainy)한 것으로 바라보았기 때문이다. 이는 빈도론자와는 다르게 무한히 많은 반복을 통해 확률을 정립할 필요가 없기 때문이다. 이러한 간단한 확률의 정립과 함께하는 베이지안의 데이터 분석은 수월하게 더 다양한 방식으로 모델의 기반을 다져나갈 수 있었고 지금도 확장되고 있으며, 그러한 아이디어들을 이 Bayesian Analysis 시리즈를 통해 소개해보고자 한다.

1.2. Bayesian Inference

베이지안 분석을 통해 우리는 parameter $\theta$에 대한 결론을 ‘확률’에 입각하여 표현할 것이다. 또한, 모델을 통해 우리는 새로운 데이터를 예측할 수도 있을 텐데, 그러한 새로운 데이터 $\tilde{y}$에 대해서도 ‘확률’에 입각한다. 이 모든 분석 결과들은 분석할 때 측정한 데이터 $y$를 조건부로 하는 확률로 표현되어, $p(\theta\vert y)$ 혹은 $p(\tilde{y}\vert y)$에 대해 알게 될 것이다. 더불어, 우리는 측정 가능한 데이터들이 조금 더 설명력을 얻을 수 있도록, 혹은 모델이 새로운 예측값 $\tilde{y}$을 낼 때 너무 무작위의 값을 내놓지 않도록 도와주는 변수 $x$를 도입하기도 한다. 이들을 explanatory variables(설명변수) 혹은 covariates라고 부른다. 베이지안 추론을 할 때 당연하겠지만 암묵적으로 covariates에 대해서도 조건부를 걸어 결론을 도출한다.

이러한 베이지안 분석 방법론은 기존 빈도론자가 취하던 방식, 즉 어떤 값인지는 모르지만 아무쪼록 존재하는 parameter의 참값(true value)을 기반으로 도출된 데이터 $y$를 함수로 하는 적절한 estimator $\hat{\theta}$를 만들어내는 뭔가 결과론적(retrospective)인 접근 방식과는 근본적으로 상이하다. 이러한 차이점이 있음에도, 베이즈적 접근과 빈도론적 접근은 그 결과가 맞아떨어질 때가 자주 있다. 이후에 베이지안 분석을 기반으로 도출한 결론을 여러 극한 정리들을 활용하면 빈도론자의 분석 결과와 합치되는 부분이 있음을 살펴보기도 할 것이다. 이렇게 결론이 비슷하다면 사실 어느 분석 방법론을 사용해도 크게 상관은 없겠다만, 베이즈적 접근은 확률에 대한 간편한 접근 덕에 더 복잡한 통계적 문제들에도 확장이 쉽게 될 수 있다는 장점이 있다.

우리는 위에서 소개한 바대로 full parameter model을 정립하는 것을 시작으로 분석을 나아가야 한다. Full parameter model은 결국 unknown parameter $\theta$와 측정 가능한 데이터 $y$의 joint distribution $p(\theta, y)$이다. 이 함수는 사전에 설정하는 prior distribution $p(\theta)$와 sampling distribution(or data distribution) $p(y\vert\theta)$의 곱으로 나타낼 수 있다. 즉,

\[p(\theta, y) = p(\theta)p(y\vert\theta)\]

측정 가능한 데이터에 조건부를 걸면 우리는 다음을 얻을 수 있다.

\[p(\theta\vert y) = \frac{p(\theta, y)}{p(y)}=\frac{p(\theta)p(y\vert\theta)}{p(y)}=\frac{p(\theta)p(y\vert\theta)}{\int p(\theta)p(y\vert\theta)\,d\theta}\]

이를 Bayes’ rule이라고 한다. 실은 이는 기초적인 통계학을 접했다면 이미 봤을 공식이지만, 여기서는 수식적 이해보다는 이 공식을 기반으로 베이즈적 분석 기법이 출발함을, 그러므로 여기에는 베이지안의 철학이 깃들어 있음을 음미(?)해보라. 우리는 posterior distribution을 계산할 때 보통 다음 비례식을 활용한다.

\[p(\theta\vert y)\propto p(\theta)p(y\vert\theta)\]

즉, 정규화되지 않은(unnormalized) posterior distribution을 계산한다. $p(y)$는 사실 $\theta$에 대한 함수는 아니므로 일종의 계수 역할이며, 굳이 계산하지 않아도 $p(\theta\vert y)$의 꼴을 알 수 있고 이를 통해 어느 대표적 분포를 따르는지 파악 가능하다.

$\theta$에 대한 추론 뿐만아니라 데이터의 예측 또한 할 수 있으며, 베이지안 분석의 주축 중 하나이기도 하다. 이를 predictive inference라고 부른다. 데이터 $y$가 본격적으로 측정되기 전에 우리는 데이터의 marginal distribution을 고려할 수 있다.

\[p(y)=\int p(y, \theta)\,d\theta = \int p(\theta)p(y\vert\theta)\,d\theta\]

이 분포는 unknown parameter $\theta$의 불확실성까지 모두 조합된 전체적인 $y$의 distribution이다. 이 분포를 보통 prior predictive distribution라고 부르는데, 본격적으로 데이터를 측정하여 반영하기 전이므로 ‘prior’의 성격을 지니며, 측정 가능한 변수의 분포이므로 ‘predictive’라는 표현을 활용한다. 즉, 이는 사전 지식 등으로 불확실성을 정립하였을 때 예측하는 사전적 예측값이다. 이후, 만약 데이터 $y$가 측정이 되고 이것이 반영되었다면, 우리는 그 측정된 데이터 $y$를 기반으로 하는 새로운 예측의 불확실성을 주장할 수 있다. 측정한 데이터를 기반으로 다시 예측한 값 $\tilde{y}$의 분포를 posterior predictive distribution이라고 부르며, 이는 다음과 같이 계산할 수 있다.

\[\begin{align*} p(\tilde{y}\vert y) &= \int p(\tilde{y}, \theta\vert y)\,d\theta \\ &= \int p(\tilde{y}\vert \theta, y)p(\theta\vert y)\,d\theta \\ &= \int p(\tilde{y}\vert \theta)p(\theta\vert y)\, d\theta \end{align*}\]

이때 마지막 등호에서 $p(\tilde{y}\vert\theta, y)=p(\tilde{y}\vert\theta)$은 주어진 $\theta$에서 데이터 측정이 서로 iid(independently and identically distributed)인 가정 하에서 성립한다. 대게의 통계적 추론의 경우, 고정된 $\theta$에 대하여데이터를 $n$개 측정하여 sample distribution이 $p(y_1, y_2, \cdots, y_n)$으로 주어질 때, 이 데이터들이 exchangeable하다는 것은 $y_1, \cdots, y_n$의 순서를 바꾸어도 우리는 같은 joint distribution을 얻을 수 있음을 의미한다. 그리고 iid도 이러한 exchangeability가 성립하는 대표적인 경우이다.

위의 과정을 통해서 한 가지 관찰할 수 있는 것이 있다. 모델이 정해지면 Bayes’ rule 아래에서 posterior inference는 데이터 $y$의 영향을 받게 되는데, 이때 그 영향은 $p(y\vert \theta)$을 통해서만 주게 된다. 이 함수는 sampling distribution으로 부른다고 소개했지만, 만약 이를 측정된 $y$ 아래에서(그러므로 $y$는 고정된 상황에서) $\theta$의 함수로 바라보게 된다면 우리는 그 함수를 likelihood function이라고 부른다. 측정된 데이터 $y$를 고정하고 $\theta$의 값을 유동적이게 했을 때, 각 $\theta$의 값에 대해 설정되는 분포가 실질적으로 측정된 데이터 $y$와 얼마나 “likely”한지 나타내는 함수라는 의미에서 붙여진 이름이다. 베이지안 분석론에서는 이 likelihood function만을 활용하여 정보를 업데이트 하여 posterior distribution을 만들고 이후 inference를 하므로, 이러한 측면에서 베이지안 추론은 likelihood inference라고도 표현되기도 한다. 즉, likelihood inference는 unknown parameter에 대해 추론할 수 있도록 수집한 데이터의 ‘모든’ 정보는 오로지 likelihood 내에 있음을 시사한다. 그러므로 likelihood function만으로 모든 추론을 이어나갈 수 있다고 생각하는 것이다.

1.3. Why Bayesian?

베이지안 방법론을 선택하는 실질적 까닭은 겹겹이 구성된 랜덤 요소로 인하여 모델의 유연성이 매우 뛰어나고, 다양한 출처의 불확실성을 한 번에 고려하여 결론을 도출할 수 있기 때문이다. 이는 세계에서 발생하는 각종 현실 문제를 해결토록 하고 복잡한 데이터 구조에도 모델이 얼마든지 맞추어, 그 어떤 상황에도 자유로운 추정이 가능하다.

베이지안에 집착하는 또다른 이유는 심리적인 부분에 있다. 바로 그 직관적인 해석이 가능하다는 점인데, 통계를 자세히 모르는 클라이언트에게 분석 결과를 전할 때 한정된 시간 내에 직관적인 이해가 가능하도록 하여 전달의 오류가 없어야 한다. 하지만 예컨대 confidence interval의 경우 빈도론적 접근으로 분석을 하여 도출했을 때, 이것의 해석에 크나 큰 오해가 생기기 마련이다.

베이지안 추론은 전체적으로 확률 모델에 기인하는데, 그 모델은 현실 상황에 맞추어 충분히 가깝게 근사시킬 수 있다는 장점이 있다. 이러한 점은 한편으로는 기본적인 사회적 가정이 어떻게 세팅되냐에 따라 베이지안 분석을 통해 도출한 답이 꽤나 많은 차이를 불러일으킬 수 있다. 그러나 광범위하게 도출되는 결론들은 모두 정당한 가정 아래에서 도출된 것이므로 충분히 가능성 있는 이야기이며, 모델이 부정확해서가 아니다. 데이터 분석가는 클라이언트에게 결론이 광범위하게 도출되는 이유에 대해서 인지시키는 것이 좋다.