Parikh, A., Täckström, O., Das, D., & Uszkoreit, J. (2016, November). A decomposable attention model for natural language inference. In Proceedings of the 2016 conference on empirical methods i...
Weston, J., Chopra, S., & Bordes, A. (2014). Memory networks. arXiv preprint arXiv:1410.3916. Sukhbaatar, S., Weston, J., & Fergus, R. (2015). End-to-end memory networks. Advances in n...
Dzmitry Bahdanau, Kyunghyun Cho, and Yoshua Bengio. (2015). Neural machine translation by jointly learning to align and translate. In Proceedings of ICLR. Intro Attention 구조는 10년 전, 언어 모델의 또 하나...
Paul R. Halmos, L. J. Savage (1949). Application of the Radon-Nikodym Theorem to the Theory of Sufficient Statistics. Institute of Mathematical Statistics. The Annals of Mathematical Statistics, Vo...
Dynkin, E. B. (1951). Necessary and sufficient statistics for a family of probability distributions(Russian). English translation in Selected Translations in Mathematical Statistics and Probability...
2. The Fundamentals of QEPM Tenets 3&4: The Fundamental Law, The Information Criterion, and QEPM Quantitative analysis creates statistical arbitrage opportunities. 정량적 분석가는 통계적 차익거래의 기회를 ...
2. The Fundamentals of QEPM Tenets 1&2: Market Efficiency and QEPM Markets are mostly efficient. 시장은 대부분 효율적이다. Pure arbitrage opportunities do not exist. 당연하게 주어지는 차익거래의 기회는 없다. QE...
2. The Fundamentals of QEPM QEPM $\alpha$ $\alpha$의 가장 간단하고 통용되는(colloquial) 의미는 outperformance이다. Portfolio manager(PM)가 “Positive $\alpha$를 만들거야!”라고 보통 말하는데, 일반적으로 $\alpha$는 portfolio의 수익률이 refe...
이번 포스트에선 binomial model과 더불어 기본적으로 다루어지는 normal model을 정립해 볼 것이다. 이 모델들은 그 자체로는 복잡한 사회문제를 해결하기엔 너무 이상적이거나 간단하겠지만, 나중에 융합적인 모델로 확장해나갈 때 유용한 밑거름이 될 수 있다. 이와 더불어 정보가 충분치 않을 때 prior distribution을 설정하는 ...
이번 포스트에선 unknown parameter $\theta$가 1차원일 때 자주 활용되는 대표적인 모델중에서 binomial model을 살펴보면서 만약 사전 정보가 충분한 경우 이를 기반으로 prior distribution을 설정할 때 고려해야 할 점들을 소개할 것이다. 2.1. Binomial Model Binomial model은 ...
베이즈 분석(Bayes Analysis) 포스트 시리즈는 확률을 기반으로 추론하는 통계의 거대 분야 중에서 베이즈적 접근을 포괄적으로 다루고자 한다. 베이즈 분석의 가장 기반이 되는 부분은 확률을 “불확실성의 정도(quantifying uncertainty)”라고 생각하는 것이다. 확률을 이렇게 생각하는 것은 분명히 새로운 접근일 것이다. 지금까지 ...
지난 글들 중 maximum likelihood estimator(MLE)에 관한 편에서 우리는 MLE가 정의되는 방식과, 그 정의를 활용하여 몇 가지 model에 대하여 MLE를 직접 구해보았다. 그리고 명확하진 않았지만 직관적으로 MLE가 왜 그럴싸한 estimator를 제공해주는지도 살펴보았다. Likelihood를 maximise를 한다는 것이...
지난 글에서는 likelihood에 입각하여 설정한 MLE에 대해서 간단히 다루었다. 그럴듯하게 정의된 MLE에 이어서, 이번에는 median중앙값이 estimator로 활용되었을 때 역시 성능 좋은 estimator로 활용될 수 있을지 정량적으로 알아보고자 한다. CLT 등에서 보면 우리는 늘 sample mean에 상당한 관심을 가지고 효율성과 l...
Maximum likelihood estimator는 frequentist가 중요하게 여기는 또 다른 유형의 estimator로 likelihood가능도를 최대화하여 얻어지는 estimator이다. 이 estimator는 우리가 model로 가정한 probability distribution이 어느 parameter $\theta$ 값이 주어진 dat...
이번 편에서는 다시 원래의 맥락으로 돌아가 large sample theory를 다룰 것이다. 이 내용 역시 frequentist의 심장같은 철학을 수학적으로 나타내는 도구라고 볼 수 있다. 이들이 probability를 정의할 때 infinte sequence of experiment에서 어떤 특정 event의 frequency로 정의했으므로 exp...
지난 글부터 왜 우리가 risk, 즉 loss의 expectation을 활용하여 performance가 더 좋은 estimator를 선정했는지를 조금 더 원초적인 관점에서 살펴볼 것이다. 우리가 진짜 원하는 estimator가 왜 하필 risk로 판별될 수 있었는지, risk에는 어떤 의미가 숨어있는지 알아보도록 한다. Estimator들 중에서 어떤...
이번 글에서는 왜 우리가 risk, 즉 loss의 expectation을 활용하여 performance가 더 좋은 estimator를 선정했는지를 조금 더 원초적인 관점에서 살펴볼 것이다. 우리가 진짜 원하는 estimator가 왜 하필 risk로 판별될 수 있었는지, risk에는 어떤 의미가 숨어있는지 알아보도록 한다. Estimator들 중에서 어...
이전에 여러 estimator를 비교할 때 단순히 risk를 활용하여 비교했더니, unknown parameter $\theta$의 true value가 어떻냐에 따라 estimator의 선택이 달라져야 했음을 다룬 바 있다(Mathematical statistics - Sufficiency편 참조). 이를 해결하기 위해 frequentist가 했던 ...
이번 글에서는 factorization theorem을 증명해본다. 이 theorem의 증명을 지금까지 미룬 이유는 증명할 때 conditional distribution의 정의를 활용해야 하기 때문이다. 직접적인 정의를 활용하는 이유는 대부분의 경우에서 sufficient statistics $T$와 data $X$의 joint density를 찾으...
이전 편에서는 conditional distribution 정의를 수학적으로 정립하기 위해 기본적인 도구들을 다루었다. 그중 대표적으로 다루었던 product measure는 joint distribution으로부터 joint density 등을 잘 정의할 수 있도록 도와주며, Fubini’s theorem은 joint distribution의 pro...
이번 편에서는 conditional distribution을 수학적으로 더 구체적으로 정립하기 위해 먼저 기본적으로 알아야 할 수리적 개념을 소개하고자 한다. Conditional distribution은 어쨌든 두 random variable 간의 관계를 알아야하므로 두 $\sigma$-field를 엮어야 하며, 그 위에서 measure가 잘 정의되...
이번 편에서는 curved exponential family의 성질에 대해서 다루어보고자 한다. Full rank exponential family와는 다르게 curved exponential family는 $\eta_i$ 간의 constrain이 존재하거나 $\eta(\Omega)$의 interior가 없이 어떤 관계를 지니는 등 조금 특별한 경우의...
Hammersley-Chapman-Robbins inequality 지금까지는 unbiased estimator 중에서 최소의 variance를 갖는 estimator인 UMVUE에 대해서 알아보았다. 여기서는 어떤 주어진 prameter $theta$에 대하여 unbiased estimator가 어느 정도까지 분산을 최소화할 수 있는지 그 lowe...
Frequentists는 estimator 중에서도 unbiased estimator에 굉장히 집착한다. Unbiased estimator라고 하는 것은 estimator 중에서도 그 expectation이 예측하는 대상과 정확히 일치하는 것을 말한다. 그래도 estimate를 할 때면 평균적으로 우리가 예측하고자 하는 true value로 나오는 것...
Convex Loss 우리는 많은 loss function 중에서도 convex loss볼록손실함수에 대해서 다루어볼 것이다. 이에 앞서, 먼저 convexity볼록성에 대해 수학적으로 간단하게 살펴보자. Definition 9.1 Convex set $\mathcal{C}\subset\mathbb{R}^p$ 위에서 정의된 real-val...
주어진 family에 대하여 sufficient statistics는 하나만 존재하는 것은 아니다. 어떤 $T$가 sufficient라고 하면 어떤 아이의 함수로 $T$가 도출되는 모든 아이는 sufficient 하다. 즉, $T = g(\tilde{T})$를 만족하는 $\tilde{T}$도 sufficient하며, 이는 factorization th...
이번 글에서는 sufficient statistics를 쉽게 찾을 있도록 하는 획기적인 정리인 factorization theorem에 대해 다룰 것이다. 만약에 우리가 설정한 model $\mathcal{P}$가 모두 density를 가지고 있다면 우리는 이 theorem을 통해 sufficient statistics를 금방 찾아낼 수 있다. ...
이제부터 기초적인 inference 과정을 밟기 위한 준비를 할 것이다. 특히 이번 post에서 도입되는 개념인 sufficiency는 data의 정보를 잃지 않고 하나의 수치로 요약할 수 있는 statistics통계량이 가지는 특성인데, 이는 inference를 하는 과정에서 끊임없이 활용한다. Estimators추정량 and Risk Func...
Moments적률 and Cumulants누율 Moments는 distribution의 모양이나 생김새를 나타내는 수치들이다. 예를 들어 어떤 질량을 가진 물체가 있을 때, 각각의 좌표를 밀도로 가중평균한 것이 무게 중심, 각각의 좌표를 제곱하여 밀도로 가중평균한 것이 momentum of inertia관성 모멘트였다. 통계에서 정의하는 moment...
Exponential Families 주어진 data로부터 적절한 inference추론을 하기 위해서 data가 어떤 distribution을 따르는지 관련 정보가 주어지면 정말 좋다. 하지만 대부분의 경우, 이 distribution을 모르기 때문에 data가 어떤 유형의 distribution을 따르는지 큰 틀에서 가정하는 것이 좋다. Distr...
그 무시무시하다던 사랑니 발치… 그걸 내가 하고 왔다 ! 무려 네 개의 사랑니가 말성을 부리고 있었는데 오늘은 한 달 동안 그지같았던 사랑니 뽑은 스토리를 풀어보려고 한다. 사랑니는 인간의 제3대구치, 가장 큰 어금니로 18세~20세 사이 가장 늦게 나는 치아다. 호모 사피엔스 사피엔스씨의 턱 뼈가 점점 짧아지...
Densities 밀도 함수 어떤 distribution을 따르는 random variable $X$를 분석하기 가장 쉬운 방법은 $X$의 density가 존재한다면 이를 활용하는 것이다. Density가 존재하면 expectation기댓값 등의 대표적 통계 수치는 물론이고 나중에 다룰 likelihood가능도등을 분석할 수 있어 매우 좋은 infer...
Lebesgue Integration 르벡 적분 Measure의 개념을 정립한 우리는 충분히 nice(??)한 함수 $f$가 주어졌을 때 integral적분을 정의해보기로 한다. 그 nice한 조건으로 가장 중요한 regularity(한국어로 모름)는 바로 $f$가 measurable function가측함수이어야 한다는 점이다. Defin...
I am too familiar with the manner in which actual data are met with the suggestion that other data, if they were collected, might show something else to believe it to have any value as an argu...