Articles

전체 게시글 (184)

Algorithm (15)
Bayesian (15)
Causal Inference (13)
Data Structure (2)
Deep Learning (28)
Differential Privacy (10)
Gaussian Process (7)
Jekyll (2)
Linear Model (10)
Machine Learning (42)
Manifold Learning (4)
Mathematics (27)
NLP (1)
Optimization (4)
Paper Review (16)
PGM (4)
Probability Theory (8)
Project (9)
Python (13)
Real Analysis (24)
Spatial Statistics (15)
Spectral Analysis (5)
Statistics (17)
TDA (2)
Time Series (4)

Conformal Prediction

December 12, 2024 45

Conformal Prediction Introduction 일반적으로 통계학에서는 선형모형과 같은 모델을 설정하고, 이를 바탕으로 설명변수와 예측변수 간의 관계를 분석한다. 나아가, 학습한 모델을 바탕으로 새로운 데이터 $x^{*}$ 가 주어졌을 때, 이에 대한 예측값 $\h...

Machine Learning Conformal Prediction Qunatile Regression

Bayesian Optimization

May 24, 2024 125

Introduction 베이지안 최적화Bayesian Optimization, BayesOpt는 함수의 최적화 문제를 해결하는 방법 중 하나, 목적함수 $f : X \to R$ 를 계산하는 비용이 클 때 사용할 수 있는 방법입니다. 함수의 계산비용이 클...

Machine Learning Bayesian Optimization Acquisition function

Gaussian Differential Privacy

May 14, 2024 47

Introduction 이번 포스트에서는 Gaussian Differential Privacy (Dong et al., 2022) 논문을 리뷰하며 Gaussian differential privacy에 대해 살펴보도록 하겠습니다. DP는 $(ϵ, δ)$ -DP...

Paper Review Differential Privacy fDP

Rényi Differential Privacy

May 13, 2024 58

Rényi Differential Privacy Differential privacy는 초기 Dwork의 논문에서 $ϵ$ -DP, $(ϵ, δ)$ -DP 형태로 제안되었습니다. 이후 CDPconcentrated DP 등 다양한 형태의 변형이 등장하였고...

Differential Privacy Concentrated DP Renyi DP Paper Review

Cox Process with Hamiltonian Monte Carlo

May 7, 2024 51

Cox Process Point Pattern 데이터를 모델링하는 일반적인 방법은 intensity function을 추정하는 것이다. 이때, intensity function이 $λ (x) = 2 \exp (- x)$ 와 같은 함수 형태로 주어질 수도 있지만, 이러한 함수를 직...

Spatial Statistics Point Process Bayesian HMC

Transfer Learning and Fine Tuning

April 12, 2024 55

파인 튜닝Fine Tuning이란 개념은 LLM의 등장과 함께 더욱 주목받게 된 개념이다. 이전까지는 한번 모델을 학습시키고 나면, 해당 모델의 파라미터를 고정시키고 새로운 데이터 $x^{'}$ 에 대해 예측을 수행하는 방식이 일반적이었다. 그러나, 모델의 규모가 매우 커지...

Deep Learning Self-supervised Learning Transfer Learning

Neural ODE and FFJORD

March 26, 2024 175

Neural ODE Neural ODENeural Ordinary Differential Equation를 다루기 전에 우선 깊이가 $L$ 인 (Hidden layer의 수가 $L$ 인) Residual NetworkResnet를 생각해보자 (아래 그림). Residual net...

Deep Learning Generative AI Neural ODE

Covariance Models for Spatial Data

February 2, 2024 23

Covariance Models Definition 연속형 공간자료는 공간 $D \subset R^{d}$ 와 확률공간 $(Ω, F, P)$ 에서 정의되는 일종의 확률과정stochastic process [Z(s,\omeg...

Spatial Statistics Stochastic Process

Differential Privacy for Functions

January 31, 2024 20

Differential Privacy Setting $D = (d_{1}, \dots, d_{n}) \in D$ 을 입력 데이터베이스라고 하자. 또한, $M : D \to R^{d}$ 를 non-private 알고리즘이라고 하고, $M(D)...

Paper Review Differential Privacy Kernel Density Estimation Gaussian Process

Wasserstein GAN

January 26, 2024 33

Wasserstein GAN 이전 글에서에 GANGenerative Adversarial Network은 결과적으로 Jensen-Shannon divergence를 최소화하는 문제로 귀결되는 것을 확인했다. 이 경우 density ratio를 discriminator $D$ 로 추...

Deep Learning GAN

Differentially Private Markov Random Field

January 18, 2024 7

Introduction Markov random field Let $G = (V, E)$ be a graph with $p$ nodes and $C_{t} (G)$ be the set of cliques of size at most $t$ in $G$ . A Markov random fi...

Differential Privacy PGM Spatial Statistics Paper Review

DAG-GNN

December 23, 2023 111

DAG-GNN 이번 포스트는 DAG-GNN: DAG Structure Learning with Graph Neural Networks의 논문 요약입니다. Graph Learning 그래프 학습Graph Learning이란, 주어진 관측 데이터 $X$ 로부터 데이...

Deep Learning Variational Inference PGM

Divergence, Variational Autoencoder

November 7, 2023 16

본 포스트는 서울대학교 M2480.001200 인공지능을 위한 이론과 모델링 강의노트를 간단히 재구성한 것입니다. Divergence 발산Divergence의 의미는 본래 미분기하학에서 정의되는데, 다양체 $M$ 에서의 두 점 $P, Q$ 와 좌표coordinates $\xi_{P}...

Deep Learning Bayesian

Bayesian Causal Inference

September 10, 2023 13

Bayesian Causal Inference Setting 각 샘플 단위(개체)에 대해 다음과 같이 네 가지 변수가 존재한다. [Y_{i}(0), Y_{i}(1), Z_{i}\in\lbrace 0,1\rbrace ,X_{i}] 이때 결과변수 $Y_{i}$ 에 대해서는 하나만...

Causal Inference Bayesian

ATE estimation

September 10, 2023 17

ATE estimation 바로 이전 글에서 살펴보았듯이, 교란변수confounder(공변량)이 모두 관측된다는 가정하에서 평균처치효과가 statistical estimand $τ$ 의 함수로 식별가능함을 확인했다. 이제 이로부터 평균처치효과 ATE를 관측데이터로부터 어떻게 ...

ATE Causal Inference Inverse Probability Weighting

Average Treatment Effect

September 7, 2023 16

Average Treatment Effect Example 먼저, 이번 글에서 다룰 Structural Causal Model로 다음과 같은 예제를 설정하자. 아래 SCM은 흡연 여부 $A$ , 암 발병여부 $Y$ , 건강 자각도(?)health conciousness $H$ , 그...

Causal Inference ATE

Markov Random Field

August 21, 2023 29

Markov Random Field Markov Random Field란, 공간자료 중 격자형(lattice) 자료를 모델링하기 위해 사용되는 모델이다. 격자형 자료란, 말그대로 (규칙적 혹은 불규칙적) 격자 단위에서 변수들의 값이 주어지는 것을 의미한다. 이때 데이터셋을 구성...

Spatial Statistics Probability Theory Statistics

Kolmogorov-Smirnov Test

August 16, 2023 349

Kolmogorov-Smirnov Test 일반적으로 데이터사이언스에서 데이터의 정규성을 검정하고자 할 때, 샘플 수가 적은 경우 Shapiro-Wilk 검정을 이용하고 그렇지 않은 경우 Kolmogorov-Smirnov(줄여서 ks) 검정을 이용한다고 알려져 있다. 사실 콜모...

Statistics Normality Test Probability Theory

Spectral Analysis - Perturbation Theory

August 2, 2023 14

Basics of matrix analysis Perturbation 실행렬 $M^{⋆}$ 와 교란(perturbed)된 실행렬 $M$ 에 대해 다음 관계를 가정하자. [M=M^{\star}+E] 여기서 $E$ 는 perturbation matrix 라고 하며, 통계학...

Spectral Analysis Clustering Mathematics Graph Clustering

Point Process

July 27, 2023 11

Point Process Definition Notation $S$ : a metric space with metric $d$ $X$ : point process on $S$ $x$ : r...

Spatial Statistics Point Process Poisson Point Process Probability Theory

Testing Complete Spatial Randomness

July 26, 2023 4

Testing CSR Monte Carlo Tests Let $T$ be any test statistic where larger $T$ cast doubt on the null hypothesis. Let $t_{1}$ be the value o...

Spatial Statistics Monte Carlo Test Nearest Neighborhood

Laplace Approximation Binary GP Classifier

July 11, 2023 5

바로 이전 글에서 Gaussian Process classifier는 사후확률분포가 정규분포형태가 아니고, 이로 인해 직접 계산이 어렵다는 점을 살펴보았다. Laplace Approximation은 사후확률분포 $p (f | X, y)$ 를 정규분포 형태로 근사...

Machine Learning Gaussian Process Bayesian

Gaussian Process Classification

July 11, 2023 4

Classification Problem 분류 문제의 두 가지 관점 베이지안 관점에서 분류(Classification) 문제를 정의하는 과정을 생각해보면, 설명변수 $x$ 와 반응변수(class) $y$ 의 결합확률분포 $p (y, x)$ 를 접근하는 ...

Gaussian Process Bayesian Classification Machine Learning

MM algorithm

July 5, 2023 30

MM algorithm은 EM algorithm의 일반화된 버전으로 이해하면 되는데, MM은 maximization 관점에서 minorize-maximize를 나타낸다. MM algorithm은 최대화하고자 하는 목적함수 $l (θ)$ 에 대한 lower bound fun...

Optimization Machine Learning Statistics

Linear Mixed Effect Model

June 27, 2023 3

Fixed and Random effect $i$ 번째 그룹에 대한 $j$ 번째 관측값 $y_{11}, \dots, y_{n n}$ 들이 주어질 때, 이들의 평균을 모델링하는 다음과 같은 모형을 생각해보자. [\mathrm{E}[y_{ij}] = \mu + \alpha_{i}+\ep...

Linear Model Experimental design

Sufficiency

March 31, 2023 6

이번 포스트에서는 통계학의 추정, 검정 등에서 중요하게 사용되는 통계량의 충분성에 대해 정리하고자 한다. 확률공간 $(Ω, F, P)$ 을 이용해 random experiment를 정의할 때, 우리는 확률측도 $P$ 를 population이라고 정의하기도 한...

Statistics

Spectral Density

January 12, 2023 2

Spectral Representation Theorem 시계열 자료는 ${x_{t} : t = 1 \dots T}$ 형태로 discrete하게 주어진다. 반면, 파동함수(cosine, sine function)를 이용해 시계열 자료를 근사하는 방법이 있는데...

Time Series Fourier Transformation Periodogram

Conditional Expectations

December 10, 2022 1

Conditional Expectations Measure Theory를 기반으로 한 조건부 기댓값 및 조건부 확률을 정의해보도록 하자. 일반적으로 measure를 다루지 않는 통계학에서는 조건부 확률을 먼저 정의하고, 이후에 조건부 기댓값을 조건부 확률을 이용해 정의하는데 m...

Probability Theory Statistics

Stationarity

November 11, 2022 8

Stationarity 우리말로 정상성이라고 정의하는 Stationarity는 시계열 분석을 수행하기 위해 가정해야 하는 가장 중요한 도구이다. 회귀분석에 비유하자면, 회귀모형의 오차항(흔히 $ϵ$ 으로 나타나는)이 정규성을 가진다고 가정하는 것과 비슷하다. 가장 단...

Time Series Statistics Stationarity

Gaussian Process

September 5, 2022 3

Gaussian Process (1) Definition Gaussian Process(줄여서 GP라고도 한다)는 비모수방법의 일종으로, 사전분포를 표현하여 베이즈 정리를 바탕으로 사후확률을 추론하는 기법으로 사용된다. 길이 $N$ 의 가우시안 랜덤 벡터(Gaussian Ran...

Machine Learning Gaussian Process Bayesian

Boosting Tree

April 17, 2022 7

Boosting Tree 이전에 Regression Tree와 Classification Tree(CART) 모형에 대해 살펴보았는데, Tree에 대해서도 boosting algorithm을 적용할 수 있다. Tree 모델은 기본적으로 partition된 region $R_{m}$ ...

Machine Learning Boosting CART Tree

Bootstrap

April 3, 2022 5

Bootstrap Methods Bootstrap 방법은 정확도(accuracy)를 측정하기 위해 사용되는 일반적인 방법이다. Cross-validation과 마찬가지로 bootstrap은 (conditional) test error ${Err}_{T}$ ...

Machine Learning Bootstrap Statistics

Entropy

March 27, 2022 3

Entropy and its related loss Entropy 엔트로피는 확률론에 기반한 정보이론에서 매우 중요하게 쓰이는 개념이다. 확률변수random variable $ξ$ 가(random element 참고) density $f \geq 0$ 을 가진다고 하자 (✅...

Machine Learning Information Theory Loss function

Distribution

March 3, 2022 1

Distributions 이전 게시글에서는 random elements에 대해 다루었으며, 확률분포distribution가 어떻게 새로운 측도로 정의되는지 살펴보았다. 이번에는 random elements의 분포와 분포 함수 및 수리통계학에서 다룬 기댓값, 적률 등을 살펴보고자...

Probability Theory Distribution

Events and Distribution

February 26, 2022 6

Random Elements 저번에 다룬 확률측도 공간(Probability Space, 이하 확률공간) $(Ω, F, P)$ 를 바탕으로 확률론의 대상이 되는 random elements 대한 내용을 다루도록 할 것이다. (확률측도의 $σ$ -a...

Probability Theory Measure Theory

Absolute Continuity

February 25, 2022 7

Absolute Continuity 정의 measurable space $(X, X)$ 에서 두 측도 $μ, ν$ 가 정의되었다고 하자. 이때 임의의 $μ$ -null set이 $ν$ -null set이라면, 즉 [\mu(A)=0\Rightarrow...

Mathematics Real Analysis Measure Theory

Lebesgue Integration with General measure

February 24, 2022 1

Lebesgue Integration with General Measure 이전 글들에서 르벡 측도를 이용해 정의한 르벡적분과 앞으로 살펴볼 일반측도 $μ$ 를 이용해 정의하는 르벡적분은 크게 다르지 않다. 르벡측도를 이용한 르벡적분은 $μ = m$ 의 특수한 경우이지만 대부...

Mathematics Real Analysis Measure Theory

Monotone class argument

February 22, 2022 12

Monotone Class Argument Dynkin’s $π - λ$ system이라고도 불리는 체계는 실변수함수론에서 다양한 정리들을 증명하거나 할 때 유용하게 사용된다. 또한, 확률론에서도 사건이나 random event의 독립성을 확인할 때 역시 이용된다. ...

Probability Theory Measure Theory

Basis Expansion

February 20, 2022 2

Basis Expansion 기저 확장이란 데이터셋 $X$ 의 각 벡터 $X \in X$ 에 새로운 변수를 추가하거나, 기존 변수를 대체하는 방법으로 새로운 모형을 구성하는 것이다. 총 M개의 변환이 존재한다고 하고, 이때 $m$ 번째($m= 1,\ldot...

Linear Model Machine Learning Linear Regression Basis Expansion

Logistic Regression

February 14, 2022 7

Logistic Regression 로지스틱 회귀분석은 회귀분석의 일종으로 보기 쉽지만, 사실 분류문제의 사후확률을 선형함수로 표기한것에서 비롯되기 때문에 분류기법으로 보는 것이 더 정확하다. 즉, 각 데이터 $X = x$ 가 클래스 $G = k (k = 1 \dots K)$ 를 가질 확...

Linear Model Machine Learning Linear Classification Logistic Regression

Linear Discriminant Analysis

February 6, 2022 4

Linear Classification 이번 포스트부터는 선형 방법으로 분류 문제를 해결하는 방법들에 대해 살펴보고자 한다. 여기서 분류classification 문제란, 종속 변수와 예측값 $G (x)$ 가 이산집합 $G$ 의 원소를 갖는 문제를 의미한다. 분류...

Linear Model Linear Classification LDA

Probability Measure

January 8, 2022 1

확률측도 정의 공간 $Ω$ 와 $Ω$ 의 부분집합들로 구성된 Borel Field $F$ 에서 정의된 확률측도probability measure $P$ 는 다음 공리를 만족시킨다. $\forall E\in \mathscr{F}: P(...

Probability Theory Probability Measure Measure Theory

An Introduction to Kernel Methods (3) - Infinite Dimensional Feature Space

January 8, 2022 1

무한차원특성공간 vs 유한차원특성공간 커널 트릭에서 살펴보았듯이, 커널을 이용하면 데이터셋을 특성 매핑(feature mapping)을 사용하지 않고도 동일한 연산을 수행할 수 있다. Input Space $X$ 의 데이터가 벡터 $\mathbf{x_1,\ldots...

Machine Learning Kernel Theory Paper Review

Kernel PCA

January 3, 2022 4

커널 주성분분석Kernel PCA PCA 주성분분석(Principal Component Analysis, 이하 PCA) 의 기본원리는 Input Matrix의 고유값을 이용해 Input 데이터들의 성분을 분리하는 것이다. 원리 Input Matrix $X$ 가 p개...

Machine Learning PCA Kernel Theory Dimension Reduction

위상공간에서 연속사상(Continuous mapping)

January 1, 2022 70

위상공간에서의 연속사상 정의 위상공간 $(X, T)$ 와 $(Y, S)$ 를 연결하는 사상 $f : X \to Y$ 가 점 $x_{0}$ 에서 연속이기 위한 조건은 다음과 같다. $f (x_{0})$ 의 임의의 근방 $O$ 에 대해 $x_{0}$ 의...

Mathematics Real Analysis Topological spaces

위상공간의 분리(Separation)

December 28, 2021 9

위상공간의 분리 Separation 위상공간 X의 부분집합 $A, B \subset X$ 가 서로소라고 하자. 만일 $A, B$ 각각의 서로소인 근방이 존재한다면, 이를 근방에 의해 분리된다고 표현한다. 이 장에서는 네 가지의 주요 분리 성질을 바탕으로 위상공간을 분류하는 것을 다룬...

Mathematics Real Analysis Topological spaces

Banach Fixed Point Theorem

December 25, 2021 6

바나흐 고정점 정리 바나흐 고정점 정리(혹은 축약 사상 정리)는 축약사상에 대해 고정점이 하나만 존재한다는 정리이다. 우선 이를 알기 위해 축약 사상과 고정점의 개념에 대해 다루어보자. Def 거리공간 X에서의 점 $x \in X$ 와 사상 $T : X \to X$ 에 대해 $T(x)...

Mathematics Real Analysis Metric spaces

Convex Functional and its minimization

December 19, 2021 0

Convex Functional and its minimization Convex / Closed subset의 정의 Def 선형공간 $X$ 의 부분집합 $C$ 가 Convex set 이다: $\forall f.g\in C, \quad \forall \lambda \in [0...

Mathematics Real Analysis Convex Functional

Weak Sequential Compactness

December 16, 2021 0

Weak Sequential Compactness 약한 점열 컴팩트성 헬리Helley의 정리 THM 14 가측집합 $E$ 와 $1 < p < \infty$ 에 대해, $L^{p} (E)$ 공간에서의 임의의 유계수열 { $f_{n}$ }은 $f \in L^{p} (E)$ 로 약한 수렴하는 부분수...

Mathematics Real Analysis Helly Theorem

Lp 공간에서의 수렴

December 15, 2021 0

L^p 공간에서의 측도의 약한 수렴 정의 L^p 공간에서의 함수열의 수렴을 정의하기 위해서는 노음선형공간에서의 함수열의 수렴이 먼저 정의되어야 한다. Def 노음선형공간 $X$ 의 함수열 $f_{n}$ 이 $f$ 로 약한 수렴한다는 것 ( $f_{n} \to f$ ) 은 다음을 의미한다. ...

Mathematics Real Analysis

Completeness of Lp Spaces

December 11, 2021 1

Completeness of $L^{p}$ Spaces 완비성 Def 노음선형공간 X에서 함수열의 수렴 $f_{n} \to f$ 은 다음과 같이 정의한다. [\lim_n\Vert f-f_n\Vert = 0] 마찬가지로, 함수열 $f_{n}$ 이 코시수열임은 다음과 같이 정의한다. $...

Mathematics Real Analysis Completeness

Lp Spaces

December 10, 2021 2

$L^{p}$ Spaces Normed Linear Spaces노음선형공간 이 장을 시작하기에 앞서, 집합 $E$ 는 실수 집합의 가측부분집합이고 집합족 $F$ 는 $E$ 에서의 모든 유한(a.e. on E), 가측 실함수들의 모임으로 가정하자. Def 함수간의 동치관...

Mathematics Real Analysis Normed Linear Spaces

Vitali Convergence Theorem

December 7, 2021 0

Lebesgue Integral General Vitali Theorem Def $E$ 에서의 가측함수들의 집합족 $F$ 가 다음을 만족할 때 $E$ 에서 Tight 하다고 정의한다. [\forall \epsilon>0,\; \exists E_0 \subsete...

Mathematics Real Analysis Lebesgue Integral

General Lebesgue Integral

December 5, 2021 0

Lebesgue Integral General Lebesgue Integral Def 함수 $f$ 에 대해 다음 두 nonnegative 함수를 정의하면 $f^{+} = max (f, 0)$ $f^{-} = - min (f, 0)$ [\vert f\vert = f^+ +f^...

Mathematics Real Analysis Lebesgue Integral

Lebesgue Integral

December 4, 2021 0

Lebesgue Integral 유계,유한 가측함수에 대한 르벡 적분 단순함수의 르벡 적분 유한측도를 갖는 $E$ 에서 Canonical Form $ψ = \sum_{i = 1}^{n} a_{i} χ_{E_{i}}$ 을 갖는 단순함수의 적분은 다음과 같이 정의된다. [\int_E \...

Mathematics Real Analysis Lebesgue Integral

Egoroff’s and Lusin’s Theorem

December 3, 2021 0

Lebesgue Measurable Function (2) Egoroff’s THM THM. 유한 측도를 갖는 가측집합 $E$ 와 $E$ 에서의 실함수열 ${f_{n}}$ 에 대해 $f_{n} \to f$ 일때 $\dots$ (a) $\forall \eps...

Mathematics Real Analysis Measurability

Lebesgue Measurable Function

December 3, 2021 0

Lebesgue Measurable Function (르벡 가측함수) 1. Sums, Products, and Compositions Def 다음 조건을 만족시키는 실함수 $f : E \to R$ 는 르벡 가측함수Lebesgue Measurable Function이다...

Mathematics Real Analysis Measurability

Borel-Cantelli Leamma

December 2, 2021 0

Lebesgue Measure (르벡 측도) 3. Outer / Inner Approximation of Lebesgue measurable sets Excision Property 유한 외측도(finite outer measure)를 갖는 가측 집합 $A$ 가 $A \sub...

Mathematics Real Analysis Lebesgue Measure

Lebesgue Measure

November 30, 2021 0

Lebesgue Measure (르벡 측도) 1. Lebesgue Outer Measure Def 가산개의 비어 있지 않은 열린, 유계 구간열 ${I_{k}}_{k = 1}^{\infty}$ 을 생각하자. 이때 임의의 집합 A에 대해서 $A\subseteq \big...

Mathematics Real Analysis Lebesgue Measure

Sigma Algebra

November 28, 2021 3

1. Countability Def 집합 $E$ 가 가산무한집합Countably finite set : $E$ 가 자연수 집합 $N$ 과 equipotent하다. 2. $σ$ -Algebra Def 집합 $X$ 의 부분집합들의 모임collection $F...

Mathematics Real Analysis Sigma Algebra

Real Numbers

November 28, 2021 1

1. Three Major Axioms in Real Numbers 1. Field Axiom (체공리) 다음 9가지 성질을 만족하는 set $F$ 를 Field(체) 라고 정의한다. 덧셈에 대한 교환법칙(Commutativity) 덧셈에 대한 결합법칙(Associativ...

Mathematics Real Analysis Real Numbers