Search
Find a note by concept, title, or implementation detail.
12 results
- 2026. 1. 20.Policy OptimizationSetting 통계학적인 관점에서, 강화학습(RL)은 uncertainty 하에서 이루어지는 sequential decision making 혹은 dynamic optimization 이라고 할 수 있다. 일반적인 supervised learning 세팅에서는 관측 데이터 $(X,Y)$ 쌍들로부터 conditional distribution $\Pr(Y|X)$ 를 학습하는 것인 반면,...
- 2026. 1. 5.AI 관련 개념정리LLM, Vision 관련 자주 언급되는 개념 및 논문들을 통계학적인 시각에서 간략히 정리해보고 있습니다. LLM-related concepts Learning In-Context Learning Shot : 프롬프트에 포함되는 example case - (zero-shot) - (1-shot) : example 1개 포함 - In-context learning : few-shot le...
- 2025. 5. 7.공간 데이터에서의 인과추론 : (3) 베이지안저번 글에 이어, 이번 글에서도 공간 데이터의 인과추론에 대해 다루고자 합니다. 이번 글에서는 공간통계와 단짝이라고도 할 수 있는 베이지안 방법론을 기반으로 한 Spatial causal inference in the presence of unmeasured confounding and interference 논문을 소개합니다. 이 논문에서는 공간 인과 그래프 spatial causal...
- 2025. 5. 1.공간 데이터에서의 인과추론 : (2) Point vs. Area이전 글에서는 처치변수와 결과변수가 모두 점 패턴인 경우에 대한 인과추론 방법론을 소개했습니다. 이번 글에서는 처치변수는 점 패턴으로 주어지지만 결과변수가 격자형으로 주어지는 areal data에 대한 인과추론 방법론을 소개합니다. 사실 많은 사회적 변수들이 areal data로 수집되는 경우가 많기 때문에 (ex. 행정구역별 통계, 격자별 인구 등) 이 논문에서 제안하는 방법론은 매우...
- 2025. 4. 30.공간 데이터에서의 인과추론 : (1) Point vs. Point최근 공간 데이터에 대한 인과추론에 대해 관심을 가지고 여러 논문을 살펴보는 중인데, 기존 인과추론(Rubin의 인과 모델) 프레임워크는 SUTVA Stable Unit Treatment Value Assumption 가정을 기반으로 하는데, 이 중 No interference라는 가정이 공간 데이터에서는 성립하지 않는 경우가 많습니다. 예를 들어, 특정 지역에 대한 처치가 인근 지역에...
- 2025. 2. 5.Collaborative Filtering이번 글에서는 추천 시스템 중 협업 필터링 collaborative filtering 에 대한 내용을 개괄적으로 살펴보도록 하겠습니다. 우선, 협업 필터링이란 사용자가 평가하지 않은 항목에 대한 반응을 예측하는 것을 목표로 하여 각 사용자 혹은 항목 간의 유사도를 측정하여 이루어집니다. 협업 필터링은 크게 다음 두 가지로 분류할 수 있습니다. - 메모리 기반 필터링 Memory-base...
- 2024. 12. 12.Conformal PredictionConformal Prediction Introduction 일반적으로 통계학에서는 선형모형과 같은 모델을 설정하고, 이를 바탕으로 설명변수와 예측변수 간의 관계를 분석한다. 나아가, 학습한 모델을 바탕으로 새로운 데이터 $x^\ast$가 주어졌을 때, 이에 대한 예측값 $\hat{y}^\ast$를 계산한다. 예를 들어, 데이터 $X=(x1, x2, \cdots, x{n}), Y=(y{...
- 2024. 6. 21.State Space Models for Deep Learning최근 Mamba (Gu & Dao, 2024)의 등장으로 상태공간모형(State-Space Model, 이하 SSM)은 Transformer를 대체할 수 있는 아키텍처의 후보로 여겨지고 있습니다. 이번 글에서는 보다 일반적인 상태공간모형과, 이를 딥러닝에 적용한 S4, HiPPO 등의 아키텍쳐에 대해 다루어보도록 하겠습니다. State Space Model Revisit: State S...
- 2024. 6. 4.Spatio-Temporal Graph Convolutional NetworksGraph Convolutional Network는 Graph Neural Network의 가장 대표적인 모델 중 하나입니다. Graph Neural Network는 그래프 구조를 이용하여 노드의 특성을 업데이트하는 방법으로, 최근에는 다양한 분야에 적용되고 있습니다. 이번 글에서는 Graph Convolutional Network (GCN) 과 이를 시공간 데이터에 적용한 Spatio...
- 2024. 5. 24.Bayesian OptimizationIntroduction 베이지안 최적화 Bayesian Optimization, BayesOpt 는 함수의 최적화 문제를 해결하는 방법 중 하나, 목적함수 $f:\mathcal{X}\to\mathbb{R}$ 를 계산하는 비용이 클 때 사용할 수 있는 방법입니다. 함수의 계산비용이 클 경우 그래디언트를 계산하는 것 역시 큰 비용이 들기 때문에, 베이지안 최적화에서는 그래디언트 기반의 최적...
- 2024. 5. 23.Eigenfunctions and Kernel MethodsIntroduction 이번 글에서는 eigenfunctions 고유함수 와 이를 기반으로 하는 커널 방법론들의 해석에 대해 다루어보도록 하겠습니다. 고유함수의 개념은 데이터를 분석하는 과정에서는 요구되지 않을 수 있습니다. 다만, 많은 머신러닝 방법론, 그 중에서도 Gaussian Process 기반 방법론들의 이해에 중요한 부분을 차지한다고 생각합니다. 기본적인 아이디어는 행렬의 고...
- 2024. 5. 14.Gaussian Differential PrivacyIntroduction 이번 포스트에서는 Gaussian Differential Privacy (Dong et al., 2022) 논문을 리뷰하며 Gaussian differential privacy에 대해 살펴보도록 하겠습니다. DP는 $(\epsilon, \delta)$-DP 외에도 여러 relaxation가 존재합니다. Gaussian DP는 2022년 JRSSB에 위 논문으로부터...