Tag
Posts collected under Mathematics.
Universal Approximation Theorem 딥러닝이 예측 문제에서 매우 높은 성능을 발휘하는 이유 중 하나는, 바로 딥러닝을 통해 근사한 함수가 보간 interpolation 에 가깝게 원래 함수를 근사한다는 것이다. 바꾸어 말하면, 어떠한 함수든 신경망으로 근사할 수 있다는 것인데, 이러한 이론적 배경을 Universal Approximation Theorem이라고 한다...
Preliminary Matrix Bernstein Inequality Theorem Independent random matrix sequence $$\lbrace X{i}\rbrace {1\leq i\leq m}, X{i}\in\mathbb{R}^{n{1}\times n{2}}$$ 에 대해 다음을 가정하자. $$ \begin{aligned} \mathbb{P}(\Vert X{i}-\...
Basics of matrix analysis Perturbation 실행렬 $M^{\star}$와 교란(perturbed)된 실행렬 $M$ 에 대해 다음 관계를 가정하자. $$ M=M^{\star}+E $$ 여기서 $E$는 perturbation matrix 라고 하며, 통계학적인 관점에서 $M, M^{\star}$ 이 각각 관측치와 기댓값이라면 $E$를 오차 정도로 볼 수 있다(아래...
Absolute Continuity 정의 measurable space $(X,\mathcal{X})$ 에서 두 측도 $\mu,\nu$ 가 정의되었다고 하자. 이때 임의의 $\mu$-null set이 $\nu$-null set이라면, 즉 $$ \mu(A)=0\Rightarrow\nu(A)=0 $$ 이라면 $\nu$를 $\mu$에 대해 absolutely continuous 하다고 정의한...
Product Integral 이번 글에서는 르벡적분에 대한 다중적분을 정의해보도록 할 것이다. 다중적분을 하기 위해서는 곱함수가 정의되는 product space와, product space에서 측도로 사용될 수 있는 product meausre이 필요할 것이다. Product Space 두 위상공간 $X,Y$에 대한 cartesian product $X\times Y$ 는 다음과 같...
Lebesgue Integration with General Measure 이전 글들에서 르벡 측도를 이용해 정의한 르벡적분과 앞으로 살펴볼 일반측도 $\mu$를 이용해 정의하는 르벡적분은 크게 다르지 않다. 르벡측도를 이용한 르벡적분은 $\mu=m$ 의 특수한 경우이지만 대부분의 중요한 정리들은 그대로 성립한다. 르벡적분의 정의 이전에 살펴본 단순함수근사로부터 양함수 $f:X\to[0...
측도의 일반화 이전까지 다루었던 측도의 개념은 르벡 측도에 관한 것으로, 가측집합의 모임들이 시그마 대수인 것을 외측도의 제한으로 보였으며, 이를 통해 측도론을 구성해왔다. 이를 르벡 측도의 Caratheodory construction 이라고 부르는데, 여기서는 이러한 기술을 좀 더 일반화하는 방법을 살펴본다. 흔히 통계학에서 다루는 확률 측도 probability measure 의...
위상공간에서의 연속사상 정의 위상공간 $(X,\mathcal{T})$와 $(Y,\mathcal{S})$ 를 연결하는 사상 $f:X\to Y$ 가 점 $x0$에서 연속이기 위한 조건은 다음과 같다. $f(x0)$의 임의의 근방 $\mathcal{O}$ 에 대해 $x0$의 근방 $\mathcal{U}$ 가 존재하여 $f(\mathcal{U)}\subseteq\mathcal{O}$ 가 성립한...
위상공간의 분리 Separation 위상공간 X의 부분집합 $A,B \subset X$ 가 서로소라고 하자. 만일 $A,B$ 각각의 서로소인 근방이 존재한다면, 이를 근방에 의해 분리된다고 표현한다. 이 장에서는 네 가지의 주요 분리 성질을 바탕으로 위상공간을 분류하는 것을 다룬다. 티호노프 Tychonoff 분리 성질 위상공간 $X$의 두 점 $u,v \in X$에 대해 $v$를 포함...
위상공간 Topological Spaces 위상공간은 집합의 일종으로, 위상(토폴로지, topology)이 부여된 공간을 의미한다. 앞서 살펴본 거리공간 역시 위상공간의 일종인데, 거리공간에서의 거리의 개념이 위상을 정의하기 때문이다. 이 장에서 다루고자 하는 위상공간은, 거리공간보다 더 일반적인 개념이며 이를 바탕으로 가산성, 사상의 연속성과 같은 내용을 다룰 것이다. 정의 우선, 공...
바나흐 고정점 정리 바나흐 고정점 정리(혹은 축약 사상 정리)는 축약사상에 대해 고정점이 하나만 존재한다는 정리이다. 우선 이를 알기 위해 축약 사상과 고정점의 개념에 대해 다루어보자. Def 거리공간 X에서의 점 $x\in X$ 와 사상 $T:X\to X$ 에 대해 $T(x)=x$ 이 성립하면 점 $x$를 X의 고정점이라고 한다. Def 거리공간 $(X,\rho)$ 에서의 사상 $T$...
거리공간 Metric Spaces 이번 포스팅에서는 실해석학에서 다뤄지는 거리 metric 의 개념과, 이를 이용해 정의된 거리공간과 그 특성들에 대해 대략적으로 다루어보고자 한다. 해석개론에서 다루어지는 기본적인 열린/닫힌 집합의 개념과 열린/닫힌 집합에서의 수열과 같은 내용들은 분량상 생략하도록 하겠다. 정의 우선, Metric의 개념을 다음과 같은 실함수로 정의한다. Def 비어있...
Convex Functional and its minimization Convex / Closed subset의 정의 Def 선형공간 $X$의 부분집합 $C$가 Convex set 이다: $\forall f.g\in C, \quad \forall \lambda \in [0,1]$ 에 대해 $\lambda f+(1-\lambda)g \in C$ 가 성립한다. 또한, 다음과 같이 노음선형공...
Weak Sequential Compactness 약한 점열 컴팩트성 헬리 Helley 의 정리 THM 14 가측집합 $E$와 $1 증명. 노음선형공간 $X$가 separable 하므로, 조밀한 가산부분집합 {$fj:j\in\mathbb{N}$} 을 생각하자. 이때 선형범함수열 $Tn$이 유계이므로, 실수열 {$Tn(f1) : n \in \mathbb{N}$} 을 생각하면 이는 유계실수...
L^p 공간에서의 측도의 약한 수렴 정의 L^p 공간에서의 함수열의 수렴을 정의하기 위해서는 노음선형공간에서의 함수열의 수렴이 먼저 정의되어야 한다. Def 노음선형공간 $X$의 함수열 $fn$이 $f$ 로 약한 수렴한다는 것 ($fn \to f$) 은 다음을 의미한다. $$ \limnT(fn) = T(f)\quad \forall T \in X^\ast $$ Def $fn$이 $f$로...
Duality 선형 범함수 쌍대성(Duality)을 정의하기 이전에, 선형 범함수(linear functional)에 대해 알 필요가 있다. 우선 범함수란, 함수들의 함수로 어떠한 함수공간을 정의역으로 하고 실수 혹은 복소수 집합을 공역으로 하는 함수이다. 이때, 함수공간은 벡터공간이기 때문에 벡터공간에서부터 실수로 정의되는 함수로 이해하는 것이 쉽다. 예로 이전에 살펴보았던 르벡 적분...
Completeness of $L^p$ Spaces 완비성 Def 노음선형공간 X에서 함수열의 수렴 $fn \to f$ 은 다음과 같이 정의한다. $$ \limn\Vert f-fn\Vert = 0 $$ 마찬가지로, 함수열 $fn$이 코시수열임은 다음과 같이 정의한다. $\forall\epsilon>0,\; \exists N \in \mathbb{N}\quad s.t. \\ \Vert f...
$L^p$ Spaces Normed Linear Spaces 노음선형공간 이 장을 시작하기에 앞서, 집합 $E$는 실수 집합의 가측부분집합이고 집합족 $\mathcal{F}$는 $E$에서의 모든 유한(a.e. on E), 가측 실함수들의 모임으로 가정하자. Def 함수간의 동치관계 만약 집합 E에서의 함수 $f,g$ 가 E의 거의 모든점(almost everywhere)에서 같다면 $f...
Lebesgue Integral General Vitali Theorem Def $E$에서의 가측함수들의 집합족 $\mathcal F$가 다음을 만족할 때 $E$에서 Tight 하다고 정의한다. $$\forall \epsilon>0,\; \exists E0 \subseteq E \text{ w/ } m(E0) 일반화된 비탈리 수렴정리 가측집합 $E$에서의 함수열 {$fn$}이 균등적분가...
Lebesgue Integral General Lebesgue Integral Def 함수 $f$에 대해 다음 두 nonnegative 함수를 정의하면 - $f^+ = \max(f, 0)$ - $f^-= -\min(f, 0)$ $$\vert f\vert = f^+ +f^- ,f = f^+-f^- $$ 임을 알 수 있다. 위 두 함수는 nonnegative function 이므로, 이전에...
Lebesgue Integral 유계,유한 가측함수에 대한 르벡 적분 단순함수의 르벡 적분 유한측도를 갖는 $E$ 에서 Canonical Form $\psi = \sum{i=1}^n ai\chi{Ei}$ 을 갖는 단순함수의 적분은 다음과 같이 정의된다. $$\intE \psi = \sum{i=1}^n ai\cdot m(Ei)$$ Lebesgue Integral of bounded $f$...
Lebesgue Measurable Function (르벡 가측함수) 1. Sums, Products, and Compositions Def 다음 조건을 만족시키는 실함수 $f:E \to \mathbb{R}$ 는 르벡 가측함수 Lebesgue Measurable Function 이다: 1) 정의역 E가 가측집합이다. 2) 임의의 실수 $c\in \mathbb{R}$에 대해 집합 $$\l...
Lebesgue Measurable Function (2) Egoroff's THM THM. 유한 측도를 갖는 가측집합 $E$와 $E$에서의 실함수열 $\lbrace fn\rbrace $에 대해 $fn \to f$ 일때 $\cdots$ (a) $\forall \epsilon>0$ 에 대해 닫힌 집합 $F$가 존재하여 $F$에서 $fn$이 $f$로 균등수렴하고 $m(E-F) 0$에 대해...
Lebesgue Measure (르벡 측도) 3. Outer / Inner Approximation of Lebesgue measurable sets Excision Property - 유한 외측도(finite outer measure)를 갖는 가측 집합 $A$가 $A \subseteq B$를 만족한다면 $$m^{\ast}(B-A) = m^{\ast}(B)-m^{\ast}(A)$$ (단...
Lebesgue Measure (르벡 측도) 1. Lebesgue Outer Measure Def 가산개의 비어 있지 않은 열린, 유계 구간열 $\lbrace Ik\rbrace \{k=1}^\infty$ 을 생각하자. 이때 임의의 집합 A에 대해서 $A\subseteq \bigcup{k=1}^\infty Ik$ 를 만족한다면 집합 A의 외측도(outer measure)을 다음과 같이 정...
1. Three Major Axioms in Real Numbers 1. Field Axiom (체공리) 다음 9가지 성질을 만족하는 set $F$ 를 Field(체) 라고 정의한다. 덧셈에 대한 교환법칙(Commutativity) 덧셈에 대한 결합법칙(Associativity) 덧셈에 대한 항등원(Identity) 존재 덧셈에 대한 역원(Inverse) 존재 곱셈에 대한 교환법칙(Co...
1. Countability Def 집합 $E$가 가산무한집합 Countably finite set : $E$가 자연수 집합 $\mathbb{N}$과 equipotent하다. 2. $\sigma$-Algebra Def 집합 $X$의 부분집합들의 모임 collection $F$가 다음 조건을 만족하면 $F$를 $X$의 시그마 대수라고 한다. P1. $\emptyset \in F$ P2....