77d696d4c0
Co-Authored-By: Claude Fable 5 <noreply@anthropic.com> Claude-Session: https://claude.ai/code/session_01Ufr6wUhJAzBaqcaBiRJ1xk
274 lines
37 KiB
Markdown
Executable File
274 lines
37 KiB
Markdown
Executable File
deck:: Logseq/전공공부/선형대수학
|
||
|
||
- ### 핵심 개념
|
||
- **흐름 지도**: [1단계] 사영이란 무엇인가 → [2단계] 좌표축 사영으로 감 잡기 (직교여공간 재조명) → [3단계] 직선 위로의 사영 공식 → [4단계] 사영행렬 $P$ 와 $I - P$ → [5단계] 부분공간 위로의 사영 (정규방정식) → [6단계] $A^{\mathrm{T}}A$ 의 가역성.
|
||
- #### [1단계] 사영이란 무엇인가
|
||
- **왜 필요한가**: $b$ 가 부분공간(예: 열공간) **밖**에 있으면 $Ax = b$ 는 해가 없다. 그때 할 수 있는 최선은 부분공간 **안**에서 $b$ 와 가장 가까운 점을 찾는 것. 그 점이 **사영**(projection) $p$ 다.
|
||
- **정의**: 벡터 $b$ 의 부분공간 $\mathbf{S}$ 위로의 사영 $p$ 는 $\mathbf{S}$ 안에서 $b$ 와 가장 가까운 벡터. 이때 **오차벡터** $e = b - p$ 는 $\mathbf{S}$ 와 직교한다.
|
||
- 📌 원문 (p.219): ((6a7a03f4-57ff-42c6-9820-cc0446588b7a))
|
||
- "가장 가깝다"와 "$e$ 가 직교"는 같은 말이다: 수직으로 내려간 발이 최단 거리라는 것, 이 절 전체가 이 한 문장 위에 서 있다.
|
||
- 직관: 사영 $p$ 는 $b$ 의 "그 방향 성분"이다.
|
||
- 📌 원문 (p.219): ((6a7a0415-779e-42a1-9b91-95340aa2264b))
|
||
- 📌 원문 그림 4.3 (p.221): [🔗 PDF 위치](((6a7b0d35-505d-4e2b-89fb-270f4e5f86de)))
|
||
- 
|
||
- (p.221, 그림 4.3)
|
||
- 💡 **점 관점으로 보기** (끝점의 언어로 번역): 원점 $O$, $b$ 의 끝점을 $B$, $p$ 의 끝점을 $P$ 라 하자.
|
||
- $e = b - p$ 는 기하와 벡터에서 배운 $\overrightarrow{PB} = b - p$ 그대로, **점** $P$ **에서 점** $B$ **로 가는 벡터**다.
|
||
- $P$ 는 부분공간 위에 있는 "수선의 발"이고, $e$ 는 발에서 $B$ 를 향해 부분공간과 수직하게 올라가는 벡터다.
|
||
- $\|e\|$ 가 바로 "점 $B$ 에서 부분공간까지의 거리"다 (책 p.228 요약에도 이 문장이 있다: $b$ 에서 $\mathbf{C}(A)$ 까지의 거리는 $\|e\|$).
|
||
- 이 그림은 차원과 무관하다: 정의에 쓰인 것이 내적(직교)뿐이라, $\mathbb{R}^4$ 이상에서도 2·3차원 직관이 그대로 성립한다. 직선/평면 대신 "부분공간"으로 단어만 바뀐다.
|
||
- #### [2단계] 좌표축 사영으로 감 잡기
|
||
- 🔢 가장 쉬운 사영부터: $b = (2, 3, 4)$ 를 $z$ 축과 $xy$-평면 위로 사영해보자.
|
||
- $z$ 축 위로: $p_1 = (0, 0, 4)$ ($b$ 의 $z$ 성분만 남긴다).
|
||
- $xy$-평면 위로: $p_2 = (2, 3, 0)$ ($x, y$ 성분만 남긴다).
|
||
- 이 "성분만 남기기"를 해주는 행렬이 사영행렬 $P_1, P_2$:
|
||
- 📌 원문 사영행렬 박스 (p.220): [🔗 PDF 위치](((6a7a041f-7af3-4273-a7e3-c56d9b591165)))
|
||
- 
|
||
- 
|
||
- (p.220, 그림 4.2)
|
||
- 관찰: $p_1 + p_2 = (2,3,4) = b$. 두 사영을 합치면 원본이 복원된다!
|
||
- 📌 원문 (p.220): ((6a7a0437-3040-4bc0-a638-f5b5d33a8f99))
|
||
- 행렬 언어로는 $P_1 + P_2 = I$ (복원), $P_1 P_2 = 0$ (한 번 $xy$-평면에 눕힌 벡터는 $z$ 성분이 없어 $z$ 축 사영이 0).
|
||
- 💡 **직교여공간 다시 제대로** (4.1 복습 + 사영의 눈으로): 책이 "직선과 평면은 단순히 직교하는 것을 넘어 서로 직교여공간이다"라고 강조하는 이유가 여기 있다.
|
||
- 📌 원문 (p.220): ((6a7a042f-2b0c-4ecd-949e-f28c59939ff2))
|
||
- **정의 복습**: $\mathbf{V}^{\perp}$ = $\mathbf{V}$ 와 직교하는 벡터 **전부**. 두 공간이 서로의 직교여공간이려면 ① 직교하고 ② 차원 합이 전체 공간을 채워야 한다 ($1 + 2 = 3$ ✓).
|
||
- **"그냥 직교"와 뭐가 다른가**: $z$ 축과 $x$ 축도 직교하지만 $1 + 1 = 2 < 3$ 이라 여공간이 아니다. 이 차이가 사영에서 실전 차이를 만든다:
|
||
- 
|
||
- 여공간 쌍이면: 모든 $b$ 가 두 성분으로 남김없이 분해되고 ($p_1 + p_2 = b$), 행렬로는 $P_1 + P_2 = I$. "분해했다가 재조립"이 가능하다.
|
||
- 여공간이 아니면: $z$ 축·$x$ 축 사영을 합해도 $y$ 성분이 유실되어 $b$ 를 복원할 수 없다 ($P_1 + P_2 \neq I$).
|
||
- 4.1과의 연결: 행공간·영공간이 직교여공간 쌍이라서 $x = x_r + x_n$ 분해가 가능했던 것, 정확히 같은 구조다. **"여공간 = 분해가 되는 직교"** 로 기억하면 된다.
|
||
- ⚠️ 이 절의 목표 선언 (p.220): 어떤 직선이든, 어떤 평면이든, $\mathbb{R}^m$ 의 어떤 $n$ 차원 부분공간이든, ① 사영 $p$ 를 찾고 ② $p = Pb$ 를 만드는 사영행렬 $P$ 를 찾는 것.
|
||
- #### [3단계] 직선 위로의 사영: 공식 유도
|
||
- 설정: $a$ 방향 직선 위에서 $b$ 와 가장 가까운 점 $p$ 를 찾는다. $p$ 는 직선 위에 있으니 $p = \hat{x}a$ (미지수는 배율 $\hat{x}$ 하나).
|
||
- 유일한 무기는 직교: $b$ 에서 $p$ 까지의 오차 $e = b - \hat{x}a$ 가 $a$ 와 직교해야 한다.
|
||
- 📌 원문 (p.221): ((6a7a043f-522f-490b-b277-c1d2a36f849c))
|
||
- $$a \cdot (b - \hat{x}a) = 0 \quad\Rightarrow\quad \hat{x} = \frac{a^{\mathrm{T}}b}{a^{\mathrm{T}}a}$$
|
||
- 📌 원문 식 (2) 박스 (p.222): [🔗 PDF 위치](((6a7a044a-2260-4606-b890-6f4f9333742c)))
|
||
- 
|
||
- 결과: 사영은 $p = \hat{x}a$.
|
||
- 📌 원문 (p.222): [🔗 PDF 위치](((6a7a045f-fe09-47a3-b9b0-74e54a3248ee)))
|
||
- 
|
||
- 특별한 경우 ①: $b = a$ 이면 $\hat{x} = 1$, 사영은 자기 자신 ($Pa = a$).
|
||
- 특별한 경우 ②: $b \perp a$ 이면 $a^{\mathrm{T}}b = 0$, 사영은 $p = 0$.
|
||
- 💡 이 두 극단이 사영의 정체를 말해준다: 이미 직선 위에 있으면 그대로, 완전히 수직이면 아무것도 안 남는다. 일반 $b$ 는 그 중간.
|
||
- 🔢 EX1 (p.222): $b = (1,1,1)$ 을 $a = (1,2,2)$ 위로 사영.
|
||
- $a^{\mathrm{T}}b = 1 + 2 + 2 = 5$, $a^{\mathrm{T}}a = 1 + 4 + 4 = 9$ → $\hat{x} = \frac{5}{9}$.
|
||
- $p = \frac{5}{9}a = (\frac{5}{9}, \frac{10}{9}, \frac{10}{9})$, $e = b - p = (\frac{4}{9}, -\frac{1}{9}, -\frac{1}{9})$.
|
||
- 검산: $e^{\mathrm{T}}a = \frac{4}{9} - \frac{2}{9} - \frac{2}{9} = 0$ ✓.
|
||
- 삼각법과의 연결 (식 (3)): $b, p, e$ 는 직각삼각형을 이루고 $\|p\| = \|b\|\cos\theta$, $\|e\| = \|b\|\sin\theta$.
|
||
- 💡 그런데 $\cos\theta$ 를 직접 구하는 것보다 $\frac{a^{\mathrm{T}}b}{a^{\mathrm{T}}a}$ 계산이 훨씬 쉽다 (EX1에서 $\cos\theta = \frac{5}{3\sqrt{3}}$ 은 제곱근 투성이지만 $\hat{x} = \frac{5}{9}$ 는 깔끔). 내적이 삼각법을 대신해주는 것이 사영 공식의 실용적 가치다.
|
||
- #### [4단계] 사영행렬 $P$ 와 $I - P$
|
||
- $p = a\hat{x} = a\frac{a^{\mathrm{T}}b}{a^{\mathrm{T}}a}$ 에서 $b$ 에 곱해지는 부분만 떼어내면 사영행렬이 나온다:
|
||
- $$P = \frac{aa^{\mathrm{T}}}{a^{\mathrm{T}}a}$$
|
||
- 📌 원문 사영행렬 박스 (p.223): [🔗 PDF 위치](((6a7a046a-3e0f-494b-b603-5a93cc3eeed4)))
|
||
- 
|
||
- 구조 읽기: 열($a$) × 행($a^{\mathrm{T}}$) ÷ 수($a^{\mathrm{T}}a$). 크기는 $m \times m$ 이지만 **랭크 1** (3장의 $uv^{\mathrm{T}}$ 꼴). 열공간이 바로 그 직선이다.
|
||
- 🔢 EX2 (p.223): $a = (1,2,2)$ 방향 직선의 사영행렬.
|
||
- $$P = \frac{1}{9}\begin{bmatrix} 1&2&2 \\ 2&4&4 \\ 2&4&4 \end{bmatrix}$$
|
||
- EX1의 $b = (1,1,1)$ 로 검산: $Pb = \frac{1}{9}(5, 10, 10) = p$ ✓ (같은 답).
|
||
- **사영행렬의 두 성질**:
|
||
- $P^2 = P$: 두 번 사영해도 그대로다 (이미 직선 위에 있는 $p$ 를 또 사영하면 자기 자신, [3단계] 특별한 경우 ①).
|
||
- 📌 원문 (p.219): ((6a7a040f-bcd4-4e55-863a-6152ed91aa7f))
|
||
- $P^{\mathrm{T}} = P$ (대칭): 이 절에서 만든 $P$ 는 자동으로 대칭이다 (연습문제 23: 전치해보면 그대로 $P$).
|
||
- ⚠️ **"어차피 정의상** $e \perp p$ **아닌가?"** (연습문제 0이 다루는 미묘한 지점): "수선의 발을 내린다"로 사영을 정의하면 직교는 당연하다. 그런데 대수 조건 $P^2 = P$ **만** 만족하는 행렬 중에는 수선의 발이 아닌 **비스듬한 사영**(oblique projection)도 있다. 그런 가짜(?)를 걸러내는 조건이 $P^{\mathrm{T}} = P$ 다.
|
||
- 사영의 넓은 정의는 "$P^2 = P$" 하나뿐이다: 결과가 $P$ 의 열공간에 떨어지고, 이미 거기 있는 벡터는 안 움직인다. "그림자의 그림자는 자기 자신"은 빛이 **비스듬히 들어와도** 성립한다. 즉 $P^2 = P$ 는 "L 위에 떨어뜨린다"까지만 보장하고, "수직으로 떨어뜨린다"는 보장하지 않는다.
|
||
- 🔢 반례 체험 (연습문제 0의 행렬): $P = \begin{bmatrix} 0&1 \\ 0&1 \end{bmatrix}$ 은 $P^2 = P$ 를 만족하고 직선 $y = x$ 위로 떨어뜨린다. 그런데 $b = (0, 1)$ 을 넣으면:
|
||
- $p = Pb = (1, 1)$, $e = b - p = (-1, 0)$, 내적 $p^{\mathrm{T}}e = -1 \neq 0$. **직교가 아니다!**
|
||
- 수선의 발은 $(\frac{1}{2}, \frac{1}{2})$ 인데, 이 $P$ 는 $b$ 를 $x$ 방향으로 **옆으로 미끄러뜨려** $(1,1)$ 에 떨어뜨린다. 거리도 $\|e\| = 1 > \frac{1}{\sqrt{2}}$ 라서 최단이 아니다.
|
||
- 
|
||
- 정리하면: "정의상 이미 직교"라는 직관은 **수선의 발(직교사영)이라는 정의를 이미 채택했을 때** 이야기다. 이 절의 $P = A(A^{\mathrm{T}}A)^{-1}A^{\mathrm{T}}$ 는 직교 조건에서 **유도**했으므로 자동으로 직교사영이 맞다. 문제는 방향이 반대일 때다: 정체 모를 행렬 $P$ 가 주어졌을 때 "이거 직교사영 맞아?"를 판정하려면 $P^2 = P$ (사영이긴 한가) 와 $P^{\mathrm{T}} = P$ (수선의 발인가) 를 **둘 다** 확인해야 한다.
|
||
- 왜 하필 "대칭"이 직교를 보장하나 (4.1 기본정리 2로 설명하면 명쾌하다):
|
||
- $p = Pb$ 는 열공간 $\mathbf{C}(P)$ 에 살고, $e = (I-P)b$ 는 영공간 $\mathbf{N}(P)$ 에 산다 ($Pe = Pb - P^2b = 0$).
|
||
- 그런데 기본정리 2가 보장하는 직교는 $\mathbf{N}(P) \perp \mathbf{C}(P^{\mathrm{T}})$, 즉 영공간 ⊥ **행공간**이다. 열공간과의 직교는 공짜가 아니다!
|
||
- $P^{\mathrm{T}} = P$ 면 행공간 = 열공간이 되므로 그제서야 $\mathbf{N}(P) \perp \mathbf{C}(P)$, 즉 $e \perp p$ 가 성립한다.
|
||
- 반례 행렬로 확인: 행공간은 $(0,1)$ 방향, 열공간은 $(1,1)$ 방향으로 서로 다르다. $e = (-1,0)$ 은 행공간과는 직교하지만 ✓ 열공간(사영이 떨어지는 곳)과는 직교하지 않는다 ✗.
|
||
- 대수 한 줄 확인: $p^{\mathrm{T}}e = (Pb)^{\mathrm{T}}(I-P)b = b^{\mathrm{T}}P^{\mathrm{T}}(I-P)b$ 인데, $P^{\mathrm{T}} = P$ 를 쓰면 $b^{\mathrm{T}}(P - P^2)b = 0$ (모든 $b$ 에서).
|
||
- $I - P$ 도 사영행렬이다:
|
||
- 📌 원문 (p.223): ((6a7af20e-41d5-4040-a603-a53e5809a41f)) / ((6a7af214-6b8f-4d35-99ab-549c781aa104))
|
||
- $Pb = p$ 이므로 $(I - P)b = b - p = e$. 즉 $I - P$ 는 **오차 쪽을 만들어주는 사영**이다.
|
||
- $P$ 가 부분공간 $\mathbf{S}$ 위로 사영하면, $I - P$ 는 **직교여공간** $\mathbf{S}^{\perp}$ 위로 사영한다 ([2단계]의 여공간 그림 그대로: 둘이 합쳐 $I$).
|
||
- 한 그림 정리: 같은 $b$ 를 두 곳에 사영한 것이 $p$ 와 $e$ 다. 각 사영의 오차는 상대편의 사영이 된다 ($P$ 의 오차 = $e$, $I-P$ 의 오차 = $p$).
|
||
- 
|
||
- ⚠️ 흔한 오해 교정: $I - P$ 를 "$a$ 를 $b$ 에 사영하는 행렬"로 착각하기 쉽다. 아니다! 두 행렬 모두 **사영당하는 벡터는 똑같이** $b$ 이고, 바뀌는 것은 **도착지**뿐이다 ($P$ 는 직선 $L$, $I-P$ 는 여공간 $L^{\perp}$). "$a$ 를 $b$ 방향에 사영"하는 행렬은 $\frac{bb^{\mathrm{T}}}{b^{\mathrm{T}}b}$ 로, $I - P$ 와는 전혀 다른 행렬이다 (연습문제 10이 정확히 이 차이를 다룬다: $a_1$ 을 $a_2$ 에 사영하고 그 결과를 다시 $a_1$ 에 사영하는 것은 $P_1 P_2$ 라는 곱이지, $I - P$ 가 아니다).
|
||
- 💡 $b$ 의 $a$ 쪽 성분은 $P$ 가, 남은 수직 성분은 $I - P$ 가 담당. $P + (I - P) = I$ 는 "성분 분해의 완전성"이다.
|
||
- #### [5단계] 부분공간 위로의 사영: 정규방정식이 태어나는 과정
|
||
- **문제를 다시 정확히 읽기** (여기서 헷갈리기 쉽다): $\mathbb{R}^m$ 안에 선형독립인 벡터 $a_1, \ldots, a_n$ 이 있다. 목표는 "$b$ 와 가장 가까운 **선형결합** $p = \hat{x}_1 a_1 + \cdots + \hat{x}_n a_n$ 을 구하라".
|
||
- 미지수가 무엇인지부터: 벡터가 아니라 **결합 계수** $\hat{x} = (\hat{x}_1, \ldots, \hat{x}_n)$, 즉 숫자 $n$ 개다. 직선 때 $\hat{x}$ 하나였던 것이 $n$ 개로 늘었을 뿐이다.
|
||
- $a_i$ 들을 열로 넣은 행렬 $A$ 를 쓰면 선형결합은 $Ax$ (1장), 그러니 목표는 $p = A\hat{x}$: "열공간 안에서 $b$ 와 가장 가까운 점".
|
||
- 📌 원문 (p.224): ((6a7af225-e248-4100-b418-ce9559de344b)) / ((6a7af22c-331d-4718-b45f-3c7997457022))
|
||
- 모자(hat) 기호의 뜻: $\hat{x}$ 는 "$Ax = b$ 의 해"가 아니라 (해는 없을 수 있다!) "열공간 안에서 최선을 주는 계수"라는 표시다.
|
||
- **전략은 직선 때와 완전히 같은 3단계** (S)(C)(T): ① $\hat{x}$ 을 구하고 → ② 사영 $p = A\hat{x}$ → ③ 사영행렬 $P$.
|
||
- 📌 원문 (p.224): ((6a7af232-2329-4ae5-8b0b-f32445874c99))
|
||
- **유도, 잘게 쪼개기** (식 (4)): 쓸 수 있는 기하 사실은 단 하나, "오차 $e = b - A\hat{x}$ 는 부분공간과 직교한다".
|
||
- 📌 원문 (p.224): ((6a7af237-5421-4b5e-9aaf-f18ab9f7b198))
|
||
- ① "부분공간 전체와 직교" ⟺ "기저 $a_1, \ldots, a_n$ 각각과 직교" (기저와 직교하면 모든 선형결합과 직교, 4.1 문제 17 보충에서 쓴 바로 그 논리).
|
||
- ② 그래서 내적 방정식이 정확히 $n$ 개 나온다: $a_1^{\mathrm{T}}(b - A\hat{x}) = 0,\ \ldots,\ a_n^{\mathrm{T}}(b - A\hat{x}) = 0$.
|
||
- ③ 이 $n$ 개를 행렬로 묶는다: $a_i^{\mathrm{T}}$ 들을 행으로 쌓은 행렬이 바로 $A^{\mathrm{T}}$ 다. 그러면 $n$ 개의 식이 한 줄이 된다:
|
||
- $$A^{\mathrm{T}}(b - A\hat{x}) = 0$$
|
||
- 📌 원문 식 (4) (p.224): [🔗 PDF 위치](((6a7b0d0a-167b-4f1f-9889-09c8be19e7e0)))
|
||
- 
|
||
- ④ 괄호를 풀어 이항하면 **정규방정식**(normal equation):
|
||
- $$A^{\mathrm{T}}A\hat{x} = A^{\mathrm{T}}b$$
|
||
- 📌 원문 (p.225): ((6a7af250-44f8-4e4d-8c66-e774cd33390a))
|
||
- 💡 "갑자기 방정식이 왜 나오지?"에 대한 답: 미지수가 계수 $n$ 개인데 직교 조건이 딱 $n$ 개의 식을 주니까, 그 둘을 맞춰 놓은 $n \times n$ 연립방정식을 푸는 것이다. 마법이 아니라 "미지수 개수 = 조건 개수" 맞추기다. 계수행렬이 $A^{\mathrm{T}}A$ 인 이유도 위 ③에서 눈으로 확인된다.
|
||
- 💡 더 빠른 유도 (책의 ❶❷, 4.1의 언어로): ❶ 부분공간은 $\mathbf{C}(A)$ 다 → ❷ 오차 $e$ 는 열공간과 직교하는 공간, 즉 **좌영공간** $\mathbf{N}(A^{\mathrm{T}})$ 에 있다 → $A^{\mathrm{T}}e = 0$. 끝. (기본정리 2가 유도를 한 줄로 만든다.)
|
||
- 📌 원문 ❶❷ 박스 (p.225): [🔗 PDF 위치](((6a7af25d-f986-4721-a903-e7463d07eb9a)))
|
||
- 
|
||
- 덤: $b$ 는 $p$ ($\mathbf{C}(A)$ 성분)와 $e$ ($\mathbf{N}(A^{\mathrm{T}})$ 성분)로 분해된다. 4.1의 $x = x_r + x_n$ 이 $\mathbb{R}^m$ 쪽 쌍(열공간·좌영공간)에서 재현된 것이 $b = p + e$ 다!
|
||
- 🧩 **결과 3공식** (식 (5), (6), (7), 꼭 기억):
|
||
- 📌 원문 3공식 박스 (p.225): [🔗 PDF 위치](((6a7af245-203a-4d34-99d3-63a1f7a3bc3e)))
|
||
- 
|
||
- ($n \times 1$) $\hat{x}$: $A^{\mathrm{T}}A\hat{x} = A^{\mathrm{T}}b$ 의 해, $\hat{x} = (A^{\mathrm{T}}A)^{-1}A^{\mathrm{T}}b$.
|
||
- ($m \times 1$) 사영: $p = A\hat{x} = A(A^{\mathrm{T}}A)^{-1}A^{\mathrm{T}}b$.
|
||
- ($m \times m$) 사영행렬: $P = A(A^{\mathrm{T}}A)^{-1}A^{\mathrm{T}}$.
|
||
- 📌 원문 (p.219): ((6a7a0403-2799-49a5-952d-9fdf5d50e671))
|
||
- 검산 감각: $n = 1$ 이면 $A^{\mathrm{T}}A = a^{\mathrm{T}}a$ (1×1 숫자)라서 "역행렬"이 "나누기"가 되고, [3단계]·[4단계]의 직선 공식 (식 (8))로 정확히 환원된다. 새 공식이 아니라 직선 공식의 일반화다.
|
||
- 🔢 EX3 (p.226) 전체 계산: $A = \begin{bmatrix} 1&0 \\ 1&1 \\ 1&2 \end{bmatrix}$, $b = (6, 0, 0)$.
|
||
- ① 재료 준비: $A^{\mathrm{T}}A = \begin{bmatrix} 3&3 \\ 3&5 \end{bmatrix}$, $A^{\mathrm{T}}b = (6, 0)$.
|
||
- ② 정규방정식 풀기: $3\hat{x}_1 + 3\hat{x}_2 = 6$, $3\hat{x}_1 + 5\hat{x}_2 = 0$. 빼면 $2\hat{x}_2 = -6$ → $\hat{x} = (5, -3)$.
|
||
- ③ 사영: $p = 5(1,1,1) - 3(0,1,2) = (5, 2, -1)$. 오차: $e = b - p = (1, -2, 1)$.
|
||
- ④ 검산: $e \cdot (1,1,1) = 0$ ✓, $e \cdot (0,1,2) = -2 + 2 = 0$ ✓ (오차가 두 열 모두와 직교).
|
||
- ⑤ 사영행렬까지: $(A^{\mathrm{T}}A)^{-1} = \frac{1}{6}\begin{bmatrix} 5&-3 \\ -3&3 \end{bmatrix}$, $P = \frac{1}{6}\begin{bmatrix} 5&2&-1 \\ 2&2&2 \\ -1&2&5 \end{bmatrix}$. $Pb = (5,2,-1) = p$ ✓.
|
||
- ⚠️ $P = A(A^{\mathrm{T}}A)^{-1}A^{\mathrm{T}}$ **계산 주의**: $(A^{\mathrm{T}}A)^{-1}$ 를 $A^{-1}(A^{\mathrm{T}})^{-1}$ 로 쪼개면 안 된다!
|
||
- 📌 원문 (p.226): ((6a7af267-9dca-45c0-bc40-f0a8db37093b)) / ((6a7af26d-7da7-41db-ba30-fac9454a16e0))
|
||
- 쪼개면 $P = AA^{-1}(A^{\mathrm{T}})^{-1}A^{\mathrm{T}} = I$ 가 나와버리는데, $A$ 는 직사각행렬이라 $A^{-1}$ 자체가 존재하지 않는다 ($(BC)^{-1} = C^{-1}B^{-1}$ 는 각각이 가역인 정사각일 때만).
|
||
- 💡 뒤집어 보면, $A$ 가 진짜 가역 정사각이면 $P = I$ 가 **맞는 답**이다: 열공간이 $\mathbb{R}^m$ 전체라 모든 $b$ 의 사영이 자기 자신 (연습문제 9·24).
|
||
- #### [6단계] $A^{\mathrm{T}}A$ 는 언제 가역인가
|
||
- 정규방정식을 "풀 수 있다"고 말하려면 $A^{\mathrm{T}}A$ 의 가역이 보장돼야 한다. 조건은 딱 하나:
|
||
- 📌 원문 (p.227): ((6a7af283-66b3-4560-ae49-96b3acabb433))
|
||
- 🧩 $A^{\mathrm{T}}A$ **가 가역행렬일 필요충분조건은** $A$ **의 열이 선형독립인 것이다.**
|
||
- 증명의 핵심은 4.1 연습문제 9 그대로: $\mathbf{N}(A^{\mathrm{T}}A) = \mathbf{N}(A)$.
|
||
- $A^{\mathrm{T}}Ax = 0$ 이면 $x^{\mathrm{T}}$ 를 곱해 $\|Ax\|^2 = 0$ → $Ax = 0$ (식 (12), 지난 절에서 두 가지 방법으로 증명했던 그 사실).
|
||
- 📌 원문 식 (12) (p.227): [🔗 PDF 위치](((6a7b0d23-2b91-414c-a5e2-50a025e0a7ba)))
|
||
- 
|
||
- 열이 독립이면 $\mathbf{N}(A) = \{0\}$ → $\mathbf{N}(A^{\mathrm{T}}A) = \{0\}$ → 정사각행렬 $A^{\mathrm{T}}A$ 는 가역 (4.1 [6단계]의 "영공간이 0뿐인 정사각 = 가역").
|
||
- 열이 종속이면 같은 논리로 $A^{\mathrm{T}}A$ 도 특이행렬. 책의 2×2 예: $\begin{bmatrix} 1&2 \\ 1&2 \\ 0&0 \end{bmatrix}$ 는 $A^{\mathrm{T}}A = \begin{bmatrix} 2&4 \\ 4&8 \end{bmatrix}$ (특이), 3열을 $(0,0,1)$ 로 바꾸면 가역.
|
||
- $A^{\mathrm{T}}A$ 의 프로필 정리: 크기 $n \times n$ 정사각, 대칭 ($(A^{\mathrm{T}}A)^{\mathrm{T}} = A^{\mathrm{T}}A$), 열 독립일 때 가역. "직사각행렬 문제는 항상 $A^{\mathrm{T}}A$ 로 이어진다"(p.227)는 경험칙을 기억할 것.
|
||
- 💡 수위 조절: 다음 절(4.3 최소제곱)이 정확히 이 장비로 싸운다. 해가 없는 $Ax = b$ (데이터 근사)에서 정규방정식 $A^{\mathrm{T}}A\hat{x} = A^{\mathrm{T}}b$ 를 풀면 "최선의 근사해"가 나온다. 이 절에서는 "사영 계산 도구"까지만 알면 충분하다.
|
||
- **한눈 요약** (핵심 아이디어 리뷰, p.228):
|
||
- 📌 원문 (p.228): [🔗 PDF 위치](((6a7af28d-1121-4a8f-94c5-3749f4744e14)))
|
||
- 
|
||
- ### ❓ 스스로 점검
|
||
- 사영 $p$ 와 오차벡터 $e$ 의 정의는? $e$ 는 무엇과 직교하며, $\|e\|$ 의 기하적 의미는? #card
|
||
id:: 6a7ca96e-09cf-461b-9c23-ec6dc6aa645c
|
||
- $p$: 부분공간 안에서 $b$ 와 가장 가까운 벡터. $e = b - p$.
|
||
- $e$ 는 그 부분공간 전체와 직교한다 ($e \in \mathbf{N}(A^{\mathrm{T}})$, 좌영공간).
|
||
- $\|e\|$ 는 $b$ 의 끝점에서 부분공간까지의 거리다 (수선의 발까지의 길이).
|
||
- 직선 위로의 사영 공식 $\hat{x} = \frac{a^{\mathrm{T}}b}{a^{\mathrm{T}}a}$ 는 어떤 한 줄에서 나오는가? #card
|
||
id:: 6a7ca96e-1a89-4767-9639-2ff64a62cce2
|
||
- $p = \hat{x}a$ 로 놓고, 오차 $b - \hat{x}a$ 가 $a$ 와 직교한다는 조건 $a \cdot (b - \hat{x}a) = 0$ 을 풀면 된다.
|
||
- 사영행렬은 $b$ 에 곱해지는 부분을 떼어낸 $P = \frac{aa^{\mathrm{T}}}{a^{\mathrm{T}}a}$ (랭크 1).
|
||
- 정규방정식 $A^{\mathrm{T}}A\hat{x} = A^{\mathrm{T}}b$ 에서 미지수는 무엇이고, 이 방정식은 어떤 기하 사실에서 나오는가? #card
|
||
id:: 6a7ca96e-b68a-4380-b338-5ca805a2f1cb
|
||
- 미지수는 선형결합의 계수 $\hat{x}$ ($n$ 개의 숫자).
|
||
- 기하 사실은 "오차 $b - A\hat{x}$ 가 부분공간(= 각 기저 $a_i$)과 직교한다" 하나뿐이다.
|
||
- $n$ 개의 내적 방정식 $a_i^{\mathrm{T}}(b - A\hat{x}) = 0$ 을 행렬로 묶으면 $A^{\mathrm{T}}(b - A\hat{x}) = 0$.
|
||
- $A^{\mathrm{T}}A$ 가 가역일 필요충분조건은? 증명의 핵심 한 줄은?
|
||
- $A$ 의 열이 {{c1 선형독립}} 인 것.
|
||
extra:: 핵심: $\mathbf{N}(A^{\mathrm{T}}A) = \mathbf{N}(A)$ ($A^{\mathrm{T}}Ax = 0$ 이면 $\|Ax\|^2 = x^{\mathrm{T}}A^{\mathrm{T}}Ax = 0$).
|
||
id:: 6a7ca96e-03e7-40bf-ba0a-907b79143ed9
|
||
- $I - P$ 는 무엇 위로 사영하는 행렬인가? $P^2 = P$ 인 직관적 이유는? #card
|
||
id:: 6a7ca96e-9a8a-4454-835f-190ae98b2a06
|
||
- $P$ 가 사영하는 부분공간의 **직교여공간** 위로 사영한다. $(I-P)b = e$.
|
||
- 이미 부분공간 위에 있는 벡터를 다시 사영하면 자기 자신이라서 $P(Pb) = Pb$, 즉 $P^2 = P$.
|
||
- 두 사영행렬이 $P_1 + P_2 = I$ 를 만족하려면 두 부분공간은 어떤 관계여야 하는가?
|
||
- 서로의 {{c1 직교여공간}}이어야 한다
|
||
extra:: (직교 + 차원 합 = 전체). 그냥 직교이기만 하면 (예: $\mathbb{R}^3$ 의 $z$ 축과 $x$ 축) 사영 합이 $b$ 를 복원하지 못한다.
|
||
id:: 6a7ca96e-04eb-4960-b446-a5e0c6f6d7f9
|
||
- $A^{\mathrm{T}}A$ 와 $AA^{\mathrm{T}}$ 의 각 성분은 무엇을 의미하는가? (내적 표 읽기)
|
||
- 출발점은 곱셈 규칙 하나: $(XY)_{ij}$ = ($X$ 의 $i$ 행) · ($Y$ 의 $j$ 열).
|
||
- $A^{\mathrm{T}}A$ 에 적용: $A^{\mathrm{T}}$ 의 $i$ 행은 곧 $A$ 의 $i$ 열이므로, $(A^{\mathrm{T}}A)_{ij}$ = ($i$ 열) · ($j$ 열). :-> **열끼리의 내적 표**.
|
||
id:: 6a7ca96e-e08e-454c-88b4-f610e54249e7
|
||
- $AA^{\mathrm{T}}$ 에 적용: $A^{\mathrm{T}}$ 의 $j$ 열은 곧 $A$ 의 $j$ 행이므로, $(AA^{\mathrm{T}})_{ij}$ = ($i$ 행) · ($j$ 행). :-> **행끼리의 내적 표**.
|
||
id:: 6a7ca96e-549a-4b49-9b40-e9bc5396cdb8
|
||
- 왜 그런지 한 번만 천천히: $A^{\mathrm{T}}A$ 의 $(i,j)$ 성분을 곱셈 규칙에 넣으면 "$A^{\mathrm{T}}$ 의 $i$ 행"과 "$A$ 의 $j$ 열"의 내적이다.
|
||
- 그런데 $A^{\mathrm{T}}$ 는 $A$ 를 눕힌 것이라서, $A^{\mathrm{T}}$ 의 $i$ 행을 다시 세우면 정확히 $A$ 의 $i$ 열이다.
|
||
- 그래서 "($A$ 의 $i$ 열) 내적 ($A$ 의 $j$ 열)"이 된다. $AA^{\mathrm{T}}$ 는 역할이 반대일 뿐 같은 논리다.
|
||
- 🔢 작은 예로 직접 확인: 열이 $c_1 = (1, 3, 0)$, $c_2 = (2, 4, 1)$ 인 $3 \times 2$ 행렬 $A$.
|
||
- 내적 표 방식: $c_1 \cdot c_1 = 1 + 9 + 0 = 10$, $c_1 \cdot c_2 = 2 + 12 + 0 = 14$, $c_2 \cdot c_2 = 4 + 16 + 1 = 21$.
|
||
- $$A^{\mathrm{T}}A = \begin{bmatrix} c_1 \cdot c_1 & c_1 \cdot c_2 \\ c_2 \cdot c_1 & c_2 \cdot c_2 \end{bmatrix} = \begin{bmatrix} 10&14 \\ 14&21 \end{bmatrix}$$
|
||
- 정직하게 행렬 곱으로 계산해도 같은 답이 나온다. 앞으로 $A^{\mathrm{T}}A$ 가 보이면 곱셈 대신 "내적 표 채우기"로 계산해도 된다는 뜻이다.
|
||
- 전치가 어느 쪽에 붙었는지가 "누구끼리 내적하는지"를 정한다. 내적을 $a^{\mathrm{T}}a$ 로 쓰는 문법을 벡터 여러 개로 확장한 것이다 (이런 내적 표를 **그람 행렬**(Gram matrix)이라고도 부른다).
|
||
- 따라오는 성질 3가지:
|
||
- 대각 성분 = 각 열(행)의 크기 제곱 ($a^{\mathrm{T}}a = \|a\|^2$ 의 확장).
|
||
- 둘 다 대칭행렬이다 (내적은 순서 무관: $i$ 열·$j$ 열 = $j$ 열·$i$ 열).
|
||
- 크기: $A$ 가 $m \times n$ 이면 $A^{\mathrm{T}}A$ 는 $n \times n$ (열 개수 기준), $AA^{\mathrm{T}}$ 는 $m \times m$ (행 개수 기준).
|
||
- 직선 사영 공식이 바로 특수 케이스다: 열 1개짜리 $A = a$ 면 $A^{\mathrm{T}}A = a^{\mathrm{T}}a$ (1×1 숫자), $AA^{\mathrm{T}} = aa^{\mathrm{T}}$ ($m \times m$ 랭크 1 행렬).
|
||
- 그래서 $P = \frac{aa^{\mathrm{T}}}{a^{\mathrm{T}}a}$ 와 $P = A(A^{\mathrm{T}}A)^{-1}A^{\mathrm{T}}$ 는 같은 구조다 (열이 여러 개가 되면서 "나누기"가 "역행렬"로 승격된 것).
|
||
- 이 눈으로 [6단계]를 다시 읽으면: $A^{\mathrm{T}}A = I$ ⟺ 내적 표가 항등행렬 ⟺ 자기 자신과는 1 (크기 1), 서로 다른 열끼리는 0 (직교) ⟺ 열들이 **정규직교** (문제 14에서 체험한 것).
|
||
- ### ✏️ 연습문제 풀이 (솔루션 참고)
|
||
- **문제 1**: 벡터 $b$ 를 $a$ 방향 직선 위로 사영하고 $e \perp a$ 를 확인하라. (a) $b = (1,2,2)$, $a = (1,1,1)$ (b) $b = (1,3,1)$, $a = (-1,-3,-1)$
|
||
- 🔁 개념 상기: 직선 사영 3종 세트는 $\hat{x} = \frac{a^{\mathrm{T}}b}{a^{\mathrm{T}}a}$ → $p = \hat{x}a$ → $e = b - p$ ([3단계]). 검산은 항상 $e^{\mathrm{T}}a = 0$.
|
||
- (a) 계산:
|
||
- $a^{\mathrm{T}}b = 1 + 2 + 2 = 5$, $a^{\mathrm{T}}a = 3$ → $\hat{x} = \frac{5}{3}$.
|
||
- $p = (\frac{5}{3}, \frac{5}{3}, \frac{5}{3})$, $e = b - p = (-\frac{2}{3}, \frac{1}{3}, \frac{1}{3})$.
|
||
- 검산: $e^{\mathrm{T}}a = -\frac{2}{3} + \frac{1}{3} + \frac{1}{3} = 0$ ✓.
|
||
- (b) 계산:
|
||
- $a^{\mathrm{T}}b = -1 - 9 - 1 = -11$, $a^{\mathrm{T}}a = 11$ → $\hat{x} = -1$.
|
||
- $p = -a = (1, 3, 1) = b$! 오차 $e = 0$.
|
||
- 왜: $a = -b$ 라서 $b$ 가 이미 그 직선 위에 있다. [3단계] 특별한 경우 ①의 변형 (방향이 반대여도 같은 직선).
|
||
- 핵심 문장: $b$ 가 이미 직선 위에 있으면 사영은 자기 자신이고 $e = 0$ 이다. 부호 반대 방향도 같은 직선이다.
|
||
- **문제 8·9**: $b = (1,1)$ 을 $a_1 = (1,0)$, $a_2 = (1,2)$ 방향 직선에 각각 사영하고 합을 보라. 그리고 두 벡터가 이루는 평면 위로의 사영은?
|
||
- 📌 참고 그림 (p.231):
|
||
- 
|
||
- 🔁 개념 상기: [2단계]에서 $p_1 + p_2 = b$ 가 성립한 건 두 공간이 **직교여공간**이었기 때문이다. 직교하지 않는 두 직선이면 어떻게 되는지 보는 문제.
|
||
- 1단계, 각각 사영:
|
||
- $a_1$ 위로: $\hat{x} = \frac{1}{1} = 1$ → $p_1 = (1, 0)$.
|
||
- $a_2$ 위로: $a_2^{\mathrm{T}}b = 3$, $a_2^{\mathrm{T}}a_2 = 5$ → $p_2 = \frac{3}{5}(1,2) = (\frac{3}{5}, \frac{6}{5})$.
|
||
- 2단계, 합해보기: $p_1 + p_2 = (\frac{8}{5}, \frac{6}{5}) \neq (1, 1) = b$.
|
||
- 이유: $a_1^{\mathrm{T}}a_2 = 1 \neq 0$, 두 직선이 직교하지 않아서 두 사영이 성분을 **중복으로** 집어간다 ([그림 4.5]의 상황).
|
||
- 대비 (문제 5~7, [그림 4.4]): 기저가 서로 직교하면 $P_1 + P_2 + P_3 = I$, 사영 합이 정확히 $b$ 가 된다. "직교 기저는 사영을 낱개로 쪼개 계산해도 된다"는 이 사실이 4.4절(정규직교기저)의 예고편이다.
|
||
- 3단계 (문제 9), 평면 위로 제대로 사영하면: $a_1, a_2$ 가 이루는 평면은 $\mathbb{R}^2$ 전체다. $A = \begin{bmatrix} 1&1 \\ 0&2 \end{bmatrix}$ 는 가역 정사각이므로
|
||
- $P = A(A^{\mathrm{T}}A)^{-1}A^{\mathrm{T}} = AA^{-1}(A^{\mathrm{T}})^{-1}A^{\mathrm{T}} = I$ (가역일 땐 이 분리가 합법! [5단계] ⚠️의 뒤집기).
|
||
- 사영은 $p = Ib = b$, 오차 $e = 0$. 전체 공간 위로의 사영은 아무것도 바꾸지 않는다.
|
||
- 핵심 문장: 직교하지 않는 방향들로의 사영은 합쳐도 $b$ 가 안 된다. 낱개 사영의 합이 전체 사영이 되는 것은 직교 기저의 특권이다.
|
||
- **문제 14** (꼭 풀어볼 만한 문제): $A$ 는 $4 \times 4$ 항등행렬에서 마지막 열을 제거한 $4 \times 3$ 행렬이다. $b = (1,2,3,4)$ 를 $\mathbf{C}(A)$ 위로 사영하라. 사영행렬 $P$ 는?
|
||
- 🔁 개념 상기: 이 문제는 공식보다 [2단계]의 "좌표축 사영 = 성분만 남기기"가 주인공이다. $b = (2,3,4)$ 를 $xy$-평면에 사영하면 $(2,3,0)$ 이었던 것, 그 4차원 버전.
|
||
- **방법 ① 관찰로 바로 풀기** (공식 계산 없음, 이게 정공법):
|
||
- 열공간 파악: $A$ 의 열은 $e_1 = (1,0,0,0)$, $e_2 = (0,1,0,0)$, $e_3 = (0,0,1,0)$. 열공간 = "**4번째 성분이 0인 벡터 전체**" ($\mathbb{R}^4$ 안의 3차원 좌표 부분공간).
|
||
- 그 공간 위로의 사영은 [2단계]의 $xy$-평면 사영과 똑같은 원리다: $b$ 의 1~3번째 성분은 이미 그 공간 방향이니 그대로 두고, 공간과 수직인 4번째 성분만 지운다.
|
||
- 그래서 계산 없이 즉답: $p = (1, 2, 3, 0)$, 그리고 $P$ 는 $I_4$ 에서 마지막 대각 성분 1을 0으로 바꾼 행렬.
|
||
- $$P = \begin{bmatrix} 1&0&0&0 \\ 0&1&0&0 \\ 0&0&1&0 \\ 0&0&0&0 \end{bmatrix}$$
|
||
- 검산: $e = b - p = (0,0,0,4)$ 는 $e_1, e_2, e_3$ 모두와 직교 ✓ (4번째 축 방향이니까). "오차 ⊥ 부분공간" 확인 끝, 이러면 이 $p$ 가 사영이 맞다는 게 보장된다 ([1단계] 정의).
|
||
- **방법 ② 공식으로 검증하기** ($P = A(A^{\mathrm{T}}A)^{-1}A^{\mathrm{T}}$ 가 같은 답을 주는지):
|
||
- $A^{\mathrm{T}}A$ 를 겁먹지 말고 성분 단위로 읽자. 곱셈 규칙상 $(A^{\mathrm{T}}A)_{ij} = (A$ 의 $i$ 열$) \cdot (A$ 의 $j$ 열$)$, 즉 $A^{\mathrm{T}}A$ 는 **열들끼리의 내적을 모아둔 표**다 (외우면 평생 쓰는 사실).
|
||
- 여기 열들은 $e_1, e_2, e_3$: 자기 자신과의 내적은 전부 1, 서로 다른 열끼리는 전부 0. 표를 채우면:
|
||
- $$A^{\mathrm{T}}A = \begin{bmatrix} e_1 \cdot e_1 & e_1 \cdot e_2 & e_1 \cdot e_3 \\ e_2 \cdot e_1 & e_2 \cdot e_2 & e_2 \cdot e_3 \\ e_3 \cdot e_1 & e_3 \cdot e_2 & e_3 \cdot e_3 \end{bmatrix} = \begin{bmatrix} 1&0&0 \\ 0&1&0 \\ 0&0&1 \end{bmatrix} = I_3$$
|
||
- "$A^{\mathrm{T}}A = I_3$" 이라는 해설의 한 줄은 이 내적 표 9칸을 채운 것뿐이다. 역행렬 계산이 필요 없어진다: $(I_3)^{-1} = I_3$.
|
||
- $$P = A\,I_3\,A^{\mathrm{T}} = AA^{\mathrm{T}}$$
|
||
- $AA^{\mathrm{T}}$ 도 같은 요령으로: $(AA^{\mathrm{T}})_{ij} = (A$ 의 $i$ 행$) \cdot (A$ 의 $j$ 행$)$. $A$ 의 행은 $(1,0,0), (0,1,0), (0,0,1), (0,0,0)$ 이라서 대각에 $1,1,1,0$, 나머지 0. 방법 ①의 $P$ 와 정확히 일치 ✓.
|
||
- 💡 **보충: 두 방법의 관계** (관찰 풀이가 약식이 아닌 이유):
|
||
- 방법 ①은 편법이 아니라 **사영의 정의를 직접 쓴 것**이다: "$p$ 는 부분공간 안 + $e = b - p$ 는 부분공간과 직교"를 눈으로 확인했으니 증명까지 끝난 완전한 풀이다. 부분공간이 좌표축 방향일 때는 이게 항상 최선이다.
|
||
- 공식 ②의 존재 이유는 **눈으로 안 보일 때**다: 열들이 $(1,1,0,2)$ 처럼 비스듬하면 "성분만 남기기"가 통하지 않으니, 그때 기계적으로 돌리는 만능 크랭크가 $A(A^{\mathrm{T}}A)^{-1}A^{\mathrm{T}}$ 다 (EX3, 문제 20이 그런 경우).
|
||
- 이 문제에서 공식이 유난히 쉽게 끝난 이유를 한 문장으로: **열들이 정규직교** (서로 직교 + 크기 1) → 내적 표 $A^{\mathrm{T}}A$ 가 $I$ → 역행렬이 공짜 → $P = AA^{\mathrm{T}}$. 즉 "쉬움"은 우연이 아니라 열들의 직교성이 만든 것이다.
|
||
- 💡 수위 조절: 이 "정규직교 열이면 $P = AA^{\mathrm{T}}$ 로 초간단" 이라는 좋은 성질을 **아무 행렬에나 만들어주는 공장**이 4.4절 그람-슈미트다. 지금은 이 맛보기만.
|
||
- 핵심 문장: $A^{\mathrm{T}}A$ 는 열들의 내적 표다. 열들이 정규직교면 그 표가 $I$ 가 되어 $P = AA^{\mathrm{T}}$, 사영은 "해당 성분만 남기기"가 된다.
|
||
- **문제 17**: 두 벡터 $(1,2,-1), (1,0,1)$ 의 선형결합 중 $b = (2,1,1)$ 과 가장 가까운 것은?
|
||
- 🔁 개념 상기: "가장 가까운 선형결합" = 열공간 위로의 사영 ([5단계]의 문제 설정 그대로). 그런데 공식에 넣기 전에 $b$ **가 이미 그 평면 안인지** 확인하는 게 먼저다 (사영의 특별한 경우 ①).
|
||
- 1단계, $b$ 가 평면 안인지 검사: $c_1(1,2,-1) + c_2(1,0,1) = (2,1,1)$ 을 풀어본다.
|
||
- 2번째 성분: $2c_1 = 1$ → $c_1 = \frac{1}{2}$.
|
||
- 1번째 성분: $\frac{1}{2} + c_2 = 2$ → $c_2 = \frac{3}{2}$.
|
||
- 3번째 성분 검산: $-\frac{1}{2} + \frac{3}{2} = 1$ ✓ 일치!
|
||
- 2단계, 결론: $b$ 자체가 두 벡터의 선형결합이다. 가장 가까운 점은 $p = b = (2,1,1)$, 오차 $e = 0$, $Pb = b$.
|
||
- 핵심 문장: $b$ 가 이미 부분공간 안이면 사영은 $b$ 자신이다. 사영 문제는 "안인가 밖인가" 확인부터.
|
||
- **문제 18** (중요한 문제): $P^2 = P$ 이면 $(I-P)^2 = I-P$ 임을 보여라. $P$ 가 열공간 위로 사영할 때 $I - P$ 는 어디로 사영하는가?
|
||
- 🔁 개념 상기: $I - P$ 는 오차를 만드는 사영 ([4단계]). 사영행렬의 자격은 "두 번 해도 같음" ($P^2 = P$).
|
||
- 1단계, 전개 한 번이면 끝:
|
||
- $$(I-P)^2 = I - 2P + P^2 = I - 2P + P = I - P$$
|
||
- 직관 번역: "오차의 오차"를 또 구하면 그대로다. $e$ 는 이미 여공간 위에 있으니까.
|
||
- 2단계, 빈칸: $P$ 가 $\mathbf{C}(A)$ 위로 사영하면 $I - P$ 는 그 직교여공간, 즉 **좌영공간** $\mathbf{N}(A^{\mathrm{T}})$ 위로 사영한다 ($e = b - p$ 가 사는 곳, [5단계] ❷).
|
||
- 확장 (문제 19의 두 사례로 감각 확인):
|
||
- $P$ 가 $\mathbb{R}^2$ 에서 $(1,1)$ 직선 위로 사영하면, $I - P$ 는 $(1,-1)$ 직선 위로 사영.
|
||
- $P$ 가 $\mathbb{R}^3$ 에서 $(1,1,1)$ 직선 위로 사영하면, $I - P$ 는 평면 $x + y + z = 0$ 위로 사영 (4.1 문제 17에서 구했던 바로 그 여공간 쌍!).
|
||
- 핵심 문장: $P$ 와 $I - P$ 는 직교여공간 쌍을 나눠 맡는 사영 콤비다 ($P + (I-P) = I$, $P(I-P) = 0$).
|
||
- **문제 20·21** (같은 평면, 두 가지 공법): 평면 $x - y - 2z = 0$ 위로의 사영행렬 $P$ 를 ① 평면의 기저로, ② 평면의 법선으로 각각 구하라.
|
||
- 🔁 개념 상기: ① 은 [5단계] 공식 (기저를 열로 → $P = A(A^{\mathrm{T}}A)^{-1}A^{\mathrm{T}}$), ② 는 [4단계] $I - P$ 아이디어 (여공간 쪽이 더 쉬우면 그쪽을 먼저 사영). 평면의 법선은 4.1의 언어로 $\mathbf{S}^{\perp}$ 의 기저다.
|
||
- 공법 ① (문제 20): 평면 위의 독립인 두 벡터를 고른다. 예: $(1,1,0)$ ($z=0$, $x=y$)과 $(2,0,1)$ ($y=0$, $x=2z$).
|
||
- $A = \begin{bmatrix} 1&2 \\ 1&0 \\ 0&1 \end{bmatrix}$, $A^{\mathrm{T}}A = \begin{bmatrix} 2&2 \\ 2&5 \end{bmatrix}$, $(A^{\mathrm{T}}A)^{-1} = \frac{1}{6}\begin{bmatrix} 5&-2 \\ -2&2 \end{bmatrix}$.
|
||
- $$P = A(A^{\mathrm{T}}A)^{-1}A^{\mathrm{T}} = \begin{bmatrix} 5/6&1/6&1/3 \\ 1/6&5/6&-1/3 \\ 1/3&-1/3&1/3 \end{bmatrix}$$
|
||
- 공법 ② (문제 21): 평면의 방정식 $x - y - 2z = 0$ 에서 법선 $e = (1, -1, -2)$ 를 바로 읽는다 (3장: 평면 방정식의 계수 = 법선).
|
||
- 법선 직선 위로의 사영행렬 (랭크 1 공식): $Q = \frac{ee^{\mathrm{T}}}{e^{\mathrm{T}}e} = \frac{1}{6}\begin{bmatrix} 1&-1&-2 \\ -1&1&2 \\ -2&2&4 \end{bmatrix}$.
|
||
- 평면은 법선의 직교여공간이므로: $P = I - Q = \begin{bmatrix} 5/6&1/6&1/3 \\ 1/6&5/6&-1/3 \\ 1/3&-1/3&1/3 \end{bmatrix}$. 공법 ①과 정확히 일치 ✓.
|
||
- 검산: $P e = 0$ 확인 (법선은 평면 사영에서 죽어야 함): 1행 $\cdot e = \frac{5}{6} - \frac{1}{6} - \frac{2}{3} = 0$ ✓.
|
||
- 💡 실전 꿀팁: $\mathbb{R}^3$ 의 평면 사영은 공법 ②가 훨씬 빠르다 (기저 2개짜리 역행렬 대신 법선 1개짜리 나누기). 차원이 낮은 쪽($\mathbf{S}$ 든 $\mathbf{S}^{\perp}$ 든)을 사영하고 필요하면 $I$ 에서 빼라.
|
||
- 핵심 문장: 평면 사영행렬 = $I - (\text{법선 사영행렬})$. 여공간 쌍은 사영행렬도 $I$ 를 나눠 갖는다. |