efe7ca6765
Co-Authored-By: Claude Fable 5 <noreply@anthropic.com> Claude-Session: https://claude.ai/code/session_01Ufr6wUhJAzBaqcaBiRJ1xk
186 lines
27 KiB
Markdown
Executable File
186 lines
27 KiB
Markdown
Executable File
deck:: Logseq/전공공부/선형대수학
|
||
|
||
- ### 핵심 개념
|
||
- **흐름 지도**: [0단계] 겁먹지 않아도 되는 이유 → [1단계] 문제의식: 역행렬의 빈자리 → [2단계] 3.3 해 유형표와 연결하기 → [3단계] 좌역행렬 = 최소제곱의 화신 → [4단계] 우역행렬 = 최단 해의 화신 → [5단계] $A^{\mathrm{T}}A$ 대 $AA^{\mathrm{T}}$ 정리 → [6단계] 진짜 유사역행렬 $A^{+}$ → [7단계] $A^{+}A$ 와 $AA^{+}$ 의 정체 → [8단계] 계산법과 펜로즈 조건.
|
||
- #### [0단계] 겁먹지 않아도 되는 이유
|
||
- **책이 직접 말한다**: "이 절은 필수로 알아두어야 할 내용은 아니다" (p.269). 제대로 된 계산 도구(SVD)는 7장에서 온다.
|
||
- 그리고 사실 새 개념이 아니다. 4장 내내 세 번이나 스쳐간 복선의 회수전이다:
|
||
- 4.1 [5단계]: "$A$ 는 행공간에서 열공간으로의 **가역변환**이다. 이걸 되돌리는 행렬이 4.5의 $A^{+}$" (그때 이름만 들었던 그것).
|
||
- 4.3 [7단계]: 열이 종속일 때 무한한 $\hat{x}$ 중 **최단 해** $x^{+} = (1,1)$ 을 고르는 도구.
|
||
- 4.4 요약표: $Q^{+} = Q^{\mathrm{T}}$ 라는 칸.
|
||
- 이 절의 목표는 하나뿐이다: $A^{+}$ **가 "무엇을 하는 물건"인지의 그림.** 공식 암기가 아니라.
|
||
- #### [1단계] 문제의식: 역행렬의 빈자리
|
||
- 진짜 역행렬 $A^{-1}$ 는 사치품이다: **정사각 + 열 독립**일 때만 존재 ($A^{-1}A = I$ 와 $AA^{-1} = I$ 둘 다). 세상 대부분의 행렬(직사각, 랭크 부족)은 못 가진다.
|
||
- 그런데 우리는 이미 "되돌리기 비슷한 것"을 해왔다: 해가 없는데 최선을 돌려받았고(최소제곱), 해가 넘치는데 대표를 골라 받았다(최단 해). 4.5는 그 "비슷한 것들"에 **이름을 붙이고 하나로 통합**하는 절이다.
|
||
- 📌 원문 (p.269): ((6a855f6d-02af-464b-ad44-6cdb61f7973c))
|
||
- 워밍업 미니어처 (p.268 도입 표): 항등행렬조차 열이나 행을 잘라내면 "한쪽 역"만 남는다.
|
||
- 
|
||
- $I_L I_R = I$ (이 순서로는 항등) 인데 $I_R I_L \neq I$ (반대 순서는 실패). **곱하는 방향에 따라 역할이 달라진다**는 것이 이 절의 첫 감각이다.
|
||
- #### [2단계] 3.3 해 유형표와 연결하기 (여기가 연결 고리!)
|
||
- 오빠가 이미 아는 3.3의 표를 다시 소환하면 좌역·우역이 태어난 이유가 보인다. **"무엇이 부족한가"가 처방을 정한다**:
|
||
- | 모양 | 랭크 | $Ax = b$ 의 해 (3.3) | 부족한 것 | 처방 | 이름 |
|
||
| --- | --- | --- | --- | --- | --- |
|
||
| 정사각 가역 | $r = m = n$ | 항상 1개 | 없음 | $A^{-1}$ | 역행렬 |
|
||
| 세로로 긺 | $r = n < m$ | 0 또는 1개 | **존재** | 해가 없어도 최선을 주자 | 좌역행렬 |
|
||
| 가로로 긺 | $r = m < n$ | 항상 존재 (∞개) | **유일성** | 넘치는 해 중 대표를 고르자 | 우역행렬 |
|
||
| 둘 다 부족 | $r < m,\ r < n$ | 0 또는 ∞개 | 둘 다 | 두 처방 동시 적용 | 유사역행렬 $A^{+}$ |
|
||
- (책 비교표의 "유일한 해 혹은 무수히 많은 해"는 정사각 $m = n$ 인 경우까지 포함한 표현이다. 가로로 길면($m < n$) 항상 ∞개.)
|
||
- 연결 열쇠 한 문장: **존재가 깨지면 → 좌역(최소제곱), 유일성이 깨지면 → 우역(최단 해), 둘 다 깨지면 →** $A^{+}$ (최소노름 최소제곱).
|
||
- 책의 좌역·우역 비교표 (이 표가 이 절의 지도다):
|
||
- 📌 원문 비교표 (p.269): [🔗 PDF 위치](((6a855f7a-997f-4ca8-95fb-d572477bd8e8)))
|
||
- 
|
||
- #### [3단계] 좌역행렬: "이것이 바로 최소제곱법"의 뜻
|
||
- 대상: **세로로 긴** $A$ ($m > n$, 열 독립, $r = n$). 방정식이 미지수보다 많아 **해가 없을 수 있는** 상황.
|
||
- 이름의 뜻: **왼쪽에서 곱했을 때만** $I$ 가 되는 행렬. $A^{+}A = I$ ($n \times n$). 오른쪽 곱 $AA^{+}$ 는 $I$ 가 아니다.
|
||
- 공식은 새로 외울 것이 없다. 이미 아는 재료의 조립이다:
|
||
- 열 독립 → $A^{\mathrm{T}}A$ ($n \times n$) 가역 (4.2 [6단계]의 그 정리!) →
|
||
- $$A^{+} = (A^{\mathrm{T}}A)^{-1}A^{\mathrm{T}} \qquad \text{검산: } A^{+}A = (A^{\mathrm{T}}A)^{-1}(A^{\mathrm{T}}A) = I \ ✓$$
|
||
- ✅ **"이것이 바로 최소제곱법"이 무슨 소리냐면**: 이 $A^{+}$ 를 $b$ 에 곱해보라.
|
||
- $$A^{+}b = (A^{\mathrm{T}}A)^{-1}A^{\mathrm{T}}b = \hat{x}$$
|
||
- 우변은 **4.3 정규방정식의 해 그 자체**다! 즉 좌역행렬은 "최소제곱해 계산기"를 행렬 하나로 포장한 것. $A^{+}b$ 를 계산하는 행위 = 최소제곱법을 실행하는 행위. 그래서 책이 그 문장을 쓴 것이다.
|
||
- $b$ 가 열공간 안이면 정확한 해를, 밖이면 최선의 해를 돌려준다 (4.3에서 확인한 "최소제곱은 상위호환" 그대로).
|
||
- 그럼 반대쪽 곱 $AA^{+}$ 는 뭐가 되나: $A(A^{\mathrm{T}}A)^{-1}A^{\mathrm{T}}$, 어디서 많이 봤다. **4.2의 사영행렬** $P$ **그 자체!** 왼쪽 곱은 $I$ (계수 세계에서는 완벽), 오른쪽 곱은 열공간 사영 (벡터 세계에서는 "갈 수 있는 데까지만").
|
||
- 🔢 제일 작은 예: $A = \begin{bmatrix} 1 \\ 1 \end{bmatrix}$ (세로, $r = n = 1$).
|
||
- $A^{\mathrm{T}}A = 2$ → $A^{+} = \frac{1}{2}\begin{bmatrix} 1 & 1 \end{bmatrix}$.
|
||
- $A^{+}A = \frac{1}{2}(1 + 1) = 1 = I_1$ ✓. 반대쪽 $AA^{+} = \frac{1}{2}\begin{bmatrix} 1&1 \\ 1&1 \end{bmatrix}$ = 상수벡터 방향 사영행렬 ($\neq I$).
|
||
- $A^{+}b = \frac{b_1 + b_2}{2}$ = **평균**! (4.3 문제 12의 "평균 = 사영"이 좌역행렬의 언어로 재등장. 세로 $A = (1,1)$ 의 좌역은 평균 기계다.)
|
||
- #### [4단계] 우역행렬: "최소길이 해"의 뜻
|
||
- 대상: **가로로 긴** $A$ ($m < n$, 행 독립, $r = m$). 미지수가 방정식보다 많아 **해가 무한한** 상황.
|
||
- 이름의 뜻: **오른쪽에서 곱했을 때만** $I$: $AA^{+} = I$ ($m \times m$). 왼쪽 곱 $A^{+}A$ 는 $I$ 가 아니다.
|
||
- 공식도 좌역과 거울 대칭: 행 독립 → $AA^{\mathrm{T}}$ ($m \times m$) 가역 →
|
||
- $$A^{+} = A^{\mathrm{T}}(AA^{\mathrm{T}})^{-1} \qquad \text{검산: } AA^{+} = (AA^{\mathrm{T}})(AA^{\mathrm{T}})^{-1} = I \ ✓$$
|
||
- ✅ **"최소길이 해(최단거리 해)"가 무슨 소리냐면**: 해가 무한하니 고르는 문제가 남는다.
|
||
- 3.3의 완전해: $x = x_p + x_n$ (특수해 + 영공간 아무거나). 전부 같은 $b$ 로 가는 정당한 해들.
|
||
- 그중 $x^{+} = A^{+}b$ 는 **행공간에 들어 있는 유일한 해**다. 즉 영공간 성분이 0.
|
||
- 왜 그게 최단인가: 4.1의 직교 분해로 임의의 해는 $x = x^{+} + x_n$ (행공간 성분 ⊥ 영공간 성분) → 피타고라스:
|
||
- $$\|x\|^2 = \|x^{+}\|^2 + \|x_n\|^2 \geq \|x^{+}\|^2$$
|
||
- 영공간 성분은 **길이만 늘리는 군살**이다. 그걸 0으로 만든 해가 최단. 4.3 [7단계]의 종속 열 예제에서 "최단 해 $x^{+} = (1,1)$"이라 했던 그 말의 정체가 이것이다.
|
||
- 🔢 제일 작은 예: $A = \begin{bmatrix} 1 & 1 \end{bmatrix}$ (가로, $r = m = 1$).
|
||
- $AA^{\mathrm{T}} = 2$ → $A^{+} = \frac{1}{2}\begin{bmatrix} 1 \\ 1 \end{bmatrix}$. $AA^{+} = \frac{1}{2}(1+1) = 1$ ✓.
|
||
- $Ax = b$ 는 $x_1 + x_2 = b$: 해가 직선 하나 가득. $A^{+}b = (\frac{b}{2}, \frac{b}{2})$ 는 그 직선 위에서 **원점에 가장 가까운 점** (수선의 발!).
|
||
- 검산: 다른 해 $(b, 0)$ 의 길이는 $|b|$, 최단 해의 길이는 $\frac{|b|}{\sqrt{2}}$. 정말 더 짧다.
|
||
- ⚠️ 오해 교정 ("좌역·우역행렬은 $I$ 에 0 붙인 모양?"): 아니다. 좌역·우역행렬 **자신**은 $\frac{1}{2}[1\ 1]$ 처럼 평범한 직사각행렬이다. "$I$ 랭크만큼 + 나머지 0" 모양이 나오는 곳은 두 군데 뿐이다: ① [1단계] 도입 표의 특수 예 ($I$ 를 잘라 만든 $I_L, I_R$), ② [7단계]에서 볼 $A^{+}A$, $AA^{+}$ (사영행렬을 좋은 기저에서 본 모습). 그 인상이 섞인 것.
|
||
- #### [5단계] $A^{\mathrm{T}}A$ 대 $AA^{\mathrm{T}}$: 모순이 아니다 (기억 교정)
|
||
- 팩트 체크: **둘 다 언제나 정사각이다.** $A$ 가 $m \times n$ 이면 $A^{\mathrm{T}}A$ 는 $n \times n$, $AA^{\mathrm{T}}$ 는 $m \times m$ (4.2 스스로 점검 "내적 표" 문답 그대로: 열 내적 표는 열 개수만큼, 행 내적 표는 행 개수만큼).
|
||
- "$AA^{\mathrm{T}}$ 는 정사각이 아니라고 하지 않았나?"는 기억의 혼선이다. 아마 4.4의 "**직사각** $Q$ **에서** $QQ^{\mathrm{T}} \neq I$" 와 섞였을 것. **항등이 아닌 것**과 **정사각이 아닌 것**은 다른 말이다. $QQ^{\mathrm{T}}$ 도 어엿한 $m \times m$ 정사각(사영행렬)이었다.
|
||
- 둘의 진짜 차이는 크기가 아니라 **가역성 조건**이다:
|
||
- | 행렬 | 크기 | 가역 ⟺ | 어느 역행렬의 재료? |
|
||
| --- | --- | --- | --- |
|
||
| $A^{\mathrm{T}}A$ | $n \times n$ | 열 독립 ($r = n$) | 좌역 $(A^{\mathrm{T}}A)^{-1}A^{\mathrm{T}}$ |
|
||
| $AA^{\mathrm{T}}$ | $m \times m$ | 행 독립 ($r = m$) | 우역 $A^{\mathrm{T}}(AA^{\mathrm{T}})^{-1}$ |
|
||
- 세로(열 독립)는 $A^{\mathrm{T}}A$ 가 살아 있어 좌역을, 가로(행 독립)는 $AA^{\mathrm{T}}$ 가 살아 있어 우역을 만든다. 이 대응이 [2단계] 표와 맞물린다.
|
||
- #### [6단계] 진짜 유사역행렬 $A^{+}$: 랭크가 둘 다 부족해도 된다
|
||
- 이제 최악의 상황: $r < m$ 이고 $r < n$ (해가 0개 아니면 ∞개, 한쪽 역행렬도 없음). 여기서도 작동하는 만능 되돌리기를 정의한다.
|
||
- **정의는 행동강령 3줄이다** (책 ❶❷❸): $\mathbb{R}^m$ 의 임의 벡터 $y$ 를 4.1처럼 직교 분해한다: $y = b + z$ ($b \in$ 열공간, $z \in$ 좌영공간).
|
||
- ① 열공간 성분 $b$: 그 유일한 조상에게 되돌린다. $b = Ax$ 인 **행공간의 유일한** $x$ 로: $A^{+}b = x$.
|
||
- ② 좌영공간 성분 $z$: 되돌릴 곳이 없으니 죽인다: $A^{+}z = 0$.
|
||
- ③ 합치면: $A^{+}y = A^{+}b + A^{+}z = x$.
|
||
- 📌 원문 정의 박스 (p.270): [🔗 PDF 위치](((6a856002-40c1-44eb-acc5-594e6e5f8c2a)))
|
||
- 
|
||
- 이 정의가 가능한 근거 = **4.1 [5단계]의 그 정리**: "$A$ 는 행공간에서 열공간으로의 가역변환이다".
|
||
- 📌 원문 (p.272, 275): ((6a85601e-b15a-432c-a104-43aa309f4d34)) / ((6a85602c-bc22-4eb5-86c2-1079716484c5)) / ((6a856065-6171-48c3-88a1-51dd03f8ea10))
|
||
- 💡 **보충: "열들의 선형결합인데 왜 행공간 이야기가 나오나?"** (헷갈리기 쉬운 지점):
|
||
- $Ax = b$ 에는 세계가 둘이다. **입력** $x$ 는 $\mathbb{R}^n$ (행공간·영공간이 사는 곳), **출력** $b$ 는 $\mathbb{R}^m$ (열공간·좌영공간이 사는 곳).
|
||
- "$Ax$ = 열들의 선형결합"은 **출력이 어디 사는지**(도착지 = 열공간)만 말한 문장이다. "행공간에서"는 거기에 **출발지 이야기**를 더한 것: 그 결합의 계수 벡터 $x$ 는 어디서 오는가?
|
||
- $x$ 자체는 $\mathbb{R}^n$ 아무 데나 있을 수 있지만, $x = x_r + x_n$ 으로 쪼개면 $Ax = Ax_r$ (영공간 성분은 $A$ 가 통째로 버린다). 즉 $A$ 라는 기계가 **실제로 읽는 유효 입력은 행공간 성분뿐**이다. 사각지대(영공간)를 걷어낸 유효 입력 구역 = 행공간.
|
||
- 🔢 4.1 EX3의 행렬로: $A = \begin{bmatrix} 1&2 \\ 3&6 \end{bmatrix}$ (행공간 $(1,2)$ 직선, 영공간 $(2,-1)$ 직선, 열공간 $(1,3)$ 직선).
|
||
- $A(4,3) = (10, 30)$ 이고 $A(2,4) = (10, 30)$: 다른 입력, 같은 출력. $A$ 는 영공간 성분 차이를 구별 못 한다.
|
||
- 행공간만 보면: $c(1,2) \mapsto c(5,15) = 5c \cdot (1,3)$. 행공간 직선의 점 ↔ 열공간 직선의 점, **완벽한 1:1** (배율 5). 이 구간에서 $A$ 는 "5배 기계"라 되돌리기(÷5)가 가능하고, 그 되돌리기를 행렬로 포장한 것이 $A^{+}$ 다.
|
||
- 한 문장 정리: 겉모습은 $A: \mathbb{R}^n \to \mathbb{R}^m$, 실속은 **행공간(**$r$**차원) → 열공간(**$r$**차원)의 1:1**. 행공간은 식의 오른쪽 끝(입력 $x$) 안에 숨어 있어서 "식만 보면 열공간 이야기"로 보이는 것이 당연하다.
|
||
- 증명도 4.1에서 했던 그대로: 행공간의 $x \neq X$ 가 $Ax = AX$ 라면 $x - X$ 가 행공간과 영공간에 동시에 있어 0. 모순.
|
||
- $A^{+}$ 는 그 가역변환의 **역** + "복원 불가능한 부분(좌영공간)은 0으로" 규칙을 합친 것. **가능한 경우** $A^{+}$ **는** $A$ **를 역변환한다** (열공간 → 행공간).
|
||
- 📌 원문 가역변환 박스 (p.275): [🔗 PDF 위치](((6a85606a-40c4-4d49-be45-8b3997d0b687)))
|
||
- 
|
||
- **[그림 4.11] = 그림 4.1의 화살표를 전부 거꾸로 돌린 그림**:
|
||
- 📌 원문 그림 4.11 (p.270): [🔗 PDF 위치](((6a855ff4-89f2-4e1d-a036-be210e4b63ab)))
|
||
- 
|
||
- 읽는 법: $A$ 는 왼쪽(행공간) → 오른쪽(열공간)으로, $A^{+}$ 는 오른쪽 → 왼쪽으로. $A^{+}$ 의 4가지 기본 부분공간은 $A^{\mathrm{T}}$ 와 동일 (행공간↔열공간이 서로 바뀜, 좌영공간은 $A^{+}$ 의 영공간).
|
||
- 그래서 일반 $b$ 에 대한 $x^{+} = A^{+}b$ 의 신분:
|
||
- 📌 원문 (p.269): [🔗 PDF 위치](((6a855fda-fea7-4d81-972e-04718e48d53c))) / ((6a855fcf-ec62-4b22-a9ec-e7d5d880455e)) / ((6a855fe0-2eb2-4a14-91bf-9a54a70ea013))
|
||
- 
|
||
- $x^{+}$ 는 **최소노름 최소제곱해**: 오차 $\|Ax - b\|^2$ 을 최소화하는 후보들([3단계] 처방) 중에서 **길이** $\|x\|$ **가 가장 짧은 것**([4단계] 처방). 두 처방의 동시 적용.
|
||
- 핵심 성질: $x^{+}$ 는 영공간 성분이 0 (행공간 소속). 4.3 종속 열 예제의 $x^{+} = (1, 1)$ 이 드디어 정식으로 정의된 것.
|
||
- #### [7단계] $A^{+}A$ 와 $AA^{+}$ 의 정체: $I$ 가 못 되면 사영이 된다
|
||
- 진짜 역행렬이면 $A^{-1}A = AA^{-1} = I$. 유사역행렬은 거기까지는 못 가고, **갈 수 있는 최선**에 도달한다:
|
||
- 📌 원문 (p.271, 275): [🔗 PDF 위치](((6a85600c-3cac-4ba4-9f76-bc8e55a4ff1c))) / ((6a856080-57ec-455d-8096-8c361f5939fc))
|
||
- 
|
||
- $$A^{+}A = P_{\text{row}}\ (\text{행공간 사영, } n \times n) \qquad AA^{+} = P_{\text{column}}\ (\text{열공간 사영, } m \times m)$$
|
||
- 왜 사영인가 (한 줄 추적): $A^{+}Ax$ 에서 $Ax$ 는 $x$ 의 **행공간 성분만** 반영하고 ($Ax_n = 0$), $A^{+}$ 는 그 결과를 행공간으로 되돌린다. 그러니 $x \to (x$ 의 행공간 성분$)$: 정확히 행공간 사영.
|
||
- 좋은 기저(행공간 기저 $r$ 개 + 영공간 기저 $n - r$ 개)로 보면 이 사영행렬이 $\begin{bmatrix} I_r & 0 \\ 0 & 0 \end{bmatrix}$ 모양이 된다 (그림 4.11 의 라벨). "랭크만큼 $I$, 나머지 0"이라는 직감이 여기서는 정확히 맞는다.
|
||
- 특수화 확인: 좌역 상황($r = n$)이면 행공간 = $\mathbb{R}^n$ 전체 → $P_{\text{row}} = I$ → $A^{+}A = I$ ✓. 우역 상황($r = m$)이면 열공간 = $\mathbb{R}^m$ 전체 → $AA^{+} = I$ ✓. [3]·[4단계]가 이 그림의 특수 케이스였다.
|
||
- #### [8단계] 계산법 3종과 펜로즈 조건 (수위 조절: 눈도장 수준이면 충분)
|
||
- **① 대각행렬** $D$: 제일 쉬운 경우. 대각 성분의 역수를 취하되 $\frac{1}{0}$ **은 0으로** 두고, 모양은 전치.
|
||
- $$D = \begin{bmatrix} 2&0&0 \\ 0&3&0 \\ 0&0&0 \end{bmatrix} \Rightarrow D^{+} = \begin{bmatrix} 1/2&0&0 \\ 0&1/3&0 \\ 0&0&0 \end{bmatrix}$$
|
||
- "역수 없는 자리(0)는 포기하고 0"이 유사역의 정신을 그대로 보여준다 (복원 불가능한 방향은 0으로).
|
||
- **② 한쪽 역이 있는 경우**: [3]·[4단계] 공식. 세로 → $(A^{\mathrm{T}}A)^{-1}A^{\mathrm{T}}$, 가로 → $A^{\mathrm{T}}(AA^{\mathrm{T}})^{-1}$.
|
||
- **③ 일반 (랭크 부족)**: $A = CR$ (3장의 그 분해!)로 쪼갠 뒤, $C$ 는 열 독립이니 좌역을, $R$ 는 행 독립이니 우역을 갖는다. 운 좋게 그 둘을 이어 붙이면 끝:
|
||
- 📌 원문 (p.273): [🔗 PDF 위치](((6a856034-75b4-4025-8463-6bbce9302041))) / 식 (3) [🔗](((6a85603b-9d37-4456-b37c-0732cb7b80d3))) / 식 (4) [🔗](((6a856040-be47-4a73-a52b-d486b76c8d2f)))
|
||
- $$A^{+} = R^{+}C^{+} = R^{\mathrm{T}}(C^{\mathrm{T}}AR^{\mathrm{T}})^{-1}C^{\mathrm{T}} \quad (\text{식 (7)})$$
|
||
- 📌 원문 식 (7)·(8) (p.275): [🔗 PDF 위치](((6a856077-68be-4fbd-b9af-716de18b6602))) / [🔗 PDF 위치](((6a856088-3271-41fd-b568-8a0c1b029b59)))
|
||
- 지금은 "이런 공식이 있다" 눈도장이면 충분하다. 진짜 계산의 왕도는 7장의 SVD ($A = U\Sigma V^{\mathrm{T}} \to A^{+} = V\Sigma^{+}U^{\mathrm{T}}$, 이름만!).
|
||
- **펜로즈 4조건** ($A^{+}$ 의 신분증, 식 (5)):
|
||
- 📌 원문 식 (5) (p.273): [🔗 PDF 위치](((6a856047-b418-487d-873c-2967c2407488)))
|
||
- 
|
||
- $$AA^{+}A = A, \quad A^{+}AA^{+} = A^{+}, \quad (A^{+}A)^{\mathrm{T}} = A^{+}A, \quad (AA^{+})^{\mathrm{T}} = AA^{+}$$
|
||
- 읽는 법: 앞의 둘 = "서로가 서로를 되돌린다(갈 수 있는 데까지)", 뒤의 둘 = "$A^{+}A, AA^{+}$ 는 대칭 = **직교** 사영" (4.2 의 $P^{\mathrm{T}} = P$ 판정 그대로!). 이 4개를 만족하는 행렬은 **유일**하고 그것이 $A^{+}$. 정체 모를 후보를 검증하는 도구로 쓴다 (연습문제 2·6).
|
||
- (읽을거리) **결합행렬 예** (p.274~276): 3.5의 그래프 결합행렬($5 \times 4$, $r = 3$)에 $A = CR$ 공식을 적용해 $A^{+}$ 를 실제로 구해 보이는 예. "A의 행 합 = 0 → $A^{+}$ 의 열 합 = 0" 처럼 $A$ 와 $A^{+}$ 의 4공간이 좌우로 뒤바뀌는 것을 구경하는 것이 포인트. 키르히호프 전류법칙($A^{\mathrm{T}}y = 0$)과의 연결은 교양으로.
|
||
- ### ❓ 스스로 점검
|
||
- 좌역·우역·유사역행렬은 각각 어떤 행렬이 갖는가? 각각 "무엇이 부족한 상황"의 처방인가?
|
||
- 좌역: 세로로 긴 열 독립 행렬 ($r = n$). **존재**가 부족한 상황(해 0 또는 1개)의 처방: 최소제곱.
|
||
- 우역: 가로로 긴 행 독립 행렬 ($r = m$). **유일성**이 부족한 상황(해 ∞개)의 처방: 최단 해.
|
||
- 유사역: 모든 행렬. 둘 다 부족하면 두 처방 동시 적용 (최소노름 최소제곱해).
|
||
- 좌역행렬의 공식은? $A^{+}b$ 가 최소제곱해인 이유는?
|
||
- $A^{+} = (A^{\mathrm{T}}A)^{-1}A^{\mathrm{T}}$ (열 독립이라 $A^{\mathrm{T}}A$ 가역). $A^{+}A = I$, 단 $AA^{+}$ 는 열공간 사영행렬 $P$.
|
||
- $A^{+}b = (A^{\mathrm{T}}A)^{-1}A^{\mathrm{T}}b$ 는 정규방정식 $A^{\mathrm{T}}A\hat{x} = A^{\mathrm{T}}b$ 의 해 그 자체다.
|
||
- 우역행렬의 공식은? $A^{+}b$ 가 최단 해인 이유는?
|
||
- $A^{+} = A^{\mathrm{T}}(AA^{\mathrm{T}})^{-1}$ (행 독립이라 $AA^{\mathrm{T}}$ 가역). $AA^{+} = I$, 단 $A^{+}A$ 는 행공간 사영행렬.
|
||
- $A^{+}b$ 는 무한한 해 중 행공간에 있는 유일한 해 = 영공간 성분 0. $\|x\|^2 = \|x^{+}\|^2 + \|x_n\|^2$ (피타고라스)라 영공간 군살이 없는 해가 최단.
|
||
- $A^{\mathrm{T}}A$ 와 $AA^{\mathrm{T}}$ 의 크기와 가역 조건은?
|
||
- 둘 다 **항상 정사각**: $A^{\mathrm{T}}A$ 는 $n \times n$, $AA^{\mathrm{T}}$ 는 $m \times m$ (내적 표).
|
||
- $A^{\mathrm{T}}A$ 가역 ⟺ 열 독립 ($r = n$) / $AA^{\mathrm{T}}$ 가역 ⟺ 행 독립 ($r = m$).
|
||
- $A^{+}$ 의 정의를 행동강령 3줄로 말하라. 그 정의가 가능한 근거는?
|
||
- $y = b + z$ (열공간 + 좌영공간)로 분해했을 때: $A^{+}b = x$ ($b = Ax$ 인 행공간의 유일한 $x$), $A^{+}z = 0$, 따라서 $A^{+}y = x$.
|
||
- 근거: "$A$ 는 행공간 → 열공간의 가역변환" (4.1). $A^{+}$ 는 그 역 + 복원 불가능한 좌영공간은 0.
|
||
- $A^{+}A$ 와 $AA^{+}$ 의 정체는? 진짜 역행렬과의 차이는?
|
||
- $A^{+}A$ = 행공간 사영행렬 ($n \times n$), $AA^{+}$ = 열공간 사영행렬 ($m \times m$).
|
||
- 역행렬은 $I$ 를 만들지만 유사역은 "갈 수 있는 최선"인 사영까지 간다. $r = n$ 이면 $A^{+}A = I$, $r = m$ 이면 $AA^{+} = I$ 로 퇴화.
|
||
- ### ✏️ 연습문제 풀이 (솔루션 참고)
|
||
- **문제 1**: 세 행렬의 유사역행렬을 구하라: $A_1 = \begin{bmatrix} 1&1 \\ 1&1 \end{bmatrix}$, $A_2 = \begin{bmatrix} 2&0 \\ 0&4 \\ 0&0 \end{bmatrix}$, $A_3 = \begin{bmatrix} 2&0&0 \\ 0&4&0 \end{bmatrix}$.
|
||
id:: c7d24191-44a3-4d31-a17a-450ef991aa54
|
||
- 🔁 개념 상기: 세 행렬이 정확히 [2단계] 표의 세 유형이다. $A_1$ 은 랭크 부족(둘 다 부족), $A_2$ 는 세로(좌역), $A_3$ 는 가로(우역). 유형 판정 → 맞는 공식 선택이 풀이의 전부.
|
||
- $A_1$ (정사각이지만 $r = 1 < 2$, 한쪽 역도 없음): 랭크 1이라 $A_1 = cr^{\mathrm{T}}$ 꼴 ($c = r = (1,1)$).
|
||
- 문제 2의 랭크 1 공식으로: $A_1^{+} = \frac{rc^{\mathrm{T}}}{(r^{\mathrm{T}}r)(c^{\mathrm{T}}c)} = \frac{1}{2 \cdot 2}\begin{bmatrix} 1&1 \\ 1&1 \end{bmatrix} = \frac{1}{4}\begin{bmatrix} 1&1 \\ 1&1 \end{bmatrix}$.
|
||
- 감각 확인: $A_1(1,1) = (2, 2)$, 즉 $(1,1)$ 방향에서 $A_1$ 은 2배로 불린다. 되돌리기는 그 방향에서 $\frac{1}{2}$ 배여야 하는데, 실제로 $A_1^{+}(2,2) = \frac{1}{4}(4,4) = (1,1)$ ✓ (행렬 계수 $\frac{1}{4}$ 에 $A_1$ 자신의 2배가 합성되어 배율 $\frac{1}{2}$).
|
||
- $A_2$ (세로, $r = n = 2$ → 좌역): 대각이라 지름길이 보인다. **역수 취하고** ($\frac{1}{0}$ 은 0), **모양은 전치**:
|
||
- $$A_2^{+} = \begin{bmatrix} 1/2&0&0 \\ 0&1/4&0 \end{bmatrix} \qquad \text{검산: } A_2^{+}A_2 = I_2 \ ✓,\ A_2A_2^{+} \neq I_3$$
|
||
- 공식으로 해도 같다: $A^{\mathrm{T}}A = \mathrm{diag}(4, 16)$ → $(A^{\mathrm{T}}A)^{-1}A^{\mathrm{T}}$ = 위와 동일.
|
||
- $A_3$ (가로, $r = m = 2$ → 우역): $A_2$ 의 전치니까 답도 전치의 관계:
|
||
- $$A_3^{+} = \begin{bmatrix} 1/2&0 \\ 0&1/4 \\ 0&0 \end{bmatrix} \qquad \text{검산: } A_3A_3^{+} = I_2 \ ✓$$
|
||
- 핵심 문장: 유사역 계산의 1단계는 공식이 아니라 **유형 판정** (세로/가로/랭크부족). 대각 꼴이면 "역수 + 전치 모양 + $\frac{1}{0}$ 은 0"으로 즉답.
|
||
- **문제 2**: 랭크 1인 $A = cr^{\mathrm{T}}$ 의 유사역행렬이 $A^{+} = \frac{rc^{\mathrm{T}}}{(r^{\mathrm{T}}r)(c^{\mathrm{T}}c)}$ 임을 펜로즈 조건으로 확인하라.
|
||
- 🔁 개념 상기: 랭크 1 행렬(3장의 $uv^{\mathrm{T}}$)의 되돌리기. 검증 도구는 [8단계] 펜로즈 조건. 그리고 $\frac{rr^{\mathrm{T}}}{r^{\mathrm{T}}r}$ 꼴이 4.2의 직선 사영행렬이라는 것.
|
||
- 1단계, 두 곱부터 계산 (여기서 이미 그림이 보인다):
|
||
- $$A^{+}A = \frac{rc^{\mathrm{T}} \cdot cr^{\mathrm{T}}}{(r^{\mathrm{T}}r)(c^{\mathrm{T}}c)} = \frac{r(c^{\mathrm{T}}c)r^{\mathrm{T}}}{(r^{\mathrm{T}}r)(c^{\mathrm{T}}c)} = \frac{rr^{\mathrm{T}}}{r^{\mathrm{T}}r}$$
|
||
- 이것은 $r$ 방향(= 행공간!) 사영행렬. 마찬가지로 $AA^{+} = \frac{cc^{\mathrm{T}}}{c^{\mathrm{T}}c}$ = $c$ 방향(= 열공간) 사영행렬. [7단계]의 $P_{\text{row}}, P_{\text{col}}$ 이 랭크 1 버전으로 눈앞에 나타났다. 대칭 ✓ (조건 3·4 통과).
|
||
- 2단계, 조건 1: $AA^{+}A = (cr^{\mathrm{T}})\frac{rr^{\mathrm{T}}}{r^{\mathrm{T}}r} = c\frac{(r^{\mathrm{T}}r)r^{\mathrm{T}}}{r^{\mathrm{T}}r} = cr^{\mathrm{T}} = A$ ✓ (가운데 스칼라 $r^{\mathrm{T}}r$ 약분, 결합법칙 트릭).
|
||
- 3단계, 조건 2: 같은 수법으로 $A^{+}AA^{+} = A^{+}$ ✓.
|
||
- 핵심 문장: 랭크 1의 유사역 = "전치 모양($rc^{\mathrm{T}}$)에 두 크기 제곱으로 나누기". 그리고 $A^{+}A, AA^{+}$ 가 행·열공간 사영행렬이 되는 것을 손으로 목격하는 문제.
|
||
- **문제 4**: $A = \begin{bmatrix} 1&0&0 \\ 0&1&0 \end{bmatrix}$ 의 행공간·열공간은? $A^{\mathrm{T}}$ 와 동일한 4공간을 갖는 $A^{+}$ 는?
|
||
- 🔁 개념 상기: [6단계] "$A^{+}$ 와 $A^{\mathrm{T}}$ 는 4공간이 같다" + 4.4 요약표의 $Q^{+} = Q^{\mathrm{T}}$.
|
||
- 공간 파악: 행공간 = $\mathbb{R}^3$ 안의 $xy$-평면 (행 $(1,0,0), (0,1,0)$ 이 생성), 열공간 = $\mathbb{R}^2$ 전체.
|
||
- $A^{+}$ 계산: 가로($r = m = 2$)라 우역인데, **행들이 정규직교**라서 $AA^{\mathrm{T}} = I_2$ → $A^{+} = A^{\mathrm{T}}(AA^{\mathrm{T}})^{-1} = A^{\mathrm{T}} \cdot I = A^{\mathrm{T}}$.
|
||
- $$A^{+} = A^{\mathrm{T}} = \begin{bmatrix} 1&0 \\ 0&1 \\ 0&0 \end{bmatrix}$$
|
||
- 감각 확인: 이 $A$ 는 "3차원 벡터의 $z$ 성분 버리기"다. 되돌리기는 "$z$ 자리는 모르니 0으로 채워 복귀" = 전치가 하는 일 그대로 (4.2 문제 14의 그 좌표 부분공간!).
|
||
- 핵심 문장: 행(또는 열)이 정규직교면 $A^{+} = A^{\mathrm{T}}$. 4.4 의 $Q^{+} = Q^{\mathrm{T}}$ 가 그 특수 케이스였다.
|
||
- **문제 6**: $P$ 가 사영행렬일 때 ($P^{\mathrm{T}} = P = P^2$), $P^{+} = P$ 임을 펜로즈 조건으로 보여라.
|
||
- 🔁 개념 상기: [8단계] 펜로즈 4조건에 "후보 = $P$ 자신"을 넣어보는 검증 연습.
|
||
- 조건 1·2 ($A^{+}$ 자리에 $P$): $PPP = P^3 = P^2 \cdot P = P \cdot P = P^2 = P$ ✓ (두 식 모두 같은 계산).
|
||
- 조건 3·4: $(PP)^{\mathrm{T}} = (P^2)^{\mathrm{T}} = P^{\mathrm{T}} = P = P^2 = PP$ ✓.
|
||
- 왜 직관적으로 당연한가: 사영행렬은 자기 열공간 안에서는 **아무것도 안 하는** 행렬이다 (이미 도착한 벡터는 그대로). "되돌릴 것"이 없으니 되돌리기도 자기 자신. 죽인 성분(여공간)은 유사역도 똑같이 0으로 보내는 게 규칙이고.
|
||
- 핵심 문장: 사영행렬의 유사역은 자기 자신 ($P^{+} = P$). "사영은 자기 세계 안에서 항등"이라는 문장의 유사역 버전.
|
||
- **문제 11**: 왜 $A^{+}$ 의 유사역행렬은 항상 $A$ 인가? ($(A^{+})^{+} = A$)
|
||
- 🔁 개념 상기: [6단계] 그림 4.11. $A^{+}$ 의 역할을 다시 뒤집으면 무엇이 되는지 생각하는 개념 마무리 문제.
|
||
- 길 ① (4공간 관점): $A^{+}$ 는 열공간 → 행공간의 가역변환(+ 좌영공간은 0). 그것의 유사역은 "행공간 → 열공간의 가역변환 + 영공간은 0" 이어야 하는데, 그 일을 하는 행렬이 정확히 $A$ 자신이다.
|
||
- 길 ② (펜로즈 관점): 4조건 $AA^{+}A = A$, $A^{+}AA^{+} = A^{+}$, 대칭 2개는 $A$ 와 $A^{+}$ 를 **맞바꿔도 똑같은 문장**이다. 즉 "$A^{+}$ 의 유사역" 자격 요건을 $A$ 가 그대로 통과하고, 펜로즈 조건의 해는 유일하므로 $(A^{+})^{+} = A$.
|
||
- 핵심 문장: 되돌리기의 되돌리기 = 원본. 정의(4공간 역할)로도, 신분증(펜로즈 조건의 대칭성)으로도 같은 결론.
|