Logseq/Major Study/pages/4.2 직선과 부분공간 위로의 사영.md

deck:: Logseq/전공공부/선형대수학

• 핵심 개념

  • 흐름 지도: [1단계] 사영이란 무엇인가 → [2단계] 좌표축 사영으로 감 잡기 (직교여공간 재조명) → [3단계] 직선 위로의 사영 공식 → [4단계] 사영행렬 P 와 I - P → [5단계] 부분공간 위로의 사영 (정규방정식) → [6단계] A^{\mathrm{T}}A 의 가역성.

  • [1단계] 사영이란 무엇인가

    • 왜 필요한가: b 가 부분공간(예: 열공간) 밖에 있으면 Ax = b 는 해가 없다. 그때 할 수 있는 최선은 부분공간 안에서 b 와 가장 가까운 점을 찾는 것. 그 점이 사영(projection) p 다.
    • 정의: 벡터 b 의 부분공간 \mathbf{S} 위로의 사영 p 는 \mathbf{S} 안에서 b 와 가장 가까운 벡터. 이때 오차벡터 e = b - p 는 \mathbf{S} 와 직교한다.
      • 📌 원문 (p.219): ((6a7a03f4-57ff-42c6-9820-cc0446588b7a))
      • "가장 가깝다"와 "e 가 직교"는 같은 말이다: 수직으로 내려간 발이 최단 거리라는 것, 이 절 전체가 이 한 문장 위에 서 있다.
    • 직관: 사영 p 는 b 의 "그 방향 성분"이다.
      • 📌 원문 (p.219): ((6a7a0415-779e-42a1-9b91-95340aa2264b))
      • 📌 원문 그림 4.3 (p.221): 🔗 PDF 위치
      • 
      • (p.221, 그림 4.3)
    • 💡 점 관점으로 보기 (끝점의 언어로 번역): 원점 O, b 의 끝점을 B, p 의 끝점을 P 라 하자.
      • e = b - p 는 기하와 벡터에서 배운 \overrightarrow{PB} = b - p 그대로, 점 P 에서 점 B 로 가는 벡터다.
      • P 는 부분공간 위에 있는 "수선의 발"이고, e 는 발에서 B 를 향해 부분공간과 수직하게 올라가는 벡터다.
      • \|e\| 가 바로 "점 B 에서 부분공간까지의 거리"다 (책 p.228 요약에도 이 문장이 있다: b 에서 \mathbf{C}(A) 까지의 거리는 \|e\|).
      • 이 그림은 차원과 무관하다: 정의에 쓰인 것이 내적(직교)뿐이라, \mathbb{R}^4 이상에서도 2·3차원 직관이 그대로 성립한다. 직선/평면 대신 "부분공간"으로 단어만 바뀐다.

  • [2단계] 좌표축 사영으로 감 잡기

    • 🔢 가장 쉬운 사영부터: b = (2, 3, 4) 를 z 축과 $xy$-평면 위로 사영해보자.
      • z 축 위로: p_1 = (0, 0, 4) (b 의 z 성분만 남긴다).
      • $xy$-평면 위로: p_2 = (2, 3, 0) (x, y 성분만 남긴다).
      • 이 "성분만 남기기"를 해주는 행렬이 사영행렬 P_1, P_2:
      • 📌 원문 사영행렬 박스 (p.220): 🔗 PDF 위치
      • 
      • 
      • (p.220, 그림 4.2)
    • 관찰: p_1 + p_2 = (2,3,4) = b. 두 사영을 합치면 원본이 복원된다!
      • 📌 원문 (p.220): ((6a7a0437-3040-4bc0-a638-f5b5d33a8f99))
      • 행렬 언어로는 P_1 + P_2 = I (복원), P_1 P_2 = 0 (한 번 $xy$-평면에 눕힌 벡터는 z 성분이 없어 z 축 사영이 0).
    • 💡 직교여공간 다시 제대로 (4.1 복습 + 사영의 눈으로): 책이 "직선과 평면은 단순히 직교하는 것을 넘어 서로 직교여공간이다"라고 강조하는 이유가 여기 있다.
      • 📌 원문 (p.220): ((6a7a042f-2b0c-4ecd-949e-f28c59939ff2))
      • 정의 복습: \mathbf{V}^{\perp} = \mathbf{V} 와 직교하는 벡터 전부. 두 공간이 서로의 직교여공간이려면 ① 직교하고 ② 차원 합이 전체 공간을 채워야 한다 (1 + 2 = 3 ✓).
      • "그냥 직교"와 뭐가 다른가: z 축과 x 축도 직교하지만 1 + 1 = 2 < 3 이라 여공간이 아니다. 이 차이가 사영에서 실전 차이를 만든다:
        • 
      • 여공간 쌍이면: 모든 b 가 두 성분으로 남김없이 분해되고 (p_1 + p_2 = b), 행렬로는 P_1 + P_2 = I. "분해했다가 재조립"이 가능하다.
      • 여공간이 아니면: z 축·x 축 사영을 합해도 y 성분이 유실되어 b 를 복원할 수 없다 (P_1 + P_2 \neq I).
      • 4.1과의 연결: 행공간·영공간이 직교여공간 쌍이라서 x = x_r + x_n 분해가 가능했던 것, 정확히 같은 구조다. "여공간 = 분해가 되는 직교" 로 기억하면 된다.
    • ⚠️ 이 절의 목표 선언 (p.220): 어떤 직선이든, 어떤 평면이든, \mathbb{R}^m 의 어떤 n 차원 부분공간이든, ① 사영 p 를 찾고 ② p = Pb 를 만드는 사영행렬 P 를 찾는 것.

  • [3단계] 직선 위로의 사영: 공식 유도

    • 설정: a 방향 직선 위에서 b 와 가장 가까운 점 p 를 찾는다. p 는 직선 위에 있으니 p = \hat{x}a (미지수는 배율 \hat{x} 하나).
    • 유일한 무기는 직교: b 에서 p 까지의 오차 e = b - \hat{x}a 가 a 와 직교해야 한다.
      • 📌 원문 (p.221): ((6a7a043f-522f-490b-b277-c1d2a36f849c))
      • a \cdot (b - \hat{x}a) = 0 \quad\Rightarrow\quad \hat{x} = \frac{a^{\mathrm{T}}b}{a^{\mathrm{T}}a}
      • 📌 원문 식 (2) 박스 (p.222): 🔗 PDF 위치
      • 
    • 결과: 사영은 p = \hat{x}a.
      • 📌 원문 (p.222): 🔗 PDF 위치
      • 
      • 특별한 경우 ①: b = a 이면 \hat{x} = 1, 사영은 자기 자신 (Pa = a).
      • 특별한 경우 ②: b \perp a 이면 a^{\mathrm{T}}b = 0, 사영은 p = 0.
      • 💡 이 두 극단이 사영의 정체를 말해준다: 이미 직선 위에 있으면 그대로, 완전히 수직이면 아무것도 안 남는다. 일반 b 는 그 중간.
    • 🔢 EX1 (p.222): b = (1,1,1) 을 a = (1,2,2) 위로 사영.
      • a^{\mathrm{T}}b = 1 + 2 + 2 = 5, a^{\mathrm{T}}a = 1 + 4 + 4 = 9 → \hat{x} = \frac{5}{9}.
      • p = \frac{5}{9}a = (\frac{5}{9}, \frac{10}{9}, \frac{10}{9}), e = b - p = (\frac{4}{9}, -\frac{1}{9}, -\frac{1}{9}).
      • 검산: e^{\mathrm{T}}a = \frac{4}{9} - \frac{2}{9} - \frac{2}{9} = 0 ✓.
    • 삼각법과의 연결 (식 (3)): b, p, e 는 직각삼각형을 이루고 \|p\| = \|b\|\cos\theta, \|e\| = \|b\|\sin\theta.
      • 💡 그런데 \cos\theta 를 직접 구하는 것보다 \frac{a^{\mathrm{T}}b}{a^{\mathrm{T}}a} 계산이 훨씬 쉽다 (EX1에서 \cos\theta = \frac{5}{3\sqrt{3}} 은 제곱근 투성이지만 \hat{x} = \frac{5}{9} 는 깔끔). 내적이 삼각법을 대신해주는 것이 사영 공식의 실용적 가치다.

  • [4단계] 사영행렬 P 와 I - P

    • p = a\hat{x} = a\frac{a^{\mathrm{T}}b}{a^{\mathrm{T}}a} 에서 b 에 곱해지는 부분만 떼어내면 사영행렬이 나온다:
      • P = \frac{aa^{\mathrm{T}}}{a^{\mathrm{T}}a}
      • 📌 원문 사영행렬 박스 (p.223): 🔗 PDF 위치
      • 
      • 구조 읽기: 열(a) × 행(a^{\mathrm{T}}) ÷ 수(a^{\mathrm{T}}a). 크기는 m \times m 이지만 랭크 1 (3장의 uv^{\mathrm{T}} 꼴). 열공간이 바로 그 직선이다.
    • 🔢 EX2 (p.223): a = (1,2,2) 방향 직선의 사영행렬.
      • P = \frac{1}{9}\begin{bmatrix} 1&2&2 \\ 2&4&4 \\ 2&4&4 \end{bmatrix}
      • EX1의 b = (1,1,1) 로 검산: Pb = \frac{1}{9}(5, 10, 10) = p ✓ (같은 답).
    • 사영행렬의 두 성질:
      • P^2 = P: 두 번 사영해도 그대로다 (이미 직선 위에 있는 p 를 또 사영하면 자기 자신, [3단계] 특별한 경우 ①).
      • 📌 원문 (p.219): ((6a7a040f-bcd4-4e55-863a-6152ed91aa7f))
      • P^{\mathrm{T}} = P (대칭): 이 절에서 만든 P 는 자동으로 대칭이다 (연습문제 23: 전치해보면 그대로 P).
      • ⚠️ "어차피 정의상 e \perp p 아닌가?" (연습문제 0이 다루는 미묘한 지점): "수선의 발을 내린다"로 사영을 정의하면 직교는 당연하다. 그런데 대수 조건 P^2 = P 만 만족하는 행렬 중에는 수선의 발이 아닌 비스듬한 사영(oblique projection)도 있다. 그런 가짜(?)를 걸러내는 조건이 P^{\mathrm{T}} = P 다.
        • 사영의 넓은 정의는 "$P^2 = P$" 하나뿐이다: 결과가 P 의 열공간에 떨어지고, 이미 거기 있는 벡터는 안 움직인다. "그림자의 그림자는 자기 자신"은 빛이 비스듬히 들어와도 성립한다. 즉 P^2 = P 는 "L 위에 떨어뜨린다"까지만 보장하고, "수직으로 떨어뜨린다"는 보장하지 않는다.
        • 🔢 반례 체험 (연습문제 0의 행렬): P = \begin{bmatrix} 0&1 \\ 0&1 \end{bmatrix} 은 P^2 = P 를 만족하고 직선 y = x 위로 떨어뜨린다. 그런데 b = (0, 1) 을 넣으면:
          • p = Pb = (1, 1), e = b - p = (-1, 0), 내적 p^{\mathrm{T}}e = -1 \neq 0. 직교가 아니다!
          • 수선의 발은 (\frac{1}{2}, \frac{1}{2}) 인데, 이 P 는 b 를 x 방향으로 옆으로 미끄러뜨려 (1,1) 에 떨어뜨린다. 거리도 \|e\| = 1 > \frac{1}{\sqrt{2}} 라서 최단이 아니다.
          • 
        • 정리하면: "정의상 이미 직교"라는 직관은 수선의 발(직교사영)이라는 정의를 이미 채택했을 때 이야기다. 이 절의 P = A(A^{\mathrm{T}}A)^{-1}A^{\mathrm{T}} 는 직교 조건에서 유도했으므로 자동으로 직교사영이 맞다. 문제는 방향이 반대일 때다: 정체 모를 행렬 P 가 주어졌을 때 "이거 직교사영 맞아?"를 판정하려면 P^2 = P (사영이긴 한가) 와 P^{\mathrm{T}} = P (수선의 발인가) 를 둘 다 확인해야 한다.
        • 왜 하필 "대칭"이 직교를 보장하나 (4.1 기본정리 2로 설명하면 명쾌하다):
          • p = Pb 는 열공간 \mathbf{C}(P) 에 살고, e = (I-P)b 는 영공간 \mathbf{N}(P) 에 산다 (Pe = Pb - P^2b = 0).
          • 그런데 기본정리 2가 보장하는 직교는 \mathbf{N}(P) \perp \mathbf{C}(P^{\mathrm{T}}), 즉 영공간 ⊥ 행공간이다. 열공간과의 직교는 공짜가 아니다!
          • P^{\mathrm{T}} = P 면 행공간 = 열공간이 되므로 그제서야 \mathbf{N}(P) \perp \mathbf{C}(P), 즉 e \perp p 가 성립한다.
          • 반례 행렬로 확인: 행공간은 (0,1) 방향, 열공간은 (1,1) 방향으로 서로 다르다. e = (-1,0) 은 행공간과는 직교하지만 ✓ 열공간(사영이 떨어지는 곳)과는 직교하지 않는다 ✗.
          • 대수 한 줄 확인: p^{\mathrm{T}}e = (Pb)^{\mathrm{T}}(I-P)b = b^{\mathrm{T}}P^{\mathrm{T}}(I-P)b 인데, P^{\mathrm{T}} = P 를 쓰면 b^{\mathrm{T}}(P - P^2)b = 0 (모든 b 에서).
    • I - P 도 사영행렬이다:
      • 📌 원문 (p.223): ((6a7af20e-41d5-4040-a603-a53e5809a41f)) / ((6a7af214-6b8f-4d35-99ab-549c781aa104))
      • Pb = p 이므로 (I - P)b = b - p = e. 즉 I - P 는 오차 쪽을 만들어주는 사영이다.
      • P 가 부분공간 \mathbf{S} 위로 사영하면, I - P 는 직교여공간 \mathbf{S}^{\perp} 위로 사영한다 ([2단계]의 여공간 그림 그대로: 둘이 합쳐 I).
      • 한 그림 정리: 같은 b 를 두 곳에 사영한 것이 p 와 e 다. 각 사영의 오차는 상대편의 사영이 된다 (P 의 오차 = e, I-P 의 오차 = p).
        • 
      • ⚠️ 흔한 오해 교정: I - P 를 "a 를 b 에 사영하는 행렬"로 착각하기 쉽다. 아니다! 두 행렬 모두 사영당하는 벡터는 똑같이 b 이고, 바뀌는 것은 도착지뿐이다 (P 는 직선 L, I-P 는 여공간 L^{\perp}). "a 를 b 방향에 사영"하는 행렬은 \frac{bb^{\mathrm{T}}}{b^{\mathrm{T}}b} 로, I - P 와는 전혀 다른 행렬이다 (연습문제 10이 정확히 이 차이를 다룬다: a_1 을 a_2 에 사영하고 그 결과를 다시 a_1 에 사영하는 것은 P_1 P_2 라는 곱이지, I - P 가 아니다).
      • 💡 b 의 a 쪽 성분은 P 가, 남은 수직 성분은 I - P 가 담당. P + (I - P) = I 는 "성분 분해의 완전성"이다.

  • [5단계] 부분공간 위로의 사영: 정규방정식이 태어나는 과정

    • 문제를 다시 정확히 읽기 (여기서 헷갈리기 쉽다): \mathbb{R}^m 안에 선형독립인 벡터 a_1, \ldots, a_n 이 있다. 목표는 "b 와 가장 가까운 선형결합 p = \hat{x}_1 a_1 + \cdots + \hat{x}_n a_n 을 구하라".
      • 미지수가 무엇인지부터: 벡터가 아니라 결합 계수 \hat{x} = (\hat{x}_1, \ldots, \hat{x}_n), 즉 숫자 n 개다. 직선 때 \hat{x} 하나였던 것이 n 개로 늘었을 뿐이다.
      • a_i 들을 열로 넣은 행렬 A 를 쓰면 선형결합은 Ax (1장), 그러니 목표는 p = A\hat{x}: "열공간 안에서 b 와 가장 가까운 점".
      • 📌 원문 (p.224): ((6a7af225-e248-4100-b418-ce9559de344b)) / ((6a7af22c-331d-4718-b45f-3c7997457022))
      • 모자(hat) 기호의 뜻: \hat{x} 는 "Ax = b 의 해"가 아니라 (해는 없을 수 있다!) "열공간 안에서 최선을 주는 계수"라는 표시다.
    • 전략은 직선 때와 완전히 같은 3단계 (S)(C)(T): ① \hat{x} 을 구하고 → ② 사영 p = A\hat{x} → ③ 사영행렬 P.
      • 📌 원문 (p.224): ((6a7af232-2329-4ae5-8b0b-f32445874c99))
    • 유도, 잘게 쪼개기 (식 (4)): 쓸 수 있는 기하 사실은 단 하나, "오차 e = b - A\hat{x} 는 부분공간과 직교한다".
      • 📌 원문 (p.224): ((6a7af237-5421-4b5e-9aaf-f18ab9f7b198))
      • ① "부분공간 전체와 직교" ⟺ "기저 a_1, \ldots, a_n 각각과 직교" (기저와 직교하면 모든 선형결합과 직교, 4.1 문제 17 보충에서 쓴 바로 그 논리).
      • ② 그래서 내적 방정식이 정확히 n 개 나온다: a_1^{\mathrm{T}}(b - A\hat{x}) = 0,\ \ldots,\ a_n^{\mathrm{T}}(b - A\hat{x}) = 0.
      • ③ 이 n 개를 행렬로 묶는다: a_i^{\mathrm{T}} 들을 행으로 쌓은 행렬이 바로 A^{\mathrm{T}} 다. 그러면 n 개의 식이 한 줄이 된다:
        • A^{\mathrm{T}}(b - A\hat{x}) = 0
        • 📌 원문 식 (4) (p.224): 🔗 PDF 위치
        • 
      • ④ 괄호를 풀어 이항하면 정규방정식(normal equation):
        • A^{\mathrm{T}}A\hat{x} = A^{\mathrm{T}}b
      • 📌 원문 (p.225): ((6a7af250-44f8-4e4d-8c66-e774cd33390a))
      • 💡 "갑자기 방정식이 왜 나오지?"에 대한 답: 미지수가 계수 n 개인데 직교 조건이 딱 n 개의 식을 주니까, 그 둘을 맞춰 놓은 n \times n 연립방정식을 푸는 것이다. 마법이 아니라 "미지수 개수 = 조건 개수" 맞추기다. 계수행렬이 A^{\mathrm{T}}A 인 이유도 위 ③에서 눈으로 확인된다.
      • 💡 더 빠른 유도 (책의 ❶❷, 4.1의 언어로): ❶ 부분공간은 \mathbf{C}(A) 다 → ❷ 오차 e 는 열공간과 직교하는 공간, 즉 좌영공간 \mathbf{N}(A^{\mathrm{T}}) 에 있다 → A^{\mathrm{T}}e = 0. 끝. (기본정리 2가 유도를 한 줄로 만든다.)
        • 📌 원문 ❶❷ 박스 (p.225): 🔗 PDF 위치
        • 
        • 덤: b 는 p (\mathbf{C}(A) 성분)와 e (\mathbf{N}(A^{\mathrm{T}}) 성분)로 분해된다. 4.1의 x = x_r + x_n 이 \mathbb{R}^m 쪽 쌍(열공간·좌영공간)에서 재현된 것이 b = p + e 다!
    • 🧩 결과 3공식 (식 (5), (6), (7), 꼭 기억):
      • 📌 원문 3공식 박스 (p.225): 🔗 PDF 위치
      • 
      • (n \times 1) \hat{x}: A^{\mathrm{T}}A\hat{x} = A^{\mathrm{T}}b 의 해, \hat{x} = (A^{\mathrm{T}}A)^{-1}A^{\mathrm{T}}b.
      • (m \times 1) 사영: p = A\hat{x} = A(A^{\mathrm{T}}A)^{-1}A^{\mathrm{T}}b.
      • (m \times m) 사영행렬: P = A(A^{\mathrm{T}}A)^{-1}A^{\mathrm{T}}.
      • 📌 원문 (p.219): ((6a7a0403-2799-49a5-952d-9fdf5d50e671))
      • 검산 감각: n = 1 이면 A^{\mathrm{T}}A = a^{\mathrm{T}}a (1×1 숫자)라서 "역행렬"이 "나누기"가 되고, [3단계]·[4단계]의 직선 공식 (식 (8))로 정확히 환원된다. 새 공식이 아니라 직선 공식의 일반화다.
    • 🔢 EX3 (p.226) 전체 계산: A = \begin{bmatrix} 1&0 \\ 1&1 \\ 1&2 \end{bmatrix}, b = (6, 0, 0).
      • ① 재료 준비: A^{\mathrm{T}}A = \begin{bmatrix} 3&3 \\ 3&5 \end{bmatrix}, A^{\mathrm{T}}b = (6, 0).
      • ② 정규방정식 풀기: 3\hat{x}_1 + 3\hat{x}_2 = 6, 3\hat{x}_1 + 5\hat{x}_2 = 0. 빼면 2\hat{x}_2 = -6 → \hat{x} = (5, -3).
      • ③ 사영: p = 5(1,1,1) - 3(0,1,2) = (5, 2, -1). 오차: e = b - p = (1, -2, 1).
      • ④ 검산: e \cdot (1,1,1) = 0 ✓, e \cdot (0,1,2) = -2 + 2 = 0 ✓ (오차가 두 열 모두와 직교).
      • ⑤ 사영행렬까지: (A^{\mathrm{T}}A)^{-1} = \frac{1}{6}\begin{bmatrix} 5&-3 \\ -3&3 \end{bmatrix}, P = \frac{1}{6}\begin{bmatrix} 5&2&-1 \\ 2&2&2 \\ -1&2&5 \end{bmatrix}. Pb = (5,2,-1) = p ✓.
    • ⚠️ P = A(A^{\mathrm{T}}A)^{-1}A^{\mathrm{T}} 계산 주의: (A^{\mathrm{T}}A)^{-1} 를 A^{-1}(A^{\mathrm{T}})^{-1} 로 쪼개면 안 된다!
      • 📌 원문 (p.226): ((6a7af267-9dca-45c0-bc40-f0a8db37093b)) / ((6a7af26d-7da7-41db-ba30-fac9454a16e0))
      • 쪼개면 P = AA^{-1}(A^{\mathrm{T}})^{-1}A^{\mathrm{T}} = I 가 나와버리는데, A 는 직사각행렬이라 A^{-1} 자체가 존재하지 않는다 ((BC)^{-1} = C^{-1}B^{-1} 는 각각이 가역인 정사각일 때만).
      • 💡 뒤집어 보면, A 가 진짜 가역 정사각이면 P = I 가 맞는 답이다: 열공간이 \mathbb{R}^m 전체라 모든 b 의 사영이 자기 자신 (연습문제 9·24).

  • [6단계] A^{\mathrm{T}}A 는 언제 가역인가

    • 정규방정식을 "풀 수 있다"고 말하려면 A^{\mathrm{T}}A 의 가역이 보장돼야 한다. 조건은 딱 하나:
      • 📌 원문 (p.227): ((6a7af283-66b3-4560-ae49-96b3acabb433))
      • 🧩 A^{\mathrm{T}}A 가 가역행렬일 필요충분조건은 A 의 열이 선형독립인 것이다.
    • 증명의 핵심은 4.1 연습문제 9 그대로: \mathbf{N}(A^{\mathrm{T}}A) = \mathbf{N}(A).
      • A^{\mathrm{T}}Ax = 0 이면 x^{\mathrm{T}} 를 곱해 \|Ax\|^2 = 0 → Ax = 0 (식 (12), 지난 절에서 두 가지 방법으로 증명했던 그 사실).
      • 📌 원문 식 (12) (p.227): 🔗 PDF 위치
      • 
      • 열이 독립이면 \mathbf{N}(A) = \{0\} → \mathbf{N}(A^{\mathrm{T}}A) = \{0\} → 정사각행렬 A^{\mathrm{T}}A 는 가역 (4.1 [6단계]의 "영공간이 0뿐인 정사각 = 가역").
      • 열이 종속이면 같은 논리로 A^{\mathrm{T}}A 도 특이행렬. 책의 2×2 예: \begin{bmatrix} 1&2 \\ 1&2 \\ 0&0 \end{bmatrix} 는 A^{\mathrm{T}}A = \begin{bmatrix} 2&4 \\ 4&8 \end{bmatrix} (특이), 3열을 (0,0,1) 로 바꾸면 가역.
    • A^{\mathrm{T}}A 의 프로필 정리: 크기 n \times n 정사각, 대칭 ((A^{\mathrm{T}}A)^{\mathrm{T}} = A^{\mathrm{T}}A), 열 독립일 때 가역. "직사각행렬 문제는 항상 A^{\mathrm{T}}A 로 이어진다"(p.227)는 경험칙을 기억할 것.
    • 💡 수위 조절: 다음 절(4.3 최소제곱)이 정확히 이 장비로 싸운다. 해가 없는 Ax = b (데이터 근사)에서 정규방정식 A^{\mathrm{T}}A\hat{x} = A^{\mathrm{T}}b 를 풀면 "최선의 근사해"가 나온다. 이 절에서는 "사영 계산 도구"까지만 알면 충분하다.
  • 한눈 요약 (핵심 아이디어 리뷰, p.228):
    • 📌 원문 (p.228): 🔗 PDF 위치
    • 

• ❓ 스스로 점검

  • 사영 p 와 오차벡터 e 의 정의는? e 는 무엇과 직교하며, \|e\| 의 기하적 의미는? #card id:: 6a7ca96e-09cf-461b-9c23-ec6dc6aa645c
    • p: 부분공간 안에서 b 와 가장 가까운 벡터. e = b - p.
    • e 는 그 부분공간 전체와 직교한다 (e \in \mathbf{N}(A^{\mathrm{T}}), 좌영공간).
    • \|e\| 는 b 의 끝점에서 부분공간까지의 거리다 (수선의 발까지의 길이).
  • 직선 위로의 사영 공식 \hat{x} = \frac{a^{\mathrm{T}}b}{a^{\mathrm{T}}a} 는 어떤 한 줄에서 나오는가? #card id:: 6a7ca96e-1a89-4767-9639-2ff64a62cce2
    • p = \hat{x}a 로 놓고, 오차 b - \hat{x}a 가 a 와 직교한다는 조건 a \cdot (b - \hat{x}a) = 0 을 풀면 된다.
    • 사영행렬은 b 에 곱해지는 부분을 떼어낸 P = \frac{aa^{\mathrm{T}}}{a^{\mathrm{T}}a} (랭크 1).
  • 정규방정식 A^{\mathrm{T}}A\hat{x} = A^{\mathrm{T}}b 에서 미지수는 무엇이고, 이 방정식은 어떤 기하 사실에서 나오는가? #card id:: 6a7ca96e-b68a-4380-b338-5ca805a2f1cb
    • 미지수는 선형결합의 계수 \hat{x} (n 개의 숫자).
    • 기하 사실은 "오차 b - A\hat{x} 가 부분공간(= 각 기저 a_i)과 직교한다" 하나뿐이다.
    • n 개의 내적 방정식 a_i^{\mathrm{T}}(b - A\hat{x}) = 0 을 행렬로 묶으면 A^{\mathrm{T}}(b - A\hat{x}) = 0.
  • A^{\mathrm{T}}A 가 가역일 필요충분조건은? 증명의 핵심 한 줄은?
    • A 의 열이 {{c1 선형독립}} 인 것. extra:: 핵심: \mathbf{N}(A^{\mathrm{T}}A) = \mathbf{N}(A) (A^{\mathrm{T}}Ax = 0 이면 \|Ax\|^2 = x^{\mathrm{T}}A^{\mathrm{T}}Ax = 0). id:: 6a7ca96e-03e7-40bf-ba0a-907b79143ed9
  • I - P 는 무엇 위로 사영하는 행렬인가? P^2 = P 인 직관적 이유는? #card id:: 6a7ca96e-9a8a-4454-835f-190ae98b2a06
    • P 가 사영하는 부분공간의 직교여공간 위로 사영한다. (I-P)b = e.
    • 이미 부분공간 위에 있는 벡터를 다시 사영하면 자기 자신이라서 P(Pb) = Pb, 즉 P^2 = P.
  • 두 사영행렬이 P_1 + P_2 = I 를 만족하려면 두 부분공간은 어떤 관계여야 하는가?
    • 서로의 {{c1 직교여공간}}이어야 한다 extra:: (직교 + 차원 합 = 전체). 그냥 직교이기만 하면 (예: \mathbb{R}^3 의 z 축과 x 축) 사영 합이 b 를 복원하지 못한다. id:: 6a7ca96e-04eb-4960-b446-a5e0c6f6d7f9
  • A^{\mathrm{T}}A 와 AA^{\mathrm{T}} 의 각 성분은 무엇을 의미하는가? (내적 표 읽기)
    • 출발점은 곱셈 규칙 하나: (XY)_{ij} = (X 의 i 행) · (Y 의 j 열).
    • A^{\mathrm{T}}A 에 적용: A^{\mathrm{T}} 의 i 행은 곧 A 의 i 열이므로, (A^{\mathrm{T}}A)_{ij} = (i 열) · (j 열). :-> 열끼리의 내적 표. id:: 6a7ca96e-e08e-454c-88b4-f610e54249e7
    • AA^{\mathrm{T}} 에 적용: A^{\mathrm{T}} 의 j 열은 곧 A 의 j 행이므로, (AA^{\mathrm{T}})_{ij} = (i 행) · (j 행). :-> 행끼리의 내적 표. id:: 6a7ca96e-549a-4b49-9b40-e9bc5396cdb8
    • 왜 그런지 한 번만 천천히: A^{\mathrm{T}}A 의 (i,j) 성분을 곱셈 규칙에 넣으면 "A^{\mathrm{T}} 의 i 행"과 "A 의 j 열"의 내적이다.
      • 그런데 A^{\mathrm{T}} 는 A 를 눕힌 것이라서, A^{\mathrm{T}} 의 i 행을 다시 세우면 정확히 A 의 i 열이다.
      • 그래서 "(A 의 i 열) 내적 (A 의 j 열)"이 된다. AA^{\mathrm{T}} 는 역할이 반대일 뿐 같은 논리다.
    • 🔢 작은 예로 직접 확인: 열이 c_1 = (1, 3, 0), c_2 = (2, 4, 1) 인 3 \times 2 행렬 A.
      • 내적 표 방식: c_1 \cdot c_1 = 1 + 9 + 0 = 10, c_1 \cdot c_2 = 2 + 12 + 0 = 14, c_2 \cdot c_2 = 4 + 16 + 1 = 21.
      • A^{\mathrm{T}}A = \begin{bmatrix} c_1 \cdot c_1 & c_1 \cdot c_2 \\ c_2 \cdot c_1 & c_2 \cdot c_2 \end{bmatrix} = \begin{bmatrix} 10&14 \\ 14&21 \end{bmatrix}
      • 정직하게 행렬 곱으로 계산해도 같은 답이 나온다. 앞으로 A^{\mathrm{T}}A 가 보이면 곱셈 대신 "내적 표 채우기"로 계산해도 된다는 뜻이다.
    • 전치가 어느 쪽에 붙었는지가 "누구끼리 내적하는지"를 정한다. 내적을 a^{\mathrm{T}}a 로 쓰는 문법을 벡터 여러 개로 확장한 것이다 (이런 내적 표를 그람 행렬(Gram matrix)이라고도 부른다).
    • 따라오는 성질 3가지:
      • 대각 성분 = 각 열(행)의 크기 제곱 (a^{\mathrm{T}}a = \|a\|^2 의 확장).
      • 둘 다 대칭행렬이다 (내적은 순서 무관: i 열·j 열 = j 열·i 열).
      • 크기: A 가 m \times n 이면 A^{\mathrm{T}}A 는 n \times n (열 개수 기준), AA^{\mathrm{T}} 는 m \times m (행 개수 기준).
    • 직선 사영 공식이 바로 특수 케이스다: 열 1개짜리 A = a 면 A^{\mathrm{T}}A = a^{\mathrm{T}}a (1×1 숫자), AA^{\mathrm{T}} = aa^{\mathrm{T}} (m \times m 랭크 1 행렬).
      • 그래서 P = \frac{aa^{\mathrm{T}}}{a^{\mathrm{T}}a} 와 P = A(A^{\mathrm{T}}A)^{-1}A^{\mathrm{T}} 는 같은 구조다 (열이 여러 개가 되면서 "나누기"가 "역행렬"로 승격된 것).
    • 이 눈으로 [6단계]를 다시 읽으면: A^{\mathrm{T}}A = I ⟺ 내적 표가 항등행렬 ⟺ 자기 자신과는 1 (크기 1), 서로 다른 열끼리는 0 (직교) ⟺ 열들이 정규직교 (문제 14에서 체험한 것).

• ✏️ 연습문제 풀이 (솔루션 참고)

  • 문제 1: 벡터 b 를 a 방향 직선 위로 사영하고 e \perp a 를 확인하라. (a) b = (1,2,2), a = (1,1,1) (b) b = (1,3,1), a = (-1,-3,-1)
    • 🔁 개념 상기: 직선 사영 3종 세트는 \hat{x} = \frac{a^{\mathrm{T}}b}{a^{\mathrm{T}}a} → p = \hat{x}a → e = b - p ([3단계]). 검산은 항상 e^{\mathrm{T}}a = 0.
    • (a) 계산:
      • a^{\mathrm{T}}b = 1 + 2 + 2 = 5, a^{\mathrm{T}}a = 3 → \hat{x} = \frac{5}{3}.
      • p = (\frac{5}{3}, \frac{5}{3}, \frac{5}{3}), e = b - p = (-\frac{2}{3}, \frac{1}{3}, \frac{1}{3}).
      • 검산: e^{\mathrm{T}}a = -\frac{2}{3} + \frac{1}{3} + \frac{1}{3} = 0 ✓.
    • (b) 계산:
      • a^{\mathrm{T}}b = -1 - 9 - 1 = -11, a^{\mathrm{T}}a = 11 → \hat{x} = -1.
      • p = -a = (1, 3, 1) = b! 오차 e = 0.
      • 왜: a = -b 라서 b 가 이미 그 직선 위에 있다. [3단계] 특별한 경우 ①의 변형 (방향이 반대여도 같은 직선).
    • 핵심 문장: b 가 이미 직선 위에 있으면 사영은 자기 자신이고 e = 0 이다. 부호 반대 방향도 같은 직선이다.
  • 문제 8·9: b = (1,1) 을 a_1 = (1,0), a_2 = (1,2) 방향 직선에 각각 사영하고 합을 보라. 그리고 두 벡터가 이루는 평면 위로의 사영은?
    • 📌 참고 그림 (p.231):
      • 
    • 🔁 개념 상기: [2단계]에서 p_1 + p_2 = b 가 성립한 건 두 공간이 직교여공간이었기 때문이다. 직교하지 않는 두 직선이면 어떻게 되는지 보는 문제.
    • 1단계, 각각 사영:
      • a_1 위로: \hat{x} = \frac{1}{1} = 1 → p_1 = (1, 0).
      • a_2 위로: a_2^{\mathrm{T}}b = 3, a_2^{\mathrm{T}}a_2 = 5 → p_2 = \frac{3}{5}(1,2) = (\frac{3}{5}, \frac{6}{5}).
    • 2단계, 합해보기: p_1 + p_2 = (\frac{8}{5}, \frac{6}{5}) \neq (1, 1) = b.
      • 이유: a_1^{\mathrm{T}}a_2 = 1 \neq 0, 두 직선이 직교하지 않아서 두 사영이 성분을 중복으로 집어간다 ([그림 4.5]의 상황).
      • 대비 (문제 5~7, [그림 4.4]): 기저가 서로 직교하면 P_1 + P_2 + P_3 = I, 사영 합이 정확히 b 가 된다. "직교 기저는 사영을 낱개로 쪼개 계산해도 된다"는 이 사실이 4.4절(정규직교기저)의 예고편이다.
    • 3단계 (문제 9), 평면 위로 제대로 사영하면: a_1, a_2 가 이루는 평면은 \mathbb{R}^2 전체다. A = \begin{bmatrix} 1&1 \\ 0&2 \end{bmatrix} 는 가역 정사각이므로
      • P = A(A^{\mathrm{T}}A)^{-1}A^{\mathrm{T}} = AA^{-1}(A^{\mathrm{T}})^{-1}A^{\mathrm{T}} = I (가역일 땐 이 분리가 합법! [5단계] ⚠️의 뒤집기).
      • 사영은 p = Ib = b, 오차 e = 0. 전체 공간 위로의 사영은 아무것도 바꾸지 않는다.
    • 핵심 문장: 직교하지 않는 방향들로의 사영은 합쳐도 b 가 안 된다. 낱개 사영의 합이 전체 사영이 되는 것은 직교 기저의 특권이다.
  • 문제 14 (꼭 풀어볼 만한 문제): A 는 4 \times 4 항등행렬에서 마지막 열을 제거한 4 \times 3 행렬이다. b = (1,2,3,4) 를 \mathbf{C}(A) 위로 사영하라. 사영행렬 P 는?
    • 🔁 개념 상기: 이 문제는 공식보다 [2단계]의 "좌표축 사영 = 성분만 남기기"가 주인공이다. b = (2,3,4) 를 $xy$-평면에 사영하면 (2,3,0) 이었던 것, 그 4차원 버전.
    • 방법 ① 관찰로 바로 풀기 (공식 계산 없음, 이게 정공법):
      • 열공간 파악: A 의 열은 e_1 = (1,0,0,0), e_2 = (0,1,0,0), e_3 = (0,0,1,0). 열공간 = "4번째 성분이 0인 벡터 전체" (\mathbb{R}^4 안의 3차원 좌표 부분공간).
      • 그 공간 위로의 사영은 [2단계]의 $xy$-평면 사영과 똑같은 원리다: b 의 1~3번째 성분은 이미 그 공간 방향이니 그대로 두고, 공간과 수직인 4번째 성분만 지운다.
      • 그래서 계산 없이 즉답: p = (1, 2, 3, 0), 그리고 P 는 I_4 에서 마지막 대각 성분 1을 0으로 바꾼 행렬.
      • P = \begin{bmatrix} 1&0&0&0 \\ 0&1&0&0 \\ 0&0&1&0 \\ 0&0&0&0 \end{bmatrix}
      • 검산: e = b - p = (0,0,0,4) 는 e_1, e_2, e_3 모두와 직교 ✓ (4번째 축 방향이니까). "오차 ⊥ 부분공간" 확인 끝, 이러면 이 p 가 사영이 맞다는 게 보장된다 ([1단계] 정의).
    • 방법 ② 공식으로 검증하기 (P = A(A^{\mathrm{T}}A)^{-1}A^{\mathrm{T}} 가 같은 답을 주는지):
      • A^{\mathrm{T}}A 를 겁먹지 말고 성분 단위로 읽자. 곱셈 규칙상 (A^{\mathrm{T}}A)_{ij} = (A 의 i 열) \cdot (A 의 j 열), 즉 A^{\mathrm{T}}A 는 열들끼리의 내적을 모아둔 표다 (외우면 평생 쓰는 사실).
      • 여기 열들은 e_1, e_2, e_3: 자기 자신과의 내적은 전부 1, 서로 다른 열끼리는 전부 0. 표를 채우면:
        • A^{\mathrm{T}}A = \begin{bmatrix} e_1 \cdot e_1 & e_1 \cdot e_2 & e_1 \cdot e_3 \\ e_2 \cdot e_1 & e_2 \cdot e_2 & e_2 \cdot e_3 \\ e_3 \cdot e_1 & e_3 \cdot e_2 & e_3 \cdot e_3 \end{bmatrix} = \begin{bmatrix} 1&0&0 \\ 0&1&0 \\ 0&0&1 \end{bmatrix} = I_3
      • "$A^{\mathrm{T}}A = I_3$" 이라는 해설의 한 줄은 이 내적 표 9칸을 채운 것뿐이다. 역행렬 계산이 필요 없어진다: (I_3)^{-1} = I_3.
      • P = A\,I_3\,A^{\mathrm{T}} = AA^{\mathrm{T}}
      • AA^{\mathrm{T}} 도 같은 요령으로: (AA^{\mathrm{T}})_{ij} = (A 의 i 행) \cdot (A 의 j 행). A 의 행은 (1,0,0), (0,1,0), (0,0,1), (0,0,0) 이라서 대각에 1,1,1,0, 나머지 0. 방법 ①의 P 와 정확히 일치 ✓.
    • 💡 보충: 두 방법의 관계 (관찰 풀이가 약식이 아닌 이유):
      • 방법 ①은 편법이 아니라 사영의 정의를 직접 쓴 것이다: "p 는 부분공간 안 + e = b - p 는 부분공간과 직교"를 눈으로 확인했으니 증명까지 끝난 완전한 풀이다. 부분공간이 좌표축 방향일 때는 이게 항상 최선이다.
      • 공식 ②의 존재 이유는 눈으로 안 보일 때다: 열들이 (1,1,0,2) 처럼 비스듬하면 "성분만 남기기"가 통하지 않으니, 그때 기계적으로 돌리는 만능 크랭크가 A(A^{\mathrm{T}}A)^{-1}A^{\mathrm{T}} 다 (EX3, 문제 20이 그런 경우).
      • 이 문제에서 공식이 유난히 쉽게 끝난 이유를 한 문장으로: 열들이 정규직교 (서로 직교 + 크기 1) → 내적 표 A^{\mathrm{T}}A 가 I → 역행렬이 공짜 → P = AA^{\mathrm{T}}. 즉 "쉬움"은 우연이 아니라 열들의 직교성이 만든 것이다.
    • 💡 수위 조절: 이 "정규직교 열이면 P = AA^{\mathrm{T}} 로 초간단" 이라는 좋은 성질을 아무 행렬에나 만들어주는 공장이 4.4절 그람-슈미트다. 지금은 이 맛보기만.
    • 핵심 문장: A^{\mathrm{T}}A 는 열들의 내적 표다. 열들이 정규직교면 그 표가 I 가 되어 P = AA^{\mathrm{T}}, 사영은 "해당 성분만 남기기"가 된다.
  • 문제 17: 두 벡터 (1,2,-1), (1,0,1) 의 선형결합 중 b = (2,1,1) 과 가장 가까운 것은?
    • 🔁 개념 상기: "가장 가까운 선형결합" = 열공간 위로의 사영 ([5단계]의 문제 설정 그대로). 그런데 공식에 넣기 전에 b 가 이미 그 평면 안인지 확인하는 게 먼저다 (사영의 특별한 경우 ①).
    • 1단계, b 가 평면 안인지 검사: c_1(1,2,-1) + c_2(1,0,1) = (2,1,1) 을 풀어본다.
      • 2번째 성분: 2c_1 = 1 → c_1 = \frac{1}{2}.
      • 1번째 성분: \frac{1}{2} + c_2 = 2 → c_2 = \frac{3}{2}.
      • 3번째 성분 검산: -\frac{1}{2} + \frac{3}{2} = 1 ✓ 일치!
    • 2단계, 결론: b 자체가 두 벡터의 선형결합이다. 가장 가까운 점은 p = b = (2,1,1), 오차 e = 0, Pb = b.
    • 핵심 문장: b 가 이미 부분공간 안이면 사영은 b 자신이다. 사영 문제는 "안인가 밖인가" 확인부터.
  • 문제 18 (중요한 문제): P^2 = P 이면 (I-P)^2 = I-P 임을 보여라. P 가 열공간 위로 사영할 때 I - P 는 어디로 사영하는가?
    • 🔁 개념 상기: I - P 는 오차를 만드는 사영 ([4단계]). 사영행렬의 자격은 "두 번 해도 같음" (P^2 = P).
    • 1단계, 전개 한 번이면 끝:
      • (I-P)^2 = I - 2P + P^2 = I - 2P + P = I - P
      • 직관 번역: "오차의 오차"를 또 구하면 그대로다. e 는 이미 여공간 위에 있으니까.
    • 2단계, 빈칸: P 가 \mathbf{C}(A) 위로 사영하면 I - P 는 그 직교여공간, 즉 좌영공간 \mathbf{N}(A^{\mathrm{T}}) 위로 사영한다 (e = b - p 가 사는 곳, [5단계] ❷).
    • 확장 (문제 19의 두 사례로 감각 확인):
      • P 가 \mathbb{R}^2 에서 (1,1) 직선 위로 사영하면, I - P 는 (1,-1) 직선 위로 사영.
      • P 가 \mathbb{R}^3 에서 (1,1,1) 직선 위로 사영하면, I - P 는 평면 x + y + z = 0 위로 사영 (4.1 문제 17에서 구했던 바로 그 여공간 쌍!).
    • 핵심 문장: P 와 I - P 는 직교여공간 쌍을 나눠 맡는 사영 콤비다 (P + (I-P) = I, P(I-P) = 0).
  • 문제 20·21 (같은 평면, 두 가지 공법): 평면 x - y - 2z = 0 위로의 사영행렬 P 를 ① 평면의 기저로, ② 평면의 법선으로 각각 구하라.
    • 🔁 개념 상기: ① 은 [5단계] 공식 (기저를 열로 → P = A(A^{\mathrm{T}}A)^{-1}A^{\mathrm{T}}), ② 는 [4단계] I - P 아이디어 (여공간 쪽이 더 쉬우면 그쪽을 먼저 사영). 평면의 법선은 4.1의 언어로 \mathbf{S}^{\perp} 의 기저다.
    • 공법 ① (문제 20): 평면 위의 독립인 두 벡터를 고른다. 예: (1,1,0) (z=0, x=y)과 (2,0,1) (y=0, x=2z).
      • A = \begin{bmatrix} 1&2 \\ 1&0 \\ 0&1 \end{bmatrix}, A^{\mathrm{T}}A = \begin{bmatrix} 2&2 \\ 2&5 \end{bmatrix}, (A^{\mathrm{T}}A)^{-1} = \frac{1}{6}\begin{bmatrix} 5&-2 \\ -2&2 \end{bmatrix}.
      • P = A(A^{\mathrm{T}}A)^{-1}A^{\mathrm{T}} = \begin{bmatrix} 5/6&1/6&1/3 \\ 1/6&5/6&-1/3 \\ 1/3&-1/3&1/3 \end{bmatrix}
    • 공법 ② (문제 21): 평면의 방정식 x - y - 2z = 0 에서 법선 e = (1, -1, -2) 를 바로 읽는다 (3장: 평면 방정식의 계수 = 법선).
      • 법선 직선 위로의 사영행렬 (랭크 1 공식): Q = \frac{ee^{\mathrm{T}}}{e^{\mathrm{T}}e} = \frac{1}{6}\begin{bmatrix} 1&-1&-2 \\ -1&1&2 \\ -2&2&4 \end{bmatrix}.
      • 평면은 법선의 직교여공간이므로: P = I - Q = \begin{bmatrix} 5/6&1/6&1/3 \\ 1/6&5/6&-1/3 \\ 1/3&-1/3&1/3 \end{bmatrix}. 공법 ①과 정확히 일치 ✓.
    • 검산: P e = 0 확인 (법선은 평면 사영에서 죽어야 함): 1행 \cdot e = \frac{5}{6} - \frac{1}{6} - \frac{2}{3} = 0 ✓.
    • 💡 실전 꿀팁: \mathbb{R}^3 의 평면 사영은 공법 ②가 훨씬 빠르다 (기저 2개짜리 역행렬 대신 법선 1개짜리 나누기). 차원이 낮은 쪽(\mathbf{S} 든 \mathbf{S}^{\perp} 든)을 사영하고 필요하면 I 에서 빼라.
    • 핵심 문장: 평면 사영행렬 = I - (\text{법선 사영행렬}). 여공간 쌍은 사영행렬도 I 를 나눠 갖는다.