Logseq/Major Study/pages/4.4 정규직교기저와 그람-슈미트 과정.md

deck:: Logseq/전공공부/선형대수학

• 핵심 개념

  • 흐름 지도: [1단계] 정규직교란 무엇인가 (Q^{\mathrm{T}}Q = I) → [2단계] 직교행렬 3대장: 회전·치환·반사 → [3단계] Q 의 초능력: 크기·각도 보존 → [4단계] Q 로 하는 사영: 공식에서 역행렬이 사라진다 → [5단계] 정사각 Q: b 를 기저로 분해 → [6단계] 그람-슈미트: 직교기저를 만드는 공장 → [7단계] A = QR 분해와 최소제곱.
  • 💡 이 절의 위치: 4.2 문제 14, 4.3 EX2·문제 22에서 세 번 맛본 꿀("열이 직교하면 만사가 쉽다")을 아무 행렬에나 만들어주는 자동화 공장이 이 절이다. 새 이론이라기보다 좋았던 것의 제조법.

  • [1단계] 정규직교란 무엇인가

    • 정의: 벡터 q_1, \ldots, q_n 이 다음 두 조건을 만족하면 정규직교(orthonormal)한다고 한다.
      • 서로 직교: i \neq j 이면 q_i^{\mathrm{T}}q_j = 0
      • 각자 단위벡터: q_i^{\mathrm{T}}q_i = \|q_i\|^2 = 1 (자기 자신과의 내적 = 크기 제곱 = 1)
      • 📌 원문 정의 박스 (p.252): 🔗 PDF 위치
      • 
      • 📌 원문 (p.251): ((6a82e162-84c7-46ef-bcdf-96db71e7c22f)) / ((6a82e178-6b2a-41fd-8096-b20b2403e67d))
    • 이 두 조건을 행렬 언어로 쓰면 한 줄이 된다 (4.2에서 만든 내적 표 감각 그대로):
      • Q^{\mathrm{T}}Q = \begin{bmatrix} q_1 \cdot q_1 & q_1 \cdot q_2 & \cdots \\ q_2 \cdot q_1 & q_2 \cdot q_2 & \cdots \\ \vdots & & \ddots \end{bmatrix} = I
      • 대각(자기 자신과의 내적)은 전부 1, 비대각(서로의 내적)은 전부 0. 굿노트에 적은 그대로: "자기 자신과의 내적 = 1, 나머지는 0".
    • ⚠️ Q^{\mathrm{T}}Q 와 QQ^{\mathrm{T}} 를 구분할 것 (이 절 최대의 함정):
      • Q^{\mathrm{T}}Q = I 는 Q 가 직사각이어도 항상 성립한다 (열들의 내적 표니까).
      • 📌 원문 (p.252): ((6a82e1b4-386d-4371-b3b6-cd50d2cfeafe)) / ((6a82e195-abe4-45cf-8c36-23ba4aa08b4f))
      • QQ^{\mathrm{T}} 는 다르다. 일반적으로 QQ^{\mathrm{T}} \neq I 이고, Q 가 정사각일 때만 QQ^{\mathrm{T}} = I 가 된다 (그때 Q^{\mathrm{T}} 가 양쪽 역행렬).
      • 📌 원문 (p.252): ((6a82e1bf-dd4a-4c0a-8c28-174d9da0d74b)) / ((6a82e19e-e3d4-4685-b9f9-b9e1bc804816)) / ((6a82e1c3-f8af-452a-bb90-bbfd4bd80ae9))
      • 💡 직사각일 때 QQ^{\mathrm{T}} 의 정체는 [4단계]에서 밝혀진다 (열공간 사영행렬!). "\neq I 인데 그럼 뭔데?"의 답이 이 절의 백미다.
    • 이름 규칙 (헷갈리기 쉬움): 정규직교 열을 가진 행렬은 늘 Q 로 쓰지만, "직교행렬(orthogonal matrix)"이라는 이름은 정사각인 경우에만 붙인다 (책 각주).
      • 📌 원문 (p.252): ((6a82e1d1-ceda-425e-9ef1-24dcf5e0ee08))
      • 판정법은 하나: Q^{\mathrm{T}}Q = I 확인. 📌 원문 (p.253): ((6a82e1e1-08da-4c9c-a290-6adfb66f7b0b))
    • 참고: 열들이 직교하기만 하고 크기가 1이 아니면? 내적 표는 대각행렬(항등은 아님)이 된다. 4.3 EX2가 그 경우였다. 정규화(크기로 나누기)는 쉬우니 핵심은 직교성이다.
      • 📌 원문 (p.252): ((6a82e1a7-0965-48c5-a35a-772b3daba33d))

  • [2단계] 직교행렬 3대장: 회전, 치환, 반사

    • EX1 회전 (rotation): 평면의 모든 벡터를 각도 \theta 만큼 돌리는 행렬.
      • Q = \begin{bmatrix} \cos\theta & -\sin\theta \\ \sin\theta & \cos\theta \end{bmatrix}, \qquad Q^{-1} = Q^{\mathrm{T}} = \begin{bmatrix} \cos\theta & \sin\theta \\ -\sin\theta & \cos\theta \end{bmatrix}
      • 두 열의 내적 = -\cos\theta\sin\theta + \sin\theta\cos\theta = 0 (직교), 크기 = \sin^2\theta + \cos^2\theta = 1 (정규). \mathbb{R}^2 의 정규직교기저다.
      • 역행렬 = "반대로 -\theta 만큼 돌리기" = 전치. 기하가 대수를 공짜로 준다.
    • EX2 치환 (permutation): 성분들의 순서를 바꾸는 행렬. 각 열이 단위벡터 하나씩이고 위치가 겹치지 않으니 자동으로 정규직교.
      • 📌 원문 (p.254): ((6a82e1f4-6c26-433e-b727-be8bfd60e96f))
      • 역행렬 = "순서를 원래대로 되돌리기" = 전치. 2.4에서 본 P^{-1} = P^{\mathrm{T}} 의 정체가 사실 "치환행렬은 직교행렬"이었던 것.
    • EX3 반사 (reflection): 거울에 비추는 행렬. (회전·치환은 알고 있으니 이 친구만 제대로 소개!)
      • 정체: 거울(원점을 지나는 직선/평면)을 놓고 벡터를 반대편으로 뒤집는 변환이다. u = 거울에 수직인 단위벡터(법선)로 놓으면:
      • Q = I - 2uu^{\mathrm{T}}
      • 📌 원문 EX3 반사 (p.254): 🔗 PDF 위치
      • 
      • 읽는 법 (4.2 언어로 읽으면 명쾌하다): uu^{\mathrm{T}} 는 u 방향 직선으로의 사영행렬이다 (\frac{uu^{\mathrm{T}}}{u^{\mathrm{T}}u} 에서 분모가 1). 그러니 Qb = b - 2(u\text{방향 성분}): b 를 거울 성분 + 수직 성분으로 쪼갠 뒤, 수직 성분만 부호를 뒤집는다. 거울 위 성분은 그대로.
      • 🔢 숫자로: u = (-\frac{1}{\sqrt{2}}, \frac{1}{\sqrt{2}}) (거울은 u 에 수직인 직선 y = x).
        • Q = I - 2\begin{bmatrix} 0.5 & -0.5 \\ -0.5 & 0.5 \end{bmatrix} = \begin{bmatrix} 0&1 \\ 1&0 \end{bmatrix}
        • (x, y) \to (y, x): 정확히 y = x 거울 대칭이다! (3, 3) 은 거울 위에 있어서 안 움직인다.
      • 성질 3종: Q^{\mathrm{T}} = Q (대칭이면서 직교), Q^2 = I (두 번 반사 = 원위치, 거울의 본질), 크기 보존 (직교행렬이니까).
      • 💡 수위 조절: 반사는 조연이 아니다. 실전 QR 분해는 그람-슈미트 대신 하우스홀더 반사(Householder reflections)로 구현된다 (p.261에 언급). 지금은 "반사 = I - 2uu^{\mathrm{T}}, 수직 성분 부호 반전"만 잡으면 충분하고, 연습문제 32·34에서 손에 익힌다.
    • 
      • (p.253, 그림 4.9. (b)의 점선이 거울, u 가 -u 로 뒤집히고 거울 위 벡터는 고정)

  • [3단계] Q 의 초능력: 크기와 각도를 보존한다

    • 회전·치환·반사의 공통점: 벡터를 돌리거나 섞거나 뒤집기만 하고 늘이거나 줄이지 않는다.
      • 📌 원문 (p.254): ((6a82e267-3148-4a25-8b7c-9f8fa7547998))
    • 증명은 한 줄 (Q^{\mathrm{T}}Q = I 만 사용, 굿노트 밑줄 부분):
      • \|Qx\|^2 = (Qx)^{\mathrm{T}}(Qx) = x^{\mathrm{T}}Q^{\mathrm{T}}Qx = x^{\mathrm{T}}Ix = \|x\|^2
      • 📌 원문 (p.254): ((6a82e26d-cefd-4963-ad7c-5340a6d2cc01)) / ((6a82e278-4ece-4377-a3eb-5c7e51f41f88))
    • 내적도 보존: (Qx)^{\mathrm{T}}(Qy) = x^{\mathrm{T}}Q^{\mathrm{T}}Qy = x^{\mathrm{T}}y. 크기와 내적이 보존되니 사잇각도 보존.
      • 📌 원문 (p.254): ((6a82e27d-5d9b-45d7-abb7-538d4900b18a))
    • 💡 왜 중요한가 (실용): 컴퓨터 계산에서 Q 를 곱해도 수가 커지거나 작아지지 않는다 → 오차가 증폭되지 않는다. "안정적인 코드는 Q 를 가능한 한 많이 사용한다" (p.255). 4.3에서 A^{\mathrm{T}}A 만들면 수가 폭발했던 것과 정반대.

  • [4단계] Q 로 하는 사영: 공식에서 역행렬이 사라진다

    • 4.2의 일반 공식에 A = Q 를 대입해보자. 모든 공식의 심장이던 A^{\mathrm{T}}A 가 Q^{\mathrm{T}}Q = I 로 증발한다:

      • 4.2 일반 공식 (A)	4.4 정규직교 (Q)
        \hat{x} = (A^{\mathrm{T}}A)^{-1}A^{\mathrm{T}}b	\hat{x} = Q^{\mathrm{T}}b
        p = A\hat{x}	p = Q\hat{x} = QQ^{\mathrm{T}}b
        P = A(A^{\mathrm{T}}A)^{-1}A^{\mathrm{T}}	P = QQ^{\mathrm{T}}

      • 📌 원문 (p.255): ((6a82e28c-5f81-4475-85e9-16bbd2dfa773)) / ((6a82e292-e2e2-461b-aa6b-9b20b081c9cd)) / ((6a82e299-2ec8-4c15-b064-5af3e9eca2e6))
      • 역행렬 계산이 통째로 사라졌다. 이것이 정규직교기저를 쓰는 이유의 전부다. [1단계]의 복선 회수: 직사각 Q 에서 QQ^{\mathrm{T}} 의 정체 = 열공간 사영행렬.
    • 💡 보충: 1차원 공식으로도 같은 결론 (굿노트 필기의 유도, 정확하다!):
      • 직선 사영 공식 \hat{x} = \frac{a^{\mathrm{T}}b}{a^{\mathrm{T}}a} 에서 a = q_i 로 놓으면 분모 q_i^{\mathrm{T}}q_i = 1 → \hat{x}_i = q_i^{\mathrm{T}}b (내적 하나).
      • P = \frac{aa^{\mathrm{T}}}{a^{\mathrm{T}}a} 도 분모 1 → 방향별 q_iq_i^{\mathrm{T}}, 전부 더하면 QQ^{\mathrm{T}}.
      • 즉 일반 공식(행렬)에 A^{\mathrm{T}}A = I 를 넣어도, 기본 공식(1차원)에 q^{\mathrm{T}}q = 1 을 넣어도 같은 곳에 도착한다. "기본 공식에 적용해도 동일함" ✓.
    • 그 결과가 식 (5), 사영 = 1차원 사영들의 합:
      • 📌 원문 식 (5) 박스 (p.255): 🔗 PDF 위치
      • 
      • p = q_1(q_1^{\mathrm{T}}b) + q_2(q_2^{\mathrm{T}}b) + \cdots + q_n(q_n^{\mathrm{T}}b)
      • ⚠️ 이게 왜 대단한가: 4.2 문제 8·9에서 직교하지 않는 방향들로는 낱개 사영의 합이 실패했다 (성분 중복). 정규직교면 서로 간섭이 없어서 낱개 합이 정확히 전체 사영이 된다. 실패가 성공으로 바뀌는 조건이 직교성.

  • [5단계] 정사각 Q: b 를 기저로 분해한다 (EX4)

    • Q 가 정사각(m = n)이면 열공간이 전체 공간 → 사영할 필요가 없다: p = b, P = QQ^{\mathrm{T}} = I, 그리고 \hat{x} = Q^{\mathrm{T}}b 는 근사해가 아니라 정확한 해 Q^{-1}b 다.
      • 📌 원문 (p.255): ((6a82e2bd-91fe-4503-b79b-dd434a306690)) / ((6a82e2c6-865c-4ea8-92ab-4ffb5985120b))
    • "전체 공간 사영이 뭐가 대단한가?" 싶지만 (굿노트의 그 ? 표시!), 진짜 내용은 p = b 가 아니라 **그 등식을 풀어 쓴 식 (6)**이다:
      • 📌 원문 식 (6) (p.255): 🔗 PDF 위치
      • 
      • b = q_1(q_1^{\mathrm{T}}b) + q_2(q_2^{\mathrm{T}}b) + \cdots + q_n(q_n^{\mathrm{T}}b)
      • 📌 원문 (p.255): ((6a82e305-2b46-4fa9-8882-17831bc270ab)) / ((6a82e30a-a62c-41da-990a-4a283a143677))
      • 읽는 법: 임의의 b 를 정규직교기저로 분해하는 공식이다. b 의 q_i 좌표가 그냥 내적 q_i^{\mathrm{T}}b.
    • ✅ 굿노트 질문에 답 ("결국 Q 에서는 b 를 기저들로 분해하는 것?"): 정확히 맞다! 그리고 반쪽이 더 있다:
      • 분해 자체는 어떤 기저로도 된다 (3.4: 기저면 표현이 유일). 하지만 일반 기저면 좌표를 구하려고 연립방정식 Ax = b 를 풀어야 한다.
      • 정규직교 기저의 특권: 좌표가 내적 n 번으로 공짜. q_1 좌표를 알고 싶으면 q_1^{\mathrm{T}}b 하나 계산하면 끝, 다른 기저벡터들을 쳐다볼 필요도 없다 (간섭 없음).
      • 그러니 답을 한 문장으로: "b 를 기저로 분해하는 것 + 그 좌표를 내적만으로 얻는 것", 뒤쪽이 이 절의 선물이다.
    • 🔢 EX4 (p.256): Q = \frac{1}{3}\begin{bmatrix} -1&2&2 \\ 2&-1&2 \\ 2&2&-1 \end{bmatrix}, b = (0, 0, 1).
      • 📌 원문 EX4 (p.256): 🔗 PDF 위치
      • 
      • 좌표 셋 = 내적 셋: q_1^{\mathrm{T}}b = \frac{2}{3}, q_2^{\mathrm{T}}b = \frac{2}{3}, q_3^{\mathrm{T}}b = -\frac{1}{3}.
      • 재구성: \frac{2}{3}q_1 + \frac{2}{3}q_2 - \frac{1}{3}q_3 = \frac{1}{9}(-2+4-2,\ 4-2-2,\ 4+4+1) = (0, 0, 1) = b ✓.
      • 덤: 처음 두 항만 더하면? q_1, q_2 가 만드는 평면으로의 사영. 부분합이 부분공간 사영이 되는 구조.
    • 💡 수위 조절 (변환의 눈): 분해(Q^{\mathrm{T}} 곱하기)와 재조립(Q 곱하기)의 짝을 변환/역변환이라 부른다. 푸리에 급수가 정확히 이 구조다 (4.3 끝의 그 문장과 연결: 함수를 직교 조각으로 분해). 지금은 이름만.
      • 📌 원문 (p.255~256): ((6a82e326-de72-4c68-a7ac-d3b895eb174d)) / ((6a82e32e-25cb-436e-8a86-7b6d5f2d6bd7)) / ((6a82e33e-03b7-4ef8-b756-8b421ac4cd8b))

  • [6단계] 그람-슈미트: 직교기저를 만드는 공장

    • 여기까지의 결론: "정규직교기저는 최고다". 남은 질문: 아무 기저나 주어졌을 때 그걸 어떻게 만드나? 그 제조법이 그람-슈미트 과정.
    • 전체 그림 (굿노트 요약 필기 그대로, 정확하다!): 독립인 a, b, c 를 받아서
      • ① A = a: 첫 방향은 그대로 받아들인다.
      • ② B = b - (b 의 A 사영): b 에서 A 방향 성분을 제거 → A 와 직교하는 부분만 남는다.
      • ③ C = c - (c 의 A 사영) - (c 의 B 사영): A, B 방향 성분을 제거.
      • 마지막: A, B, C 를 각자 크기로 나눠 정규화 → q_1, q_2, q_3.
      • 📌 원문 (p.256~257): ((6a82e3ab-ae59-4678-9572-e372565f69b8)) / ((6a82e3d0-5802-46a0-83ea-ddcfc4da62ac)) / ((6a82e3d3-fd4b-4005-9c80-6e2e682944ed)) / ((6a82e3d8-90ed-4dd1-b6dd-dee4d0affe72)) / ((6a82e3dc-f30b-4555-9e11-13a72e8a2863)) / ((6a82e41a-b11f-4419-8e8b-c245e51a5a97)) / ((6a82e422-a27d-4bcb-8b5d-e1686b0bb1bb))
    • 공식으로 (식 (7), (8)):
      • 📌 원문 식 (7) 박스 (p.257): 🔗 PDF 위치
      • 
      • 📌 원문 식 (8) 박스 (p.257): 🔗 PDF 위치
      • 
      • 💡 새로운 공식이 하나도 없다! B = b - \frac{A^{\mathrm{T}}b}{A^{\mathrm{T}}A}A 는 4.2의 오차벡터 e = b - p 그 자체다. "사영을 빼면 직교하는 부분이 남는다"는 4.2 [1단계]의 정의를 반복 적용하는 것뿐. 검산도 4.2식: A^{\mathrm{T}}B = A^{\mathrm{T}}b - A^{\mathrm{T}}b = 0 ✓.
      • ⚠️ 왜 c 에서 a, b 가 아니라 A, B 의 사영을 빼는가 (연습문제 27): a, b 는 직교하지 않아서 낱개 사영의 합이 평면 사영이 아니다 (또 4.2 문제 8·9!). 이미 직교하게 만들어둔 A, B 로만 "낱개로 빼기"가 유효하다. 그람-슈미트가 순서대로 진행되는 이유.
      • 📌 원문 (p.257): ((6a82e3ee-e4b1-4abb-b944-108a14913c54)) / ((6a82e3f9-2f43-481a-b2c3-0be70ba2de43))
    • 🔢 책 예제 끝까지 (p.258): a = (1,-1,0), b = (2,0,-2), c = (3,-3,3).
      • A = a. A^{\mathrm{T}}b = 2, A^{\mathrm{T}}A = 2 → B = b - \frac{2}{2}A = (1, 1, -2). 검산: A^{\mathrm{T}}B = 1 - 1 + 0 = 0 ✓.
      • A^{\mathrm{T}}c = 6, B^{\mathrm{T}}c = -6, B^{\mathrm{T}}B = 6 → C = c - \frac{6}{2}A + \frac{6}{6}B = (1, 1, 1). 검산: A^{\mathrm{T}}C = 0 ✓, B^{\mathrm{T}}C = 0 ✓.
      • 정규화: 크기 \sqrt{2}, \sqrt{6}, \sqrt{3} → q_1 = \frac{(1,-1,0)}{\sqrt{2}}, q_2 = \frac{(1,1,-2)}{\sqrt{6}}, q_3 = \frac{(1,1,1)}{\sqrt{3}}.
      • (분수와 루트가 지저분해지는 것은 Q^{\mathrm{T}}Q = I 를 얻는 대가다. 정상!)
    • 
      • (p.257, 그림 4.10)
    • 핵심 성질: 나중 벡터가 이전 단계에 끼어들지 않는다 (p.259):
      • a 와 A, q_1 은 같은 직선 / a, b 와 A, B, q_1, q_2 는 같은 평면 / a, b, c 와 A, B, C 는 같은 3차원 공간.
      • 즉 각 단계는 생성하는 공간을 안 바꾸고 그 안에서 기저만 직교하게 갈아끼운다. 이 층층 구조가 다음 단계 R 의 삼각형 모양을 만든다.
      • 📌 원문 (p.259): ((6a82e468-4403-4612-8d6e-56b4137155ab))

  • [7단계] A = QR: 그람-슈미트의 행렬 버전, 그리고 최소제곱

    • 원래 열들(a)과 새 열들(q)을 잇는 세 번째 행렬이 R:
      • 📌 원문 (p.258): ((6a82e460-742e-406f-b5d3-26daef798a8b))
      • 📌 원문 그람-슈미트 정리 박스 (p.259): 🔗 PDF 위치
      • 
      • A = QR, \qquad R = Q^{\mathrm{T}}A
    • R 가 상삼각인 이유 (내적 표로 읽기): R 의 (i, j) 성분 = q_i^{\mathrm{T}}a_j.
      • 📌 원문 (p.259): ((6a82e478-5914-4040-9b53-d8a2f68fc37f)) / ((6a82e47f-92db-4a59-bdce-d0df63beea35))
      • ⚠️ 대각 아래의 0은 "편의상 그렇게 정의한 것"이 아니다. 실제로 내적을 계산하면 0이 나온다. 메커니즘을 끝까지 밟으면:
        • ① a_j 를 q 들로 풀어쓴다: 그람-슈미트를 거꾸로 읽으면 B = a_2 - (q_1^{\mathrm{T}}a_2)q_1 에서 a_2 = (q_1^{\mathrm{T}}a_2)q_1 + \|B\|q_2. 즉 a_2 는 q_1, q_2 만의 결합이다 (뺀 것을 되돌려 붙이는 데 나중 q 는 필요 없다). 일반적으로:
          • a_j = r_{1j}q_1 + r_{2j}q_2 + \cdots + r_{jj}q_j \qquad (\text{나중 } q \text{는 등장하지 않음})
          • 이것이 [6단계] 층층 구조("나중 벡터가 이전 단계에 끼어들지 않는다")의 정확한 뜻이다.
        • ② 이제 i > j 칸을 계산: a_j 를 위 표현으로 갈아끼우면
          • q_i^{\mathrm{T}}a_j = r_{1j}(q_i^{\mathrm{T}}q_1) + \cdots + r_{jj}(q_i^{\mathrm{T}}q_j) = 0 + \cdots + 0 = 0
          • q_i 는 자기보다 앞 번호인 q_1, \ldots, q_j 전부와 직교하므로 (i > j 라 자신은 목록에 없음) 항이 하나도 살아남지 못한다.
        • ③ 한 문장 직관: 나중 q_i 는 "이전 세계(q_1, \ldots, q_j 가 만드는 공간) 전체와 직교하도록" 태어났고, 이전 재료 a_j 는 그 세계 안에 통째로 산다. 공간 전체와 직교하면 그 안의 누구와도 직교 (4.1 [2단계]의 논리).
        • 🔢 책 예제로 검증 (믿기지 않으면 직접): a_1 = (1,-1,0), a_2 = (2,0,-2) 에 대해
          • r_{21} = q_2^{\mathrm{T}}a_1 = \frac{1 - 1 + 0}{\sqrt{6}} = 0 ✓, r_{31} = q_3^{\mathrm{T}}a_1 = \frac{1 - 1 + 0}{\sqrt{3}} = 0 ✓, r_{32} = q_3^{\mathrm{T}}a_2 = \frac{2 + 0 - 2}{\sqrt{3}} = 0 ✓
          • 책의 R 에 있는 0들은 채워 넣은 0이 아니라 계산 결과다.
        • 대비: 위 삼각형(i < j)은 일반적으로 0이 아니다. a_j 가 앞선 q_i 방향 성분을 갖고 있고, 그 성분이 바로 그람-슈미트가 뺀 사영의 계수 r_{ij} = q_i^{\mathrm{T}}a_j 다.
        • 기억법: 위 삼각형 = 과정에서 뺀 사영 계수들의 기록 / 대각 = 새로 태어난 방향의 크기 / 아래 삼각형 = 직교성이 자동으로 만든 0.
      • 대각 성분은 \|A\|, \|B\|, \|C\| (각 단계에서 새로 태어난 방향의 크기).
      • 📌 원문 (p.259): ((6a82e487-d001-48ec-b13e-29403412fb4c))
      • 🔢 책 예제의 QR: \begin{bmatrix} 1&2&3 \\ -1&0&-3 \\ 0&-2&3 \end{bmatrix} = \begin{bmatrix} 1/\sqrt{2} & 1/\sqrt{6} & 1/\sqrt{3} \\ -1/\sqrt{2} & 1/\sqrt{6} & 1/\sqrt{3} \\ 0 & -2/\sqrt{6} & 1/\sqrt{3} \end{bmatrix}\begin{bmatrix} \sqrt{2} & \sqrt{2} & \sqrt{18} \\ 0 & \sqrt{6} & -\sqrt{6} \\ 0 & 0 & \sqrt{3} \end{bmatrix}
    • 🧩 존재 정리: 선형독립인 열을 갖는 모든 A 는 A = QR 분해를 갖는다 (Q: m \times n 정규직교 열, R: 양의 대각을 갖는 상삼각).
      • 📌 원문 (p.259): ((6a82e48d-f499-42c1-be7f-0d9815a27279))
      • LU 와 나란히: LU 는 소거의 기록, QR 는 직교화의 기록. 선형대수의 2대 분해.
    • 최소제곱이 좋아진다: A = QR 를 정규방정식에 넣으면
      • A^{\mathrm{T}}A = (QR)^{\mathrm{T}}QR = R^{\mathrm{T}}Q^{\mathrm{T}}QR = R^{\mathrm{T}}R
      • 📌 원문 (p.259): ((6a82e495-6827-4b31-b48a-8587b88e3771))
      • A^{\mathrm{T}}A\hat{x} = A^{\mathrm{T}}b → R^{\mathrm{T}}R\hat{x} = R^{\mathrm{T}}Q^{\mathrm{T}}b → (R^{\mathrm{T}} 가역이라 소거) →
      • R\hat{x} = Q^{\mathrm{T}}b
      • 📌 원문 (p.260): ((6a82e4a0-31eb-46da-855f-b75bb5997eb4))
      • R 는 상삼각! 역행렬 없이 역대입으로 끝난다 (2.1의 그 역대입). A^{\mathrm{T}}A 를 만들지 말라던 4.3 문제 10의 조언이 여기서 공식 해법이 된 것.
    • ✅ 왜 곱셈이 mn^2 번인가 (질문에 답):
      • 📌 원문 (p.260): ((6a82e4b0-bc89-4b23-8ad5-679bcebd0d64))
      • 일의 단위부터: 길이 m 벡터 두 개의 내적 1번 = 곱셈 m 번. 사영 하나를 빼는 것도 (계수 × 벡터) = 곱셈 m 번.
      • j 번째 열을 처리할 때: 앞서 만든 q_1, \ldots, q_{j-1} 각각에 대해 [내적 1번 + 빼기 1번] = 2m 번 곱셈. 즉 열 하나에 약 (j-1) \cdot 2m 번.
      • 전체 합: \sum_{j=1}^{n}(j-1) \cdot 2m \approx 2m \cdot \frac{n^2}{2} = mn^2.
      • 기억법: (열 개수 n) × (열마다 상대할 이전 q 들 평균 \frac{n}{2} 개) × (한 상대당 2m). R 의 성분 계산이 절반(\frac{1}{2}mn^2), 사영 빼기가 절반(\frac{1}{2}mn^2)을 차지한다 (연습문제 28이 이 질문).
    • 💡 수위 조절: 실전 코드는 "수정된 그람-슈미트"(한 번에 사영 하나씩 빼기, 수치적으로 안정)나 하우스홀더 반사를 쓴다 (p.260~261). MATLAB은 qr(A). 원리는 지금 배운 그대로니 이름만 알아두면 된다.
  • 한눈 요약: 책 p.263의 A 대 Q 비교표가 이 절 전체를 한 장에 담고 있다 (굿노트에서 통째로 형광펜 칠한 그 표!).
    • 📌 원문 요약표 (p.263): 🔗 PDF 위치
    • 
    • (p.263. 표의 마지막 줄 유사역행렬 A^{+}, Q^{+} 는 4.5절 예고, 지금은 넘어가도 된다.)

• 📖 확인문제 풀이 (4.4A·4.4B)

  • 확인문제 4.4A (아다마르 행렬): \pm 1 로만 이루어진 직교 열 행렬 H. 블록 쌓기로 크기를 2배씩 키운다.
    • H_2 = \begin{bmatrix} 1&1 \\ 1&-1 \end{bmatrix} → H_4 = \begin{bmatrix} H_2 & H_2 \\ H_2 & -H_2 \end{bmatrix} → H_8 = \begin{bmatrix} H_4 & H_4 \\ H_4 & -H_4 \end{bmatrix}, …
    • 직교행렬로 만들기: 열 크기가 \sqrt{4} = 2 이므로 Q_4 = \frac{H_4}{2} (정규화는 나누기 하나).
    • H_8^{\mathrm{T}}H_8 = 8I (내적 표: 자기 자신과는 성분 8개짜리 \pm 1 제곱합 = 8, 서로는 0) → Q_8 = \frac{H_8}{\sqrt{8}}.
    • 💡 5 \times 5 아다마르는 불가능: 두 열의 내적이 \pm 1 다섯 개의 합인데, 홀수 개의 \pm 1 은 0이 될 수 없다.
  • 확인문제 4.4B (직교 열의 핵심 한 줄): Q^{\mathrm{T}}Q 가 대각(항등)이라 역행렬이 공짜가 되고, 사영이 "축별로 따로 사영해서 더하기만 하면 되는 것"으로 쪼개진다는 것.

• ❓ 스스로 점검

  • 정규직교의 두 조건은? 그것이 Q^{\mathrm{T}}Q = I 한 줄과 같은 이유는?
    • 서로 직교 (i \neq j 이면 q_i^{\mathrm{T}}q_j = 0) + 각자 크기 1 (q_i^{\mathrm{T}}q_i = 1).
    • Q^{\mathrm{T}}Q 는 열들의 내적 표: 비대각 = 서로의 내적 = 0, 대각 = 자기 내적 = 1 → 정확히 I.
  • Q^{\mathrm{T}}Q = I 와 QQ^{\mathrm{T}} = I 는 언제 성립하는가? "직교행렬"이라는 이름은 언제 쓰나?
    • Q^{\mathrm{T}}Q = I: 직사각이어도 항상. QQ^{\mathrm{T}} = I: 정사각일 때만.
    • 직사각이면 QQ^{\mathrm{T}} 는 열공간 위로의 사영행렬이다.
    • "직교행렬"은 정사각인 경우에만 부르는 이름 (Q^{\mathrm{T}} = Q^{-1}).
  • 반사행렬 Q = I - 2uu^{\mathrm{T}} 를 사영의 언어로 읽으면?
    • uu^{\mathrm{T}} 는 u 방향(거울의 법선) 사영행렬. Qb = b - 2(u\text{방향 성분}), 즉 거울에 수직인 성분만 부호 반전.
    • 성질: Q^{\mathrm{T}} = Q, Q^2 = I (두 번 반사 = 원위치), 크기 보존.
  • Q 를 곱해도 변하지 않는 두 가지와 그 한 줄 증명은?
    • 크기와 사잇각(내적). \|Qx\|^2 = x^{\mathrm{T}}Q^{\mathrm{T}}Qx = x^{\mathrm{T}}x, (Qx)^{\mathrm{T}}(Qy) = x^{\mathrm{T}}y.
    • 실용적 의미: 수치 계산에서 오차가 증폭되지 않는다.
  • A 가 Q 로 바뀌면 사영 3공식이 어떻게 되나? 정사각이면 식 (6)은 무엇을 말하나?
    • \hat{x} = Q^{\mathrm{T}}b, p = QQ^{\mathrm{T}}b, P = QQ^{\mathrm{T}} (역행렬 소멸).
    • 정사각이면 b = q_1(q_1^{\mathrm{T}}b) + \cdots + q_n(q_n^{\mathrm{T}}b): b 를 기저로 분해하며, 각 좌표가 내적으로 공짜.
  • 그람-슈미트를 한 문장으로? R = Q^{\mathrm{T}}A 가 상삼각인 이유는? 연산량은?
    • 새 벡터에서 기존 직교벡터들 위로의 사영을 빼고(오차벡터만 남기고), 마지막에 크기로 나눈다.
    • a_j 는 q_1, \ldots, q_j 의 결합이라 나중 q_i (i > j)와의 내적 r_{ij} = 0 → 상삼각.
    • 곱셈 mn^2 번 (열마다 이전 q 들과 내적 + 빼기, 각 m 번씩).

• ✏️ 연습문제 풀이 (솔루션 참고)

  • 문제 2: (2, 2, -1) 과 (-1, 2, 2) 로 q_1, q_2 를 만들고 Q^{\mathrm{T}}Q 와 QQ^{\mathrm{T}} 를 계산하라.
    • 🔁 개념 상기: [1단계]의 함정 "Q^{\mathrm{T}}Q 대 $QQ^{\mathrm{T}}$"를 손으로 체험하는 문제. 직사각 Q 에서 둘이 어떻게 다른지가 포인트.
    • 1단계, 직교 확인·정규화: 내적 = -2 + 4 - 2 = 0 ✓. 크기 둘 다 \sqrt{4+4+1} = 3 → q_1 = \frac{1}{3}(2,2,-1), q_2 = \frac{1}{3}(-1,2,2). Q 는 3 \times 2.
    • 2단계, Q^{\mathrm{T}}Q (2×2, 내적 표): 대각 1, 비대각 0 → I_2 ✓ (직사각이어도 성립!).
    • 3단계, QQ^{\mathrm{T}} (3×3): q_1q_1^{\mathrm{T}} + q_2q_2^{\mathrm{T}} = \frac{1}{9}\begin{bmatrix} 5&2&-4 \\ 2&8&2 \\ -4&2&5 \end{bmatrix} \neq I.
    • 4단계, 이 3×3의 정체 알아보기: I 가 아니라 q_1, q_2 평면 위로의 사영행렬이다. 검산: 대칭 ✓, 그리고 P^2 = P 는 QQ^{\mathrm{T}}QQ^{\mathrm{T}} = Q(Q^{\mathrm{T}}Q)Q^{\mathrm{T}} = QQ^{\mathrm{T}} ✓ (가운데 I 소멸, 문제 9(b)의 논리).
    • 핵심 문장: 직사각 Q 는 Q^{\mathrm{T}}Q = I (항상), QQ^{\mathrm{T}} = 열공간 사영행렬 (\neq I). 정사각이 되는 순간 둘 다 I.
  • 문제 4: 예시 만들기 3종.
    • 🔁 개념 상기: 정의의 경계선을 더듬는 문제. (a)는 직사각의 본질, (b)는 "직교 = 독립?"의 함정, (c)는 직교여공간 감각.
    • (a) 정규직교 열인데 QQ^{\mathrm{T}} \neq I: I 의 앞 두 열 Q = \begin{bmatrix} 1&0 \\ 0&1 \\ 0&0 \end{bmatrix}. QQ^{\mathrm{T}} = \mathrm{diag}(1,1,0) \neq I.
      • 사실 n < m 인 모든 Q 가 예다: QQ^{\mathrm{T}} 는 랭크가 n 뿐이라 I_m (랭크 m)이 될 수 없다.
    • (b) 직교하지만 독립이 아닌 두 벡터: (1, 0) 과 (0, 0). 영벡터는 모든 벡터와 직교하면서 어떤 집합도 종속으로 만든다.
      • ⚠️ 뒤집으면 중요한 사실: 0 아닌 직교 벡터들은 반드시 독립이다 (문제 10에서 증명). 함정은 오직 영벡터.
    • (c) q_1 = \frac{1}{\sqrt{3}}(1,1,1) 을 포함하는 \mathbb{R}^3 의 정규직교기저: q_1 과 직교하는 평면(x+y+z = 0, 4.1 문제 17의 그 여공간!)에서 직교한 둘을 고른다.
      • 예: q_2 = \frac{1}{\sqrt{2}}(1,-1,0), q_3 = \frac{1}{\sqrt{6}}(1,1,-2). (검산: 세 내적 전부 0 ✓)
    • 핵심 문장: 직교 → 독립은 영벡터만 빼면 참. 기저 확장은 직교여공간에서 찾는다.
  • 문제 12: a_1, a_2, a_3 가 직교(정규 아님) 기저일 때 b = x_1a_1 + x_2a_2 + x_3a_3 의 계수는 x_1 = \frac{a_1^{\mathrm{T}}b}{a_1^{\mathrm{T}}a_1} 임을 보여라.
    • 🔁 개념 상기: [5단계] "분해 좌표 = 내적"의 일반화. 정규화를 안 했으면 분모가 살아남는 것뿐이다.
    • 풀이는 한 수: 양변에 a_1^{\mathrm{T}} 를 곱한다.
      • a_1^{\mathrm{T}}b = x_1a_1^{\mathrm{T}}a_1 + x_2a_1^{\mathrm{T}}a_2 + x_3a_1^{\mathrm{T}}a_3 = x_1a_1^{\mathrm{T}}a_1 + 0 + 0
      • 직교성 덕에 교차항이 전멸 → x_1 = \frac{a_1^{\mathrm{T}}b}{a_1^{\mathrm{T}}a_1}. (x_2, x_3 도 같은 수법.)
    • 💡 어디서 봤는가: 4.3 문제 12(b)의 "평균" 유도, [5단계] 식 (6), 그리고 푸리에 계수 공식이 전부 이 한 줄의 변주다. 정규직교면 분모 1이라 x_i = q_i^{\mathrm{T}}b.
    • 핵심 문장: 직교 기저에서 좌표 추출 = "원하는 기저벡터와 내적하고 그 크기 제곱으로 나누기". 교차항을 죽이는 것이 직교성의 일.
  • 문제 15: A = \begin{bmatrix} 1&1 \\ 2&-1 \\ -2&4 \end{bmatrix}. (a) 열공간의 정규직교기저 q_1, q_2 와 q_3 (b) q_3 는 4공간 중 어디? (c) Ax = (1, 2, 7) 을 최소제곱으로.
    • 🔁 개념 상기: 그람-슈미트 실전 + 4공간(3.5/4.1) + Q 사영([4단계])의 종합 문제.
    • (a) 그람-슈미트:
      • a_1 = (1,2,-2), 크기 3 → q_1 = \frac{1}{3}(1,2,-2).
      • q_1^{\mathrm{T}}a_2 = \frac{1 - 2 - 8}{3} = -3 → B = a_2 - (-3)q_1 = (1,-1,4) + (1,2,-2) = (2,1,2), 크기 3 → q_2 = \frac{1}{3}(2,1,2).
      • q_3: 열공간(2차원)의 직교여공간에서: q_1, q_2 모두와 직교하는 q_3 = \frac{1}{3}(2,-2,-1).
    • (b) q_3 는 열공간과 직교하는 공간 = 좌영공간 \mathbf{N}(A^{\mathrm{T}}) 소속 (4.1 기본정리 2: \mathbb{R}^3 에서 열공간의 직교여공간).
    • (c) Q = [q_1\ q_2] 로 최소제곱: \hat{x} 대신 사영부터. q_1^{\mathrm{T}}b = \frac{1+4-14}{3} = -3, q_2^{\mathrm{T}}b = \frac{2+2+14}{3} = 6.
      • p = -3q_1 + 6q_2 = (-1,-2,2) + (4,2,4) = (3, 0, 6). 원래 열 기준 계수는 A\hat{x} = p 에서 \hat{x} = (1, 2).
      • 검산: A(1,2) = (1+2,\ 2-2,\ -2+8) = (3,0,6) = p ✓. 오차 e = b - p = (-2, 2, 1) 은 q_1, q_2 와 직교 ✓ (내적 \frac{-2+4-2}{3} = 0, \frac{-4+2+2}{3} = 0).
    • 핵심 문장: q_3 처럼 "그람-슈미트가 안 만든 나머지 방향"은 좌영공간이다. 사영은 q 들과의 내적으로, 계수는 A\hat{x} = p 로.
  • 문제 18 (꼭 풀어볼 만한 문제): a = (1,-1,0,0), b = (0,1,-1,0), c = (0,0,1,-1) 에 그람-슈미트를 적용해 A, B, C 를 구하라.
    • 🔁 개념 상기: 식 (7)·(8) 그대로 세 번. 그리고 결과의 패턴을 읽는 눈 (이 벡터들은 4.1 문제 22가 다룬 "성분 합 0" 공간의 기저다).
    • 1단계: A = a = (1, -1, 0, 0).
    • 2단계: A^{\mathrm{T}}b = -1, A^{\mathrm{T}}A = 2 → B = b + \frac{1}{2}A = (\frac{1}{2}, \frac{1}{2}, -1, 0). 검산 A^{\mathrm{T}}B = \frac{1}{2} - \frac{1}{2} = 0 ✓.
    • 3단계: A^{\mathrm{T}}c = 0 (이미 직교, 첫 사영은 공짜 통과!), B^{\mathrm{T}}c = -1, B^{\mathrm{T}}B = \frac{3}{2} → C = c + \frac{2}{3}B = (\frac{1}{3}, \frac{1}{3}, \frac{1}{3}, -1).
    • 4단계, 패턴 감상: A = (1, -1, 0, 0), B = (\frac{1}{2}, \frac{1}{2}, -1, 0), C = (\frac{1}{3}, \frac{1}{3}, \frac{1}{3}, -1).
      • 규칙이 보인다: k 번째 벡터 = (앞 k 개 성분은 \frac{1}{k}, 다음 성분은 -1). \mathbb{R}^5 라면 D = (\frac{1}{4}, \frac{1}{4}, \frac{1}{4}, \frac{1}{4}, -1).
      • 셋 다 d = (1,1,1,1) 과 직교 (성분 합이 전부 0!): 이들은 d 방향 직선의 직교여공간, 즉 성분 합 0인 3차원 부분공간의 직교 기저다.
    • 핵심 문장: 그람-슈미트는 기계적 절차지만 결과에는 구조가 있다. "앞은 균등하게 \frac{1}{k}, 다음은 $-1$" 패턴은 성분 합 0 공간의 표준 직교기저.
  • 문제 32: u = (0, 1) 과 u = (0, \frac{\sqrt{2}}{2}, \frac{\sqrt{2}}{2}) 로 반사행렬 Q_1, Q_2 를 만들고, (1, 2) 와 (1, 1, 1) 의 반사를 구하라.
    • 🔁 개념 상기: [2단계] 반사 공식 Q = I - 2uu^{\mathrm{T}}. 거울 = u 에 수직인 직선/평면, 효과 = u 방향 성분 부호 반전.
    • Q_1: uu^{\mathrm{T}} = \begin{bmatrix} 0&0 \\ 0&1 \end{bmatrix} → Q_1 = \begin{bmatrix} 1&0 \\ 0&-1 \end{bmatrix}. 거울은 u = (0,1) 에 수직인 x 축.
      • (1, 2) \to (1, -2): y 성분만 부호 반전, x 축 대칭 ✓.
    • Q_2: uu^{\mathrm{T}} = \begin{bmatrix} 0&0&0 \\ 0&\frac{1}{2}&\frac{1}{2} \\ 0&\frac{1}{2}&\frac{1}{2} \end{bmatrix} → Q_2 = \begin{bmatrix} 1&0&0 \\ 0&0&-1 \\ 0&-1&0 \end{bmatrix}. 거울은 평면 y + z = 0.
      • (1, 1, 1): u 방향 성분 = (u^{\mathrm{T}}x)u, u^{\mathrm{T}}x = \sqrt{2} → Q_2 x = (1,1,1) - 2\sqrt{2}u = (1, -1, -1). 행렬 곱으로도 (1, -1, -1) ✓.
    • 검산: Q_1^2 = I, Q_2^2 = I (두 번 반사 = 원위치), 둘 다 대칭 ✓.
    • 핵심 문장: 반사행렬 제조법 = "법선 u 잡고 $I - 2uu^{\mathrm{T}}$". 효과 확인은 "u 성분만 부호 반전"으로 암산 검산이 된다.