Logseq/Major Study/pages/2.4 치환행렬과 전치행렬.md

deck:: Logseq/전공공부/선형대수학

• 핵심 개념

  • 이 절의 요지: ① 치환행렬 P 는 I 의 행들을 재배열한 것이고 P^{\mathrm{T}} = P^{-1}. ② 전치행렬 A^{\mathrm{T}} 는 행과 열을 뒤집으며 (Ax)^{\mathrm{T}}y = x^{\mathrm{T}}(A^{\mathrm{T}}y) 가 본질적 정의. ③ 대칭행렬 S = S^{\mathrm{T}}, 그리고 A^{\mathrm{T}}A 는 항상 대칭.
  • 치환행렬 (permutation matrix) P 의 정확한 형태 🧩
    • 모든 행에 1이 하나만 있고, 모든 열에도 1이 하나만 있다. 그 외의 모든 성분은 0. (I 의 행들을 순서만 바꾼 것.)
      • 📌 원문 (정의, p.105): ((6a635c61-9ba1-4d93-afe4-1ae41d602a26))
    • 만드는 법: 원하는 행 순서대로 I 의 행을 재배열한다. 예, x = (x_1, x_2, x_3) 을 (x_3, x_1, x_2) 로 바꾸고 싶으면, 1행에는 "x_3 을 뽑는" [0 \ 0 \ 1], 2행에는 [1\ 0\ 0], 3행에는 [0\ 1\ 0]:
    • P = \begin{bmatrix} 0&0&1 \\ 1&0&0 \\ 0&1&0 \end{bmatrix}, \qquad Px = \begin{bmatrix} x_3 \\ x_1 \\ x_2 \end{bmatrix}
    • 💡 읽는 법: P 의 i 행에서 1이 j 열에 있으면 "결과의 i 번째 성분 = 원래의 j 번째 성분" (x_j 가 i 번째 자리로 이동).
    • 크기 n 인 치환행렬은 (행 교환이 없는 P = I 를 포함해) 모두 n! 개다. 크기 3이면 3! = 6 개, 크기 4면 24개.
  • 치환행렬의 성질 (p.106)
    • 📌 원문 (성질 ❶~❹, p.106): 🔗 PDF 위치
    • 
    • ❶ n 개의 1이 서로 다른 행과 서로 다른 열에 나타난다.
    • ❷ P 의 열들은 서로 직교한다 (열 사이 내적 = 0).
    • ❸ 치환행렬의 곱도 치환행렬. 치환행렬의 역행렬도 치환행렬.
    • ❹ A 가 가역이면, 미리 행 순서를 조정하는 P 가 존재해 소거에서 피벗 0을 만나지 않는다: PA = LU.
    • 가장 중요한 성질: P^{\mathrm{T}} = {{c1 $P^{-1}$}} id:: 6a654a5b-bb58-413b-9d6e-400597cbbdae extra:: 즉 P^{\mathrm{T}}P = I.
      • 💡 이유: P^{\mathrm{T}}P 의 (i,j) 성분 = (P 의 i 열)·(P 의 j 열). 열들이 서로 직교하고 각 열의 길이가 1이므로 대각선만 1, 나머지 0.
  • 짝수 치환행렬 / 홀수 치환행렬: n! 개 중 절반은 짝수, 절반은 홀수, I 에 도달하는 데 필요한 행 교환 횟수의 홀짝.
    • 📌 원문 (홀수 치환행렬, p.106): ((6a635c9c-b2e7-455e-bb1d-347b3cf085bb))
    • 📌 원문 (짝수 치환행렬, p.106): ((6a635ca5-bdb6-4051-9bf7-a45e90b4ebf0))
    • 예: 단순 행 교환 1번 = 홀수. (1↔4, 2↔3) 두 번 교환 = 짝수.
  • PA = LU 분해: P 를 이용한 행 교환 (p.106~107)
    • 피벗 자리에 0이 나타나면 행 교환 후 소거를 계속한다. 필요한 모든 행 교환을 모아 미리 적용한 것이 PA = LU.
    • 예 (p.107): 2행↔3행을 먼저 바꾸면 PA 는 피벗 0을 만나지 않고 곧장 LU 로 분해된다.
    • 💡 원래 행렬에 열 (1,2,3) 을 추가로 붙여두면 행 교환이 어떻게 일어났는지 추적된다 (다니엘 드러커의 방법): 마지막에 그 열을 읽으면 P 를 알 수 있다.
  • 부분피벗 (partial pivoting): 반올림 오류를 줄이는 실전 기법
    • 배경: 컴퓨터는 수를 유한한 유효숫자(부동소수점, 보통 약 16자리)로 저장한다. 연산할 때마다 결과가 반올림되므로 매 단계 작은 오차가 생기고, 문제는 소거 과정이 이 오차를 증폭시킬 수 있다는 것이다.
    • 왜 작은 피벗이 위험한가, 논리 사슬:
      • ① 소거에서 실제로 곱해지는 수는 피벗이 아니라 승수 \ell = \dfrac{\text{지울 성분}}{\text{피벗}} 이다. 피벗이 분모이므로, 피벗이 {{c1 작을수록}} \ell 은 커진다 (피벗 0.0001 → \ell = 10000 같은 식). id:: 6a654cf6-cfe4-48fa-bf98-10b218091981 ② 행 갱신은 (아래 행) − \ell × (피벗 행) 이다. \ell 이 거대하면 빼는 쪽 $\ell \times$(피벗 행)이 원래 행보다 수만 배 커진다 → 뺄셈 결과에서 {{c1 원래 행이 갖고 있던 정보}}가 큰 수의 반올림 자릿수 아래로 쓸려 내려가 사라진다 (자릿수 소실). ③ 게다가 피벗 행에 이미 있던 작은 {{c1 반올림 오차}} 도 \ell 배로 곱해져 증폭된다. \ell = 10^4 이면 오차도 10^4 배. 요약: 작은 피벗 → 큰 승수 → 큰 수끼리의 뺄셈 → 정보 소실 + 오차 증폭.
    • 파국의 수치 예: 유효숫자 3자리 컴퓨터를 가정하고 다음을 풀어보자 (참해는 x \approx 1.0001, y \approx 0.9999):
      • 0.0001x + y = 1 \qquad x + y = 2
      • 교환 없이 (피벗 0.0001): \ell = \dfrac{1}{0.0001} = 10000. 2행 갱신: y 계수는 1 - 10000 = -9999, 우변은 2 - 10000 = -9998, 그런데 3자리 컴퓨터는 둘 다 -1.00 \times 10^4 로 반올림한다 ("$1$"과 "$2$"라는 정보가 통째로 소실!). 그러면 y = 1.00, 역대입에서 0.0001x = 1 - 1.00 = 0 → x = 0. 참값 x \approx 1 인데 0 이 나왔다. 100% 오답.
      • 행 교환 후 (피벗 1): x + y = 2 를 위로. \ell = \dfrac{0.0001}{1} = 0.0001. 1행 갱신: (1 - 0.0001)y = 1 - 0.0002 → 3자리로 1.00\,y = 1.00 → y = 1.00, x = 2 - 1.00 = 1.00. 3자리 정밀도 안에서 정확하다.
      • 💡 행렬은 특이행렬 근처도 아니고 문제 자체는 멀쩡하다. 순전히 피벗 선택 때문에 결과가 0점과 100점으로 갈렸다.
    • 왜 "가장 큰 수"를 피벗으로 고르면 해결되는가:
      • 같은 열에서 절댓값이 가장 큰 수를 피벗으로 올리면, 모든 승수가 \ell = \dfrac{\text{지울 성분}}{\text{피벗}} 에서 분자 ≤ 분모가 되어 항상 |\ell| \le {{c1 1}} 이 보장된다. extra:: |\ell| \le 1 이면: 곱해서 빼는 양이 원래 행과 비슷한 크기 → 자릿수 소실이 없고, 기존 오차도 곱셈으로 커지지 않는다 (1 이하를 곱하면 같거나 작아질 뿐) id:: 6a654cf6-2263-49c4-ad33-b52306fe67ad
      • 📌 원문 (p.107): ((6a635d42-c493-49c3-be5e-3a661e755e22))
    • " L 의 성분이 1 이하"의 뜻: 어려운 말이 아니다:
      • 에서 봤듯 L 의 주대각선 아래 성분들은 정확히 승수 \ell_{ij} 들이다. 그러니 "부분피벗을 하면 L 의 모든 성분이 1 이하"라는 문장은 = "모든 단계의 승수가 $|\ell| \le 1$"의 다른 표현일 뿐이다.
      • 📌 원문 (p.107): ((6a635d3f-54ac-451b-9c25-98e20dfdc20f))
      • 즉 완성된 L 을 보면 그 소거가 수치적으로 안전했는지 한눈에 보인다. 성분이 전부 1 이하면 오차를 증폭시킨 단계가 하나도 없었다는 증거다.
    • ⚠️ 수학적으로는 0만 아니면 피벗이 될 수 있지만, 컴퓨터에서는 크기가 중요하다. "필요한 교환"(피벗이 0일 때, 수학적 필수)과 "안전을 위한 교환"(피벗이 작을 때, 수치적 선택)을 구분할 것. 부분피벗은 후자다.
  • PAQ (행 치환과 열 치환): 왼쪽 곱 PA 는 행 순서를, 오른쪽 곱 AQ 는 열 순서를 바꾼다. 행 6가지 × 열 6가지 = 3×3 행렬 하나에 36개의 서로 다른 PAQ.
  • 전치행렬 (transpose) A^{\mathrm{T}} 의 정확한 형태 🧩
    • A^{\mathrm{T}} 의 열은 A 의 행이다. A 가 m \times n 이면 A^{\mathrm{T}} 는 n \times m.
      • 📌 원문 (p.108): ((6a635d89-a3ba-4fb3-b75d-e81aa4884eac))
    • 성분으로: A^{\mathrm{T}} 의 i 행 j 열 성분 = A 의 j 행 i 열 성분: 주대각선을 기준으로 뒤집기.
    • 📌 원문 (정의 박스, p.108): 🔗 PDF 위치
    • 
    • (A^{\mathrm{T}})_{ij} = A_{ji} \qquad \text{예: } A = \begin{bmatrix} 1&2&3 \\ 0&0&4 \end{bmatrix} \Rightarrow A^{\mathrm{T}} = \begin{bmatrix} 1&0 \\ 2&0 \\ 3&4 \end{bmatrix}
    • 하삼각행렬의 전치는 상삼각행렬. (A^{\mathrm{T}})^{\mathrm{T}} = A.
  • 전치의 3가지 규칙 (p.109)
    • 📌 원문 (식 (3)(4)(5), p.109): 🔗 PDF 위치
    • 
    • (A+B)^{\mathrm{T}} = A^{\mathrm{T}} + B^{\mathrm{T}}, \qquad (AB)^{\mathrm{T}} = B^{\mathrm{T}}A^{\mathrm{T}}, \qquad (A^{-1})^{\mathrm{T}} = (A^{\mathrm{T}})^{-1}
    • ⚠️ 곱의 전치는 역순: 역행렬의 (AB)^{-1} = B^{-1}A^{-1} 와 같은 패턴. 3개 이상도 (ABC)^{\mathrm{T}} = C^{\mathrm{T}}B^{\mathrm{T}}A^{\mathrm{T}}.
    • (AB)^{\mathrm{T}} = B^{\mathrm{T}}A^{\mathrm{T}} 이해의 출발점: (Ax)^{\mathrm{T}} = x^{\mathrm{T}}A^{\mathrm{T}}, "Ax 는 A 의 열들의 선형결합, x^{\mathrm{T}}A^{\mathrm{T}} 는 A^{\mathrm{T}} 의 행들의 (같은) 선형결합".
    • A 가 가역이면 A^{\mathrm{T}} 도 가역이다 (규칙 (5)).
  • 내적과 외적, 전치 기호로 다시 쓰기 (p.110)
    • 📌 원문 (p.110): 🔗 PDF 위치
    • 
    • 내적 x^{\mathrm{T}}y: (1\times n)(n \times 1) = 1 \times 1, 수.
    • 외적 xy^{\mathrm{T}}: (n\times 1)(1 \times n) = n \times n, 행렬 (랭크 1).
    • 응용 예: (일) = 거리와 힘의 내적 x^{\mathrm{T}}f, (소모 전력) = 전압강하와 전류의 내적 e^{\mathrm{T}}y, (매출) = 수량과 가격의 내적 q^{\mathrm{T}}p.
    • 전치의 더 나은 (본질적) 정의: A^{\mathrm{T}} 는 다음 두 내적을 같게 만드는 행렬이다.
      • (Ax)^{\mathrm{T}}y = x^{\mathrm{T}}(A^{\mathrm{T}}y) \qquad (Ax \text{ 와 } y \text{ 의 내적}) = (x \text{ 와 } A^{\mathrm{T}}y \text{ 의 내적})
      • 💡 "주대각선 기준 뒤집기"는 계산 규칙일 뿐이고, 이 내적 등식이 A^{\mathrm{T}} 의 수학적 존재 이유다. (p.111 EX2: 미분 A = \frac{d}{dt} 의 전치가 -\frac{d}{dt} 가 되는 부분적분, 2.5 미분과 유한차분행렬의 반대칭행렬과 연결.)
  • 대칭행렬 (symmetric matrix) S (p.112)
    • 이 책에서는 대칭행렬을 S 로 표기한다.
      • 📌 원문 (p.112): ((6a635e16-6b69-4f07-bce9-1a981454cfa1))
    • 대칭행렬은 S^{\mathrm{T}} = S 를 만족한다: 모든 i, j 에 대해 s_{ji} = s_{ij}.
      • 📌 원문 (정의, p.112): 🔗 PDF 위치
      • 
    • 대칭행렬의 역행렬은 대칭행렬이다: (S^{-1})^{\mathrm{T}} = (S^{\mathrm{T}})^{-1} = S^{-1}.
      • 📌 원문 (p.112): ((6a635e27-6d8a-4134-8b04-8a987d5b6d32))
  • 대칭곱 A^{\mathrm{T}}A , AA^{\mathrm{T}} , LDL^{\mathrm{T}} (p.112~113)
    • 어떤 (직사각) 행렬 A 든 S = A^{\mathrm{T}}A 는 항상 정사각·대칭이다: (A^{\mathrm{T}}A)^{\mathrm{T}} = A^{\mathrm{T}}(A^{\mathrm{T}})^{\mathrm{T}} = A^{\mathrm{T}}A.
    • ⚠️ AA^{\mathrm{T}} 도 대칭이지만 A^{\mathrm{T}}A 와는 (크기부터) 다른 행렬이다. A 가 m\times n 이면 AA^{\mathrm{T}} 는 m\times m, A^{\mathrm{T}}A 는 n\times n. m=n 이어도 대부분 A^{\mathrm{T}}A \neq AA^{\mathrm{T}}.
    • 대칭행렬의 S = LDL^{\mathrm{T}} 분해: 대칭행렬은 소거가 2배 빠르다 (절반만 작업). LU 분해는 대칭성을 깨지만, 피벗들을 대각행렬 D 로 따로 뽑으면 U = DL^{\mathrm{T}} 가 되어 대칭성이 살아난다.
      • S = LDL^{\mathrm{T}} \qquad \text{예: } \begin{bmatrix} 1&2 \\ 2&7 \end{bmatrix} = \begin{bmatrix} 1&0 \\ 2&1 \end{bmatrix}\begin{bmatrix} 1&0 \\ 0&3 \end{bmatrix}\begin{bmatrix} 1&2 \\ 0&1 \end{bmatrix}
      • 💡 형태 기억법: 왼쪽에 L, 가운데 피벗 대각행렬 D, 오른쪽에 L 의 전치. 좌우가 서로 전치라서 전체가 자동으로 대칭.

• ❓ 스스로 점검

  • 치환행렬의 정확한 형태(성분 배치 규칙)는 무엇이고, 크기 n 에서 몇 개가 존재하는가?
    • 모든 행에 1이 정확히 하나, 모든 열에도 1이 정확히 하나, 나머지는 전부 0 (I 의 행 재배열). 총 n! 개 (P=I 포함).
  • P^{-1} 는 무엇이며, 왜 그런가?
    • P^{-1} = P^{\mathrm{T}}. P 의 열들이 서로 직교하는 단위벡터들이라 P^{\mathrm{T}}P 의 대각선은 1, 비대각선은 0이 되기 때문.
  • x = (x_1, x_2, x_3) 을 (x_2, x_3, x_1) 로 바꾸는 치환행렬 P 를 직접 써라. #card id:: 6a654a5b-1566-4287-b201-03fbf7e61e32
    • 1행은 x_2 를 뽑고, 2행은 x_3, 3행은 x_1 을 뽑는다: P = \begin{bmatrix} 0&1&0 \\ 0&0&1 \\ 1&0&0 \end{bmatrix}.
  • (AB)^{\mathrm{T}} 와 (AB)^{-1} 의 공통 패턴은? #card id:: 6a654a5b-f148-4864-b12f-58c4a02afd67
    • 둘 다 역순: (AB)^{\mathrm{T}} = B^{\mathrm{T}}A^{\mathrm{T}}, (AB)^{-1} = B^{-1}A^{-1}.
  • "주대각선 뒤집기"보다 본질적인 A^{\mathrm{T}} 의 정의는 무엇인가?
    • 모든 x, y 에 대해 (Ax)^{\mathrm{T}}y = x^{\mathrm{T}}(A^{\mathrm{T}}y), "Ax 와 y 의 내적 = x 와 A^{\mathrm{T}}y 의 내적"을 성립시키는 행렬.
  • 아무 직사각행렬 A 에서 대칭행렬을 만드는 두 가지 곱은? 둘은 같은가?
    • A^{\mathrm{T}}A 와 AA^{\mathrm{T}}. 둘 다 대칭이지만 크기(n\times n vs m\times m)부터 다른, 일반적으로 서로 다른 행렬이다.
  • 부분피벗은 왜 하는가? 수학적으로 꼭 필요한 행 교환과 어떻게 다른가?
    • 반올림 오류를 줄이기 위해 같은 열의 가장 큰 수를 피벗으로 선택하는 것 (승수가 전부 1 이하가 됨). 피벗이 0일 때 하는 "필요한" 교환과 달리, 0이 아니어도 수치 안정성을 위해 한다.

• ✏️ 연습문제 풀이 (솔루션 참고)

  • 문제 1: A = \begin{bmatrix} 1&0 \\ 9&3 \end{bmatrix} 과 A = \begin{bmatrix} 1&c \\ c&0 \end{bmatrix} 에 대해 A^{\mathrm{T}}, A^{-1}, (A^{-1})^{\mathrm{T}}, (A^{\mathrm{T}})^{-1} 를 구하라.
    • 첫 번째: A^{\mathrm{T}} = \begin{bmatrix} 1&9 \\ 0&3 \end{bmatrix}, A^{-1} = \begin{bmatrix} 1&0 \\ -3&1/3 \end{bmatrix}, (A^{-1})^{\mathrm{T}} = (A^{\mathrm{T}})^{-1} = \begin{bmatrix} 1&-3 \\ 0&1/3 \end{bmatrix}.
    • 두 번째: A^{\mathrm{T}} = A (대칭!), A^{-1} = \dfrac{1}{c^2}\begin{bmatrix} 0&c \\ c&-1 \end{bmatrix} = (A^{-1})^{\mathrm{T}}, 대칭행렬의 역행렬은 역시 대칭.
    • 💡 규칙 (A^{-1})^{\mathrm{T}} = (A^{\mathrm{T}})^{-1} 을 손 계산으로 확인하는 기본기 문제.
  • 문제 9: P_1 P_2 도 치환행렬이다. P_1P_2 \neq P_2P_1 인 예와 P_3P_4 = P_4P_3 인 예를 제시하라.
    • 비가환 예: P_1 = \begin{bmatrix} 0&1&0 \\ 0&0&1 \\ 1&0&0 \end{bmatrix} 류의 순환과 단순 교환을 곱하면 순서에 따라 결과가 다르다 (솔루션: P_1P_2 = \begin{bmatrix} 0&0&1 \\ 0&1&0 \\ 1&0&0 \end{bmatrix} \neq P_2P_1).
    • 가환 예: P_3, P_4 가 서로 다른 두 쌍의 행을 교환하면 (예: 1↔2 교환과 3↔4 교환) 순서 무관, P_3P_4 = P_4P_3.
    • 💡 행렬곱의 비가환성이 치환(순서 재배열)의 비가환성과 정확히 대응한다.
  • 문제 16: A = A^{\mathrm{T}}, B = B^{\mathrm{T}} 일 때 다음 중 대칭행렬은? (a) A^2 - B^2 (b) (A+B)(A-B) (c) ABA (d) ABAB
    • 대칭: (a) (A^2-B^2)^{\mathrm{T}} = A^2 - B^2 ✓, (c) (ABA)^{\mathrm{T}} = A^{\mathrm{T}}B^{\mathrm{T}}A^{\mathrm{T}} = ABA ✓.
    • 비대칭 (일반적으로): (b) 전치하면 (A-B)(A+B) 가 되는데 AB \neq BA 이면 다르다. (d) 전치는 BABA.
    • ⚠️ 대칭행렬끼리의 곱 AB 는 일반적으로 대칭이 아니다 (AB = BA 일 때만 대칭). 흔한 함정.
  • 문제 18: 다음 대칭행렬을 S = LDL^{\mathrm{T}} 로 분해하라: (a) \begin{bmatrix} 1&3 \\ 3&2 \end{bmatrix} (b) \begin{bmatrix} 1&b \\ b&c \end{bmatrix} (c) \begin{bmatrix} 2&-1&0 \\ -1&2&-1 \\ 0&-1&2 \end{bmatrix}
    • (a) \begin{bmatrix} 1&3 \\ 3&2 \end{bmatrix} = \begin{bmatrix} 1&0 \\ 3&1 \end{bmatrix}\begin{bmatrix} 1&0 \\ 0&-7 \end{bmatrix}\begin{bmatrix} 1&3 \\ 0&1 \end{bmatrix}, 피벗 1, -7.
    • (b) 피벗은 1 과 c - b^2: L = \begin{bmatrix} 1&0 \\ b&1 \end{bmatrix}, D = \begin{bmatrix} 1&0 \\ 0&c-b^2 \end{bmatrix}.
    • (c) L = \begin{bmatrix} 1&& \\ -\frac{1}{2}&1& \\ 0&-\frac{2}{3}&1 \end{bmatrix}, D = \begin{bmatrix} 2&& \\ &\frac{3}{2}& \\ &&\frac{4}{3} \end{bmatrix}, 이 행렬은 2.5 미분과 유한차분행렬의 K_3! 피벗 2, \frac{3}{2}, \frac{4}{3} 이 모두 양수다.
    • 💡 (c)의 피벗 패턴 \frac{k+1}{k} 은 K_n 의 유명한 성질, 2.5절의 "K는 양의 정부호" 와 연결.
  • 문제 19: 다음 A 의 PA = LU 분해를 구하라: (a) A = \begin{bmatrix} 0&1&1 \\ 1&0&1 \\ 2&3&4 \end{bmatrix} (b) A = \begin{bmatrix} 1&2&0 \\ 2&4&1 \\ 1&1&1 \end{bmatrix}
    • (a) 첫 피벗 자리가 0 → 1행↔2행 교환: P = \begin{bmatrix} 0&1&0 \\ 1&0&0 \\ 0&0&1 \end{bmatrix}. 그러면 PA = \begin{bmatrix} 1&0&1 \\ 0&1&1 \\ 2&3&4 \end{bmatrix} = \begin{bmatrix} 1&& \\ 0&1& \\ 2&3&1 \end{bmatrix}\begin{bmatrix} 1&0&1 \\ 0&1&1 \\ 0&0&-1 \end{bmatrix}.
    • (b) 소거 중 두 번째 피벗 자리가 0이 됨 → 2행↔3행 교환: P = \begin{bmatrix} 1&0&0 \\ 0&0&1 \\ 0&1&0 \end{bmatrix}, PA = \begin{bmatrix} 1&2&0 \\ 1&1&1 \\ 2&4&1 \end{bmatrix} = \begin{bmatrix} 1&& \\ 1&1& \\ 2&0&1 \end{bmatrix}\begin{bmatrix} 1&2&0 \\ 0&-1&1 \\ 0&0&1 \end{bmatrix}.
    • 💡 (a)는 "시작부터 교환 필요", (b)는 "진행 중에 교환 필요". 두 상황 모두 P 하나로 미리 처리된다는 것이 PA = LU 의 요점.