Logseq/Major Study/pages/2.1 소거법과 역대입법.md

deck:: Logseq/전공공부/선형대수학

• 핵심 개념

  • 이 절의 목표: n 개의 방정식과 n 개의 미지수를 갖는 Ax = b 를 체계적으로 푸는 것. 소거법으로 Ax=b 를 상삼각 연립방정식 Ux = c 로 바꾸고, 역대입법 (back substitution)으로 아래에서 위로 해를 구한다.
  • 해의 3가지 경우: Ax = b 를 만족하는 x 는 존재하지 않을 수도, 정확히 하나 존재할 수도, 무수히 많이 존재할 수도 있다.
    • 📌 원문 (해의 3가지 경우, p.73): ((6a635899-c408-42a9-9318-f6f0e374099b))
    • [경우 ①] 해가 하나만 존재: 행렬 A 의 모든 열이 선형독립. Ax=0 의 유일한 해는 x=0 이고, A 는 역행렬 A^{-1} 를 갖는다.
      • 📌 원문 (p.73): ((6a6358b6-1d2d-491f-b86f-279eef0f8106))
      • 📌 원문 (열의 선형독립, p.73): ((6a6358bc-2c18-4de7-8d19-899ebf887595))
    • [경우 ②] 해가 존재하지 않음: b 가 A 의 열들의 선형결합이 아님, 즉 b 가 A 의 열공간 밖에 있음.
      • 📌 원문 (p.73): ((6a6358c9-2452-478b-a285-a1550da448b6))
      • 📌 원문 (열공간과의 관계, p.73): ((6a6358cf-5970-4a60-b17d-a8fabcac1326))
    • [경우 ③] 해가 무수히 많음: A 의 열이 선형종속 (AX=0 에 영벡터가 아닌 해 X 존재). 하나의 해 x 가 있으면 x + \alpha X 도 전부 해가 된다.
      • 📌 원문 (p.74): ((6a6358dc-6020-4de7-9d27-aa98fbed0c17))
      • 📌 원문 (열의 선형종속, p.74): ((6a6358df-a0cf-4682-aa0a-ba602d25ac6f))
      • A(x + \alpha X) = Ax + \alpha AX = b + 0 = b, 해들의 집합은 직선(또는 그 이상)을 이룬다.
    • 💡 직관: 세 경우를 가르는 것은 결국 두 가지 질문이다. ① A 의 열이 선형독립인가? ② b 가 열공간 안에 있는가? 독립이면 항상 유일한 해, 종속이면 b 의 위치에 따라 0개 아니면 무한개.
  • 행 그림과 열 그림: 해의 3가지 경우를 눈으로 확인하는 2가지 방법.
    • 행 그림 (row picture): 각 방정식을 직선(평면)으로 그린다. 두 직선이 교차하면 해 유일, 평행하면 해 없음, 겹치면 해는 직선 전체.
    • 
      • (p.79, 그림 2.1)
    • 열 그림 (column picture): A 의 열들을 선형결합해 b 를 만드는 그림. 3차원 이상에서도 쉽게 그릴 수 있다는 것이 행 그림과의 차이.
    • 
      • (p.79, 그림 2.2)
  • 상삼각행렬 U 와 피벗
    • 문자 U는 상삼각행렬 (upper triangular matrix)을 의미한다. 주대각선 아래의 모든 성분이 0인 행렬.
      • 📌 원문 (p.75): ((6a6358ff-65bf-4fe7-bd3d-6626eea5a9d3))
      • 정확한 형태 (3\times 3 예): 대각선 위와 대각선만 채워진다.
      • U = \begin{bmatrix} u_{11} & u_{12} & u_{13} \\ 0 & u_{22} & u_{23} \\ 0 & 0 & u_{33} \end{bmatrix}
    • 피벗 (pivot): 행렬 U 의 주대각선에 있는 수. 역대입에서 각 미지수를 구할 때 피벗으로 나눈다.
      • 📌 원문 (p.75): ((6a635906-6764-4b87-8597-bd485f29e316))
    • ⚠️ 숫자 0은 피벗이 될 수 없다. 피벗이 0이면 0 \cdot x_i = (\text{수}) 꼴이 되어 나눌 수 없고 역대입이 실패한다.
      • 📌 원문 (p.75): ((6a635913-a4e3-41b8-850a-a4cb798a9822))
    • 핵심 명제: 선형독립인 열을 가진 (랭크가 n 인) n \times n 정사각행렬 A 는 0이 아닌 피벗을 가진 상삼각행렬로 유도될 수 있다.
      • 📌 원문 (p.75): ((6a635920-6b46-4cc7-a4ca-0d1c6680a87c))
  • 역대입법 (back substitution): Ux = c 를 아래에서 위로 푼다.
    • 예 (p.75): \begin{bmatrix} 2&3&4 \\ 0&5&6 \\ 0&0&7 \end{bmatrix} x = \begin{bmatrix} 19\\17\\14 \end{bmatrix} → 7x_3=14 에서 x_3=2 → 5x_2 + 12 = 17 에서 x_2=1 → 2x_1 + 3 + 8 = 19 에서 x_1=4.
    • 요약: Ax=b 에 소거법 → Ux=c → 역대입법으로 x = U^{-1}c = A^{-1}b.
  • A 에서 U 로, b 에서 c 로, 소거의 실제 과정 (p.76 예제, 식 (2)~(5))
    • 소거행렬 E_{ij}: i 행에서 j 행에 \ell_{ij} 를 곱한 것을 빼서 (i,j) 위치에 0을 만드는 행렬. E_{21}, E_{31}, E_{32} 순서로 A 의 왼쪽에 곱한다 (정확한 형태는 2.2 소거행렬과 역행렬에서 상세히).
      • 📌 원문 (소거행렬, p.76): ((6a635932-a78c-4087-a764-e7eaabae9f9f))
    • 예제 (p.76, 식 (2)~(5)): 시작 행렬 A 와 우변 b, 첫 번째 피벗은 2:
      • 📌 원문 (식 (2) 시작 행렬, p.76): 🔗 PDF 위치
      • 
      • ① E_{21}, 2행에서 1행×2를 빼서 피벗 2 아래에 0 생성:
        • 📌 원문 (식 (3), p.76): 🔗 PDF 위치
        • 
      • ② E_{31}, 3행에서 1행을 빼서 1열 소거 완료:
        • 📌 원문 (식 (4), p.76): 🔗 PDF 위치
        • 
      • ③ E_{32}, 3행에서 (새로운) 2행을 빼서 U 완성. E_{32}E_{31}E_{21}A = U 는 상삼각행렬:
        • 📌 원문 (식 (5), p.76): 🔗 PDF 위치
        • 
    • 진행 순서 (행 교환이 필요 없는 경우):
      • ① 첫 번째 방정식으로 1열의 피벗 아래 성분들을 0으로.
      • ② 새로운 두 번째 방정식으로 2열의 피벗 아래 성분들을 0으로.
      • ③ 3열도 마찬가지 → 결과적으로 U 가 생성된다.
    • 좌변에서 하는 소거 연산을 우변 b 에도 똑같이 적용해야 한다 → b 가 c 로 바뀐다.
    • E_{32}E_{31}E_{21}A = U 가 상삼각이고 피벗이 모두 0이 아니면, 행렬 A 와 U 는 최대 랭크 (full rank)를 갖는다.
      • 📌 원문 (p.76): ((6a63593b-eed9-4165-9f02-f373ab970fe5))
  • 소거법이 실패하는 경우: 피벗 위치에 0이 나타날 때. 두 가지 상황을 구분해야 한다.
    • 일시적 실패 (행 교환으로 해결): 피벗 위치에 0이 있지만 그 아래에 0이 아닌 수가 있는 경우.
      • 📌 원문 (피벗 위치의 0, p.77): ((6a635966-e526-4fab-9966-1f4e8a99f80a))
      • 해결법: 0을 포함한 행과 아래의 0이 아닌 행을 교환한다. 이후 소거는 정상 진행되어 U 를 얻는다.
      • 📌 원문 (행 교환, p.77): ((6a635975-3d7c-4ce9-b4f8-121edf2767a1))
    • 완전한 실패 (열이 선형종속): 피벗 위치 0 아래도 전부 0인 경우, 교환할 행이 없다. 이때 그 열에는 피벗을 만들 수 없다.
      • 열이 선형종속인 경우, 피벗 위치에 0이 반드시 생긴다.
      • 📌 원문 (p.77): ((6a6359a0-b6ca-49c8-96de-8356dc3768f1))
      • 💡 이것도 "실패"라기보다는 성공이다. 문제의 원인(열의 선형종속)을 소거법이 체계적으로 밝혀낸 것이기 때문. 삼각행렬 U 의 주대각선이 모든 정보를 알려준다.
  • 최대 랭크 판정과 특이행렬
    • 상삼각행렬 U 는 주대각선에 0이 없을 때, 정확히 최대 랭크를 갖는다.
      • 📌 원문 (p.78): ((6a6359ac-a058-4293-8ab6-40ab10e442de))
    • 특이행렬 (singular matrix): 주대각선에 {{c1 0}} 이 있는 ( {{c1 최대 랭크}}를 갖지 않고 {{c1 역행렬 }} 이 없는) 행렬. extra:: 처음 몇 열이 선형종속이고, 일부 행도 선형종속이다. id:: 6a654a5b-68b5-49d0-8aff-c08d97c929d9
      • 📌 원문 (p.78): ((6a6359f4-8a2c-4afe-a644-3ce58b755ed4))
    • ⚠️ 주의: "행 교환이 필요한 것"과 "특이행렬인 것"을 혼동하지 말 것. 행 교환은 단지 방정식의 순서 문제이고, 특이성은 열의 선형종속이라는 구조적 문제다.
  • 첨가행렬 (augmented matrix): 우변 b 를 A 의 추가 열로 붙인 행렬 [A \ \ b]. 좌변과 우변에 동일한 소거 연산이 자동으로 적용되게 하는 장치, [A \ \ b] \to [U \ \ c].
    • 📌 원문 (p.80): ((6a635a13-2cdb-43dd-aebd-0e552945d649))
  • 치환행렬 (permutation matrix) P, 행 교환을 수행하는 행렬 (예: P_{23} 은 2행과 3행을 교환). 피벗 위치에 0이 나타나면 사용한다. 행 교환이 없는 경우(P=I)를 포함해 n! 개의 치환행렬이 있다. 상세한 형태와 성질은 2.4 치환행렬과 전치행렬에서.
    • 📌 원문 (p.80): ((6a635a1e-3810-4cd9-84fa-42fa382e865f))
    • 행 교환까지 포함한 전체 과정: PA = LU (행 교환이 없으면 A = LU). 이 식은 와 2.4 치환행렬과 전치행렬의 주제다.

• ❓ 스스로 점검

  • Ax = b 의 해가 정확히 하나 존재할 조건은 무엇이고, 그때 Ax=0 의 해는 무엇인가? #card id:: 6a654a5b-97c7-44c0-b8ce-3cc22b8f2d45
    • A 의 모든 열이 선형독립일 때 (랭크 n). 이때 Ax=0 의 유일한 해는 x=0 이고 A^{-1} 가 존재한다.
  • 해가 하나라도 존재하는데 무수히 많아지는 것은 어떤 경우인가? 해들은 어떤 모양을 이루는가? #card id:: 6a654a5b-ae12-4ddb-bae7-75458699585a
    • A 의 열이 선형종속이고 (AX=0 의 비영해 X 존재) b 가 열공간 안에 있는 경우. 하나의 해 x 에 대해 x + \alpha X (\alpha 는 임의의 수)가 모두 해가 되어 직선(또는 더 높은 차원)을 이룬다.
  • 소거 중 피벗 위치에 0이 나타났다. "행 교환으로 해결되는 경우"와 "해결 불가능한 경우"는 무엇이 다른가? #card id:: 6a654a5b-d5ac-4ad7-8b73-bbee9812a52d
    • 그 0 아래에 0이 아닌 성분이 있으면 행 교환으로 해결된다 (일시적 실패). 아래가 전부 0이면 그 열에 피벗이 없는 것이고, 이는 열이 선형종속(특이행렬)이라는 구조적 신호다.
  • 상삼각행렬 U 가 최대 랭크를 가질 필요충분조건은? #card id:: 6a654a5b-fb83-4e45-b91a-76ce4ab5a882
    • 주대각선(피벗 위치)에 0이 없는 것. 이때 U 의 (그리고 A 의) 열들은 선형독립이다.
  • 왜 숫자 0은 피벗이 될 수 없는가?
    • 역대입에서 각 미지수를 구할 때 피벗으로 나눠야 하는데 0으로는 나눌 수 없기 때문. 0 \cdot x = c 꼴은 해가 없거나(c \neq 0) 무수히 많다(c = 0).

• ✏️ 연습문제 풀이 (솔루션 참고)

  • 문제 4: c 를 소거하려면 두 번째 방정식에서 첫 번째 방정식에 어떤 \ell 을 곱해 빼야 하는가? (ax+by=f, cx+dy=g, a \neq 0)
    • 승수는 \ell = \dfrac{c}{a}. 소거 후 두 번째 피벗은 d - \dfrac{cb}{a} = \dfrac{ad-bc}{a}, 해는 y = \dfrac{ag-cf}{ad-bc}.
    • 두 번째 피벗이 사라지는 조건이 정확히 ad = bc, 이때가 특이한 (singular) 경우다.
    • 💡 2×2 행렬의 행렬식 ad-bc 가 소거법의 피벗에서 자연스럽게 나타난다. 피벗의 곱 a \cdot \frac{ad-bc}{a} = ad-bc = 행렬식.
  • 문제 7: ax + 3y = -3, 4x + 6y = 6 은 어떤 a 에서 소거법이 완전히/일시적으로 불가능한가?
    • a = 2 이면 완전히 불가능: 좌변이 배수 관계(행 그림에서 평행선)가 되는데 우변은 아니므로 해가 없다.
    • a = 0 이면 일시적으로 불가능: 첫 피벗 위치가 0이지만 행 교환으로 해결된다. 교환 후 4x + 6y = 6, 3y = -3 → y = -1, x = 3.
    • 💡 본문의 "일시적 실패 vs 완전한 실패" 구분을 수치로 체험하는 문제.
  • 문제 11 (책 추천: 꼭 풀어볼 만한 문제): 선형 연립방정식은 정확히 2개의 해를 가질 수 없다.
    • (a) 두 해 (x,y,z), (X,Y,Z) 가 있다면 또 다른 해는? #card id:: 6a661c6d-4d6a-4f35-a298-828e41a1ea24
      • 두 해의 평균 \frac{1}{2}(x+X, \ y+Y, \ z+Z) 도 해다 (실제로는 두 해를 잇는 직선 위의 모든 점이 해).
    • (b) 25개의 평면이 두 점에서 만나면 또 어디서 만나는가? #card id:: 6a661c83-2f93-4d14-b1b8-daf0990e528f
      • 25개의 평면이 두 점에서 만난다면, 그 두 점을 지나는 직선 전체에서 만난다.
    • 💡 해집합의 구조(0개, 1개, 무한개뿐)가 왜 그런지를 보여주는 문제, 해 2개가 있으면 그 직선 전체가 해가 되어버린다.
  • 문제 21 (도전): 행 합이 4, 8이고 열 합이 2, s 인 2×2 행렬 찾기. 네 방정식 a+b=4, a+c=2, c+d=8, b+d=s 의 해가 존재하는 s 는?
    • 좌변에서 (첫째+셋째) = (둘째+넷째) = a+b+c+d 이므로 우변도 4+8 = 2+s 여야 한다 → s = 10.
    • 이 4×4 연립방정식은 특이하다. 소거하면 마지막 행이 0행이 된다. s=10 일 때 해가 무수히 많다. 두 예: \begin{bmatrix} 1&3 \\ 1&7 \end{bmatrix}, \begin{bmatrix} 0&4 \\ 2&6 \end{bmatrix}.
    • 💡 "해가 존재할 조건이 우변에 붙는" 경우 ②↔③의 경계를 4×4 에서 경험하는 문제.