Logseq/pages/2.5 미분과 유한차분행렬.md

deck:: Logseq/전공공부/선형대수학

• 핵심 개념

  • 이 절의 목표: 미분적분학과 선형대수학을 연결하는 것. 핵심 아이디어는 한 문장이다 — 미분방정식은 컴퓨터로 직접 못 푸니, 미분을 "차분"(빼기)으로 근사하면 행렬방정식 KU = F 가 되고, 그건 2장에서 배운 소거법으로 풀 수 있다.
    • 💡 전체 흐름 지도 (이것만 잡으면 절 전체가 보인다):
      • ① 미분 \dfrac{dy}{dx} 를 차분 \dfrac{y(x+h)-y(x)}{h} 같은 꼴로 근사한다.
      • ② 2계 미분 \dfrac{d^2y}{dx^2} 의 근사에서 1, -2, 1 패턴이 나온다.
      • ③ 이 패턴을 격자점 N 개에 한꺼번에 적용하면 행렬 K 가 된다.
      • ④ 미분방정식 -u'' = f(x) 가 연립방정식 \dfrac{1}{h^2}KU = F 로 바뀐다.
      • ⑤ 경계 조건(끝이 고정인가 자유인가)에 따라 행렬이 K, T, B 세 종류로 갈린다.
  • 미분이 알려주는 것 (복습): 미분은 한 점 x (또는 한 순간 t)에서 무슨 일이 일어나는지 알려준다.
    • 1계도함수가 양수 → 그래프가 올라간다 / 2계도함수가 양수 → 그래프가 위쪽으로 휘어 있다 (기울기가 증가).
    • ⚠️ "증가/감소"(1계)와 "위로 휨/아래로 휨"(2계)은 다른 정보다. 예: y = x^2 은 x<0 에서 감소하지만 어디서나 위로 휜다 (y'' = 2 > 0).
  • 차분 (difference) — 미분의 근사. 한 점이 아니라 두 점 x 와 x+h 를 쓴다. 3가지 중요한 사실 (p.118):
    • ❶ \Delta y = y(x+h) - y(x) 는 대략 h \times \dfrac{dy}{dx} 이다.
    • ❷ 더 좋은 근사: \Delta y \approx h\dfrac{dy}{dx} + \dfrac{1}{2}h^2\dfrac{d^2y}{dx^2} (2계도함수 항으로 보정).
    • ❸ 정확한 값: \Delta y = \displaystyle\int_x^{x+h} \frac{dy}{dx}\,dx.
    • 💡 ❶은 접선(1차 근사), ❷는 접하는 포물선(2차 근사). 기하적으로: 접선을 따라가다 \frac{1}{2}h^2 y'' 만큼 더 휘어주는 것.
  • 테일러 급수 (Taylor series): 위 근사를 무한히 계속한 것 — 모든 항은 \dfrac{h^n}{n!} \times \left(n\text{계도함수}\right).
    • y(x+h) = y(x) + h\,y'(x) + \frac{1}{2}h^2 y''(x) + \cdots + \frac{1}{n!}h^n y^{(n)}(x) + \cdots
    • y = e^x 같은 함수는 모든 점에서 수렴(해석함수). y = \frac{1}{1-x} 은 |x| < 1 에서만 수렴 — x=1 은 극점(pole)이라는 특이점.
    • 💡 이 절에서 테일러 급수의 용도: 아래 차분 공식들의 오차가 몇 차인지(h 몇 제곱에 비례해 줄어드는지) 판정하는 도구.
  • 1계 미분의 3가지 차분 근사 — 전진·후진·중심 (p.120~121)
    • 출발점: 테일러 전개를 +h 와 -h 에 대해 쓴다.
      • y(x+h) - y(x) \approx h\frac{dy}{dx} + \frac{1}{2}h^2\frac{d^2y}{dx^2} \tag{2a}
      • y(x-h) - y(x) \approx -h\frac{dy}{dx} + \frac{1}{2}h^2\frac{d^2y}{dx^2} \tag{2b}
    • 전진차분 (forward): \dfrac{y(x+h) - y(x)}{h} — 오차 O(h), 1차 정확도.
    • 후진차분 (backward): \dfrac{y(x) - y(x-h)}{h} — 오차 O(h), 1차 정확도.
    • 중심차분 (centered): (2a)−(2b) 를 2h 로 나누면 \frac{1}{2}h^2 y'' 항이 상쇄된다:
      • \frac{y(x+h) - y(x-h)}{2h} \approx \frac{dy}{dx} \qquad \text{— 오차 } O(h^2), \ \textbf{2차 정확도}
    • 💡 중심차분이 좋은 이유: 전진과 후진의 평균이라 \pm 대칭으로 오차의 첫 항이 지워진다. h = 0.01 이면 1차 정확도는 오차 ~1%, 2차 정확도는 ~0.01% — 공짜로 100배 좋아진다.
    • ⚠️ 부호와 분모 주의: 중심차분의 분모는 h 가 아니라 2h (두 점 사이 거리가 2h).
  • 2차차분 — 1, -2, 1 패턴의 탄생 (p.120 식 (4))
    • (2a)+(2b) 를 h^2 으로 나누면 1계 항이 상쇄되고 2계도함수의 근사가 나온다:
      • \frac{y(x+h) - 2y(x) + y(x-h)}{h^2} \approx \frac{d^2y}{dx^2}
    • 분자의 계수가 바로 1, -2, 1 — 이 패턴 하나가 이 절의 행렬 K, T, B 전부의 씨앗이다.
    • 💡 직관: 2계도함수 = "양옆 평균과 자신의 차이". y(x) 가 양옆 평균 \frac{y(x+h)+y(x-h)}{2} 보다 작으면 위로 휜 것(양수).
  • 미분방정식 → 행렬방정식: -\dfrac{d^2u}{dx^2} = f(x) 를 격자에서 풀기 (p.122)
    • 설정: 구간 [0,1] 을 격자 간격 h = \frac{1}{N+1} 로 나눈다. 내부 격자점은 x_1 = h, \cdots, x_N = Nh 의 N 개. 경계점 x_0 = 0 , x_{N+1} = 1 에서는 u=0 으로 고정 (u_0 = 0, u_{N+1} = 0).
    • 각 격자점마다 2차차분 방정식 하나: \dfrac{-u_{i-1} + 2u_i - u_{i+1}}{h^2} = f(ih) → N 개의 방정식을 하나의 행렬방정식으로:
      • \frac{1}{h^2}KU = F \qquad (N=4): \quad \frac{1}{h^2}\begin{bmatrix} 2&-1&0&0 \\ -1&2&-1&0 \\ 0&-1&2&-1 \\ 0&0&-1&2 \end{bmatrix}\begin{bmatrix} u_1\\u_2\\u_3\\u_4 \end{bmatrix} = \begin{bmatrix} f(h)\\f(2h)\\f(3h)\\f(4h) \end{bmatrix}
    • 미지수 u_1, \cdots, u_N 은 정확한 해 u(h), \cdots, u(Nh) 의 근삿값.
    • ⚠️ 1행이 [2 \ -1 \ 0 \ 0] 로 "잘려" 있는 이유: 원래 패턴은 -u_0 + 2u_1 - u_2 인데 경계 조건 u_0 = 0 이라 그 항이 사라진 것. 마지막 행도 u_5 = 0 때문에 같은 방식으로 잘린다. 행렬의 첫/끝 행은 경계 조건이 새겨진 자리다.
  • K_n 의 정확한 형태 🧩 (고정–고정 경계, 2차차분행렬)
    • 주대각선은 전부 2 , 주대각선 바로 위·아래의 대각선은 전부 -1 , 그 외는 전부 0 .
    • K_{ii} = 2, \qquad K_{i,i+1} = K_{i+1,i} = -1, \qquad \text{나머지 } 0
    • 📌 원문 — 식 (8) K_4 (p.122): 🔗 PDF 위치
      • 
    • 💡 부호가 -1, 2, -1 인 이유: 근사하는 대상이 +\dfrac{d^2u}{dx^2} 가 아니라 -\dfrac{d^2u}{dx^2} 이기 때문 (물리 문제에서 -u'' 꼴이 표준이라 부호를 반대로 뒤집은 것).
  • K 의 5가지 성질 (p.122~124) — 눈에 보이는 3가지 + 숨은 2가지
    • ❶ 대칭행렬이다: K_{ij} = K_{ji}, K^{\mathrm{T}} = K.
    • ❷ 밴드가 있다 (삼중대각행렬, tridiagonal): 0이 아닌 성분이 주대각선 주변 3개 대각선에만 → 희소행렬 (sparse). N = 100 이면 0 아닌 성분은 100+99+99 개, 전체의 3% 미만. 소거가 매우 빠르다.
    • ❸ 대각선 위의 수가 일정하다 (위치 불변 / 시불변): 미분방정식의 계수가 상수이기 때문. 이런 행렬을 필터, 합성곱 행렬 (convolution matrix), 정확한 용어로 퇴플리츠 행렬 (Toeplitz matrix)이라 한다. MATLAB: K = toeplitz([2 -1 0 0]).
    • ❹ 가역행렬이다: K_4^{-1} = \frac{1}{5}\begin{bmatrix} 4&3&2&1 \\ 3&6&4&2 \\ 2&4&6&3 \\ 1&2&3&4 \end{bmatrix}.
      • ⚠️ K^{-1} 는 대칭이긴 하지만 삼중대각도, 희소도 아니다 (모든 성분이 0이 아님!). 역행렬을 실제로 계산하는 대신 KU = F 를 소거법으로 푼다 (MATLAB U = K\F) — 2.3절의 교훈 그대로.
    • ❺ 양의 정부호 (positive definite)이다: n 개의 피벗이 모두 양수. (6장에서 정식으로 다룰 개념의 예고편.)
      • 피벗 기준 정리: 가역행렬 = 0 아닌 피벗 n 개 / 대칭 + 양의 정부호 = 양의 피벗 n 개 / 대칭 + 양의 준정부호(semidefinite) = 음이 아닌 피벗 n 개.
      • 💡 K 의 피벗은 2, \frac{3}{2}, \frac{4}{3}, \frac{5}{4}, \cdots (모두 양수) — 2.4 치환행렬과 전치행렬 연습문제 18(c)에서 직접 계산했다.
  • 경계 조건이 바뀌면 행렬이 바뀐다 — K, T, B 삼형제 🧩
    • 상황: 스프링으로 연결된 3개의 질량. 끝이 벽에 고정되었는가, 자유로운가가 유일한 차이다.
    • 
      • (p.126, 그림 2.3)
    • K_n (고정–고정): 양 끝 모두 벽에 고정. 위에서 본 그대로 — 대각 2, 2, \cdots, 2.
    • T_n (자유–고정): 위 끝 자유, 아래 끝 고정. K 에서 (1,1) 성분 하나만 2 \to 1 로 바뀐다.
      • T_4 = \begin{bmatrix} \mathbf{1}&-1&0&0 \\ -1&2&-1&0 \\ 0&-1&2&-1 \\ 0&0&-1&2 \end{bmatrix}
      • 📌 원문 — 식 (10) T_4 (p.125): 🔗 PDF 위치
        • 
      • 1행의 1, -1 은 자유 경계 조건 \frac{du}{dx} = 0 을 나타낸다.
      • T 는 주대각선이 일정하지 않으므로 더 이상 퇴플리츠 행렬이 아니지만, 여전히 양의 정부호다 (모든 피벗이 1).
      • T 의 아름다운 분해: T = LU = LL^{\mathrm{T}} (L = 후진차분행렬, 모든 피벗이 1이라 K 보다 간단히 분해된다):
        • 📌 원문 — 식 (11) T = LU (p.125): 🔗 PDF 위치
        • 
      • L^{-1}, U^{-1}, T^{-1} 는 모두 1로 채워진 삼각형/사각형 꼴의 아름다운 형태다:
        • 📌 원문 — 식 (12) 역행렬들 (p.125): 🔗 PDF 위치
        • 
    • B_n (자유–자유): 양 끝 모두 자유. K 에서 (1,1) 과 (n,n) 둘 다 2 \to 1 로 바뀐다.
      • B_3 = \begin{bmatrix} \mathbf{1}&-1&0 \\ -1&2&-1 \\ 0&-1&\mathbf{1} \end{bmatrix}
      • B 는 특이행렬(비가역)이다!
    • 🧩 형태 비교 요약 (복습용): 셋 다 삼중대각·대칭이고 비대각은 -1. 차이는 오직 대각선의 양 끝:
      • K: 대각 (2, 2, \cdots, 2, 2) — 가역, 양의 정부호
      • T: 대각 (1, 2, \cdots, 2, 2) — 가역, 양의 정부호
      • B: 대각 (1, 2, \cdots, 2, 1) — 비가역, 양의 준정부호
  • B 가 특이행렬인 이유 — 두 가지 관점 (p.125~126)
    • 대수적: B 의 모든 행의 합이 0 → x = (1, 1, \cdots, 1) 에 대해 Bx = 0. 영벡터가 아닌 해가 있으므로 비가역 (2.2절 특징 ④). 모든 상수벡터 x = (c, c, \cdots, c) 가 Bx = 0 을 만족하며, 이들이 B 의 영공간 (null space)을 이룬다.
      • 증명 한 줄: B 가 가역이라 가정하면 Bx = 0 의 양변에 B^{-1} 를 곱해 x = 0 — 모순.
    • 물리적: 양 끝이 다 자유이면 지지대가 없어서, 전체를 통째로 평행이동해도 스프링이 전혀 안 늘어난다 (= 힘 0). "위치를 유일하게 결정할 수 없음" = "해가 유일하지 않음" = 특이행렬.
      • 💡 반면 K, T 는 벽이 하나라도 있으므로 위치가 고정된다 → 가역. 그림 2.3에서 무게 W 를 달았을 때 K_3, T_3 는 균형 해가 있지만 B_3 는 없다 (p.126 식 (14)).
  • 차분행렬로 보는 구조 (연습문제 15~16의 관점)
    • 1계 차분들도 행렬로 쓸 수 있다: 전진차분행렬 A_0 (각 행이 -1, 1 패턴), 후진차분행렬 L (각 행이 -1, 1 을 아래로).
    • 2차차분행렬은 1계 차분행렬의 곱으로 나온다: B = A_0^{\mathrm{T}}A_0, T = A_1^{\mathrm{T}}A_1, K = A_2^{\mathrm{T}}A_2 (열을 제거해가며) — 2.4 치환행렬과 전치행렬의 "A^{\mathrm{T}}A 는 항상 대칭" 원리로 K, T, B 의 대칭성이 자동으로 설명된다.
    • 💡 미분의 세계와 평행: -\dfrac{d^2}{dx^2} = \left(-\dfrac{d}{dx}\right)\left(\dfrac{d}{dx}\right) 이고 \dfrac{d}{dx} 의 전치가 -\dfrac{d}{dx} (부분적분, p.111 EX2) 라는 사실의 이산 버전.

• ❓ 스스로 점검

  • 전진차분·후진차분·중심차분의 식을 각각 쓰고, 정확도가 몇 차인지 말하라. 왜 중심차분만 2차인가?
    • 전진 \frac{y(x+h)-y(x)}{h}, 후진 \frac{y(x)-y(x-h)}{h} — 둘 다 1차 (O(h) 오차). 중심 \frac{y(x+h)-y(x-h)}{2h} — 2차 (O(h^2)). 중심차분은 전진·후진의 평균이라 테일러 전개의 \frac{1}{2}h^2y'' 오차항이 좌우 대칭으로 상쇄되기 때문.
  • 2계도함수의 차분 근사식과 그 계수 패턴은?
    • \frac{y(x+h) - 2y(x) + y(x-h)}{h^2} \approx y''(x) — 계수 패턴 1, -2, 1. (-y'' 를 근사하면 -1, 2, -1.)
  • K_4 를 아무것도 안 보고 써라. 첫 행이 [2 \ -1 \ 0 \ 0] 으로 "잘린" 이유는?
    • 대각 2, 양옆 대각 -1, 나머지 0. 첫 행의 원래 패턴 -u_0 + 2u_1 - u_2 에서 고정 경계 조건 u_0 = 0 이 -u_0 항을 지웠기 때문.
  • K 의 5가지 성질은? 그중 눈에 바로 안 보이는 것은?
    • 대칭 / 삼중대각(밴드·희소) / 대각선 일정(퇴플리츠) / 가역 / 양의 정부호. 눈에 안 보이는 것은 가역성과 양의 정부호 (피벗을 계산해야 안다).
  • K, T, B 는 정확히 어디가 다른가? 각각의 경계 조건과 가역성은?
    • 대각선 양 끝만 다르다. K: (2,\cdots,2) 고정–고정, 가역. T: (1,2,\cdots,2) 자유–고정, 가역. B: (1,2,\cdots,2,1) 자유–자유, 비가역.
  • B_3 x = 0 의 영벡터가 아닌 해를 하나 대고, 물리적으로 무엇을 의미하는지 설명하라.
    • x = (1,1,1) (모든 상수벡터). 양 끝이 자유라 전체를 통째로 평행이동해도 스프링이 늘지 않는다는 뜻 — 위치가 유일하게 결정되지 않으므로 특이행렬.
  • 미분방정식 -u'' = f(x) 가 어떻게 \frac{1}{h^2}KU = F 가 되는가? U 와 F 의 성분은 무엇인가?
    • 구간을 h = \frac{1}{N+1} 격자로 나누고 각 내부 격자점에서 -u'' 를 2차차분 \frac{-u_{i-1}+2u_i-u_{i+1}}{h^2} 로 근사하면 N 개의 선형방정식이 된다. U = (u_1, \cdots, u_N) 은 해의 근삿값들, F = (f(h), \cdots, f(Nh)) 는 우변 함수값들.

• ✏️ 연습문제 풀이 (솔루션 참고)

  • 문제 1 — y(x) = x^3, \Delta y = (x+h)^3 - x^3 의 1차항과 2차항을 구하고 h\frac{dy}{dx}, \frac{1}{2}h^2\frac{d^2y}{dx^2} 와 일치함을 보여라.
    • 전개: (x+h)^3 - x^3 = 3x^2h + 3xh^2 + h^3.
    • 1차항 3x^2 h = h \cdot (3x^2) = h\frac{dy}{dx} ✓, 2차항 3xh^2 = \frac{1}{2}h^2 \cdot (6x) = \frac{1}{2}h^2\frac{d^2y}{dx^2} ✓.
    • 💡 테일러 급수의 처음 두 항이 "저절로" 나오는 것을 다항식으로 직접 확인 — 차분↔미분 연결의 가장 구체적인 체험.
  • 문제 7 — y(x) = x^3, h = \frac{1}{10}, x = 0 에서 중심·전진·후진차분으로 \frac{dy}{dx} 를 근사하라. (참값: y'(0) = 0)
    • 중심: \dfrac{(0.1)^3 - (-0.1)^3}{0.2} = \dfrac{0.002}{0.2} = \dfrac{1}{100}. 전진: \dfrac{(0.1)^3 - 0}{0.1} = \dfrac{1}{100}. 후진: \dfrac{0 - (-0.1)^3}{0.1} = \dfrac{1}{100}.
    • 참값 0에 대해 셋 다 오차 \frac{1}{100} — 우연히 모두 같다 (x=0 에서 y''=0 이라 1차 오차항이 사라졌기 때문).
    • 💡 이어지는 문제 8이 진짜 핵심: y(h) \approx y(0) + h y'(0) + \frac{1}{2}h^2 y''(0) 을 세 공식에 대입하면 — 중심차분은 h^2 항까지 정확하고, 전진은 +\frac{1}{2}h\,y''(0), 후진은 -\frac{1}{2}h\,y''(0) 의 오차를 갖는다. "2차 vs 1차 정확도"의 증명이 이 한 줄이다.
  • 문제 16 — D_4 = \begin{bmatrix} 1&-1&0&0 \\ 0&1&-1&0 \\ 0&0&1&-1 \\ -1&0&0&1 \end{bmatrix} 일 때 D_4 D_4^{\mathrm{T}} 가 2차차분행렬임을 보여라. D_4 는 가역인가?
    • D_4 D_4^{\mathrm{T}} = \begin{bmatrix} 2&-1&0&-1 \\ -1&2&-1&0 \\ 0&-1&2&-1 \\ -1&0&-1&2 \end{bmatrix} = C_4 — 대각 2, 옆 대각 -1 에 더해 모서리 (1,4), (4,1) 에도 -1 이 있는 주기적(순환) 2차차분행렬.
    • C_4 는 비가역: 모든 행의 합이 0 → x = (1,1,1,1) 이 C_4 x = 0. (D_4 자체도 행 합이 0이라 비가역.)
    • 💡 K, T, B 에 이어 네 번째 경계 조건 — 주기 경계 (원형으로 연결). 이것도 B 처럼 "묶인 곳이 없어서" 특이행렬이 된다.
  • 문제 18 — 1차 중심차분행렬은 가역이 아닐 수 있다. \Delta_3 = \begin{bmatrix} 0&1&0 \\ -1&0&1 \\ 0&-1&0 \end{bmatrix} 과 \Delta_4 로 확인하라.
    • \Delta_3: 3열 = -( 1열 ) — 열이 선형종속이라 비가역. (\Delta_3 x = 0 의 해: x = (1, 0, 1).)
    • \Delta_4 (4×4 중심차분행렬)는 4개의 열이 선형독립 — 가역.
    • 💡 중심차분행렬은 홀수 크기면 특이, 짝수 크기면 가역 — 크기의 홀짝이 가역성을 가르는 흥미로운 예. (또한 \Delta^{\mathrm{T}} = -\Delta 인 반대칭행렬 — 미분 \frac{d}{dx} 의 전치가 -\frac{d}{dx} 라는 p.111 EX2의 이산 버전.)