deck:: Logseq/전공공부/선형대수학

- ### 핵심 개념
	- **이 절의 목표**: 미분적분학과 선형대수학을 연결하는 것. 핵심 아이디어는 한 문장이다 — **미분방정식은 컴퓨터로 직접 못 푸니, 미분을 "차분"(빼기)으로 근사하면 행렬방정식** $KU = F$ **가 되고, 그건 2장에서 배운 소거법으로 풀 수 있다.**
		- 💡 전체 흐름 지도 (이것만 잡으면 절 전체가 보인다):
			- ① 미분 $\dfrac{dy}{dx}$ 를 **차분** $\dfrac{y(x+h)-y(x)}{h}$ 같은 꼴로 근사한다.
			- ② 2계 미분 $\dfrac{d^2y}{dx^2}$ 의 근사에서 $1, -2, 1$ 패턴이 나온다.
			- ③ 이 패턴을 격자점 $N$ 개에 한꺼번에 적용하면 **행렬** $K$ 가 된다.
			- ④ 미분방정식 $-u'' = f(x)$ 가 연립방정식 $\dfrac{1}{h^2}KU = F$ 로 바뀐다.
			- ⑤ 경계 조건(끝이 고정인가 자유인가)에 따라 행렬이 $K, T, B$ 세 종류로 갈린다.
	- **미분이 알려주는 것** (복습): 미분은 한 점 $x$ (또는 한 순간 $t$)에서 무슨 일이 일어나는지 알려준다.
		- 1계도함수가 양수 → 그래프가 **올라간다** / 2계도함수가 양수 → 그래프가 **위쪽으로 휘어 있다** (기울기가 증가).
		- ⚠️ "증가/감소"(1계)와 "위로 휨/아래로 휨"(2계)은 다른 정보다. 예: $y = x^2$ 은 $x<0$ 에서 감소하지만 어디서나 위로 휜다 ($y'' = 2 > 0$).
	- **차분 (difference)** — 미분의 근사. 한 점이 아니라 **두 점** $x$ 와 $x+h$ 를 쓴다. 3가지 중요한 사실 (p.118):
		- ❶ $\Delta y = y(x+h) - y(x)$ 는 대략 $h \times \dfrac{dy}{dx}$ 이다.
		- ❷ 더 좋은 근사: $\Delta y \approx h\dfrac{dy}{dx} + \dfrac{1}{2}h^2\dfrac{d^2y}{dx^2}$ (2계도함수 항으로 보정).
		- ❸ 정확한 값: $\Delta y = \displaystyle\int_x^{x+h} \frac{dy}{dx}\,dx$.
		- 💡 ❶은 접선(1차 근사), ❷는 접하는 포물선(2차 근사). 기하적으로: 접선을 따라가다 $\frac{1}{2}h^2 y''$ 만큼 더 휘어주는 것.
	- **테일러 급수** (Taylor series): 위 근사를 무한히 계속한 것 — 모든 항은 $\dfrac{h^n}{n!} \times \left(n\text{계도함수}\right)$.
		- $$y(x+h) = y(x) + h\,y'(x) + \frac{1}{2}h^2 y''(x) + \cdots + \frac{1}{n!}h^n y^{(n)}(x) + \cdots$$
		- $y = e^x$ 같은 함수는 모든 점에서 수렴(해석함수). $y = \frac{1}{1-x}$ 은 $|x| < 1$ 에서만 수렴 — $x=1$ 은 **극점**(pole)이라는 특이점.
		- 💡 이 절에서 테일러 급수의 용도: 아래 차분 공식들의 **오차가 몇 차인지**($h$ 몇 제곱에 비례해 줄어드는지) 판정하는 도구.
	- **1계 미분의 3가지 차분 근사** — 전진·후진·중심 (p.120~121)
		- 출발점: 테일러 전개를 $+h$ 와 $-h$ 에 대해 쓴다.
			- $$y(x+h) - y(x) \approx h\frac{dy}{dx} + \frac{1}{2}h^2\frac{d^2y}{dx^2} \tag{2a}$$
			- $$y(x-h) - y(x) \approx -h\frac{dy}{dx} + \frac{1}{2}h^2\frac{d^2y}{dx^2} \tag{2b}$$
		- **전진차분** (forward): $\dfrac{y(x+h) - y(x)}{h}$ — 오차 $O(h)$, **1차 정확도**.
		- **후진차분** (backward): $\dfrac{y(x) - y(x-h)}{h}$ — 오차 $O(h)$, **1차 정확도**.
		- **중심차분** (centered): (2a)−(2b) 를 $2h$ 로 나누면 $\frac{1}{2}h^2 y''$ 항이 **상쇄**된다:
			- $$\frac{y(x+h) - y(x-h)}{2h} \approx \frac{dy}{dx} \qquad \text{— 오차 } O(h^2), \ \textbf{2차 정확도}$$
		- 💡 중심차분이 좋은 이유: 전진과 후진의 평균이라 $\pm$ 대칭으로 오차의 첫 항이 지워진다. $h = 0.01$ 이면 1차 정확도는 오차 ~1%, 2차 정확도는 ~0.01% — 공짜로 100배 좋아진다.
		- ⚠️ 부호와 분모 주의: 중심차분의 분모는 $h$ 가 아니라 $2h$ (두 점 사이 거리가 $2h$).
	- **2차차분 —** $1, -2, 1$ **패턴의 탄생** (p.120 식 (4))
		- (2a)+(2b) 를 $h^2$ 으로 나누면 1계 항이 상쇄되고 2계도함수의 근사가 나온다:
			- $$\frac{y(x+h) - 2y(x) + y(x-h)}{h^2} \approx \frac{d^2y}{dx^2}$$
		- 분자의 계수가 바로 $1, -2, 1$ — 이 패턴 하나가 이 절의 행렬 $K, T, B$ 전부의 씨앗이다.
		- 💡 직관: 2계도함수 = "양옆 평균과 자신의 차이". $y(x)$ 가 양옆 평균 $\frac{y(x+h)+y(x-h)}{2}$ 보다 작으면 위로 휜 것(양수).
	- **미분방정식 → 행렬방정식**: $-\dfrac{d^2u}{dx^2} = f(x)$ 를 격자에서 풀기 (p.122)
		- 설정: 구간 $[0,1]$ 을 격자 간격 $h = \frac{1}{N+1}$ 로 나눈다. 내부 격자점은 $x_1 = h, \cdots, x_N = Nh$ 의 $N$ 개. **경계점** $x_0 = 0$ **,** $x_{N+1} = 1$ **에서는** $u=0$ **으로 고정** ($u_0 = 0, u_{N+1} = 0$).
		- 각 격자점마다 2차차분 방정식 하나: $\dfrac{-u_{i-1} + 2u_i - u_{i+1}}{h^2} = f(ih)$ → $N$ 개의 방정식을 **하나의 행렬방정식**으로:
			- $$\frac{1}{h^2}KU = F \qquad (N=4): \quad \frac{1}{h^2}\begin{bmatrix} 2&-1&0&0 \\ -1&2&-1&0 \\ 0&-1&2&-1 \\ 0&0&-1&2 \end{bmatrix}\begin{bmatrix} u_1\\u_2\\u_3\\u_4 \end{bmatrix} = \begin{bmatrix} f(h)\\f(2h)\\f(3h)\\f(4h) \end{bmatrix}$$
		- 미지수 $u_1, \cdots, u_N$ 은 정확한 해 $u(h), \cdots, u(Nh)$ 의 근삿값.
		- ⚠️ 1행이 $[2 \ -1 \ 0 \ 0]$ 로 "잘려" 있는 이유: 원래 패턴은 $-u_0 + 2u_1 - u_2$ 인데 경계 조건 $u_0 = 0$ 이라 그 항이 사라진 것. 마지막 행도 $u_5 = 0$ 때문에 같은 방식으로 잘린다. **행렬의 첫/끝 행은 경계 조건이 새겨진 자리다.**
	- $K_n$ **의 정확한 형태** 🧩 (고정–고정 경계, 2차차분행렬)
		- **주대각선은 전부** $2$ **, 주대각선 바로 위·아래의 대각선은 전부** $-1$ **, 그 외는 전부** $0$ **.**
		- $$K_{ii} = 2, \qquad K_{i,i+1} = K_{i+1,i} = -1, \qquad \text{나머지 } 0$$
		- 📌 원문 — 식 (8) $K_4$ (p.122): [🔗 PDF 위치](((6a63655a-721b-4fd9-9d4e-104ea606096c)))
			- ![고정된 끝점이 있는 2차차분행렬 K4 — 식 (8) (p.122)](../assets/2장_p122_K4_식8.png)
		- 💡 부호가 $-1, 2, -1$ 인 이유: 근사하는 대상이 $+\dfrac{d^2u}{dx^2}$ 가 아니라 $-\dfrac{d^2u}{dx^2}$ 이기 때문 (물리 문제에서 $-u''$ 꼴이 표준이라 부호를 반대로 뒤집은 것).
	- $K$ **의 5가지 성질** (p.122~124) — 눈에 보이는 3가지 + 숨은 2가지
		- ❶ **대칭행렬**이다: $K_{ij} = K_{ji}$, $K^{\mathrm{T}} = K$.
		- ❷ **밴드가 있다** (삼중대각행렬, tridiagonal): 0이 아닌 성분이 주대각선 주변 3개 대각선에만 → **희소행렬** (sparse). $N = 100$ 이면 0 아닌 성분은 $100+99+99$ 개, 전체의 3% 미만. 소거가 매우 빠르다.
		- ❸ **대각선 위의 수가 일정하다** (위치 불변 / 시불변): 미분방정식의 계수가 상수이기 때문. 이런 행렬을 **필터**, **합성곱 행렬** (convolution matrix), 정확한 용어로 **퇴플리츠 행렬** (Toeplitz matrix)이라 한다. MATLAB: `K = toeplitz([2 -1 0 0])`.
		- ❹ **가역행렬이다**: $K_4^{-1} = \frac{1}{5}\begin{bmatrix} 4&3&2&1 \\ 3&6&4&2 \\ 2&4&6&3 \\ 1&2&3&4 \end{bmatrix}$.
			- ⚠️ $K^{-1}$ 는 대칭이긴 하지만 삼중대각도, 희소도 아니다 (모든 성분이 0이 아님!). 역행렬을 실제로 계산하는 대신 $KU = F$ 를 소거법으로 푼다 (MATLAB `U = K\F`) — 2.3절의 교훈 그대로.
		- ❺ **양의 정부호** (positive definite)이다: $n$ 개의 피벗이 **모두 양수**. (6장에서 정식으로 다룰 개념의 예고편.)
			- 피벗 기준 정리: 가역행렬 = 0 아닌 피벗 $n$ 개 / 대칭 + 양의 정부호 = **양의** 피벗 $n$ 개 / 대칭 + 양의 준정부호(semidefinite) = **음이 아닌** 피벗 $n$ 개.
			- 💡 $K$ 의 피벗은 $2, \frac{3}{2}, \frac{4}{3}, \frac{5}{4}, \cdots$ (모두 양수) — [[2.4 치환행렬과 전치행렬]] 연습문제 18(c)에서 직접 계산했다.
	- **경계 조건이 바뀌면 행렬이 바뀐다 —** $K, T, B$ **삼형제** 🧩
		- 상황: 스프링으로 연결된 3개의 질량. **끝이 벽에 고정되었는가, 자유로운가**가 유일한 차이다.
		- ![그림 2.3 — K는 고정-고정, T는 자유-고정, B는 자유-자유 (p.126)](../assets/2장_p126_그림2-3_스프링모델_KTB.png)
			- (p.126, 그림 2.3)
		- $K_n$ **(고정–고정)**: 양 끝 모두 벽에 고정. 위에서 본 그대로 — 대각 $2, 2, \cdots, 2$.
		- $T_n$ **(자유–고정)**: 위 끝 자유, 아래 끝 고정. $K$ **에서** $(1,1)$ **성분 하나만** $2 \to 1$ **로** 바뀐다.
			- $$T_4 = \begin{bmatrix} \mathbf{1}&-1&0&0 \\ -1&2&-1&0 \\ 0&-1&2&-1 \\ 0&0&-1&2 \end{bmatrix}$$
			- 📌 원문 — 식 (10) $T_4$ (p.125): [🔗 PDF 위치](((6a63656f-97f2-40c9-a8c5-26180f7f9782)))
				- ![자유-고정 경계 조건의 T4 — 식 (10) (p.125)](../assets/2장_p125_T4_식10.png)
			- 1행의 $1, -1$ 은 **자유 경계 조건** $\frac{du}{dx} = 0$ 을 나타낸다.
			- $T$ 는 주대각선이 일정하지 않으므로 더 이상 퇴플리츠 행렬이 아니지만, 여전히 **양의 정부호**다 (모든 피벗이 1).
			- $T$ 의 아름다운 분해: $T = LU = LL^{\mathrm{T}}$ ($L$ = 후진차분행렬, 모든 피벗이 1이라 $K$ 보다 간단히 분해된다):
				- 📌 원문 — 식 (11) $T = LU$ (p.125): [🔗 PDF 위치](((6a636573-14ee-44d8-b3ad-7c38a6d221bc)))
				- ![T의 LU 분해 — 식 (11) (p.125)](../assets/2장_p125_T_LU분해_식11.png)
			- $L^{-1}, U^{-1}, T^{-1}$ 는 모두 1로 채워진 삼각형/사각형 꼴의 아름다운 형태다:
				- 📌 원문 — 식 (12) 역행렬들 (p.125): [🔗 PDF 위치](((6a636579-147e-4d4a-8f81-87ca3fe5306a)))
				- ![U, L, T의 역행렬 — 식 (12) (p.125)](../assets/2장_p125_역행렬들_식12.png)
		- $B_n$ **(자유–자유)**: 양 끝 모두 자유. $K$ **에서** $(1,1)$ **과** $(n,n)$ **둘 다** $2 \to 1$ **로** 바뀐다.
			- $$B_3 = \begin{bmatrix} \mathbf{1}&-1&0 \\ -1&2&-1 \\ 0&-1&\mathbf{1} \end{bmatrix}$$
			- $B$ **는 특이행렬(비가역)이다!**
		- 🧩 **형태 비교 요약** (복습용): 셋 다 삼중대각·대칭이고 비대각은 $-1$. 차이는 오직 대각선의 **양 끝**:
			- $K$: 대각 $(2, 2, \cdots, 2, 2)$ — 가역, 양의 정부호
			- $T$: 대각 $(1, 2, \cdots, 2, 2)$ — 가역, 양의 정부호
			- $B$: 대각 $(1, 2, \cdots, 2, 1)$ — **비가역**, 양의 준정부호
	- $B$ **가 특이행렬인 이유** — 두 가지 관점 (p.125~126)
		- **대수적**: $B$ 의 **모든 행의 합이 0** → $x = (1, 1, \cdots, 1)$ 에 대해 $Bx = 0$. 영벡터가 아닌 해가 있으므로 비가역 (2.2절 특징 ④). 모든 상수벡터 $x = (c, c, \cdots, c)$ 가 $Bx = 0$ 을 만족하며, 이들이 $B$ 의 **영공간** (null space)을 이룬다.
			- 증명 한 줄: $B$ 가 가역이라 가정하면 $Bx = 0$ 의 양변에 $B^{-1}$ 를 곱해 $x = 0$ — 모순.
		- **물리적**: 양 끝이 다 자유이면 지지대가 없어서, 전체를 **통째로 평행이동**해도 스프링이 전혀 안 늘어난다 (= 힘 0). "위치를 유일하게 결정할 수 없음" = "해가 유일하지 않음" = 특이행렬.
			- 💡 반면 $K, T$ 는 벽이 하나라도 있으므로 위치가 고정된다 → 가역. 그림 2.3에서 무게 $W$ 를 달았을 때 $K_3, T_3$ 는 균형 해가 있지만 $B_3$ 는 없다 (p.126 식 (14)).
	- **차분행렬로 보는 구조** (연습문제 15~16의 관점)
		- 1계 차분들도 행렬로 쓸 수 있다: 전진차분행렬 $A_0$ (각 행이 $-1, 1$ 패턴), 후진차분행렬 $L$ (각 행이 $-1, 1$ 을 아래로).
		- 2차차분행렬은 1계 차분행렬의 곱으로 나온다: $B = A_0^{\mathrm{T}}A_0$, $T = A_1^{\mathrm{T}}A_1$, $K = A_2^{\mathrm{T}}A_2$ (열을 제거해가며) — [[2.4 치환행렬과 전치행렬]]의 "$A^{\mathrm{T}}A$ 는 항상 대칭" 원리로 $K, T, B$ 의 대칭성이 자동으로 설명된다.
		- 💡 미분의 세계와 평행: $-\dfrac{d^2}{dx^2} = \left(-\dfrac{d}{dx}\right)\left(\dfrac{d}{dx}\right)$ 이고 $\dfrac{d}{dx}$ 의 전치가 $-\dfrac{d}{dx}$ (부분적분, p.111 EX2) 라는 사실의 이산 버전.
- ### ❓ 스스로 점검
	- 전진차분·후진차분·중심차분의 식을 각각 쓰고, 정확도가 몇 차인지 말하라. 왜 중심차분만 2차인가?
		- 전진 $\frac{y(x+h)-y(x)}{h}$, 후진 $\frac{y(x)-y(x-h)}{h}$ — 둘 다 1차 ($O(h)$ 오차). 중심 $\frac{y(x+h)-y(x-h)}{2h}$ — 2차 ($O(h^2)$). 중심차분은 전진·후진의 평균이라 테일러 전개의 $\frac{1}{2}h^2y''$ 오차항이 좌우 대칭으로 상쇄되기 때문.
	- 2계도함수의 차분 근사식과 그 계수 패턴은?
		- $\frac{y(x+h) - 2y(x) + y(x-h)}{h^2} \approx y''(x)$ — 계수 패턴 $1, -2, 1$. ($-y''$ 를 근사하면 $-1, 2, -1$.)
	- $K_4$ 를 아무것도 안 보고 써라. 첫 행이 $[2 \ -1 \ 0 \ 0]$ 으로 "잘린" 이유는?
		- 대각 2, 양옆 대각 $-1$, 나머지 0. 첫 행의 원래 패턴 $-u_0 + 2u_1 - u_2$ 에서 고정 경계 조건 $u_0 = 0$ 이 $-u_0$ 항을 지웠기 때문.
	- $K$ 의 5가지 성질은? 그중 눈에 바로 안 보이는 것은?
		- 대칭 / 삼중대각(밴드·희소) / 대각선 일정(퇴플리츠) / 가역 / 양의 정부호. 눈에 안 보이는 것은 가역성과 양의 정부호 (피벗을 계산해야 안다).
	- $K, T, B$ 는 정확히 어디가 다른가? 각각의 경계 조건과 가역성은?
		- 대각선 양 끝만 다르다. $K$: $(2,\cdots,2)$ 고정–고정, 가역. $T$: $(1,2,\cdots,2)$ 자유–고정, 가역. $B$: $(1,2,\cdots,2,1)$ 자유–자유, **비가역**.
	- $B_3 x = 0$ 의 영벡터가 아닌 해를 하나 대고, 물리적으로 무엇을 의미하는지 설명하라.
		- $x = (1,1,1)$ (모든 상수벡터). 양 끝이 자유라 전체를 통째로 평행이동해도 스프링이 늘지 않는다는 뜻 — 위치가 유일하게 결정되지 않으므로 특이행렬.
	- 미분방정식 $-u'' = f(x)$ 가 어떻게 $\frac{1}{h^2}KU = F$ 가 되는가? $U$ 와 $F$ 의 성분은 무엇인가?
		- 구간을 $h = \frac{1}{N+1}$ 격자로 나누고 각 내부 격자점에서 $-u''$ 를 2차차분 $\frac{-u_{i-1}+2u_i-u_{i+1}}{h^2}$ 로 근사하면 $N$ 개의 선형방정식이 된다. $U = (u_1, \cdots, u_N)$ 은 해의 근삿값들, $F = (f(h), \cdots, f(Nh))$ 는 우변 함수값들.
- ### ✏️ 연습문제 풀이 (솔루션 참고)
	- **문제 1** — $y(x) = x^3$, $\Delta y = (x+h)^3 - x^3$ 의 1차항과 2차항을 구하고 $h\frac{dy}{dx}$, $\frac{1}{2}h^2\frac{d^2y}{dx^2}$ 와 일치함을 보여라.
		- 전개: $(x+h)^3 - x^3 = 3x^2h + 3xh^2 + h^3$.
		- 1차항 $3x^2 h = h \cdot (3x^2) = h\frac{dy}{dx}$ ✓, 2차항 $3xh^2 = \frac{1}{2}h^2 \cdot (6x) = \frac{1}{2}h^2\frac{d^2y}{dx^2}$ ✓.
		- 💡 테일러 급수의 처음 두 항이 "저절로" 나오는 것을 다항식으로 직접 확인 — 차분↔미분 연결의 가장 구체적인 체험.
	- **문제 7** — $y(x) = x^3$, $h = \frac{1}{10}$, $x = 0$ 에서 중심·전진·후진차분으로 $\frac{dy}{dx}$ 를 근사하라. (참값: $y'(0) = 0$)
		- 중심: $\dfrac{(0.1)^3 - (-0.1)^3}{0.2} = \dfrac{0.002}{0.2} = \dfrac{1}{100}$. 전진: $\dfrac{(0.1)^3 - 0}{0.1} = \dfrac{1}{100}$. 후진: $\dfrac{0 - (-0.1)^3}{0.1} = \dfrac{1}{100}$.
		- 참값 0에 대해 셋 다 오차 $\frac{1}{100}$ — **우연히** 모두 같다 ($x=0$ 에서 $y''=0$ 이라 1차 오차항이 사라졌기 때문).
		- 💡 이어지는 문제 8이 진짜 핵심: $y(h) \approx y(0) + h y'(0) + \frac{1}{2}h^2 y''(0)$ 을 세 공식에 대입하면 — 중심차분은 $h^2$ 항까지 정확하고, 전진은 $+\frac{1}{2}h\,y''(0)$, 후진은 $-\frac{1}{2}h\,y''(0)$ 의 오차를 갖는다. "2차 vs 1차 정확도"의 증명이 이 한 줄이다.
	- **문제 16** — $D_4 = \begin{bmatrix} 1&-1&0&0 \\ 0&1&-1&0 \\ 0&0&1&-1 \\ -1&0&0&1 \end{bmatrix}$ 일 때 $D_4 D_4^{\mathrm{T}}$ 가 2차차분행렬임을 보여라. $D_4$ 는 가역인가?
		- $D_4 D_4^{\mathrm{T}} = \begin{bmatrix} 2&-1&0&-1 \\ -1&2&-1&0 \\ 0&-1&2&-1 \\ -1&0&-1&2 \end{bmatrix} = C_4$ — 대각 2, 옆 대각 $-1$ 에 더해 **모서리** $(1,4), (4,1)$ **에도** $-1$ 이 있는 **주기적(순환) 2차차분행렬**.
		- $C_4$ 는 비가역: 모든 행의 합이 0 → $x = (1,1,1,1)$ 이 $C_4 x = 0$. ($D_4$ 자체도 행 합이 0이라 비가역.)
		- 💡 $K, T, B$ 에 이어 네 번째 경계 조건 — **주기 경계** (원형으로 연결). 이것도 $B$ 처럼 "묶인 곳이 없어서" 특이행렬이 된다.
	- **문제 18** — 1차 중심차분행렬은 가역이 아닐 수 있다. $\Delta_3 = \begin{bmatrix} 0&1&0 \\ -1&0&1 \\ 0&-1&0 \end{bmatrix}$ 과 $\Delta_4$ 로 확인하라.
		- $\Delta_3$: 3열 $= -($ 1열 $)$ — 열이 선형종속이라 **비가역**. ($\Delta_3 x = 0$ 의 해: $x = (1, 0, 1)$.)
		- $\Delta_4$ (4×4 중심차분행렬)는 4개의 열이 선형독립 — **가역**.
		- 💡 중심차분행렬은 **홀수 크기면 특이, 짝수 크기면 가역** — 크기의 홀짝이 가역성을 가르는 흥미로운 예. (또한 $\Delta^{\mathrm{T}} = -\Delta$ 인 **반대칭행렬** — 미분 $\frac{d}{dx}$ 의 전치가 $-\frac{d}{dx}$ 라는 p.111 EX2의 이산 버전.)