52715c981d
Co-Authored-By: Claude Fable 5 <noreply@anthropic.com> Claude-Session: https://claude.ai/code/session_01Ufr6wUhJAzBaqcaBiRJ1xk
268 lines
35 KiB
Markdown
Executable File
268 lines
35 KiB
Markdown
Executable File
deck:: Logseq/전공공부/선형대수학
|
||
|
||
- ### 핵심 개념
|
||
- **흐름 지도**: [1단계] 문제 선언: 해가 없는 $Ax = b$ 에서 최선 찾기 → [2단계] 숫자로 체험: 세 점과 직선 → [3단계] 같은 답을 주는 세 관점 (기하·대수·미분적분) → [4단계] 최소제곱의 큰 그림 → [5단계] 직선 맞추기 일반 공식 → [6단계] 열이 직교하면 계산이 반값 → [7단계] 열이 종속이면? → [8단계] 포물선 맞추기와 그 너머.
|
||
- #### [1단계] 문제 선언: 해가 없을 때의 최선, 최소제곱해
|
||
- 왜 해가 없는가: 데이터 문제는 보통 방정식이 미지수보다 많다 ($m > n$, 과잉결정). $n$ 개의 열이 만드는 열공간은 $\mathbb{R}^m$ 안의 얇은 부분공간이라, 잡음 섞인 측정값 $b$ 는 거의 확실히 그 밖에 떨어진다.
|
||
- **정의**: 오차 $e = b - Ax$ 를 0으로 만들 수 없을 때, $\|b - A\hat{x}\|^2$ 을 최솟값으로 만드는 $\hat{x}$ 이 **최소제곱해**(least squares solution)다.
|
||
- 📌 원문 (p.234): ((6a7dcf45-30e9-47fc-bc0f-3243c1c73a00))
|
||
- 도구는 새로 배울 것이 없다: 4.2의 정규방정식 그대로다.
|
||
- 📌 원문 (p.234): ((6a7dcf4f-ec05-4a72-afd6-26fe3bde7f0b)) / ((6a7dcf53-01d5-412b-9d65-325536a9a5d7))
|
||
- $$A^{\mathrm{T}}A\hat{x} = A^{\mathrm{T}}b$$
|
||
- 💡 4.2와 4.3의 관계: **같은 방정식, 다른 주인공**. 4.2는 도착지(사영 $p$)를 강조했고, 4.3은 계수($\hat{x}$)를 강조한다. 둘은 $p = A\hat{x}$ 으로 연결된다. 참고: 정규방정식 자체는 어떤 $A, b$ 에서도 항상 해가 있다 (사영 $p$ 가 항상 존재하고 $p$ 는 열공간 안이므로).
|
||
- #### [2단계] 숫자로 체험: 세 점 $(0,6), (1,0), (2,0)$ 과 가장 가까운 직선 (EX1)
|
||
- 직선 $b = C + Dt$ 가 세 점을 전부 지나려면 (대수: 방정식 3개):
|
||
- $t = 0$: $C + D \cdot 0 = 6$ → $C = 6$
|
||
- $t = 1$: $C + D \cdot 1 = 0$ → $D = -6$
|
||
- $t = 2$: $C + D \cdot 2 = 0$ → 검산 $6 - 12 = -6 \neq 0$ ✗. 모순, 이 직선은 존재하지 않는다.
|
||
- 행렬로 번역 (선형대수): 미지수 $x = (C, D)$ 둘, 방정식 셋.
|
||
- $$A = \begin{bmatrix} 1&0 \\ 1&1 \\ 1&2 \end{bmatrix}, \quad b = \begin{bmatrix} 6 \\ 0 \\ 0 \end{bmatrix}$$
|
||
- $b$ 가 열공간($\mathbb{R}^3$ 안의 평면) 밖에 있다는 뜻이다.
|
||
- 낯익은 행렬이다! 4.2 EX3에서 이미 정규방정식을 풀어 $\hat{x} = (5, -3)$ 을 얻었다. 그 답이 바로 최적의 $C, D$: **최적 직선은** $b = 5 - 3t$.
|
||
- [그림 4.6] 같은 문제의 두 그림:
|
||
- 
|
||
- (p.237, 그림 4.6)
|
||
- (a) 데이터 평면: 직선이 세 점을 못 지나고, 각 점까지의 **수직 거리**가 오차 $e_1, e_2, e_3 = 1, -2, 1$.
|
||
- (b) $bpe$-공간($\mathbb{R}^3$): $b = (6,0,0)$ 이 열공간 평면 밖에 떠 있고, 수선의 발이 $p = (5, 2, -1)$, 수선이 $e = (1, -2, 1)$.
|
||
- 💡 이 왕복이 4.3의 핵심 감각이다: (a)는 통계학자의 그림 (점과 직선), (b)는 선형대수학자의 그림 (벡터와 사영). **같은 문제다.** 데이터 $m$ 개 = $\mathbb{R}^m$ 의 벡터 하나.
|
||
- #### [3단계] 오차 최소화: 같은 답을 주는 세 관점
|
||
- 목표: $E = \|Ax - b\|^2$ (수직 오차들의 제곱합)을 가장 작게 만드는 $x$ 찾기.
|
||
- 📌 원문 (p.236): ((6a7dd17a-8e52-4cec-b72c-eab898415e99))
|
||
- **관점 ① 기하 (사영)**: 열공간 안에서 $b$ 와 가장 가까운 점은 수선의 발 $p$ 다. 최적은 $A\hat{x} = p$, 오차 $e = b - p$ 는 열공간과 직교. 4.2에서 끝낸 이야기.
|
||
- **관점 ② 대수 (피타고라스 분해)**: 임의의 $x$ 에 대한 오차를 두 조각으로 쪼갠다.
|
||
- 📌 원문 식 (2) (p.236): ((6a7dd176-75b8-4e9f-bbf4-25909045ec4e))
|
||
- $$\|Ax - b\|^2 = \|Ax - p\|^2 + \|e\|^2$$
|
||
- 왜 쪼개지나: $Ax - b = (Ax - p) + (p - b)$, 즉 두 벡터의 합이다. $Ax - p$ 는 열공간 안 벡터끼리의 차라 **열공간 안**에 있고, $p - b = -e$ 는 **좌영공간**에 있다. 직교하는 두 조각의 합 → 피타고라스.
|
||
- 세 변이 각각 무엇인지 그림으로 (열공간을 직선으로 그린 2차원 버전):
|
||
- 
|
||
- 꼭짓점 3개: 직선 위의 **후보** $Ax$, 직선 위의 **수선의 발** $p$, 직선 밖의 **목표** $b$. 직각은 $p$ 에서 (오차 $e$ 가 열공간과 수직이니까).
|
||
- 빗변이 $Ax - b$ (후보에서 목표까지), 밑변이 $Ax - p$ (직선 위 이동), 높이가 $e = b - p$.
|
||
- $x$ 를 바꾸면 $Ax$ 가 직선 위를 미끄러진다: 변하는 것은 밑변 $\|Ax - p\|$ 뿐이고, 높이 $\|e\|$ 는 그대로다.
|
||
- 첫 항은 $x = \hat{x}$ 으로 고르면 ($Ax$ 가 $p$ 에 포개져서) 정확히 0이 된다. 둘째 항 $\|e\|^2$ 은 어떤 $x$ 로도 **못 줄인다**. 그래서 최솟값이 $E_{\min} = \|e\|^2$ 이고, 그걸 달성하는 것이 $\hat{x}$.
|
||
- **관점 ③ 미분적분학 (편도함수)**: 최소점에서는 모든 방향의 도함수가 0이다.
|
||
- 📌 원문 (p.237): ((6a7f09e3-c19c-4ff6-b00d-d73ac7b9cc59))
|
||
- EX1의 $E$ 를 미지수 $C, D$ 로 풀어 쓰면 (식 (3)):
|
||
- 📌 원문 식 (3) (p.237): [🔗 PDF 위치](((6a7f0a74-30ff-4ec4-ba78-52d533dd1f8d)))
|
||
- 
|
||
- 미지수가 2개니 도함수도 2개: $\frac{\partial E}{\partial C} = 0$ 과 $\frac{\partial E}{\partial D} = 0$ 을 **둘 다** 요구한다 (한 방향만 최저면 안 되고, $C$ 방향·$D$ 방향 모두 바닥이어야 진짜 최소).
|
||
- 전개해 정리하면 (식 (4)):
|
||
- 📌 원문 식 (4) (p.238): [🔗 PDF 위치](((6a7f0a6c-2e57-4d5b-beef-04a0a0062d19)))
|
||
- 
|
||
- $3C + 3D = 6$, $3C + 5D = 0$. 계수행렬 $\begin{bmatrix} 3&3 \\ 3&5 \end{bmatrix}$ 이 정확히 $A^{\mathrm{T}}A$ 다!
|
||
- 📌 원문 (p.238): ((6a7f0a47-3114-4b81-af6e-2818eeafc72a)) / 박스 ((6a7f0a0d-c7d0-4ebe-b4a7-c2d23caaf25b))
|
||
- 우연이 아니다: 연쇄법칙이 $\frac{\partial E}{\partial D}$ 에 붙이는 추가 인수 $0, 1, 2$ 가 바로 $A$ 의 2열이다. **미분이 자동으로** $A^{\mathrm{T}}$ **를 만들어낸다.** 도함수 = 0 조건을 행렬로 묶으면 $A^{\mathrm{T}}(b - A\hat{x}) = 0$.
|
||
- 💡 세 관점 모두 같은 정규방정식에 도달한다. 이게 가능한 이유는 "**제곱합의 도함수는 선형**"이기 때문 (p.241). 제곱을 미분하면 1차식이 나와서, 최소화 문제가 연립 1차방정식으로 떨어진다. 최소제곱법이 세상을 지배하는 이유다.
|
||
- #### [4단계] 최소제곱의 큰 그림: $b = p + e$ (그림 4.7)
|
||
- 3장~4.1의 큰 그림([그림 4.1])과 정반대 상황이라는 것이 포인트다.
|
||
- 📌 원문 (p.238): ((6a7f0aac-af80-47bc-9b60-cd999da58ec2))
|
||
- 그림 4.1: $Ax = b$ 의 해가 **많았다** → 입력 쪽을 $x = x_r + x_n$ 으로 분할했다.
|
||
- 
|
||
- (p.212, 그림 4.1)
|
||
- 그림 4.7: $Ax = b$ 의 해가 **없다** → 이번엔 출력 쪽을 $b = p + e$ 로 분할한다.
|
||
- 
|
||
- (p.239, 그림 4.7)
|
||
- 그림 4.7 꼼꼼히 읽기 (요소별로):
|
||
- 왼쪽 다이아몬드 = $\mathbb{R}^n$ (입력 세계). 열이 독립이라 $r = n$, 그래서 **행공간이** $\mathbb{R}^n$ **전체**를 차지하고 영공간은 바닥의 점 $0$ 하나로 수축해 있다 (4.1 문제 2에서 그렸던 바로 그 상황).
|
||
- 오른쪽 = $\mathbb{R}^m$ (출력 세계). $m > n$ 이라 열공간($n$차원)은 $\mathbb{R}^m$ 을 다 못 채우고, 그 직교여공간인 좌영공간이 남는다.
|
||
- 화살표 둘: $Ax = b$ (점선)는 도착지 $b$ 가 열공간 밖이라 **불가능한 여행**. $A\hat{x} = p$ (실선)는 도착지를 수선의 발 $p$ 로 바꾼 **가능한 여행**. $b = p + e$ 직각 분해가 그 교체의 근거다.
|
||
- 📌 원문 (p.239): ((6a7f0ade-00e5-4727-942b-d85312b043db))
|
||
- ⚠️ **"영공간이 점 하나" = 사영으로 풀어야 하는 조건이 아니다** (두 조건을 분리해서 볼 것):
|
||
- 조건 ① ($b$ 쪽, 출력 사정): $b$ 가 열공간 **밖**인가? → **사영이 필요한지**를 결정한다. 밖이면 해가 없어 $p$ 로 교체하고, 안이면 $e = 0$ 으로 최소제곱이 완전해로 퇴화한다 (연습문제 20이 그 경우).
|
||
- 조건 ② ($A$ 쪽, 입력 사정): 열이 **독립**인가? → $\hat{x}$ **이 유일한지**를 결정한다. 독립이면 $\mathbf{N}(A) = \{0\}$, $A^{\mathrm{T}}A$ 가역, $\hat{x}$ 딱 하나. 종속이면 사영 $p$ 는 여전히 유일하지만 $\hat{x}$ 이 무한히 많다 ([7단계]).
|
||
- 그러니까 "영공간이 항상 점 하나냐"는 질문의 답: 아니고, **그림 4.7이 열 독립이라는 표준 상황을 그려놓은 것**이다. 사영으로 풀어야 하는지(①)와는 별개의 조건이고, 둘이 동시에 성립하는 $r = n < m$ 케이스(3.5의 해 유형표에서 "0 또는 1개" 유형)가 최소제곱의 주 무대라서 함께 등장할 뿐이다.
|
||
- 열 독립 가정이 실제로 하는 일: $\mathbf{N}(A^{\mathrm{T}}A) = \mathbf{N}(A) = \{0\}$ → 정규방정식의 해가 유일. 오차는 $A^{\mathrm{T}}e = 0$ (좌영공간 소속).
|
||
- 💡 $\mathbf{N}(A^{\mathrm{T}}A) = \mathbf{N}(A)$ 의 세 번째 재등장이다 (4.1 문제 9 → 4.2 [6단계] → 여기). 이 한 줄이 최소제곱 전체를 떠받친다.
|
||
- #### [5단계] 직선 맞추기: $m$ 개의 점과 가장 가까운 직선
|
||
- 문제를 한 문장으로: 시간 $t_1, \ldots, t_m$ 에서 잰 높이 $b_1, \ldots, b_m$, 이 $m$ 개의 점 $(t_i, b_i)$ 에 **가장 가까운 직선** $b = C + Dt$ 를 찾아라. ("모든 점과 가장 가까운 직선 찾기"가 이 소단원의 전부다.)
|
||
- 📌 원문 (p.239): ((6a7f0b52-edff-4a79-a474-8007acbfaf55))
|
||
- **단계 A (대수 관점: 방정식 쌓기)**: 점 $(t_i, b_i)$ 가 직선 위에 있으려면 $C + Dt_i = b_i$. 점마다 방정식 하나씩, 총 $m$ 개. 그런데 미지수는 $C, D$ 둘뿐.
|
||
- $m > 2$ 면 거의 항상 모순이다. 점 3개만 돼도 (EX1처럼) 일직선이 아닌 이상 다 지날 수 없다.
|
||
- 행렬로 쌓으면 (식 (5)):
|
||
- $$A = \begin{bmatrix} 1 & t_1 \\ \vdots & \vdots \\ 1 & t_m \end{bmatrix}, \qquad Ax = \begin{bmatrix} C + Dt_1 \\ \vdots \\ C + Dt_m \end{bmatrix} = b\ (\text{목표})$$
|
||
- 💡 $A$ 의 두 열 읽기: 1열(전부 1)은 "절편 $C$ 의 기여", 2열(시간들)은 "기울기 $D$ 의 기여". $Ax = C \cdot (\text{1열}) + D \cdot (\text{2열})$, 즉 "직선 후보"들이 만드는 공간이 열공간이다.
|
||
- **단계 B ("가장 가깝다"의 뜻 정하기)**: 각 점에서 직선까지의 **수직(세로) 오차**는 $e_i = b_i - C - Dt_i$. 이 오차들의 제곱합을 최소화하는 직선이 최소제곱선이다.
|
||
- $$E = e_1^2 + \cdots + e_m^2 = (C + Dt_1 - b_1)^2 + \cdots + (C + Dt_m - b_m)^2$$
|
||
- **단계 C (선형대수 관점: 사영으로 번역)**: 위 그림을 통째로 $\mathbb{R}^m$ 으로 옮긴다.
|
||
- 점 $m$ 개의 높이들 = 벡터 $b \in \mathbb{R}^m$ 하나. 직선 후보들 = 2차원 열공간. "가장 가까운 직선" = $b$ **를 열공간에 사영**한 $p = A\hat{x}$.
|
||
- 그래서 풀 것은 딱 하나, 정규방정식 $A^{\mathrm{T}}A\hat{x} = A^{\mathrm{T}}b$ ($2 \times 2$ 연립).
|
||
- **단계 D (공식으로 정리, 식 (6)~(8))**: $A^{\mathrm{T}}A$ 와 $A^{\mathrm{T}}b$ 를 내적 표로 채우면 끝이다 (4.2 스스로 점검의 "내적 표 읽기" 그대로).
|
||
- 1열·1열 $= m$, 1열·2열 $= \sum t_i$, 2열·2열 $= \sum t_i^2$ / 1열·$b = \sum b_i$, 2열·$b = \sum t_i b_i$:
|
||
- $$\begin{bmatrix} m & \sum t_i \\ \sum t_i & \sum t_i^2 \end{bmatrix}\begin{bmatrix} C \\ D \end{bmatrix} = \begin{bmatrix} \sum b_i \\ \sum t_i b_i \end{bmatrix}$$
|
||
- 📌 원문 식 (8) 박스 (p.240): [🔗 PDF 위치](((6a7f15c9-4514-48df-a2a8-86fc14eb92c4)))
|
||
- 
|
||
- 이것이 서두 요약 5번의 그 공식이다. 외울 필요 없이 내적 표로 그 자리에서 만들면 된다.
|
||
- **단계 E (오차의 세 관점 대응, p.240)**: 잔차 $e = b - A\hat{x}$ 는
|
||
- 📌 원문 (p.240): ((6a7f15b4-5473-4aab-a20c-7938633ae8f5))
|
||
- 기하 관점: $A$ 의 열들과 직교하고,
|
||
- 선형대수 관점: $\mathbf{N}(A^{\mathrm{T}})$ (좌영공간) 안에 있으며,
|
||
- 미분적분 관점: $\frac{\partial E}{\partial C} = \frac{\partial E}{\partial D} = 0$ 이 되게 한다. 셋이 같은 말이다.
|
||
- 🔢 EX1로 공식 검증: $m = 3$, $\sum t = 3$, $\sum t^2 = 5$, $\sum b = 6$, $\sum tb = 0$.
|
||
- $$\begin{bmatrix} 3&3 \\ 3&5 \end{bmatrix}\begin{bmatrix} C \\ D \end{bmatrix} = \begin{bmatrix} 6 \\ 0 \end{bmatrix} \quad\Rightarrow\quad C = 5,\ D = -3\ ✓$$
|
||
- [3단계] 식 (4)와 같은 방정식, 같은 답이다.
|
||
- 💡 요약 한 줄: **직선 맞추기 = 열 2개짜리 사영 문제.** 대수(점·방정식 그림)와 선형대수(벡터·사영 그림)는 같은 문제의 두 언어다.
|
||
- #### [6단계] 열이 직교하면 계산이 반값 (EX2)
|
||
- **왜 "시간이 대칭이면 두 열이 직교"인가** (한 번 계산해보면 당연해진다):
|
||
- 직선 맞추기에서 $A$ 의 두 열은 정해져 있다: 1열 $= (1, \ldots, 1)$, 2열 $= (t_1, \ldots, t_m)$.
|
||
- 직교 판정은 언제나 내적 하나로 끝난다. 그런데 **1로만 된 열과의 내적은 "성분 전부 더하기"**가 된다:
|
||
- $$(1, \ldots, 1) \cdot (t_1, \ldots, t_m) = 1 \cdot t_1 + \cdots + 1 \cdot t_m = \sum t_i$$
|
||
- 그래서 조건이 이것뿐이다: **두 열이 직교 ⟺ 시간의 합** $\sum t_i = 0$.
|
||
- 대칭 시간이 등장하는 이유: $t = -2, 0, 2$ 처럼 $+t$ 와 $-t$ 가 쌍으로 있으면 더할 때 짝끼리 상쇄되어 합이 자동으로 0이다. 🔢 확인: $(1,1,1) \cdot (-2, 0, 2) = -2 + 0 + 2 = 0$ ✓.
|
||
- ⚠️ 정확한 조건은 "대칭"이 아니라 "**합이 0**"이다. $t = -3, 1, 2$ 는 대칭이 아니어도 합이 0이라 역시 직교한다. 대칭은 합 0을 만드는 가장 알아보기 쉬운 특수 케이스일 뿐이다.
|
||
- 내적 표와 연결하면 그림이 완성된다: $A^{\mathrm{T}}A$ 의 비대각 성분이 바로 이 내적 $\sum t_i$ 다 (식 (6)). "시간 합 0 ⟺ 두 열 직교 ⟺ $A^{\mathrm{T}}A$ 가 대각행렬", 세 문장이 같은 말이다.
|
||
- 대각이 되면 무엇이 좋은가: $A^{\mathrm{T}}A = \begin{bmatrix} 3&0 \\ 0&8 \end{bmatrix}$ → 연립이 풀려버려서 $C = \frac{7}{3}$ 과 $D = \frac{6}{8}$ 을 **따로따로** 나누기 한 번씩으로 얻는다 (EX2). 비대각이 0이라 $C$ 와 $D$ 가 서로를 간섭하지 않는다.
|
||
- 시간 이동 트릭: 시간이 대칭이 아니어도, 평균 시간 $\hat{t} = \frac{t_1 + \cdots + t_m}{m}$ 을 빼서 $T_i = t_i - \hat{t}$ 로 바꾸면 언제나 이 좋은 상황이 된다 (최적 직선은 $C + D(t - \hat{t})$ 로 표현만 바뀜).
|
||
- 평균을 빼면 왜 **항상** 합이 0이 되나: $\sum T_i = \sum t_i - m\hat{t}$ 인데, $m\hat{t}$ 은 정의상 정확히 $\sum t_i$ 다. 그래서 $\sum T_i = \sum t_i - \sum t_i = 0$. 어떤 측정 시간이든 평균만 빼면 직교 상황으로 바꿀 수 있다.
|
||
- 일반 공식 (연습문제 30): $C = \frac{b_1 + \cdots + b_m}{m}$ (높이 평균), $D = \frac{\sum T_i b_i}{\sum T_i^2}$.
|
||
- 💡 수위 조절: "계산 전에 **미리 열들을 직교화**해두면 만사가 쉬워진다"는 이 아이디어가 다음 절 4.4 **그람-슈미트 과정**의 전부다. 지금은 이 맛보기면 충분하다.
|
||
- #### [7단계] $A$ 의 열이 선형종속이면 $\hat{x}$ 은 무엇인가
|
||
- 지금까지의 숨은 가정: 열이 독립 → $A^{\mathrm{T}}A$ 가역 → $\hat{x}$ 유일. 이 가정이 깨지는 예 (p.242):
|
||
- 📌 원문 종속 열 예제 (p.242): [🔗 PDF 위치](((6a7f15e6-50ab-4391-aeda-acda5434850c)))
|
||
- 
|
||
- (p.242)
|
||
- ⚠️ **그래프 읽는 법** (헷갈리기 쉬운 지점을 정리): 그래프의 가로축은 시간 $t$, 세로축은 측정값이다.
|
||
- $b = (3, 1)$ 은 "측정값 **벡터**"다: 1번째 측정값 $b_1 = 3$, 2번째 측정값 $b_2 = 1$.
|
||
- 그런데 두 측정이 **모두 같은 시각** $T = 1$ 에 이루어졌다. 그래서 데이터 평면 위의 점으로 찍으면 $(1, 3)$ 과 $(1, 1)$, 세로로 나란한 두 점이 된다.
|
||
- 즉 벡터 $b$ 의 성분 나열 $(3, 1)$ 과 그래프 위 점의 좌표 $(t, b)$ 는 **서로 다른 것**이다. 같은 시각에 잰 값이 3과 1로 달랐다는 것뿐, 측정값끼리 종속인 게 아니다.
|
||
- **왜** $A$ **가 "모든 요소가 1인 행렬"이 되나** (조립 과정을 명시적으로):
|
||
- 측정 하나 = 방정식 하나: 시각 $t_i$ 의 측정값이 $b_i$ 면 $C + Dt_i = b_i$. 행렬의 행으로 쓰면 **행** $= [1,\ t_i]$ (1은 $C$ 의 계수 자리, $t_i$ 는 $D$ 의 계수 자리).
|
||
- 두 측정 모두 시각이 1이므로: 1행 $= [1, 1]$, 2행 $= [1, 1]$. 그래서 $A = \begin{bmatrix} 1&1 \\ 1&1 \end{bmatrix}$, 네 요소가 전부 1이 된 것이다.
|
||
- ⚠️ $A$ 에 곱해지는 벡터는 시간이 아니라 **미지수** $x = (C, D)$ 다. 시간 1들은 이미 $A$ 안에 들어가 있다:
|
||
- $$Ax = \begin{bmatrix} 1&1 \\ 1&1 \end{bmatrix}\begin{bmatrix} C \\ D \end{bmatrix} = \begin{bmatrix} C + D \\ C + D \end{bmatrix} \stackrel{?}{=} \begin{bmatrix} 3 \\ 1 \end{bmatrix}$$
|
||
- $C + D$ 가 두 번 나오는 것 자체가 문제의 요약이다: 같은 시각이니 직선이 내놓을 수 있는 예측값은 하나뿐인데, 목표는 3과 1로 둘이다. 그래서 모순.
|
||
- **종속의 정확한 조건** ("같은 시각이면 어떤 경우에도 종속인가?"에 대한 답):
|
||
- 이 예제(측정 2번이 전부 같은 시각)에서는: 그렇다. 시각 $T$ 가 무엇이든 두 행이 똑같이 $[1, T]$ 라 랭크 1이고, 2열 $(T, T) = T \cdot (\text{1열})$ 이라 열도 평행이다.
|
||
- 일반적으로는 아니다: 열이 종속 ⟺ 2열 $(t_1, \ldots, t_m)$ 이 1열 $(1, \ldots, 1)$ 의 상수배 ⟺ **모든 측정 시각이 동일**.
|
||
- 🔢 반례: 측정 3번 중 2번이 겹쳐도 ($t = 1, 1, 2$) 열은 $(1,1,1)$ 과 $(1,1,2)$ 로 **독립**이다. 서로 다른 시각이 2개 이상만 있으면 기울기를 정할 정보가 생긴다.
|
||
- 책도 이 조건을 p.240에 괄호로 흘려두었다: "(모든 시간 $t_i$ 가 동일하지 않다면) 행렬 $A$ 의 두 열은 선형독립이다". [7단계]의 예제가 그 괄호가 깨진 유일한 경우다.
|
||
- 한 줄 정리: 행이 겹치는 것(시각 중복)과 열이 종속인 것(모든 시각 동일)은 다른 사건이다. 열 종속 = "가로축에 점이 한 군데뿐 = 기울기를 정할 정보가 전혀 없음". **종속의 범인은 측정값이 아니라 겹친 측정 시각**이다.
|
||
- 무슨 일이 벌어지나:
|
||
- 사영은 문제없다: $b = (3,1)$ 을 열공간(직선)에 사영하면 $p = (2, 2)$. 같은 시각의 두 값 3, 1의 **평균 2**가 나온다 (자연스럽다!).
|
||
- 문제는 계수다: $A\hat{x} = p$ 의 해가 무한히 많다. $T = 1$ 에서 높이 2를 지나기만 하면 어떤 기울기의 직선이든 되기 때문 (그림의 점선 다발). $\hat{x} = (2, 0)$ (수평선)도, $(0, 2)$ 도 답이고, 어느 것도 특별할 이유가 없다.
|
||
- 💡 수위 조절: 이 "고르기 문제"의 답이 4.5절 **유사역행렬** $A^{+}$ 다. 무한한 해 중 **가장 짧은 해** $x^{+} = (1, 1)$ (행공간 소속, 영공간 성분 0)을 고르는 규칙이 생긴다. 지금은 "열이 종속이면 $\hat{x}$ 이 유일하지 않고, 최단 해를 고르는 도구가 4.5에 온다"까지만 알면 충분하다. 일단 넘어가도 되는 게 맞다! 이 소단원의 진짜 역할은 "열 독립 가정이 왜 필요했는지" 보여주는 것.
|
||
- #### [8단계] 포물선 맞추기: 미지수가 3개로 늘어날 뿐
|
||
- 왜 포물선인가: 갈릴레오의 낙하 실험처럼 세상엔 $t^2$ 항이 필요한 데이터가 많다 (이동거리 $\frac{1}{2}gt^2$).
|
||
- ⚠️ 흔한 오해 교정: "$t^2$ 이 있으면 비선형 문제 아닌가?" 아니다. 곡선은 $t$ 에 대해 비선형이지만, **미지수** $C, D, E$ **는 여전히 선형**으로 등장한다. 그래서 그대로 선형대수 문제다.
|
||
- $$C + Dt_i + Et_i^2 = b_i \quad\Longleftrightarrow\quad A = \begin{bmatrix} 1 & t_1 & t_1^2 \\ \vdots & \vdots & \vdots \\ 1 & t_m & t_m^2 \end{bmatrix}\ (m \times 3,\ \text{식 (10)})$$
|
||
- 달라진 것: 열 하나($t_i^2$ 열) 추가, 정규방정식이 $3 \times 3$ 이 된 것뿐. 절차는 동일.
|
||
- ✅ **p.243 빈칸 채우기** (책이 본문에 뚫어둔 빈칸의 정답):
|
||
- 빈칸 ① "행렬 $A$ 의 열공간의 차원은 ___": $m$ 이라 답하기 쉽지만 **오답**이다. 정답은 **3**.
|
||
- 열공간은 $\mathbb{R}^m$ **안에** 산다 (성분이 $m$ 개인 벡터들). 하지만 그 안에서 열 3개(시간이 3개 이상 다르면 독립)가 펼치는 **3차원** 부분공간이다.
|
||
- "사는 곳의 차원($m$)"과 "부분공간 자신의 차원(3)"의 구분, 4.1 [2단계] 벽·바닥에서 했던 바로 그 구분이다. 사영 문제로 읽으면: $b \in \mathbb{R}^m$ 을 3차원 부분공간에 사영하는 것.
|
||
- 빈칸 ②③④ "$e_1^2 + \cdots + e_m^2$ 의 ___, ___, ___ 에 대한 편도함수": 정답은 $C, D, E$. 미지수가 3개니 도함수도 3개, [3단계]의 확장이다.
|
||
- 🔢 EX3, 특수한 경우: 세 점 $(0,6), (1,0), (2,0)$ 에 포물선을 맞추면?
|
||
- 미지수 3개 = 점 3개 → $A$ 가 $3 \times 3$ 정사각 (방데르몽드). 가역이라 **정확히 통과**한다: $x = (C, D, E) = (6, -9, 3)$, 즉 $b = 6 - 9t + 3t^2$. 오차 0.
|
||
- 💡 $n$ 이 $m$ 에 도달하면 "근사"가 "보간"으로 퇴화한다. 최소제곱이 특별히 필요한 것은 $m > n$ 일 때다.
|
||
- 푸리에 급수 (읽을거리): 벡터 대신 **함수**를 근사하면 무한 차원 최소제곱이 된다 (제곱합 → 제곱적분).
|
||
- 📌 원문 (p.244): ((6a7f0d62-7ece-49bd-8feb-0343d9b2524c))
|
||
- ### 📖 확인문제 풀이 (4.3A·4.3B)
|
||
- **확인문제 4.3A**: $t = 1, \ldots, 10$ 에서 측정값이 $0, 0, \ldots, 0, 40$ (마지막 하나만 이상값). 최적의 **수평선** $y = C$ 를 세 가지 오차 기준으로 구하라.
|
||
- (a) 제곱합 $E_2 = e_1^2 + \cdots + e_{10}^2$ 최소화: $A$ = (1로만 된 열), $A^{\mathrm{T}}A = 10$, $A^{\mathrm{T}}b = 40$ → $10C = 40$, $C = 4$. **평균**이 답.
|
||
- (b) 최대오차 $E_\infty = |e_{\max}|$ 최소화: 0과 40의 **중점** $C = 20$.
|
||
- (c) 절댓값 합 $E_1 = |e_1| + \cdots + |e_{10}|$ 최소화: **중앙값** $C = 0$ (0이 9개, 40이 1개면 중앙값은 0. $C$ 를 0에서 올리면 $9|C|$ 가 $|40 - C|$ 감소보다 빨리 커진다).
|
||
- 💡 이 문제의 교훈: **최소제곱(평균)은 이상값에 민감하다**. 40 하나가 답을 0에서 4로 끌어올렸다. 통계학자들이 종종 절댓값 합(중앙값)을 선호하는 이유. 다만 절댓값 합의 방정식은 비선형이라 계산이 어렵고, 제곱합은 선형이라 쉽다 (그래서 최소제곱이 기본기가 된 것).
|
||
- 후반부 (10개 점에 직선 맞추기): $A^{\mathrm{T}}A = \begin{bmatrix} 10&55 \\ 55&385 \end{bmatrix}$, $A^{\mathrm{T}}b = (40, 400)$ → $C = -8$, $D = \frac{24}{11}$. 식 (8)에 숫자만 넣은 것.
|
||
- **확인문제 4.3B**: $t = -2, -1, 0, 1, 2$ 에서 $b = (0, 0, 1, 0, 0)$ 에 가장 가까운 포물선 $C + Dt + Et^2$.
|
||
- 시간이 대칭이라 $A$ 의 2열($t$)이 1열·3열과 직교 → $A^{\mathrm{T}}A = \begin{bmatrix} 5&0&10 \\ 0&10&0 \\ 10&0&34 \end{bmatrix}$ 에 0이 생기고, $D$ 방정식이 분리된다.
|
||
- $10D = 0$ → $D = 0$ (예상대로: 데이터가 $t = 0$ 중심 대칭이면 최적 포물선도 대칭, 기울기 항 불필요).
|
||
- 나머지 $2 \times 2$: $5C + 10E = 1$, $10C + 34E = 0$ → $C = \frac{34}{70}$, $E = -\frac{10}{70}$.
|
||
- 💡 [6단계] 직교 열의 위력 재확인: 직교가 "분리"를 만든다. $D$ 는 $C, E$ 와 완전히 무관하게 결정됐다.
|
||
- ### ❓ 스스로 점검
|
||
- 최소제곱해 $\hat{x}$ 의 정의는? 무엇을 풀어서 구하는가? #card
|
||
id:: 6a7f17d0-9f26-4a4a-9197-3ef4441bacb1
|
||
- $E = \|Ax - b\|^2$ (오차 제곱합)을 최소로 만드는 $x$.
|
||
- 정규방정식 $A^{\mathrm{T}}A\hat{x} = A^{\mathrm{T}}b$ 를 풀어 구한다.
|
||
- 사영과의 관계: $A\hat{x} = p$ ($b$ 의 열공간 사영). 4.2와 같은 방정식, 주인공만 $p$ 에서 $\hat{x}$ 으로.
|
||
- 정규방정식에 도달하는 세 가지 관점을 말하라. #card
|
||
id:: 6a7f17d0-cdf3-462e-9d04-46ad4fc4ae18
|
||
- 기하: 오차 $e = b - A\hat{x}$ 이 열공간과 직교해야 한다.
|
||
- 대수: $\|Ax-b\|^2 = \|Ax-p\|^2 + \|e\|^2$ (피타고라스), 첫 항을 0으로 만드는 것이 $\hat{x}$.
|
||
- 미분적분: 편도함수 $\frac{\partial E}{\partial x_i} = 0$. 제곱합의 도함수는 선형이라 연립 1차방정식이 나온다.
|
||
- 직선 맞추기에서 $A$, $A^{\mathrm{T}}A$, $A^{\mathrm{T}}b$ 는 어떤 모양인가? #card
|
||
id:: 6a7f17d0-77bb-499b-836c-38957231c782
|
||
- $A$: 1열은 전부 1 (절편), 2열은 시간들 $t_i$ (기울기). $m \times 2$.
|
||
- $A^{\mathrm{T}}A = \begin{bmatrix} m & \sum t_i \\ \sum t_i & \sum t_i^2 \end{bmatrix}$, $A^{\mathrm{T}}b = \begin{bmatrix} \sum b_i \\ \sum t_i b_i \end{bmatrix}$ (내적 표로 채우기).
|
||
- [그림 4.1](위)과 [그림 4.7](아래)의 차이를 분할의 언어로 말하라.
|
||
id:: 6a7f17d0-578f-40cb-8df2-f372dfcfe7bd
|
||
|
||
 #card
|
||
- 그림 4.1 (3장~4.1): 해가 많다 → **입력** $x = x_r + x_n$ 분할.
|
||
- 그림 4.7 (4.3): 해가 없다 → **출력** $b = p + e$ 분할. $Ax = b$ 대신 $A\hat{x} = p$ 를 푼다.
|
||
- 최적 직선이 항상 지나는 점은? 그 이유는? #card
|
||
id:: 6a7f17d0-ab6b-4a55-b0f6-28b7d0c4216a
|
||
- 평균점 $(\hat{t}, \hat{b})$ (시간 평균, 높이 평균).
|
||
- 정규방정식의 1행 $Cm + D\sum t_i = \sum b_i$ 를 $m$ 으로 나누면 $C + D\hat{t} = \hat{b}$ (연습문제 11).
|
||
- $A$ 의 열이 종속이면 최소제곱에서 무엇이 깨지고 무엇이 살아남는가? #card
|
||
id:: 6a7f17d0-d4b3-4e38-b879-47e3a483d80f
|
||
- 깨지는 것: $A^{\mathrm{T}}A$ 의 가역성 → $\hat{x}$ 이 유일하지 않다 (무한히 많다).
|
||
- 살아남는 것: 사영 $p$ 는 여전히 유일하다.
|
||
- ### ✏️ 연습문제 풀이 (솔루션 참고)
|
||
- **문제 1** (+ 문제 2·3 연계): 시간 $t = 0, 1, 3, 4$ 에서 $b = (0, 8, 8, 20)$. 정규방정식을 만들고 풀어 최적 직선과 $p$, $e$, $E$ 의 최솟값을 구하라.
|
||
id:: 4415f73f-00e3-45df-bc5a-7a09308ee15b
|
||
- 📌 참고 그림 (p.246):
|
||
- 
|
||
- 🔁 개념 상기: [5단계] 공식 그대로. $A^{\mathrm{T}}A$ 와 $A^{\mathrm{T}}b$ 를 내적 표로 채우고 $2 \times 2$ 를 푼다. 끝나면 $p = A\hat{x}$, $e = b - p$, $E_{\min} = \|e\|^2$.
|
||
- 1단계, 재료 준비 (내적 표):
|
||
- $m = 4$, $\sum t = 0+1+3+4 = 8$, $\sum t^2 = 0+1+9+16 = 26$
|
||
- $\sum b = 36$, $\sum tb = 0 + 8 + 24 + 80 = 112$
|
||
- $$\begin{bmatrix} 4&8 \\ 8&26 \end{bmatrix}\begin{bmatrix} C \\ D \end{bmatrix} = \begin{bmatrix} 36 \\ 112 \end{bmatrix}$$
|
||
- 2단계, 풀기: 1행÷4 → $C + 2D = 9$. 2행÷2 → $4C + 13D = 56$. 대입: $4(9 - 2D) + 13D = 56$ → $5D = 20$ → $D = 4$, $C = 1$.
|
||
- 최적 직선: $b = 1 + 4t$.
|
||
- 3단계, $p$ 와 $e$: $t = 0, 1, 3, 4$ 에서 직선의 높이 $p = (1, 5, 13, 17)$. 오차 $e = b - p = (-1, 3, -5, 3)$.
|
||
- $E_{\min} = \|e\|^2 = 1 + 9 + 25 + 9 = 44$.
|
||
- 4단계, 검산 두 겹: $\sum e_i = -1+3-5+3 = 0$ ✓ ($e$ ⊥ 1열), $\sum t_i e_i = 0 + 3 - 15 + 12 = 0$ ✓ ($e$ ⊥ 2열). 오차가 두 열 모두와 직교한다.
|
||
- 문제 2의 메시지: 측정값을 $p = (1, 5, 13, 17)$ 로 바꾸면 $A\hat{x} = p$ 가 **정확히** 풀리고 해는 같은 $(1, 4)$. "풀 수 없는 $b$ 를 풀 수 있는 $p$ 로 교체"가 최소제곱의 정체다.
|
||
- 문제 3의 메시지: 이 $e$ 가 바로 $b$ 에서 열공간까지의 최단거리, $\|e\| = \sqrt{44}$.
|
||
- 핵심 문장: 직선 맞추기 4종 세트는 "내적 표 → $2 \times 2$ 풀기 → $p = A\hat{x}$ → $e$ ⊥ 두 열 검산" 순서다.
|
||
- **문제 9·10**: 같은 데이터에 포물선(미지수 3개), 3차 곡선(미지수 4개)을 맞추면?
|
||
- (문제 1~11 공통 지문의 데이터를 이어받는 문제다: $t = 0, 1, 3, 4$, $b = (0, 8, 8, 20)$, 그림 4.8. 시간이 문제 지문에 안 보이면 문제 세트 맨 위의 ※ 공통 지문을 볼 것.)
|
||
- 🔁 개념 상기: [8단계]. 열 하나 추가 = 정규방정식 한 차원 증가. 그리고 $n = m$ 이 되는 순간 근사가 보간으로 퇴화한다.
|
||
- 문제 9 (포물선): $A$ 에 3열 $(t_i^2) = (0, 1, 9, 16)$ 추가 → $A^{\mathrm{T}}A\hat{x} = A^{\mathrm{T}}b$ 는
|
||
- $$\begin{bmatrix} 4&8&26 \\ 8&26&92 \\ 26&92&338 \end{bmatrix}\begin{bmatrix} C \\ D \\ E \end{bmatrix} = \begin{bmatrix} 36 \\ 112 \\ 400 \end{bmatrix}$$
|
||
- (세우는 것까지가 문제. 내적 표 연습: 2열·3열 $= \sum t^3 = 0+1+27+64 = 92$ 등.)
|
||
- [그림 4.8(b)]는 어떻게 되나: $\mathbb{R}^4$ 사영 그림에 세 번째 화살표 $a_3 = (0, 1, 9, 16)$ 이 추가되고, $b$ 를 2차원 평면이 아니라 **3차원 부분공간**에 사영하게 된다.
|
||
- 문제 10 (3차 곡선): 4열 $(t_i^3) = (0, 1, 27, 64)$ 까지 추가하면 $A$ 는 $4 \times 4$ 방데르몽드 정사각.
|
||
- 1단계, 풀기 전에 구조 예측: 미지수 4개 = 방정식 4개(정사각)이고 시간 4개가 서로 다르니 가역 → **정확히 통과할 것**이다. 즉 계산 전에 이미 $p = b$, $e = 0$ 을 안다.
|
||
- 따라서 $A^{\mathrm{T}}A$ 를 만들 필요가 없다: $b$ 가 열공간 안이므로 $Ax = b$ 를 소거로 직접 풀면 되고, 그 해가 곧 $\hat{x}$ 이다 (해가 존재하면 모자가 잉여가 되는 경우, 문제 2·20과 같은 원리).
|
||
- ⚠️ 굳이 $A^{\mathrm{T}}A$ 를 만들면 성분이 $\sum t^6$ 급으로 커져 계산만 지옥이 된다. 정확한 해가 있을 땐 최소제곱 기계를 돌리지 않는다.
|
||
- 2단계, 공짜 미지수: $t = 0$ 행은 $C + 0 + 0 + 0 = b_1$, 즉 소거를 시작하기도 전에 $C = b_1 = 0$ **이 확정**된다 (3차식에 $t = 0$ 을 넣으면 상수항만 남으니까).
|
||
- 3단계, $3 \times 3$ 으로 축소: 남은 세 행($t = 1, 3, 4$)에 미지수 $D, E, F$ 셋만 남는다. 각 행이 $Dt + Et^2 + Ft^3 = b_i$ 꼴이라 공통인수 $t$ 로 나누면 숫자가 순해진다:
|
||
- $t = 1$: $D + E + F = 8$
|
||
- $t = 3$ (양변 ÷3): $D + 3E + 9F = \frac{8}{3}$
|
||
- $t = 4$ (양변 ÷4): $D + 4E + 16F = 5$
|
||
- 4단계, 소거: 2행 − 1행 → $2E + 8F = -\frac{16}{3}$, 즉 $E + 4F = -\frac{8}{3}$. 3행 − 1행 → $3E + 15F = -3$, 즉 $E + 5F = -1$. 두 식을 빼면:
|
||
- $F = -1 + \frac{8}{3} = \frac{5}{3}$ → $E = -1 - 5F = -\frac{28}{3}$ → $D = 8 - E - F = \frac{47}{3}$.
|
||
- $$x = (C, D, E, F) = \left(0,\ \tfrac{47}{3},\ -\tfrac{28}{3},\ \tfrac{5}{3}\right) = \tfrac{1}{3}(0, 47, -28, 5)$$
|
||
- (데이터가 정수여도 계수는 분수일 수 있다. 정상이다. 판정은 검산이 한다.)
|
||
- 5단계, 검산 (구조 예측 확인): 완성된 3차식에 시간을 다시 넣는다.
|
||
- $t=0$: $0$ ✓ / $t=1$: $\frac{47 - 28 + 5}{3} = 8$ ✓ / $t=3$: $\frac{141 - 252 + 135}{3} = 8$ ✓ / $t=4$: $\frac{188 - 448 + 320}{3} = 20$ ✓
|
||
- 4개의 점을 정확히 통과 → 예측대로 $p = b$, $e = 0$.
|
||
- 핵심 문장: 미지수 개수 $n$ 이 데이터 개수 $m$ 에 도달하면 오차가 0이 된다 (근사가 보간으로 퇴화). 최소제곱은 $m > n$ 의 도구다.
|
||
- **문제 11**: 최적 직선이 평균점 $(\hat{t}, \hat{b})$ 을 지남을 확인하고 이유를 설명하라.
|
||
- 🔁 개념 상기: 정규방정식 1행의 "의미 읽기" 문제다.
|
||
- (a) 확인: $\hat{t} = \frac{0+1+3+4}{4} = 2$, $\hat{b} = \frac{0+8+8+20}{4} = 9$. 최적 직선 $b = 1 + 4t$ 에 $t = 2$ 대입: $1 + 8 = 9 = \hat{b}$ ✓.
|
||
- (b) 이유: 정규방정식 1행은 $Cm + D\sum t_i = \sum b_i$. 양변을 $m$ 으로 나누면:
|
||
- $$C + D\hat{t} = \hat{b}$$
|
||
- 즉 "1행 = 최적 직선이 평균점을 지난다는 조건". (1행은 $e$ ⊥ (1,…,1), 즉 $\sum e_i = 0$ 이기도 하다. 오차 총합 0 ⟺ 평균점 통과.)
|
||
- 핵심 문장: 통계에서 "회귀직선은 $(\bar{t}, \bar{b})$ 를 지난다"는 사실의 정체가 정규방정식 1행이다.
|
||
- **문제 12** (꼭 풀어볼 만한 문제): $b = (b_1, \ldots, b_m)$ 을 $a = (1, \ldots, 1)$ 방향 직선 위로 사영하라 (미지수 1개짜리 최소제곱).
|
||
- 🔁 개념 상기: 4.2 직선 사영 공식 $\hat{x} = \frac{a^{\mathrm{T}}b}{a^{\mathrm{T}}a}$ 의 통계 버전. 이 문제 하나로 평균·분산·표준편차가 전부 선형대수 언어로 번역된다.
|
||
- (a) $a^{\mathrm{T}}a = m$, $a^{\mathrm{T}}b = b_1 + \cdots + b_m$ → $\hat{x} = \frac{b_1 + \cdots + b_m}{m}$ = $b$ 들의 **평균**(mean).
|
||
- (b) 오차 $e = b - \hat{x}a$ 의 성분은 $b_i - (\text{평균})$. 따라서
|
||
- $$\|e\|^2 = (b_1 - \text{평균})^2 + \cdots + (b_m - \text{평균})^2 = \text{분산}(variance)\ \sigma^2$$
|
||
- $\|e\|$ 는 **표준편차**(에 해당하는 크기).
|
||
- (c) 🔢 $b = (1, 2, 6)$: 평균 3 → $p = (3, 3, 3)$, $e = (-2, -1, 3)$.
|
||
- 검산: $p^{\mathrm{T}}e = -6 - 3 + 9 = 0$ ✓.
|
||
- 사영행렬: $P = \frac{aa^{\mathrm{T}}}{a^{\mathrm{T}}a} = \frac{1}{3}\begin{bmatrix} 1&1&1 \\ 1&1&1 \\ 1&1&1 \end{bmatrix}$ ($Pb$ = 모든 성분을 평균으로 바꾸는 행렬!).
|
||
- 핵심 문장: **평균 = 상수 벡터** $(1,\ldots,1)$ **위로의 사영, 분산 = 그 오차의 크기 제곱.** 통계학의 기초가 사영 공식 한 줄이다.
|
||
- **문제 20**: $t = -1, 1, 2$ 에서 $b = (5, 13, 17)$. $\hat{x}$ 을 구하면 $e = 0$ 인 이유는?
|
||
- 🔁 개념 상기: 사영 문제는 "안인가 밖인가" 확인부터 (4.2 문제 17의 데이터 버전).
|
||
- 세 점 $(-1, 5), (1, 13), (2, 17)$ 을 보면: 기울기 $\frac{13-5}{1-(-1)} = 4 = \frac{17-13}{2-1}$. **세 점이 정확히 한 직선 위**에 있다!
|
||
- 직선은 $b = 9 + 4t$, 즉 $\hat{x} = (9, 4)$ 이고 $b = 9 \cdot (\text{1열}) + 4 \cdot (\text{2열})$.
|
||
- 빈칸 답: $e = 0$ 인 이유는 $b$ 가 $A$ **의 열공간 안**에 있기 때문. 최소제곱이 완전해로 퇴화하는 경우다.
|
||
- 핵심 문장: 데이터가 이미 직선 위면 $b \in \mathbf{C}(A)$, 오차 0. 최소제곱은 "해가 있으면 그 해"를 그대로 돌려준다.
|
||
- **문제 22**: $t = -2, -1, 0, 1, 2$, $b = (4, 2, -1, 0, 0)$ 과 가장 가까운 직선.
|
||
- 🔁 개념 상기: 시간이 대칭이다! [6단계] EX2의 지름길 (직교 열 → 대각 $A^{\mathrm{T}}A$ → 따로따로 나누기).
|
||
- $\sum t = 0$ 이므로 $A^{\mathrm{T}}A = \begin{bmatrix} 5&0 \\ 0&10 \end{bmatrix}$ ($m = 5$, $\sum t^2 = 4+1+0+1+4 = 10$).
|
||
- $A^{\mathrm{T}}b = (\sum b,\ \sum tb) = (5,\ -8-2+0+0+0) = (5, -10)$.
|
||
- 따로 풀기: $C = \frac{5}{5} = 1$, $D = \frac{-10}{10} = -1$. 최적 직선: $b = 1 - t$.
|
||
- 핵심 문장: 시간 합이 0이면 정규방정식이 대각이 되어 $C$ = 높이 평균, $D = \frac{\sum tb}{\sum t^2}$ 로 즉시 끝난다. |