Logseq/Major Study/pages/4.3 최소제곱근사.md

deck:: Logseq/전공공부/선형대수학

• 핵심 개념

  • 흐름 지도: [1단계] 문제 선언: 해가 없는 Ax = b 에서 최선 찾기 → [2단계] 숫자로 체험: 세 점과 직선 → [3단계] 같은 답을 주는 세 관점 (기하·대수·미분적분) → [4단계] 최소제곱의 큰 그림 → [5단계] 직선 맞추기 일반 공식 → [6단계] 열이 직교하면 계산이 반값 → [7단계] 열이 종속이면? → [8단계] 포물선 맞추기와 그 너머.

  • [1단계] 문제 선언: 해가 없을 때의 최선, 최소제곱해

    • 왜 해가 없는가: 데이터 문제는 보통 방정식이 미지수보다 많다 (m > n, 과잉결정). n 개의 열이 만드는 열공간은 \mathbb{R}^m 안의 얇은 부분공간이라, 잡음 섞인 측정값 b 는 거의 확실히 그 밖에 떨어진다.
    • 정의: 오차 e = b - Ax 를 0으로 만들 수 없을 때, \|b - A\hat{x}\|^2 을 최솟값으로 만드는 \hat{x} 이 최소제곱해(least squares solution)다.
      • 📌 원문 (p.234): ((6a7dcf45-30e9-47fc-bc0f-3243c1c73a00))
    • 도구는 새로 배울 것이 없다: 4.2의 정규방정식 그대로다.
      • 📌 원문 (p.234): ((6a7dcf4f-ec05-4a72-afd6-26fe3bde7f0b)) / ((6a7dcf53-01d5-412b-9d65-325536a9a5d7))
      • A^{\mathrm{T}}A\hat{x} = A^{\mathrm{T}}b
    • 💡 4.2와 4.3의 관계: 같은 방정식, 다른 주인공. 4.2는 도착지(사영 p)를 강조했고, 4.3은 계수(\hat{x})를 강조한다. 둘은 p = A\hat{x} 으로 연결된다. 지난번 질문으로 미리 확인했던 것: 정규방정식은 어떤 A, b 에서도 항상 해가 있다.

  • [2단계] 숫자로 체험: 세 점 (0,6), (1,0), (2,0) 과 가장 가까운 직선 (EX1)

    • 직선 b = C + Dt 가 세 점을 전부 지나려면 (대수: 방정식 3개):
      • t = 0: C + D \cdot 0 = 6 → C = 6
      • t = 1: C + D \cdot 1 = 0 → D = -6
      • t = 2: C + D \cdot 2 = 0 → 검산 6 - 12 = -6 \neq 0 ✗. 모순, 이 직선은 존재하지 않는다.
    • 행렬로 번역 (선형대수): 미지수 x = (C, D) 둘, 방정식 셋.
      • A = \begin{bmatrix} 1&0 \\ 1&1 \\ 1&2 \end{bmatrix}, \quad b = \begin{bmatrix} 6 \\ 0 \\ 0 \end{bmatrix}
      • b 가 열공간(\mathbb{R}^3 안의 평면) 밖에 있다는 뜻이다.
    • 낯익은 행렬이다! 4.2 EX3에서 이미 정규방정식을 풀어 \hat{x} = (5, -3) 을 얻었다. 그 답이 바로 최적의 C, D: 최적 직선은 b = 5 - 3t.
    • [그림 4.6] 같은 문제의 두 그림:
      • 
      • (p.237, 그림 4.6)
      • (a) 데이터 평면: 직선이 세 점을 못 지나고, 각 점까지의 수직 거리가 오차 e_1, e_2, e_3 = 1, -2, 1.
      • (b) $bpe$-공간(\mathbb{R}^3): b = (6,0,0) 이 열공간 평면 밖에 떠 있고, 수선의 발이 p = (5, 2, -1), 수선이 e = (1, -2, 1).
    • 💡 이 왕복이 4.3의 핵심 감각이다: (a)는 통계학자의 그림 (점과 직선), (b)는 선형대수학자의 그림 (벡터와 사영). 같은 문제다. 데이터 m 개 = \mathbb{R}^m 의 벡터 하나.

  • [3단계] 오차 최소화: 같은 답을 주는 세 관점

    • 목표: E = \|Ax - b\|^2 (수직 오차들의 제곱합)을 가장 작게 만드는 x 찾기.
      • 📌 원문 (p.236): ((6a7dd17a-8e52-4cec-b72c-eab898415e99))
    • 관점 ① 기하 (사영): 열공간 안에서 b 와 가장 가까운 점은 수선의 발 p 다. 최적은 A\hat{x} = p, 오차 e = b - p 는 열공간과 직교. 4.2에서 끝낸 이야기.
    • 관점 ② 대수 (피타고라스 분해): 임의의 x 에 대한 오차를 두 조각으로 쪼갠다.
      • 📌 원문 식 (2) (p.236): ((6a7dd176-75b8-4e9f-bbf4-25909045ec4e))
      • \|Ax - b\|^2 = \|Ax - p\|^2 + \|e\|^2
      • 왜 쪼개지나: Ax - b = (Ax - p) + (p - b), 즉 두 벡터의 합이다. Ax - p 는 열공간 안 벡터끼리의 차라 열공간 안에 있고, p - b = -e 는 좌영공간에 있다. 직교하는 두 조각의 합 → 피타고라스.
      • 세 변이 각각 무엇인지 그림으로 (열공간을 직선으로 그린 2차원 버전):
        • 
        • 꼭짓점 3개: 직선 위의 후보 Ax, 직선 위의 수선의 발 p, 직선 밖의 목표 b. 직각은 p 에서 (오차 e 가 열공간과 수직이니까).
        • 빗변이 Ax - b (후보에서 목표까지), 밑변이 Ax - p (직선 위 이동), 높이가 e = b - p.
      • x 를 바꾸면 Ax 가 직선 위를 미끄러진다: 변하는 것은 밑변 \|Ax - p\| 뿐이고, 높이 \|e\| 는 그대로다.
      • 첫 항은 x = \hat{x} 으로 고르면 (Ax 가 p 에 포개져서) 정확히 0이 된다. 둘째 항 \|e\|^2 은 어떤 x 로도 못 줄인다. 그래서 최솟값이 E_{\min} = \|e\|^2 이고, 그걸 달성하는 것이 \hat{x}.
    • 관점 ③ 미분적분학 (편도함수): 최소점에서는 모든 방향의 도함수가 0이다.
      • 📌 원문 (p.237): ((6a7f09e3-c19c-4ff6-b00d-d73ac7b9cc59))
      • EX1의 E 를 미지수 C, D 로 풀어 쓰면 (식 (3)):
      • 📌 원문 식 (3) (p.237): 🔗 PDF 위치
      • 
      • 미지수가 2개니 도함수도 2개: \frac{\partial E}{\partial C} = 0 과 \frac{\partial E}{\partial D} = 0 을 둘 다 요구한다 (한 방향만 최저면 안 되고, C 방향·D 방향 모두 바닥이어야 진짜 최소).
      • 전개해 정리하면 (식 (4)):
      • 📌 원문 식 (4) (p.238): 🔗 PDF 위치
      • 
      • 3C + 3D = 6, 3C + 5D = 0. 계수행렬 \begin{bmatrix} 3&3 \\ 3&5 \end{bmatrix} 이 정확히 A^{\mathrm{T}}A 다!
      • 📌 원문 (p.238): ((6a7f0a47-3114-4b81-af6e-2818eeafc72a)) / 박스 ((6a7f0a0d-c7d0-4ebe-b4a7-c2d23caaf25b))
      • 우연이 아니다: 연쇄법칙이 \frac{\partial E}{\partial D} 에 붙이는 추가 인수 0, 1, 2 가 바로 A 의 2열이다. 미분이 자동으로 A^{\mathrm{T}} 를 만들어낸다. 도함수 = 0 조건을 행렬로 묶으면 A^{\mathrm{T}}(b - A\hat{x}) = 0.
    • 💡 세 관점 모두 같은 정규방정식에 도달한다. 이게 가능한 이유는 "제곱합의 도함수는 선형"이기 때문 (p.241). 제곱을 미분하면 1차식이 나와서, 최소화 문제가 연립 1차방정식으로 떨어진다. 최소제곱법이 세상을 지배하는 이유다.

  • [4단계] 최소제곱의 큰 그림: b = p + e (그림 4.7)

    • 3장~4.1의 큰 그림([그림 4.1])과 정반대 상황이라는 것이 포인트다.
      • 📌 원문 (p.238): ((6a7f0aac-af80-47bc-9b60-cd999da58ec2))
      • 그림 4.1: Ax = b 의 해가 많았다 → 입력 쪽을 x = x_r + x_n 으로 분할했다.
        • 
        • (p.212, 그림 4.1)
      • 그림 4.7: Ax = b 의 해가 없다 → 이번엔 출력 쪽을 b = p + e 로 분할한다.
    • 
      • (p.239, 그림 4.7)
    • 그림 4.7 꼼꼼히 읽기 (요소별로):
      • 왼쪽 다이아몬드 = \mathbb{R}^n (입력 세계). 열이 독립이라 r = n, 그래서 행공간이 \mathbb{R}^n 전체를 차지하고 영공간은 바닥의 점 0 하나로 수축해 있다 (4.1 문제 2에서 그렸던 바로 그 상황).
      • 오른쪽 = \mathbb{R}^m (출력 세계). m > n 이라 열공간($n$차원)은 \mathbb{R}^m 을 다 못 채우고, 그 직교여공간인 좌영공간이 남는다.
      • 화살표 둘: Ax = b (점선)는 도착지 b 가 열공간 밖이라 불가능한 여행. A\hat{x} = p (실선)는 도착지를 수선의 발 p 로 바꾼 가능한 여행. b = p + e 직각 분해가 그 교체의 근거다.
      • 📌 원문 (p.239): ((6a7f0ade-00e5-4727-942b-d85312b043db))
    • ⚠️ "영공간이 점 하나" = 사영으로 풀어야 하는 조건이 아니다 (두 조건을 분리해서 볼 것):
      • 조건 ① (b 쪽, 출력 사정): b 가 열공간 밖인가? → 사영이 필요한지를 결정한다. 밖이면 해가 없어 p 로 교체하고, 안이면 e = 0 으로 최소제곱이 완전해로 퇴화한다 (연습문제 20이 그 경우).
      • 조건 ② (A 쪽, 입력 사정): 열이 독립인가? → \hat{x} 이 유일한지를 결정한다. 독립이면 \mathbf{N}(A) = \{0\}, A^{\mathrm{T}}A 가역, \hat{x} 딱 하나. 종속이면 사영 p 는 여전히 유일하지만 \hat{x} 이 무한히 많다 ([7단계]).
      • 그러니까 "영공간이 항상 점 하나냐"는 질문의 답: 아니고, 그림 4.7이 열 독립이라는 표준 상황을 그려놓은 것이다. 사영으로 풀어야 하는지(①)와는 별개의 조건이고, 둘이 동시에 성립하는 r = n < m 케이스(3.5의 해 유형표에서 "0 또는 1개" 유형)가 최소제곱의 주 무대라서 함께 등장할 뿐이다.
      • 열 독립 가정이 실제로 하는 일: \mathbf{N}(A^{\mathrm{T}}A) = \mathbf{N}(A) = \{0\} → 정규방정식의 해가 유일. 오차는 A^{\mathrm{T}}e = 0 (좌영공간 소속).
      • 💡 \mathbf{N}(A^{\mathrm{T}}A) = \mathbf{N}(A) 의 세 번째 재등장이다 (4.1 문제 9 → 4.2 [6단계] → 여기). 이 한 줄이 최소제곱 전체를 떠받친다.

  • [5단계] 직선 맞추기: m 개의 점과 가장 가까운 직선

    • 문제를 한 문장으로: 시간 t_1, \ldots, t_m 에서 잰 높이 b_1, \ldots, b_m, 이 m 개의 점 (t_i, b_i) 에 가장 가까운 직선 b = C + Dt 를 찾아라. (정확히 그 직관이 맞다: "모든 점과 가장 가까운 직선 찾기"가 이 소단원의 전부다.)
      • 📌 원문 (p.239): ((6a7f0b52-edff-4a79-a474-8007acbfaf55))
    • 단계 A (대수 관점: 방정식 쌓기): 점 (t_i, b_i) 가 직선 위에 있으려면 C + Dt_i = b_i. 점마다 방정식 하나씩, 총 m 개. 그런데 미지수는 C, D 둘뿐.
      • m > 2 면 거의 항상 모순이다. 점 3개만 돼도 (EX1처럼) 일직선이 아닌 이상 다 지날 수 없다.
      • 행렬로 쌓으면 (식 (5)):
      • A = \begin{bmatrix} 1 & t_1 \\ \vdots & \vdots \\ 1 & t_m \end{bmatrix}, \qquad Ax = \begin{bmatrix} C + Dt_1 \\ \vdots \\ C + Dt_m \end{bmatrix} = b\ (\text{목표})
      • 💡 A 의 두 열 읽기: 1열(전부 1)은 "절편 C 의 기여", 2열(시간들)은 "기울기 D 의 기여". Ax = C \cdot (\text{1열}) + D \cdot (\text{2열}), 즉 "직선 후보"들이 만드는 공간이 열공간이다.
    • 단계 B ("가장 가깝다"의 뜻 정하기): 각 점에서 직선까지의 수직(세로) 오차는 e_i = b_i - C - Dt_i. 이 오차들의 제곱합을 최소화하는 직선이 최소제곱선이다.
      • E = e_1^2 + \cdots + e_m^2 = (C + Dt_1 - b_1)^2 + \cdots + (C + Dt_m - b_m)^2
    • 단계 C (선형대수 관점: 사영으로 번역): 위 그림을 통째로 \mathbb{R}^m 으로 옮긴다.
      • 점 m 개의 높이들 = 벡터 b \in \mathbb{R}^m 하나. 직선 후보들 = 2차원 열공간. "가장 가까운 직선" = b 를 열공간에 사영한 p = A\hat{x}.
      • 그래서 풀 것은 딱 하나, 정규방정식 A^{\mathrm{T}}A\hat{x} = A^{\mathrm{T}}b (2 \times 2 연립).
    • 단계 D (공식으로 정리, 식 (6)~(8)): A^{\mathrm{T}}A 와 A^{\mathrm{T}}b 를 내적 표로 채우면 끝이다 (4.2 스스로 점검의 "내적 표 읽기" 그대로).
      • 1열·1열 = m, 1열·2열 = \sum t_i, 2열·2열 = \sum t_i^2 / 1열·b = \sum b_i, 2열·b = \sum t_i b_i:
      • \begin{bmatrix} m & \sum t_i \\ \sum t_i & \sum t_i^2 \end{bmatrix}\begin{bmatrix} C \\ D \end{bmatrix} = \begin{bmatrix} \sum b_i \\ \sum t_i b_i \end{bmatrix}
      • 📌 원문 식 (8) 박스 (p.240): 🔗 PDF 위치
      • 
      • 이것이 서두 요약 5번의 그 공식이다. 외울 필요 없이 내적 표로 그 자리에서 만들면 된다.
    • 단계 E (오차의 세 관점 대응, p.240): 잔차 e = b - A\hat{x} 는
      • 📌 원문 (p.240): ((6a7f15b4-5473-4aab-a20c-7938633ae8f5))
      • 기하 관점: A 의 열들과 직교하고,
      • 선형대수 관점: \mathbf{N}(A^{\mathrm{T}}) (좌영공간) 안에 있으며,
      • 미분적분 관점: \frac{\partial E}{\partial C} = \frac{\partial E}{\partial D} = 0 이 되게 한다. 셋이 같은 말이다.
    • 🔢 EX1로 공식 검증: m = 3, \sum t = 3, \sum t^2 = 5, \sum b = 6, \sum tb = 0.
      • \begin{bmatrix} 3&3 \\ 3&5 \end{bmatrix}\begin{bmatrix} C \\ D \end{bmatrix} = \begin{bmatrix} 6 \\ 0 \end{bmatrix} \quad\Rightarrow\quad C = 5,\ D = -3\ ✓
      • [3단계] 식 (4)와 같은 방정식, 같은 답이다.
    • 💡 요약 한 줄: 직선 맞추기 = 열 2개짜리 사영 문제. 대수(점·방정식 그림)와 선형대수(벡터·사영 그림)는 같은 문제의 두 언어다.

  • [6단계] 열이 직교하면 계산이 반값 (EX2)

    • 왜 "시간이 대칭이면 두 열이 직교"인가 (한 번 계산해보면 당연해진다):
      • 직선 맞추기에서 A 의 두 열은 정해져 있다: 1열 = (1, \ldots, 1), 2열 = (t_1, \ldots, t_m).
      • 직교 판정은 언제나 내적 하나로 끝난다. 그런데 **1로만 된 열과의 내적은 "성분 전부 더하기"**가 된다:
      • (1, \ldots, 1) \cdot (t_1, \ldots, t_m) = 1 \cdot t_1 + \cdots + 1 \cdot t_m = \sum t_i
      • 그래서 조건이 이것뿐이다: 두 열이 직교 ⟺ 시간의 합 \sum t_i = 0.
      • 대칭 시간이 등장하는 이유: t = -2, 0, 2 처럼 +t 와 -t 가 쌍으로 있으면 더할 때 짝끼리 상쇄되어 합이 자동으로 0이다. 🔢 확인: (1,1,1) \cdot (-2, 0, 2) = -2 + 0 + 2 = 0 ✓.
      • ⚠️ 정확한 조건은 "대칭"이 아니라 "합이 0"이다. t = -3, 1, 2 는 대칭이 아니어도 합이 0이라 역시 직교한다. 대칭은 합 0을 만드는 가장 알아보기 쉬운 특수 케이스일 뿐이다.
      • 내적 표와 연결하면 그림이 완성된다: A^{\mathrm{T}}A 의 비대각 성분이 바로 이 내적 \sum t_i 다 (식 (6)). "시간 합 0 ⟺ 두 열 직교 ⟺ A^{\mathrm{T}}A 가 대각행렬", 세 문장이 같은 말이다.
    • 대각이 되면 무엇이 좋은가: A^{\mathrm{T}}A = \begin{bmatrix} 3&0 \\ 0&8 \end{bmatrix} → 연립이 풀려버려서 C = \frac{7}{3} 과 D = \frac{6}{8} 을 따로따로 나누기 한 번씩으로 얻는다 (EX2). 비대각이 0이라 C 와 D 가 서로를 간섭하지 않는다.
    • 시간 이동 트릭: 시간이 대칭이 아니어도, 평균 시간 \hat{t} = \frac{t_1 + \cdots + t_m}{m} 을 빼서 T_i = t_i - \hat{t} 로 바꾸면 언제나 이 좋은 상황이 된다 (최적 직선은 C + D(t - \hat{t}) 로 표현만 바뀜).
      • 평균을 빼면 왜 항상 합이 0이 되나: \sum T_i = \sum t_i - m\hat{t} 인데, m\hat{t} 은 정의상 정확히 \sum t_i 다. 그래서 \sum T_i = \sum t_i - \sum t_i = 0. 어떤 측정 시간이든 평균만 빼면 직교 상황으로 바꿀 수 있다.
      • 일반 공식 (연습문제 30): C = \frac{b_1 + \cdots + b_m}{m} (높이 평균), D = \frac{\sum T_i b_i}{\sum T_i^2}.
    • 💡 수위 조절: "계산 전에 미리 열들을 직교화해두면 만사가 쉬워진다"는 이 아이디어가 다음 절 4.4 그람-슈미트 과정의 전부다. 지금은 이 맛보기면 충분하다.

  • [7단계] A 의 열이 선형종속이면 \hat{x} 은 무엇인가

    • 지금까지의 숨은 가정: 열이 독립 → A^{\mathrm{T}}A 가역 → \hat{x} 유일. 이 가정이 깨지는 예 (p.242):
      • 📌 원문 종속 열 예제 (p.242): 🔗 PDF 위치
      • 
      • (p.242)
    • ⚠️ 그래프 읽는 법 (헷갈리기 쉬운 지점을 정리): 그래프의 가로축은 시간 t, 세로축은 측정값이다.
      • b = (3, 1) 은 "측정값 벡터"다: 1번째 측정값 b_1 = 3, 2번째 측정값 b_2 = 1.
      • 그런데 두 측정이 모두 같은 시각 T = 1 에 이루어졌다. 그래서 데이터 평면 위의 점으로 찍으면 (1, 3) 과 (1, 1), 세로로 나란한 두 점이 된다.
      • 즉 벡터 b 의 성분 나열 (3, 1) 과 그래프 위 점의 좌표 (t, b) 는 서로 다른 것이다. 같은 시각에 잰 값이 3과 1로 달랐다는 것뿐, 측정값끼리 종속인 게 아니다.
    • 왜 A 가 "모든 요소가 1인 행렬"이 되나 (조립 과정을 명시적으로):
      • 측정 하나 = 방정식 하나: 시각 t_i 의 측정값이 b_i 면 C + Dt_i = b_i. 행렬의 행으로 쓰면 행 = [1,\ t_i] (1은 C 의 계수 자리, t_i 는 D 의 계수 자리).
      • 두 측정 모두 시각이 1이므로: 1행 = [1, 1], 2행 = [1, 1]. 그래서 A = \begin{bmatrix} 1&1 \\ 1&1 \end{bmatrix}, 네 요소가 전부 1이 된 것이다.
      • ⚠️ A 에 곱해지는 벡터는 시간이 아니라 미지수 x = (C, D) 다. 시간 1들은 이미 A 안에 들어가 있다:
      • Ax = \begin{bmatrix} 1&1 \\ 1&1 \end{bmatrix}\begin{bmatrix} C \\ D \end{bmatrix} = \begin{bmatrix} C + D \\ C + D \end{bmatrix} \stackrel{?}{=} \begin{bmatrix} 3 \\ 1 \end{bmatrix}
      • C + D 가 두 번 나오는 것 자체가 문제의 요약이다: 같은 시각이니 직선이 내놓을 수 있는 예측값은 하나뿐인데, 목표는 3과 1로 둘이다. 그래서 모순.
    • 종속의 정확한 조건 ("같은 시각이면 어떤 경우에도 종속인가?"에 대한 답):
      • 이 예제(측정 2번이 전부 같은 시각)에서는: 그렇다. 시각 T 가 무엇이든 두 행이 똑같이 [1, T] 라 랭크 1이고, 2열 (T, T) = T \cdot (\text{1열}) 이라 열도 평행이다.
      • 일반적으로는 아니다: 열이 종속 ⟺ 2열 (t_1, \ldots, t_m) 이 1열 (1, \ldots, 1) 의 상수배 ⟺ 모든 측정 시각이 동일.
      • 🔢 반례: 측정 3번 중 2번이 겹쳐도 (t = 1, 1, 2) 열은 (1,1,1) 과 (1,1,2) 로 독립이다. 서로 다른 시각이 2개 이상만 있으면 기울기를 정할 정보가 생긴다.
      • 책도 이 조건을 p.240에 괄호로 흘려두었다: "(모든 시간 t_i 가 동일하지 않다면) 행렬 A 의 두 열은 선형독립이다". [7단계]의 예제가 그 괄호가 깨진 유일한 경우다.
      • 한 줄 정리: 행이 겹치는 것(시각 중복)과 열이 종속인 것(모든 시각 동일)은 다른 사건이다. 열 종속 = "가로축에 점이 한 군데뿐 = 기울기를 정할 정보가 전혀 없음". 종속의 범인은 측정값이 아니라 겹친 측정 시각이다.
    • 무슨 일이 벌어지나:
      • 사영은 문제없다: b = (3,1) 을 열공간(직선)에 사영하면 p = (2, 2). 같은 시각의 두 값 3, 1의 평균 2가 나온다 (자연스럽다!).
      • 문제는 계수다: A\hat{x} = p 의 해가 무한히 많다. T = 1 에서 높이 2를 지나기만 하면 어떤 기울기의 직선이든 되기 때문 (그림의 점선 다발). \hat{x} = (2, 0) (수평선)도, (0, 2) 도 답이고, 어느 것도 특별할 이유가 없다.
    • 💡 수위 조절: 이 "고르기 문제"의 답이 4.5절 유사역행렬 A^{+} 다. 무한한 해 중 가장 짧은 해 x^{+} = (1, 1) (행공간 소속, 영공간 성분 0)을 고르는 규칙이 생긴다. 지금은 "열이 종속이면 \hat{x} 이 유일하지 않고, 최단 해를 고르는 도구가 4.5에 온다"까지만 알면 충분하다. 일단 넘어가도 되는 게 맞다! 이 소단원의 진짜 역할은 "열 독립 가정이 왜 필요했는지" 보여주는 것.

  • [8단계] 포물선 맞추기: 미지수가 3개로 늘어날 뿐

    • 왜 포물선인가: 갈릴레오의 낙하 실험처럼 세상엔 t^2 항이 필요한 데이터가 많다 (이동거리 \frac{1}{2}gt^2).
    • ⚠️ 흔한 오해 교정: "t^2 이 있으면 비선형 문제 아닌가?" 아니다. 곡선은 t 에 대해 비선형이지만, 미지수 C, D, E 는 여전히 선형으로 등장한다. 그래서 그대로 선형대수 문제다.
      • C + Dt_i + Et_i^2 = b_i \quad\Longleftrightarrow\quad A = \begin{bmatrix} 1 & t_1 & t_1^2 \\ \vdots & \vdots & \vdots \\ 1 & t_m & t_m^2 \end{bmatrix}\ (m \times 3,\ \text{식 (10)})
      • 달라진 것: 열 하나(t_i^2 열) 추가, 정규방정식이 3 \times 3 이 된 것뿐. 절차는 동일.
    • ✅ p.243 빈칸 채우기 검증 (굿노트 필기 채점):
      • 빈칸 ① "행렬 A 의 열공간의 차원은 ___": 굿노트에 적은 m 은 오답이다. 정답은 3.
        • 열공간은 \mathbb{R}^m 안에 산다 (성분이 m 개인 벡터들). 하지만 그 안에서 열 3개(시간이 3개 이상 다르면 독립)가 펼치는 3차원 부분공간이다.
        • "사는 곳의 차원(m)"과 "부분공간 자신의 차원(3)"의 구분, 4.1 [2단계] 벽·바닥에서 했던 바로 그 구분이다. 사영 문제로 읽으면: b \in \mathbb{R}^m 을 3차원 부분공간에 사영하는 것.
      • 빈칸 ②③④ "e_1^2 + \cdots + e_m^2 의 ___, ___, ___ 에 대한 편도함수": 굿노트의 C, D, E 정답 ✓. 미지수가 3개니 도함수도 3개, [3단계]의 확장이다.
    • 🔢 EX3, 특수한 경우: 세 점 (0,6), (1,0), (2,0) 에 포물선을 맞추면?
      • 미지수 3개 = 점 3개 → A 가 3 \times 3 정사각 (방데르몽드). 가역이라 정확히 통과한다: x = (C, D, E) = (6, -9, 3), 즉 b = 6 - 9t + 3t^2. 오차 0.
      • 💡 n 이 m 에 도달하면 "근사"가 "보간"으로 퇴화한다. 최소제곱이 특별히 필요한 것은 m > n 일 때다.
    • 푸리에 급수 (읽을거리): 벡터 대신 함수를 근사하면 무한 차원 최소제곱이 된다 (제곱합 → 제곱적분).
      • 📌 원문 (p.244): ((6a7f0d62-7ece-49bd-8feb-0343d9b2524c))

• 📖 확인문제 풀이 (4.3A·4.3B)

  • 확인문제 4.3A: t = 1, \ldots, 10 에서 측정값이 0, 0, \ldots, 0, 40 (마지막 하나만 이상값). 최적의 수평선 y = C 를 세 가지 오차 기준으로 구하라.
    • (a) 제곱합 E_2 = e_1^2 + \cdots + e_{10}^2 최소화: A = (1로만 된 열), A^{\mathrm{T}}A = 10, A^{\mathrm{T}}b = 40 → 10C = 40, C = 4. 평균이 답.
    • (b) 최대오차 E_\infty = |e_{\max}| 최소화: 0과 40의 중점 C = 20.
    • (c) 절댓값 합 E_1 = |e_1| + \cdots + |e_{10}| 최소화: 중앙값 C = 0 (0이 9개, 40이 1개면 중앙값은 0. C 를 0에서 올리면 9|C| 가 |40 - C| 감소보다 빨리 커진다).
    • 💡 이 문제의 교훈: 최소제곱(평균)은 이상값에 민감하다. 40 하나가 답을 0에서 4로 끌어올렸다. 통계학자들이 종종 절댓값 합(중앙값)을 선호하는 이유. 다만 절댓값 합의 방정식은 비선형이라 계산이 어렵고, 제곱합은 선형이라 쉽다 (그래서 최소제곱이 기본기가 된 것).
    • 후반부 (10개 점에 직선 맞추기): A^{\mathrm{T}}A = \begin{bmatrix} 10&55 \\ 55&385 \end{bmatrix}, A^{\mathrm{T}}b = (40, 400) → C = -8, D = \frac{24}{11}. 식 (8)에 숫자만 넣은 것.
  • 확인문제 4.3B: t = -2, -1, 0, 1, 2 에서 b = (0, 0, 1, 0, 0) 에 가장 가까운 포물선 C + Dt + Et^2.
    • 시간이 대칭이라 A 의 2열(t)이 1열·3열과 직교 → A^{\mathrm{T}}A = \begin{bmatrix} 5&0&10 \\ 0&10&0 \\ 10&0&34 \end{bmatrix} 에 0이 생기고, D 방정식이 분리된다.
    • 10D = 0 → D = 0 (예상대로: 데이터가 t = 0 중심 대칭이면 최적 포물선도 대칭, 기울기 항 불필요).
    • 나머지 2 \times 2: 5C + 10E = 1, 10C + 34E = 0 → C = \frac{34}{70}, E = -\frac{10}{70}.
    • 💡 [6단계] 직교 열의 위력 재확인: 직교가 "분리"를 만든다. D 는 C, E 와 완전히 무관하게 결정됐다.

• ❓ 스스로 점검

  • 최소제곱해 \hat{x} 의 정의는? 무엇을 풀어서 구하는가? #card id:: 6a7f17d0-9f26-4a4a-9197-3ef4441bacb1
    • E = \|Ax - b\|^2 (오차 제곱합)을 최소로 만드는 x.
    • 정규방정식 A^{\mathrm{T}}A\hat{x} = A^{\mathrm{T}}b 를 풀어 구한다.
    • 사영과의 관계: A\hat{x} = p (b 의 열공간 사영). 4.2와 같은 방정식, 주인공만 p 에서 \hat{x} 으로.
  • 정규방정식에 도달하는 세 가지 관점을 말하라. #card id:: 6a7f17d0-cdf3-462e-9d04-46ad4fc4ae18
    • 기하: 오차 e = b - A\hat{x} 이 열공간과 직교해야 한다.
    • 대수: \|Ax-b\|^2 = \|Ax-p\|^2 + \|e\|^2 (피타고라스), 첫 항을 0으로 만드는 것이 \hat{x}.
    • 미분적분: 편도함수 \frac{\partial E}{\partial x_i} = 0. 제곱합의 도함수는 선형이라 연립 1차방정식이 나온다.
  • 직선 맞추기에서 A, A^{\mathrm{T}}A, A^{\mathrm{T}}b 는 어떤 모양인가? #card id:: 6a7f17d0-77bb-499b-836c-38957231c782
    • A: 1열은 전부 1 (절편), 2열은 시간들 t_i (기울기). m \times 2.
    • A^{\mathrm{T}}A = \begin{bmatrix} m & \sum t_i \\ \sum t_i & \sum t_i^2 \end{bmatrix}, A^{\mathrm{T}}b = \begin{bmatrix} \sum b_i \\ \sum t_i b_i \end{bmatrix} (내적 표로 채우기).
  • 그림 4.1과 그림 4.7의 차이를 분할의 언어로 말하라. id:: 6a7f17d0-578f-40cb-8df2-f372dfcfe7bd #card
    • 그림 4.1 (3장~4.1): 해가 많다 → 입력 x = x_r + x_n 분할.
    • 그림 4.7 (4.3): 해가 없다 → 출력 b = p + e 분할. Ax = b 대신 A\hat{x} = p 를 푼다.
  • 최적 직선이 항상 지나는 점은? 그 이유는? #card id:: 6a7f17d0-ab6b-4a55-b0f6-28b7d0c4216a
    • 평균점 (\hat{t}, \hat{b}) (시간 평균, 높이 평균).
    • 정규방정식의 1행 Cm + D\sum t_i = \sum b_i 를 m 으로 나누면 C + D\hat{t} = \hat{b} (연습문제 11).
  • A 의 열이 종속이면 최소제곱에서 무엇이 깨지고 무엇이 살아남는가? #card id:: 6a7f17d0-d4b3-4e38-b879-47e3a483d80f
    • 깨지는 것: A^{\mathrm{T}}A 의 가역성 → \hat{x} 이 유일하지 않다 (무한히 많다).
    • 살아남는 것: 사영 p 는 여전히 유일하다.

• ✏️ 연습문제 풀이 (솔루션 참고)

  • 문제 1 (+ 문제 2·3 연계): 시간 t = 0, 1, 3, 4 에서 b = (0, 8, 8, 20). 정규방정식을 만들고 풀어 최적 직선과 p, e, E 의 최솟값을 구하라.
    • 📌 참고 그림 (p.246):
      • 
    • 🔁 개념 상기: [5단계] 공식 그대로. A^{\mathrm{T}}A 와 A^{\mathrm{T}}b 를 내적 표로 채우고 2 \times 2 를 푼다. 끝나면 p = A\hat{x}, e = b - p, E_{\min} = \|e\|^2.
    • 1단계, 재료 준비 (내적 표):
      • m = 4, \sum t = 0+1+3+4 = 8, \sum t^2 = 0+1+9+16 = 26
      • \sum b = 36, \sum tb = 0 + 8 + 24 + 80 = 112
      • \begin{bmatrix} 4&8 \\ 8&26 \end{bmatrix}\begin{bmatrix} C \\ D \end{bmatrix} = \begin{bmatrix} 36 \\ 112 \end{bmatrix}
    • 2단계, 풀기: 1행÷4 → C + 2D = 9. 2행÷2 → 4C + 13D = 56. 대입: 4(9 - 2D) + 13D = 56 → 5D = 20 → D = 4, C = 1.
      • 최적 직선: b = 1 + 4t.
    • 3단계, p 와 e: t = 0, 1, 3, 4 에서 직선의 높이 p = (1, 5, 13, 17). 오차 e = b - p = (-1, 3, -5, 3).
      • E_{\min} = \|e\|^2 = 1 + 9 + 25 + 9 = 44.
    • 4단계, 검산 두 겹: \sum e_i = -1+3-5+3 = 0 ✓ (e ⊥ 1열), \sum t_i e_i = 0 + 3 - 15 + 12 = 0 ✓ (e ⊥ 2열). 오차가 두 열 모두와 직교한다.
    • 문제 2의 메시지: 측정값을 p = (1, 5, 13, 17) 로 바꾸면 A\hat{x} = p 가 정확히 풀리고 해는 같은 (1, 4). "풀 수 없는 b 를 풀 수 있는 p 로 교체"가 최소제곱의 정체다.
    • 문제 3의 메시지: 이 e 가 바로 b 에서 열공간까지의 최단거리, \|e\| = \sqrt{44}.
    • 핵심 문장: 직선 맞추기 4종 세트는 "내적 표 → 2 \times 2 풀기 → p = A\hat{x} → e ⊥ 두 열 검산" 순서다.
  • 문제 9·10: 같은 데이터에 포물선(미지수 3개), 3차 곡선(미지수 4개)을 맞추면?
    • (문제 1~11 공통 지문의 데이터를 이어받는 문제다: t = 0, 1, 3, 4, b = (0, 8, 8, 20), 그림 4.8. 시간이 문제 지문에 안 보이면 문제 세트 맨 위의 ※ 공통 지문을 볼 것.)
    • 🔁 개념 상기: [8단계]. 열 하나 추가 = 정규방정식 한 차원 증가. 그리고 n = m 이 되는 순간 근사가 보간으로 퇴화한다.
    • 문제 9 (포물선): A 에 3열 (t_i^2) = (0, 1, 9, 16) 추가 → A^{\mathrm{T}}A\hat{x} = A^{\mathrm{T}}b 는
      • \begin{bmatrix} 4&8&26 \\ 8&26&92 \\ 26&92&338 \end{bmatrix}\begin{bmatrix} C \\ D \\ E \end{bmatrix} = \begin{bmatrix} 36 \\ 112 \\ 400 \end{bmatrix}
      • (세우는 것까지가 문제. 내적 표 연습: 2열·3열 = \sum t^3 = 0+1+27+64 = 92 등.)
      • [그림 4.8(b)]는 어떻게 되나: \mathbb{R}^4 사영 그림에 세 번째 화살표 a_3 = (0, 1, 9, 16) 이 추가되고, b 를 2차원 평면이 아니라 3차원 부분공간에 사영하게 된다.
    • 문제 10 (3차 곡선): 4열 (t_i^3) = (0, 1, 27, 64) 까지 추가하면 A 는 4 \times 4 방데르몽드 정사각.
      • 1단계, 풀기 전에 구조 예측: 미지수 4개 = 방정식 4개(정사각)이고 시간 4개가 서로 다르니 가역 → 정확히 통과할 것이다. 즉 계산 전에 이미 p = b, e = 0 을 안다.
        • 따라서 A^{\mathrm{T}}A 를 만들 필요가 없다: b 가 열공간 안이므로 Ax = b 를 소거로 직접 풀면 되고, 그 해가 곧 \hat{x} 이다 (해가 존재하면 모자가 잉여가 되는 경우, 문제 2·20과 같은 원리).
        • ⚠️ 굳이 A^{\mathrm{T}}A 를 만들면 성분이 \sum t^6 급으로 커져 계산만 지옥이 된다. 정확한 해가 있을 땐 최소제곱 기계를 돌리지 않는다.
      • 2단계, 공짜 미지수: t = 0 행은 C + 0 + 0 + 0 = b_1, 즉 소거를 시작하기도 전에 C = b_1 = 0 이 확정된다 (3차식에 t = 0 을 넣으면 상수항만 남으니까).
      • 3단계, 3 \times 3 으로 축소: 남은 세 행(t = 1, 3, 4)에 미지수 D, E, F 셋만 남는다. 각 행이 Dt + Et^2 + Ft^3 = b_i 꼴이라 공통인수 t 로 나누면 숫자가 순해진다:
        • t = 1: D + E + F = 8
        • t = 3 (양변 ÷3): D + 3E + 9F = \frac{8}{3}
        • t = 4 (양변 ÷4): D + 4E + 16F = 5
      • 4단계, 소거: 2행 − 1행 → 2E + 8F = -\frac{16}{3}, 즉 E + 4F = -\frac{8}{3}. 3행 − 1행 → 3E + 15F = -3, 즉 E + 5F = -1. 두 식을 빼면:
        • F = -1 + \frac{8}{3} = \frac{5}{3} → E = -1 - 5F = -\frac{28}{3} → D = 8 - E - F = \frac{47}{3}.
        • x = (C, D, E, F) = \left(0,\ \tfrac{47}{3},\ -\tfrac{28}{3},\ \tfrac{5}{3}\right) = \tfrac{1}{3}(0, 47, -28, 5)
        • (데이터가 정수여도 계수는 분수일 수 있다. 정상이다. 판정은 검산이 한다.)
      • 5단계, 검산 (구조 예측 확인): 완성된 3차식에 시간을 다시 넣는다.
        • t=0: 0 ✓ / t=1: \frac{47 - 28 + 5}{3} = 8 ✓ / t=3: \frac{141 - 252 + 135}{3} = 8 ✓ / t=4: \frac{188 - 448 + 320}{3} = 20 ✓
        • 4개의 점을 정확히 통과 → 예측대로 p = b, e = 0.
      • 핵심 문장: 미지수 개수 n 이 데이터 개수 m 에 도달하면 오차가 0이 된다 (근사가 보간으로 퇴화). 최소제곱은 m > n 의 도구다.
  • 문제 11: 최적 직선이 평균점 (\hat{t}, \hat{b}) 을 지남을 확인하고 이유를 설명하라.
    • 🔁 개념 상기: 정규방정식 1행의 "의미 읽기" 문제다.
    • (a) 확인: \hat{t} = \frac{0+1+3+4}{4} = 2, \hat{b} = \frac{0+8+8+20}{4} = 9. 최적 직선 b = 1 + 4t 에 t = 2 대입: 1 + 8 = 9 = \hat{b} ✓.
    • (b) 이유: 정규방정식 1행은 Cm + D\sum t_i = \sum b_i. 양변을 m 으로 나누면:
      • C + D\hat{t} = \hat{b}
      • 즉 "1행 = 최적 직선이 평균점을 지난다는 조건". (1행은 e ⊥ (1,…,1), 즉 \sum e_i = 0 이기도 하다. 오차 총합 0 ⟺ 평균점 통과.)
    • 핵심 문장: 통계에서 "회귀직선은 (\bar{t}, \bar{b}) 를 지난다"는 사실의 정체가 정규방정식 1행이다.
  • 문제 12 (꼭 풀어볼 만한 문제): b = (b_1, \ldots, b_m) 을 a = (1, \ldots, 1) 방향 직선 위로 사영하라 (미지수 1개짜리 최소제곱).
    • 🔁 개념 상기: 4.2 직선 사영 공식 \hat{x} = \frac{a^{\mathrm{T}}b}{a^{\mathrm{T}}a} 의 통계 버전. 이 문제 하나로 평균·분산·표준편차가 전부 선형대수 언어로 번역된다.
    • (a) a^{\mathrm{T}}a = m, a^{\mathrm{T}}b = b_1 + \cdots + b_m → \hat{x} = \frac{b_1 + \cdots + b_m}{m} = b 들의 평균(mean).
    • (b) 오차 e = b - \hat{x}a 의 성분은 b_i - (\text{평균}). 따라서
      • \|e\|^2 = (b_1 - \text{평균})^2 + \cdots + (b_m - \text{평균})^2 = \text{분산}(variance)\ \sigma^2
      • \|e\| 는 표준편차(에 해당하는 크기).
    • (c) 🔢 b = (1, 2, 6): 평균 3 → p = (3, 3, 3), e = (-2, -1, 3).
      • 검산: p^{\mathrm{T}}e = -6 - 3 + 9 = 0 ✓.
      • 사영행렬: P = \frac{aa^{\mathrm{T}}}{a^{\mathrm{T}}a} = \frac{1}{3}\begin{bmatrix} 1&1&1 \\ 1&1&1 \\ 1&1&1 \end{bmatrix} (Pb = 모든 성분을 평균으로 바꾸는 행렬!).
    • 핵심 문장: 평균 = 상수 벡터 (1,\ldots,1) 위로의 사영, 분산 = 그 오차의 크기 제곱. 통계학의 기초가 사영 공식 한 줄이다.
  • 문제 20: t = -1, 1, 2 에서 b = (5, 13, 17). \hat{x} 을 구하면 e = 0 인 이유는?
    • 🔁 개념 상기: 사영 문제는 "안인가 밖인가" 확인부터 (4.2 문제 17의 데이터 버전).
    • 세 점 (-1, 5), (1, 13), (2, 17) 을 보면: 기울기 \frac{13-5}{1-(-1)} = 4 = \frac{17-13}{2-1}. 세 점이 정확히 한 직선 위에 있다!
    • 직선은 b = 9 + 4t, 즉 \hat{x} = (9, 4) 이고 b = 9 \cdot (\text{1열}) + 4 \cdot (\text{2열}).
    • 빈칸 답: e = 0 인 이유는 b 가 A 의 열공간 안에 있기 때문. 최소제곱이 완전해로 퇴화하는 경우다.
    • 핵심 문장: 데이터가 이미 직선 위면 b \in \mathbf{C}(A), 오차 0. 최소제곱은 "해가 있으면 그 해"를 그대로 돌려준다.
  • 문제 22: t = -2, -1, 0, 1, 2, b = (4, 2, -1, 0, 0) 과 가장 가까운 직선.
    • 🔁 개념 상기: 시간이 대칭이다! [6단계] EX2의 지름길 (직교 열 → 대각 A^{\mathrm{T}}A → 따로따로 나누기).
    • \sum t = 0 이므로 A^{\mathrm{T}}A = \begin{bmatrix} 5&0 \\ 0&10 \end{bmatrix} (m = 5, \sum t^2 = 4+1+0+1+4 = 10).
    • A^{\mathrm{T}}b = (\sum b,\ \sum tb) = (5,\ -8-2+0+0+0) = (5, -10).
    • 따로 풀기: C = \frac{5}{5} = 1, D = \frac{-10}{10} = -1. 최적 직선: b = 1 - t.
    • 핵심 문장: 시간 합이 0이면 정규방정식이 대각이 되어 C = 높이 평균, D = \frac{\sum tb}{\sum t^2} 로 즉시 끝난다.