diff --git a/Major Study/assets/4장_4.3_식2_직각삼각형.png b/Major Study/assets/4장_4.3_식2_직각삼각형.png new file mode 100755 index 0000000..af71e7e Binary files /dev/null and b/Major Study/assets/4장_4.3_식2_직각삼각형.png differ diff --git a/Major Study/assets/4장_4.3_식2_직각삼각형.svg b/Major Study/assets/4장_4.3_식2_직각삼각형.svg new file mode 100755 index 0000000..91e3d07 --- /dev/null +++ b/Major Study/assets/4장_4.3_식2_직각삼각형.svg @@ -0,0 +1,50 @@ + + + + + + + + + + + + + + 식 (2)의 직각삼각형: ‖Ax − b‖² = ‖Ax − p‖² + ‖e‖² + + + + 열공간 C(A) + (모든 Ax가 사는 직선) + + + + + + + + + + + + + + + + + b + p = Ax̂ (수선의 발) + Ax (임의의 후보) + + + Ax − b (빗변) + Ax − p + x 선택으로 줄일 수 있는 변 + e = b − p + 누구도 못 줄이는 최소 오차 + + + x를 바꾸면 Ax가 파란 직선 위를 미끄러진다: 초록 변만 변하고 주황 변은 그대로. + x = x̂을 고르면 Ax가 p에 포개져 초록 변이 0, 남는 오차는 ‖e‖²뿐 (그때가 최소). + diff --git a/Major Study/assets/4장_p237_그림4.6_직선과_사영.png b/Major Study/assets/4장_p237_그림4.6_직선과_사영.png new file mode 100755 index 0000000..c44478e Binary files /dev/null and b/Major Study/assets/4장_p237_그림4.6_직선과_사영.png differ diff --git a/Major Study/assets/4장_p237_식3_오차제곱합.png b/Major Study/assets/4장_p237_식3_오차제곱합.png new file mode 100755 index 0000000..48eb525 Binary files /dev/null and b/Major Study/assets/4장_p237_식3_오차제곱합.png differ diff --git a/Major Study/assets/4장_p238_식4_정규방정식_박스.png b/Major Study/assets/4장_p238_식4_정규방정식_박스.png new file mode 100755 index 0000000..a78e9f1 Binary files /dev/null and b/Major Study/assets/4장_p238_식4_정규방정식_박스.png differ diff --git a/Major Study/assets/4장_p239_그림4.7_최소제곱_큰그림.png b/Major Study/assets/4장_p239_그림4.7_최소제곱_큰그림.png new file mode 100755 index 0000000..923dacd Binary files /dev/null and b/Major Study/assets/4장_p239_그림4.7_최소제곱_큰그림.png differ diff --git a/Major Study/assets/4장_p240_식8_정규방정식_최종.png b/Major Study/assets/4장_p240_식8_정규방정식_최종.png new file mode 100755 index 0000000..5dd6f59 Binary files /dev/null and b/Major Study/assets/4장_p240_식8_정규방정식_최종.png differ diff --git a/Major Study/assets/4장_p242_종속열_예제.png b/Major Study/assets/4장_p242_종속열_예제.png new file mode 100755 index 0000000..e751691 Binary files /dev/null and b/Major Study/assets/4장_p242_종속열_예제.png differ diff --git a/Major Study/assets/4장_p246_그림4.8_문제1-11.png b/Major Study/assets/4장_p246_그림4.8_문제1-11.png new file mode 100755 index 0000000..195d78c Binary files /dev/null and b/Major Study/assets/4장_p246_그림4.8_문제1-11.png differ diff --git a/Major Study/assets/4장_직교성_1786280501491_0.edn b/Major Study/assets/4장_직교성_1786280501491_0.edn index c7befce..8b95962 100755 --- a/Major Study/assets/4장_직교성_1786280501491_0.edn +++ b/Major Study/assets/4장_직교성_1786280501491_0.edn @@ -812,5 +812,310 @@ :rects (), :page 15}, :content {:text "[:span]", :image 1786449205469}, + :properties {:color "yellow"}} + {:id #uuid "6a7dcf45-30e9-47fc-bc0f-3243c1c73a00", + :page 28, + :position {:bounding {:x1 101.67100524902344, + :y1 606.2066040039062, + :x2 647.9697265625, + :y2 677.6258544921875, + :width 716, + :height 1012.6281590388325}, + :rects ({:x1 232.33506774902344, + :y1 606.2066040039062, + :x2 647.9697265625, + :y2 619.4010009765625, + :width 716, + :height 1012.6281590388325} + {:x1 101.67100524902344, + :y1 632.7473754882812, + :x2 647.9671020507812, + :y2 650.1084594726562, + :width 716, + :height 1012.6281590388325} + {:x1 102.66926574707031, + :y1 663.7369384765625, + :x2 208.1149139404297, + :y2 677.6258544921875, + :width 716, + :height 1012.6281590388325}), + :page 28}, + :content {:text "오차벡터 e= b-Az 를 항상 0으로 줄일 수 는 없다. e가 0일 때 그는 Az = b의 정확한 해이다. 의 크기가 가능한 한 작아서 116 - A ||' 이 최솟값에 도달하면 , 굳은최소제곱 해가 된다"}, + :properties {:color "yellow"}} + {:id #uuid "6a7dcf4f-ec05-4a72-afd6-26fe3bde7f0b", + :page 28, + :position {:bounding {:x1 241.21092224121094, + :y1 758.0512084960938, + :x2 549.0007934570312, + :y2 774.0234375, + :width 716, + :height 1012.6281590388325}, + :rects ({:x1 241.21092224121094, + :y1 758.0512084960938, + :x2 549.0007934570312, + :y2 774.0234375, + :width 716, + :height 1012.6281590388325}), + :page 28}, + :content {:text "기본 방정식은 여전히 정규 방정식 AT A²= ATb 이다"}, + :properties {:color "yellow"}} + {:id #uuid "6a7dcf53-01d5-412b-9d65-325536a9a5d7", + :page 28, + :position {:bounding {:x1 117.5564193725586, + :y1 840.0064697265625, + :x2 635.0550537109375, + :y2 854.5897827148438, + :width 716, + :height 1012.6281590388325}, + :rects ({:x1 117.5564193725586, + :y1 840.0064697265625, + :x2 635.0550537109375, + :y2 854.5897827148438, + :width 716, + :height 1012.6281590388325}), + :page 28}, + :content {:text "Az= b의 해 가 존재하지 않으면, 이 식의 양변에 AT 를 곱하고 AT Af= ATb를 푼다."}, + :properties {:color "yellow"}} + {:id #uuid "6a7dd176-75b8-4e9f-bbf4-25909045ec4e", + :page 30, + :position {:bounding {:x1 190.31031799316406, + :y1 406.54296112060547, + :x2 563.4765625, + :y2 421.4409713745117, + :width 716, + :height 1012.6281590388325}, + :rects ({:x1 362.43487548828125, + :y1 406.54296112060547, + :x2 563.4765625, + :y2 420.4318161010742, + :width 716, + :height 1012.6281590388325} + {:x1 190.31031799316406, + :y1 407.5520553588867, + :x2 336.9357604980469, + :y2 421.4409713745117, + :width 716, + :height 1012.6281590388325}), + :page 30}, + :content {:text "임의 의 에 대한 제곱 오차 ||| Az- 6 ||=|| Azp ||+ ||e || 2"}, + :properties {:color "yellow"}} + {:id #uuid "6a7dd17a-8e52-4cec-b72c-eab898415e99", + :page 30, + :position {:bounding {:x1 202.19183349609375, + :y1 593.8476486206055, + :x2 556.54296875, + :y2 609.8198776245117, + :width 716, + :height 1012.6281590388325}, + :rects ({:x1 202.19183349609375, + :y1 593.8476486206055, + :x2 556.54296875, + :y2 609.8198776245117, + :width 716, + :height 1012.6281590388325}), + :page 30}, + :content {:text "최소제곱 해 소은 E = ||A -6 ||' 을 가능한 한 작게 만든다 "}, + :properties {:color "yellow"}} + {:id #uuid "6a7f09e3-c19c-4ff6-b00d-d73ac7b9cc59", + :page 31, + :position {:bounding {:x1 136.61024475097656, + :y1 582.4977951049805, + :x2 333.3098449707031, + :y2 595.692253112793, + :width 716, + :height 1012.6281590388325}, + :rects ({:x1 136.61024475097656, + :y1 582.4977951049805, + :x2 333.3098449707031, + :y2 595.692253112793, + :width 716, + :height 1012.6281590388325}), + :page 31}, + :content {:text "미분 적분학 의 관점에서 생각해보자"}, + :properties {:color "yellow"}} + {:id #uuid "6a7f0a0d-c7d0-4ebe-b4a7-c2d23caaf25b", + :page 32, + :position {:bounding {:x1 201.83375549316406, + :y1 436.72959899902344, + :x2 542.3562622070312, + :y2 453.39622497558594, + :width 716, + :height 1012.6281590388325}, + :rects ({:x1 201.83375549316406, + :y1 436.72959899902344, + :x2 542.3562622070312, + :y2 453.39622497558594, + :width 716, + :height 1012.6281590388325}), + :page 32}, + :content {:text "ATAE= AT6 일 때 , || Az - 611 '의 편도함수는 0 이다"}, + :properties {:color "yellow"}} + {:id #uuid "6a7f0a47-3114-4b81-af6e-2818eeafc72a", + :page 32, + :position {:bounding {:x1 95.00867462158203, + :y1 321.9509735107422, + :x2 352.0469970703125, + :y2 338.6175994873047, + :width 716, + :height 1012.6281590388325}, + :rects ({:x1 95.00867462158203, + :y1 321.9509735107422, + :x2 352.0469970703125, + :y2 338.6175994873047, + :width 716, + :height 1012.6281590388325}), + :page 32}, + :content {:text "식 (4 )의 두 방정식은 ATA=ATb이다."}, + :properties {:color "yellow"}} + {:id #uuid "6a7f0a6c-2e57-4d5b-beef-04a0a0062d19", + :page 32, + :position {:bounding {:x1 94, + :y1 206.748046875, + :x2 676, + :y2 307.748046875, + :width 716, + :height 1012.6281590388325}, + :rects (), + :page 32}, + :content {:text "[:span]", :image 1786710636598}, + :properties {:color "yellow"}} + {:id #uuid "6a7f0a74-30ff-4ec4-ba78-52d533dd1f8d", + :page 31, + :position {:bounding {:x1 109, + :y1 689.498046875, + :x2 639, + :y2 726.498046875, + :width 716, + :height 1012.6281590388325}, + :rects (), + :page 31}, + :content {:text "[:span]", :image 1786710644409}, + :properties {:color "yellow"}} + {:id #uuid "6a7f0aac-af80-47bc-9b60-cd999da58ec2", + :page 32, + :position {:bounding {:x1 99.01258087158203, + :y1 781.5538024902344, + :x2 484.52642822265625, + :y2 795.4426574707031, + :width 716, + :height 1012.6281590388325}, + :rects ({:x1 99.01258087158203, + :y1 781.5538024902344, + :x2 484.52642822265625, + :y2 795.4426574707031, + :width 716, + :height 1012.6281590388325}), + :page 32}, + :content {:text "Az= b대신 에 Ai =p 를 푼다. 오차 e=b - p 는 피할 수 없다."}, + :properties {:color "yellow"}} + {:id #uuid "6a7f0ade-00e5-4727-942b-d85312b043db", + :page 33, + :position {:bounding {:x1 66.22178649902344, + :y1 411.4040832519531, + :x2 611.9248657226562, + :y2 480.6857604980469, + :width 716, + :height 1012.6281590388325}, + :rects ({:x1 66.22178649902344, + :y1 411.4040832519531, + :x2 609.2098999023438, + :y2 424.5984802246094, + :width 716, + :height 1012.6281590388325} + {:x1 66.22178649902344, + :y1 439.2577819824219, + :x2 606.2931518554688, + :y2 453.1466979980469, + :width 716, + :height 1012.6281590388325} + {:x1 66.22178649902344, + :y1 466.1023864746094, + :x2 611.9248657226562, + :y2 480.6857604980469, + :width 716, + :height 1012.6281590388325}), + :page 33}, + :content {:text "영공간 N (A ) 가 얼마나 작은지에 주목하라 . N( A) 는 단 하나 의 점만 포함 한다. 선형독립 인 열을이용 하면 Az= 0의 유일한 해 는 z = 0임을 알 수 있다. 그러면 ATA 는 가역행렬이다. 방정식 ATA = ATb는 최적의 벡터 눈을 완전히 결정 한다. 오차e= b-p는 ATe= 0을 만족 한다 "}, + :properties {:color "yellow"}} + {:id #uuid "6a7f0b52-edff-4a79-a474-8007acbfaf55", + :page 33, + :position {:bounding {:x1 66.22178649902344, + :y1 647.6344909667969, + :x2 458.88372802734375, + :y2 664.9956359863281, + :width 716, + :height 1012.6281590388325}, + :rects ({:x1 66.22178649902344, + :y1 647.6344909667969, + :x2 458.88372802734375, + :y2 664.9956359863281, + :width 716, + :height 1012.6281590388325}), + :page 33}, + :content {:text "직선 맞추기 (fitting a line) 는 최소 제곱 법에 대한 가장 명확한 응용 이다"}, + :properties {:color "yellow"}} + {:id #uuid "6a7f0d62-7ece-49bd-8feb-0343d9b2524c", + :page 38, + :position {:bounding {:x1 100.37976837158203, + :y1 68.52212524414062, + :x2 483.2030944824219, + :y2 87.96658325195312, + :width 716, + :height 1012.6281590388325}, + :rects ({:x1 100.37976837158203, + :y1 68.52212524414062, + :x2 483.2030944824219, + :y2 87.96658325195312, + :width 716, + :height 1012.6281590388325}), + :page 38}, + :content {:text "푸리에 급수(Fourier series)는 무한 차원 에서 의 최소제곱 문제이다 "}, + :properties {:color "yellow"}} + {:id #uuid "6a7f15b4-5473-4aab-a20c-7938633ae8f5", + :page 34, + :position {:bounding {:x1 113.2595443725586, + :y1 755.9244537353516, + :x2 659.7547607421875, + :y2 799.3923492431641, + :width 716, + :height 1012.6281590388325}, + :rects ({:x1 482.07464599609375, + :y1 755.9244537353516, + :x2 659.7547607421875, + :y2 770.5077667236328, + :width 716, + :height 1012.6281590388325} + {:x1 113.2595443725586, + :y1 785.5034332275391, + :x2 397.78643798828125, + :y2 799.3923492431641, + :width 716, + :height 1012.6281590388325}), + :page 34}, + :content {:text "오차벡터 e ( 즉 잔차(residual ) b -A² )는 행렬 A의 열과 직교 한다( 기하학 관점 )"}, + :properties {:color "yellow"}} + {:id #uuid "6a7f15c9-4514-48df-a2a8-86fc14eb92c4", + :page 34, + :position {:bounding {:x1 115, + :y1 681.52734375, + :x2 668, + :y2 748.52734375, + :width 716, + :height 1012.6281590388325}, + :rects (), + :page 34}, + :content {:text "[:span]", :image 1786713545633}, + :properties {:color "yellow"}} + {:id #uuid "6a7f15e6-50ab-4391-aeda-acda5434850c", + :page 36, + :position {:bounding {:x1 106, + :y1 219.0546875, + :x2 659, + :y2 344.0546875, + :width 716, + :height 1012.6281590388325}, + :rects (), + :page 36}, + :content {:text "[:span]", :image 1786713574364}, :properties {:color "yellow"}}], - :extra {:page 15}} + :extra {:page 36}} diff --git a/Major Study/assets/4장_직교성_1786280501491_0/31_6a7f0a74-30ff-4ec4-ba78-52d533dd1f8d_1786710644409.png b/Major Study/assets/4장_직교성_1786280501491_0/31_6a7f0a74-30ff-4ec4-ba78-52d533dd1f8d_1786710644409.png new file mode 100755 index 0000000..e153f58 Binary files /dev/null and b/Major Study/assets/4장_직교성_1786280501491_0/31_6a7f0a74-30ff-4ec4-ba78-52d533dd1f8d_1786710644409.png differ diff --git a/Major Study/assets/4장_직교성_1786280501491_0/32_6a7f0a6c-2e57-4d5b-beef-04a0a0062d19_1786710636598.png b/Major Study/assets/4장_직교성_1786280501491_0/32_6a7f0a6c-2e57-4d5b-beef-04a0a0062d19_1786710636598.png new file mode 100755 index 0000000..0d6abfd Binary files /dev/null and b/Major Study/assets/4장_직교성_1786280501491_0/32_6a7f0a6c-2e57-4d5b-beef-04a0a0062d19_1786710636598.png differ diff --git a/Major Study/assets/4장_직교성_1786280501491_0/34_6a7f15c9-4514-48df-a2a8-86fc14eb92c4_1786713545633.png b/Major Study/assets/4장_직교성_1786280501491_0/34_6a7f15c9-4514-48df-a2a8-86fc14eb92c4_1786713545633.png new file mode 100755 index 0000000..94168d3 Binary files /dev/null and b/Major Study/assets/4장_직교성_1786280501491_0/34_6a7f15c9-4514-48df-a2a8-86fc14eb92c4_1786713545633.png differ diff --git a/Major Study/assets/4장_직교성_1786280501491_0/36_6a7f15e6-50ab-4391-aeda-acda5434850c_1786713574364.png b/Major Study/assets/4장_직교성_1786280501491_0/36_6a7f15e6-50ab-4391-aeda-acda5434850c_1786713574364.png new file mode 100755 index 0000000..957afbb Binary files /dev/null and b/Major Study/assets/4장_직교성_1786280501491_0/36_6a7f15e6-50ab-4391-aeda-acda5434850c_1786713574364.png differ diff --git a/Major Study/pages/4.3 최소제곱근사.md b/Major Study/pages/4.3 최소제곱근사.md new file mode 100755 index 0000000..3c254e9 --- /dev/null +++ b/Major Study/pages/4.3 최소제곱근사.md @@ -0,0 +1,224 @@ +deck:: Logseq/전공공부/선형대수학 + +- ### 핵심 개념 + - **흐름 지도**: [1단계] 문제 선언: 해가 없는 $Ax = b$ 에서 최선 찾기 → [2단계] 숫자로 체험: 세 점과 직선 → [3단계] 같은 답을 주는 세 관점 (기하·대수·미분적분) → [4단계] 최소제곱의 큰 그림 → [5단계] 직선 맞추기 일반 공식 → [6단계] 열이 직교하면 계산이 반값 → [7단계] 열이 종속이면? → [8단계] 포물선 맞추기와 그 너머. + - #### [1단계] 문제 선언: 해가 없을 때의 최선, 최소제곱해 + - 왜 해가 없는가: 데이터 문제는 보통 방정식이 미지수보다 많다 ($m > n$, 과잉결정). $n$ 개의 열이 만드는 열공간은 $\mathbb{R}^m$ 안의 얇은 부분공간이라, 잡음 섞인 측정값 $b$ 는 거의 확실히 그 밖에 떨어진다. + - **정의**: 오차 $e = b - Ax$ 를 0으로 만들 수 없을 때, $\|b - A\hat{x}\|^2$ 을 최솟값으로 만드는 $\hat{x}$ 이 **최소제곱해**(least squares solution)다. + - 📌 원문 (p.234): ((6a7dcf45-30e9-47fc-bc0f-3243c1c73a00)) + - 도구는 새로 배울 것이 없다: 4.2의 정규방정식 그대로다. + - 📌 원문 (p.234): ((6a7dcf4f-ec05-4a72-afd6-26fe3bde7f0b)) / ((6a7dcf53-01d5-412b-9d65-325536a9a5d7)) + - $$A^{\mathrm{T}}A\hat{x} = A^{\mathrm{T}}b$$ + - 💡 4.2와 4.3의 관계: **같은 방정식, 다른 주인공**. 4.2는 도착지(사영 $p$)를 강조했고, 4.3은 계수($\hat{x}$)를 강조한다. 둘은 $p = A\hat{x}$ 으로 연결된다. 지난번 질문으로 미리 확인했던 것: 정규방정식은 어떤 $A, b$ 에서도 항상 해가 있다. + - #### [2단계] 숫자로 체험: 세 점 $(0,6), (1,0), (2,0)$ 과 가장 가까운 직선 (EX1) + - 직선 $b = C + Dt$ 가 세 점을 전부 지나려면 (대수: 방정식 3개): + - $t = 0$: $C + D \cdot 0 = 6$ → $C = 6$ + - $t = 1$: $C + D \cdot 1 = 0$ → $D = -6$ + - $t = 2$: $C + D \cdot 2 = 0$ → 검산 $6 - 12 = -6 \neq 0$ ✗. 모순, 이 직선은 존재하지 않는다. + - 행렬로 번역 (선형대수): 미지수 $x = (C, D)$ 둘, 방정식 셋. + - $$A = \begin{bmatrix} 1&0 \\ 1&1 \\ 1&2 \end{bmatrix}, \quad b = \begin{bmatrix} 6 \\ 0 \\ 0 \end{bmatrix}$$ + - $b$ 가 열공간($\mathbb{R}^3$ 안의 평면) 밖에 있다는 뜻이다. + - 낯익은 행렬이다! 4.2 EX3에서 이미 정규방정식을 풀어 $\hat{x} = (5, -3)$ 을 얻었다. 그 답이 바로 최적의 $C, D$: **최적 직선은** $b = 5 - 3t$. + - [그림 4.6] 같은 문제의 두 그림: + - ![그림 4.6 최적의 직선과 사영 (p.237)](../assets/4장_p237_그림4.6_직선과_사영.png) + - (p.237, 그림 4.6) + - (a) 데이터 평면: 직선이 세 점을 못 지나고, 각 점까지의 **수직 거리**가 오차 $e_1, e_2, e_3 = 1, -2, 1$. + - (b) $bpe$-공간($\mathbb{R}^3$): $b = (6,0,0)$ 이 열공간 평면 밖에 떠 있고, 수선의 발이 $p = (5, 2, -1)$, 수선이 $e = (1, -2, 1)$. + - 💡 이 왕복이 4.3의 핵심 감각이다: (a)는 통계학자의 그림 (점과 직선), (b)는 선형대수학자의 그림 (벡터와 사영). **같은 문제다.** 데이터 $m$ 개 = $\mathbb{R}^m$ 의 벡터 하나. + - #### [3단계] 오차 최소화: 같은 답을 주는 세 관점 + - 목표: $E = \|Ax - b\|^2$ (수직 오차들의 제곱합)을 가장 작게 만드는 $x$ 찾기. + - 📌 원문 (p.236): ((6a7dd17a-8e52-4cec-b72c-eab898415e99)) + - **관점 ① 기하 (사영)**: 열공간 안에서 $b$ 와 가장 가까운 점은 수선의 발 $p$ 다. 최적은 $A\hat{x} = p$, 오차 $e = b - p$ 는 열공간과 직교. 4.2에서 끝낸 이야기. + - **관점 ② 대수 (피타고라스 분해)**: 임의의 $x$ 에 대한 오차를 두 조각으로 쪼갠다. + - 📌 원문 식 (2) (p.236): ((6a7dd176-75b8-4e9f-bbf4-25909045ec4e)) + - $$\|Ax - b\|^2 = \|Ax - p\|^2 + \|e\|^2$$ + - 왜 쪼개지나: $Ax - b = (Ax - p) + (p - b)$, 즉 두 벡터의 합이다. $Ax - p$ 는 열공간 안 벡터끼리의 차라 **열공간 안**에 있고, $p - b = -e$ 는 **좌영공간**에 있다. 직교하는 두 조각의 합 → 피타고라스. + - 세 변이 각각 무엇인지 그림으로 (열공간을 직선으로 그린 2차원 버전): + - ![식 (2)의 직각삼각형: Ax−b, Ax−p, e의 정체](../assets/4장_4.3_식2_직각삼각형.png) + - 꼭짓점 3개: 직선 위의 **후보** $Ax$, 직선 위의 **수선의 발** $p$, 직선 밖의 **목표** $b$. 직각은 $p$ 에서 (오차 $e$ 가 열공간과 수직이니까). + - 빗변이 $Ax - b$ (후보에서 목표까지), 밑변이 $Ax - p$ (직선 위 이동), 높이가 $e = b - p$. + - $x$ 를 바꾸면 $Ax$ 가 직선 위를 미끄러진다: 변하는 것은 밑변 $\|Ax - p\|$ 뿐이고, 높이 $\|e\|$ 는 그대로다. + - 첫 항은 $x = \hat{x}$ 으로 고르면 ($Ax$ 가 $p$ 에 포개져서) 정확히 0이 된다. 둘째 항 $\|e\|^2$ 은 어떤 $x$ 로도 **못 줄인다**. 그래서 최솟값이 $E_{\min} = \|e\|^2$ 이고, 그걸 달성하는 것이 $\hat{x}$. + - **관점 ③ 미분적분학 (편도함수)**: 최소점에서는 모든 방향의 도함수가 0이다. + - 📌 원문 (p.237): ((6a7f09e3-c19c-4ff6-b00d-d73ac7b9cc59)) + - EX1의 $E$ 를 미지수 $C, D$ 로 풀어 쓰면 (식 (3)): + - 📌 원문 식 (3) (p.237): [🔗 PDF 위치](((6a7f0a74-30ff-4ec4-ba78-52d533dd1f8d))) + - ![식 (3): 오차 제곱합 E (p.237)](../assets/4장_p237_식3_오차제곱합.png) + - 미지수가 2개니 도함수도 2개: $\frac{\partial E}{\partial C} = 0$ 과 $\frac{\partial E}{\partial D} = 0$ 을 **둘 다** 요구한다 (한 방향만 최저면 안 되고, $C$ 방향·$D$ 방향 모두 바닥이어야 진짜 최소). + - 전개해 정리하면 (식 (4)): + - 📌 원문 식 (4) (p.238): [🔗 PDF 위치](((6a7f0a6c-2e57-4d5b-beef-04a0a0062d19))) + - ![식 (4): 편도함수에서 정규방정식으로 (p.238)](../assets/4장_p238_식4_정규방정식_박스.png) + - $3C + 3D = 6$, $3C + 5D = 0$. 계수행렬 $\begin{bmatrix} 3&3 \\ 3&5 \end{bmatrix}$ 이 정확히 $A^{\mathrm{T}}A$ 다! + - 📌 원문 (p.238): ((6a7f0a47-3114-4b81-af6e-2818eeafc72a)) / 박스 ((6a7f0a0d-c7d0-4ebe-b4a7-c2d23caaf25b)) + - 우연이 아니다: 연쇄법칙이 $\frac{\partial E}{\partial D}$ 에 붙이는 추가 인수 $0, 1, 2$ 가 바로 $A$ 의 2열이다. **미분이 자동으로** $A^{\mathrm{T}}$ **를 만들어낸다.** 도함수 = 0 조건을 행렬로 묶으면 $A^{\mathrm{T}}(b - A\hat{x}) = 0$. + - 💡 세 관점 모두 같은 정규방정식에 도달한다. 이게 가능한 이유는 "**제곱합의 도함수는 선형**"이기 때문 (p.241). 제곱을 미분하면 1차식이 나와서, 최소화 문제가 연립 1차방정식으로 떨어진다. 최소제곱법이 세상을 지배하는 이유다. + - #### [4단계] 최소제곱의 큰 그림: $b = p + e$ (그림 4.7) + - 3장~4.1의 큰 그림([그림 4.1])과 정반대 상황이라는 것이 포인트다. + - 📌 원문 (p.238): ((6a7f0aac-af80-47bc-9b60-cd999da58ec2)) + - 그림 4.1: $Ax = b$ 의 해가 **많았다** → 입력 쪽을 $x = x_r + x_n$ 으로 분할했다. + - 그림 4.7: $Ax = b$ 의 해가 **없다** → 이번엔 출력 쪽을 $b = p + e$ 로 분할한다. + - ![그림 4.7 최소제곱의 큰 그림 (p.239)](../assets/4장_p239_그림4.7_최소제곱_큰그림.png) + - (p.239, 그림 4.7) + - 그림 4.7 꼼꼼히 읽기 (요소별로): + - 왼쪽 다이아몬드 = $\mathbb{R}^n$ (입력 세계). 열이 독립이라 $r = n$, 그래서 **행공간이** $\mathbb{R}^n$ **전체**를 차지하고 영공간은 바닥의 점 $0$ 하나로 수축해 있다 (4.1 문제 2에서 그렸던 바로 그 상황). + - 오른쪽 = $\mathbb{R}^m$ (출력 세계). $m > n$ 이라 열공간($n$차원)은 $\mathbb{R}^m$ 을 다 못 채우고, 그 직교여공간인 좌영공간이 남는다. + - 화살표 둘: $Ax = b$ (점선)는 도착지 $b$ 가 열공간 밖이라 **불가능한 여행**. $A\hat{x} = p$ (실선)는 도착지를 수선의 발 $p$ 로 바꾼 **가능한 여행**. $b = p + e$ 직각 분해가 그 교체의 근거다. + - 📌 원문 (p.239): ((6a7f0ade-00e5-4727-942b-d85312b043db)) + - ⚠️ **"영공간이 점 하나" = 사영으로 풀어야 하는 조건이 아니다** (두 조건을 분리해서 볼 것): + - 조건 ① ($b$ 쪽, 출력 사정): $b$ 가 열공간 **밖**인가? → **사영이 필요한지**를 결정한다. 밖이면 해가 없어 $p$ 로 교체하고, 안이면 $e = 0$ 으로 최소제곱이 완전해로 퇴화한다 (연습문제 20이 그 경우). + - 조건 ② ($A$ 쪽, 입력 사정): 열이 **독립**인가? → $\hat{x}$ **이 유일한지**를 결정한다. 독립이면 $\mathbf{N}(A) = \{0\}$, $A^{\mathrm{T}}A$ 가역, $\hat{x}$ 딱 하나. 종속이면 사영 $p$ 는 여전히 유일하지만 $\hat{x}$ 이 무한히 많다 ([7단계]). + - 그러니까 "영공간이 항상 점 하나냐"는 질문의 답: 아니고, **그림 4.7이 열 독립이라는 표준 상황을 그려놓은 것**이다. 사영으로 풀어야 하는지(①)와는 별개의 조건이고, 둘이 동시에 성립하는 $r = n < m$ 케이스(3.5의 해 유형표에서 "0 또는 1개" 유형)가 최소제곱의 주 무대라서 함께 등장할 뿐이다. + - 열 독립 가정이 실제로 하는 일: $\mathbf{N}(A^{\mathrm{T}}A) = \mathbf{N}(A) = \{0\}$ → 정규방정식의 해가 유일. 오차는 $A^{\mathrm{T}}e = 0$ (좌영공간 소속). + - 💡 $\mathbf{N}(A^{\mathrm{T}}A) = \mathbf{N}(A)$ 의 세 번째 재등장이다 (4.1 문제 9 → 4.2 [6단계] → 여기). 이 한 줄이 최소제곱 전체를 떠받친다. + - #### [5단계] 직선 맞추기: $m$ 개의 점과 가장 가까운 직선 + - 문제를 한 문장으로: 시간 $t_1, \ldots, t_m$ 에서 잰 높이 $b_1, \ldots, b_m$, 이 $m$ 개의 점 $(t_i, b_i)$ 에 **가장 가까운 직선** $b = C + Dt$ 를 찾아라. (정확히 그 직관이 맞다: "모든 점과 가장 가까운 직선 찾기"가 이 소단원의 전부다.) + - 📌 원문 (p.239): ((6a7f0b52-edff-4a79-a474-8007acbfaf55)) + - **단계 A (대수 관점: 방정식 쌓기)**: 점 $(t_i, b_i)$ 가 직선 위에 있으려면 $C + Dt_i = b_i$. 점마다 방정식 하나씩, 총 $m$ 개. 그런데 미지수는 $C, D$ 둘뿐. + - $m > 2$ 면 거의 항상 모순이다. 점 3개만 돼도 (EX1처럼) 일직선이 아닌 이상 다 지날 수 없다. + - 행렬로 쌓으면 (식 (5)): + - $$A = \begin{bmatrix} 1 & t_1 \\ \vdots & \vdots \\ 1 & t_m \end{bmatrix}, \qquad Ax = \begin{bmatrix} C + Dt_1 \\ \vdots \\ C + Dt_m \end{bmatrix} = b\ (\text{목표})$$ + - 💡 $A$ 의 두 열 읽기: 1열(전부 1)은 "절편 $C$ 의 기여", 2열(시간들)은 "기울기 $D$ 의 기여". $Ax = C \cdot (\text{1열}) + D \cdot (\text{2열})$, 즉 "직선 후보"들이 만드는 공간이 열공간이다. + - **단계 B ("가장 가깝다"의 뜻 정하기)**: 각 점에서 직선까지의 **수직(세로) 오차**는 $e_i = b_i - C - Dt_i$. 이 오차들의 제곱합을 최소화하는 직선이 최소제곱선이다. + - $$E = e_1^2 + \cdots + e_m^2 = (C + Dt_1 - b_1)^2 + \cdots + (C + Dt_m - b_m)^2$$ + - **단계 C (선형대수 관점: 사영으로 번역)**: 위 그림을 통째로 $\mathbb{R}^m$ 으로 옮긴다. + - 점 $m$ 개의 높이들 = 벡터 $b \in \mathbb{R}^m$ 하나. 직선 후보들 = 2차원 열공간. "가장 가까운 직선" = $b$ **를 열공간에 사영**한 $p = A\hat{x}$. + - 그래서 풀 것은 딱 하나, 정규방정식 $A^{\mathrm{T}}A\hat{x} = A^{\mathrm{T}}b$ ($2 \times 2$ 연립). + - **단계 D (공식으로 정리, 식 (6)~(8))**: $A^{\mathrm{T}}A$ 와 $A^{\mathrm{T}}b$ 를 내적 표로 채우면 끝이다 (4.2 스스로 점검의 "내적 표 읽기" 그대로). + - 1열·1열 $= m$, 1열·2열 $= \sum t_i$, 2열·2열 $= \sum t_i^2$ / 1열·$b = \sum b_i$, 2열·$b = \sum t_i b_i$: + - $$\begin{bmatrix} m & \sum t_i \\ \sum t_i & \sum t_i^2 \end{bmatrix}\begin{bmatrix} C \\ D \end{bmatrix} = \begin{bmatrix} \sum b_i \\ \sum t_i b_i \end{bmatrix}$$ + - 📌 원문 식 (8) 박스 (p.240): [🔗 PDF 위치](((6a7f15c9-4514-48df-a2a8-86fc14eb92c4))) + - ![식 (8): 직선 맞추기 정규방정식 (p.240)](../assets/4장_p240_식8_정규방정식_최종.png) + - 이것이 서두 요약 5번의 그 공식이다. 외울 필요 없이 내적 표로 그 자리에서 만들면 된다. + - **단계 E (오차의 세 관점 대응, p.240)**: 잔차 $e = b - A\hat{x}$ 는 + - 📌 원문 (p.240): ((6a7f15b4-5473-4aab-a20c-7938633ae8f5)) + - 기하 관점: $A$ 의 열들과 직교하고, + - 선형대수 관점: $\mathbf{N}(A^{\mathrm{T}})$ (좌영공간) 안에 있으며, + - 미분적분 관점: $\frac{\partial E}{\partial C} = \frac{\partial E}{\partial D} = 0$ 이 되게 한다. 셋이 같은 말이다. + - 🔢 EX1로 공식 검증: $m = 3$, $\sum t = 3$, $\sum t^2 = 5$, $\sum b = 6$, $\sum tb = 0$. + - $$\begin{bmatrix} 3&3 \\ 3&5 \end{bmatrix}\begin{bmatrix} C \\ D \end{bmatrix} = \begin{bmatrix} 6 \\ 0 \end{bmatrix} \quad\Rightarrow\quad C = 5,\ D = -3\ ✓$$ + - [3단계] 식 (4)와 같은 방정식, 같은 답이다. + - 💡 요약 한 줄: **직선 맞추기 = 열 2개짜리 사영 문제.** 대수(점·방정식 그림)와 선형대수(벡터·사영 그림)는 같은 문제의 두 언어다. + - #### [6단계] 열이 직교하면 계산이 반값 (EX2) + - 측정 시간의 합이 0이면 ($t = -2, 0, 2$ 같은 대칭 시간) $A$ 의 두 열 $(1,1,1)$ 과 $(-2,0,2)$ 가 직교한다. + - $A^{\mathrm{T}}A$ (내적 표)의 비대각이 0: $A^{\mathrm{T}}A = \begin{bmatrix} 3&0 \\ 0&8 \end{bmatrix}$ → $C = \frac{7}{3}$ 과 $D = \frac{6}{8}$ 을 **따로따로** 나누기 한 번씩으로 얻는다. + - 시간 이동 트릭: 시간이 대칭이 아니어도, 평균 시간 $\hat{t} = \frac{t_1 + \cdots + t_m}{m}$ 을 빼서 $T_i = t_i - \hat{t}$ 로 바꾸면 $\sum T_i = 0$, 언제나 이 좋은 상황이 된다 (최적 직선은 $C + D(t - \hat{t})$ 로 표현만 바뀜). + - 일반 공식 (연습문제 30): $C = \frac{b_1 + \cdots + b_m}{m}$ (높이 평균), $D = \frac{\sum T_i b_i}{\sum T_i^2}$. + - 💡 수위 조절: "계산 전에 **미리 열들을 직교화**해두면 만사가 쉬워진다"는 이 아이디어가 다음 절 4.4 **그람-슈미트 과정**의 전부다. 지금은 이 맛보기면 충분하다. + - #### [7단계] $A$ 의 열이 선형종속이면 $\hat{x}$ 은 무엇인가 + - 지금까지의 숨은 가정: 열이 독립 → $A^{\mathrm{T}}A$ 가역 → $\hat{x}$ 유일. 이 가정이 깨지는 예 (p.242): + - 📌 원문 종속 열 예제 (p.242): [🔗 PDF 위치](((6a7f15e6-50ab-4391-aeda-acda5434850c))) + - ![열이 종속인 예: 같은 시각의 두 측정 (p.242)](../assets/4장_p242_종속열_예제.png) + - (p.242) + - ⚠️ **그래프 읽는 법** (헷갈리기 쉬운 지점을 정리): 그래프의 가로축은 시간 $t$, 세로축은 측정값이다. + - $b = (3, 1)$ 은 "측정값 **벡터**"다: 1번째 측정값 $b_1 = 3$, 2번째 측정값 $b_2 = 1$. + - 그런데 두 측정이 **모두 같은 시각** $T = 1$ 에 이루어졌다. 그래서 데이터 평면 위의 점으로 찍으면 $(1, 3)$ 과 $(1, 1)$, 세로로 나란한 두 점이 된다. + - 즉 벡터 $b$ 의 성분 나열 $(3, 1)$ 과 그래프 위 점의 좌표 $(t, b)$ 는 **서로 다른 것**이다. 같은 시각에 잰 값이 3과 1로 달랐다는 것뿐, 측정값끼리 종속인 게 아니다. + - 왜 "열"이 종속이 되나: 직선 모형에서 각 측정의 행은 $[1, t_i]$ 다. 두 측정의 시각이 똑같이 1이라 두 행이 똑같이 $[1, 1]$ → 행렬 $A = \begin{bmatrix} 1&1 \\ 1&1 \end{bmatrix}$ 의 두 열도 같아진다. **종속의 범인은 측정값이 아니라 겹친 측정 시각**이다. + - 무슨 일이 벌어지나: + - 사영은 문제없다: $b = (3,1)$ 을 열공간(직선)에 사영하면 $p = (2, 2)$. 같은 시각의 두 값 3, 1의 **평균 2**가 나온다 (자연스럽다!). + - 문제는 계수다: $A\hat{x} = p$ 의 해가 무한히 많다. $T = 1$ 에서 높이 2를 지나기만 하면 어떤 기울기의 직선이든 되기 때문 (그림의 점선 다발). $\hat{x} = (2, 0)$ (수평선)도, $(0, 2)$ 도 답이고, 어느 것도 특별할 이유가 없다. + - 💡 수위 조절: 이 "고르기 문제"의 답이 4.5절 **유사역행렬** $A^{+}$ 다. 무한한 해 중 **가장 짧은 해** $x^{+} = (1, 1)$ (행공간 소속, 영공간 성분 0)을 고르는 규칙이 생긴다. 지금은 "열이 종속이면 $\hat{x}$ 이 유일하지 않고, 최단 해를 고르는 도구가 4.5에 온다"까지만 알면 충분하다. 일단 넘어가도 되는 게 맞다! 이 소단원의 진짜 역할은 "열 독립 가정이 왜 필요했는지" 보여주는 것. + - #### [8단계] 포물선 맞추기: 미지수가 3개로 늘어날 뿐 + - 왜 포물선인가: 갈릴레오의 낙하 실험처럼 세상엔 $t^2$ 항이 필요한 데이터가 많다 (이동거리 $\frac{1}{2}gt^2$). + - ⚠️ 흔한 오해 교정: "$t^2$ 이 있으면 비선형 문제 아닌가?" 아니다. 곡선은 $t$ 에 대해 비선형이지만, **미지수** $C, D, E$ **는 여전히 선형**으로 등장한다. 그래서 그대로 선형대수 문제다. + - $$C + Dt_i + Et_i^2 = b_i \quad\Longleftrightarrow\quad A = \begin{bmatrix} 1 & t_1 & t_1^2 \\ \vdots & \vdots & \vdots \\ 1 & t_m & t_m^2 \end{bmatrix}\ (m \times 3,\ \text{식 (10)})$$ + - 달라진 것: 열 하나($t_i^2$ 열) 추가, 정규방정식이 $3 \times 3$ 이 된 것뿐. 절차는 동일. + - ✅ **p.243 빈칸 채우기 검증** (굿노트 필기 채점): + - 빈칸 ① "행렬 $A$ 의 열공간의 차원은 ___": 굿노트에 적은 $m$ 은 **오답**이다. 정답은 **3**. + - 열공간은 $\mathbb{R}^m$ **안에** 산다 (성분이 $m$ 개인 벡터들). 하지만 그 안에서 열 3개(시간이 3개 이상 다르면 독립)가 펼치는 **3차원** 부분공간이다. + - "사는 곳의 차원($m$)"과 "부분공간 자신의 차원(3)"의 구분, 4.1 [2단계] 벽·바닥에서 했던 바로 그 구분이다. 사영 문제로 읽으면: $b \in \mathbb{R}^m$ 을 3차원 부분공간에 사영하는 것. + - 빈칸 ②③④ "$e_1^2 + \cdots + e_m^2$ 의 ___, ___, ___ 에 대한 편도함수": 굿노트의 $C, D, E$ **정답** ✓. 미지수가 3개니 도함수도 3개, [3단계]의 확장이다. + - 🔢 EX3, 특수한 경우: 세 점 $(0,6), (1,0), (2,0)$ 에 포물선을 맞추면? + - 미지수 3개 = 점 3개 → $A$ 가 $3 \times 3$ 정사각 (방데르몽드). 가역이라 **정확히 통과**한다: $x = (C, D, E) = (6, -9, 3)$, 즉 $b = 6 - 9t + 3t^2$. 오차 0. + - 💡 $n$ 이 $m$ 에 도달하면 "근사"가 "보간"으로 퇴화한다. 최소제곱이 특별히 필요한 것은 $m > n$ 일 때다. + - 푸리에 급수 (읽을거리): 벡터 대신 **함수**를 근사하면 무한 차원 최소제곱이 된다 (제곱합 → 제곱적분). + - 📌 원문 (p.244): ((6a7f0d62-7ece-49bd-8feb-0343d9b2524c)) +- ### 📖 확인문제 풀이 (4.3A·4.3B) + - **확인문제 4.3A**: $t = 1, \ldots, 10$ 에서 측정값이 $0, 0, \ldots, 0, 40$ (마지막 하나만 이상값). 최적의 **수평선** $y = C$ 를 세 가지 오차 기준으로 구하라. + - (a) 제곱합 $E_2 = e_1^2 + \cdots + e_{10}^2$ 최소화: $A$ = (1로만 된 열), $A^{\mathrm{T}}A = 10$, $A^{\mathrm{T}}b = 40$ → $10C = 40$, $C = 4$. **평균**이 답. + - (b) 최대오차 $E_\infty = |e_{\max}|$ 최소화: 0과 40의 **중점** $C = 20$. + - (c) 절댓값 합 $E_1 = |e_1| + \cdots + |e_{10}|$ 최소화: **중앙값** $C = 0$ (0이 9개, 40이 1개면 중앙값은 0. $C$ 를 0에서 올리면 $9|C|$ 가 $|40 - C|$ 감소보다 빨리 커진다). + - 💡 이 문제의 교훈: **최소제곱(평균)은 이상값에 민감하다**. 40 하나가 답을 0에서 4로 끌어올렸다. 통계학자들이 종종 절댓값 합(중앙값)을 선호하는 이유. 다만 절댓값 합의 방정식은 비선형이라 계산이 어렵고, 제곱합은 선형이라 쉽다 (그래서 최소제곱이 기본기가 된 것). + - 후반부 (10개 점에 직선 맞추기): $A^{\mathrm{T}}A = \begin{bmatrix} 10&55 \\ 55&385 \end{bmatrix}$, $A^{\mathrm{T}}b = (40, 400)$ → $C = -8$, $D = \frac{24}{11}$. 식 (8)에 숫자만 넣은 것. + - **확인문제 4.3B**: $t = -2, -1, 0, 1, 2$ 에서 $b = (0, 0, 1, 0, 0)$ 에 가장 가까운 포물선 $C + Dt + Et^2$. + - 시간이 대칭이라 $A$ 의 2열($t$)이 1열·3열과 직교 → $A^{\mathrm{T}}A = \begin{bmatrix} 5&0&10 \\ 0&10&0 \\ 10&0&34 \end{bmatrix}$ 에 0이 생기고, $D$ 방정식이 분리된다. + - $10D = 0$ → $D = 0$ (예상대로: 데이터가 $t = 0$ 중심 대칭이면 최적 포물선도 대칭, 기울기 항 불필요). + - 나머지 $2 \times 2$: $5C + 10E = 1$, $10C + 34E = 0$ → $C = \frac{34}{70}$, $E = -\frac{10}{70}$. + - 💡 [6단계] 직교 열의 위력 재확인: 직교가 "분리"를 만든다. $D$ 는 $C, E$ 와 완전히 무관하게 결정됐다. +- ### ❓ 스스로 점검 + - 최소제곱해 $\hat{x}$ 의 정의는? 무엇을 풀어서 구하는가? + - $E = \|Ax - b\|^2$ (오차 제곱합)을 최소로 만드는 $x$. + - 정규방정식 $A^{\mathrm{T}}A\hat{x} = A^{\mathrm{T}}b$ 를 풀어 구한다. + - 사영과의 관계: $A\hat{x} = p$ ($b$ 의 열공간 사영). 4.2와 같은 방정식, 주인공만 $p$ 에서 $\hat{x}$ 으로. + - 정규방정식에 도달하는 세 가지 관점을 말하라. + - 기하: 오차 $e = b - A\hat{x}$ 이 열공간과 직교해야 한다. + - 대수: $\|Ax-b\|^2 = \|Ax-p\|^2 + \|e\|^2$ (피타고라스), 첫 항을 0으로 만드는 것이 $\hat{x}$. + - 미분적분: 편도함수 $\frac{\partial E}{\partial x_i} = 0$. 제곱합의 도함수는 선형이라 연립 1차방정식이 나온다. + - 직선 맞추기에서 $A$, $A^{\mathrm{T}}A$, $A^{\mathrm{T}}b$ 는 어떤 모양인가? + - $A$: 1열은 전부 1 (절편), 2열은 시간들 $t_i$ (기울기). $m \times 2$. + - $A^{\mathrm{T}}A = \begin{bmatrix} m & \sum t_i \\ \sum t_i & \sum t_i^2 \end{bmatrix}$, $A^{\mathrm{T}}b = \begin{bmatrix} \sum b_i \\ \sum t_i b_i \end{bmatrix}$ (내적 표로 채우기). + - [그림 4.1]과 [그림 4.7]의 차이를 분할의 언어로 말하라. + - 그림 4.1 (3장~4.1): 해가 많다 → **입력** $x = x_r + x_n$ 분할. + - 그림 4.7 (4.3): 해가 없다 → **출력** $b = p + e$ 분할. $Ax = b$ 대신 $A\hat{x} = p$ 를 푼다. + - 최적 직선이 항상 지나는 점은? 그 이유는? + - 평균점 $(\hat{t}, \hat{b})$ (시간 평균, 높이 평균). + - 정규방정식의 1행 $Cm + D\sum t_i = \sum b_i$ 를 $m$ 으로 나누면 $C + D\hat{t} = \hat{b}$ (연습문제 11). + - $A$ 의 열이 종속이면 최소제곱에서 무엇이 깨지고 무엇이 살아남는가? + - 깨지는 것: $A^{\mathrm{T}}A$ 의 가역성 → $\hat{x}$ 이 유일하지 않다 (무한히 많다). + - 살아남는 것: 사영 $p$ 는 여전히 유일하다. + - 최단 $\hat{x}$ 을 고르는 도구가 4.5의 유사역행렬 $A^{+}$ (수위 조절: 이름만). +- ### ✏️ 연습문제 풀이 (솔루션 참고) + - **문제 1** (+ 문제 2·3 연계): 시간 $t = 0, 1, 3, 4$ 에서 $b = (0, 8, 8, 20)$. 정규방정식을 만들고 풀어 최적 직선과 $p$, $e$, $E$ 의 최솟값을 구하라. + - 📌 참고 그림 (p.246): + - ![그림 4.8: 문제 1~11의 데이터와 두 그림 (p.246)](../assets/4장_p246_그림4.8_문제1-11.png) + - 🔁 개념 상기: [5단계] 공식 그대로. $A^{\mathrm{T}}A$ 와 $A^{\mathrm{T}}b$ 를 내적 표로 채우고 $2 \times 2$ 를 푼다. 끝나면 $p = A\hat{x}$, $e = b - p$, $E_{\min} = \|e\|^2$. + - 1단계, 재료 준비 (내적 표): + - $m = 4$, $\sum t = 0+1+3+4 = 8$, $\sum t^2 = 0+1+9+16 = 26$ + - $\sum b = 36$, $\sum tb = 0 + 8 + 24 + 80 = 112$ + - $$\begin{bmatrix} 4&8 \\ 8&26 \end{bmatrix}\begin{bmatrix} C \\ D \end{bmatrix} = \begin{bmatrix} 36 \\ 112 \end{bmatrix}$$ + - 2단계, 풀기: 1행÷4 → $C + 2D = 9$. 2행÷2 → $4C + 13D = 56$. 대입: $4(9 - 2D) + 13D = 56$ → $5D = 20$ → $D = 4$, $C = 1$. + - 최적 직선: $b = 1 + 4t$. + - 3단계, $p$ 와 $e$: $t = 0, 1, 3, 4$ 에서 직선의 높이 $p = (1, 5, 13, 17)$. 오차 $e = b - p = (-1, 3, -5, 3)$. + - $E_{\min} = \|e\|^2 = 1 + 9 + 25 + 9 = 44$. + - 4단계, 검산 두 겹: $\sum e_i = -1+3-5+3 = 0$ ✓ ($e$ ⊥ 1열), $\sum t_i e_i = 0 + 3 - 15 + 12 = 0$ ✓ ($e$ ⊥ 2열). 오차가 두 열 모두와 직교한다. + - 문제 2의 메시지: 측정값을 $p = (1, 5, 13, 17)$ 로 바꾸면 $A\hat{x} = p$ 가 **정확히** 풀리고 해는 같은 $(1, 4)$. "풀 수 없는 $b$ 를 풀 수 있는 $p$ 로 교체"가 최소제곱의 정체다. + - 문제 3의 메시지: 이 $e$ 가 바로 $b$ 에서 열공간까지의 최단거리, $\|e\| = \sqrt{44}$. + - 핵심 문장: 직선 맞추기 4종 세트는 "내적 표 → $2 \times 2$ 풀기 → $p = A\hat{x}$ → $e$ ⊥ 두 열 검산" 순서다. + - **문제 9·10**: 같은 데이터에 포물선(미지수 3개), 3차 곡선(미지수 4개)을 맞추면? + - 🔁 개념 상기: [8단계]. 열 하나 추가 = 정규방정식 한 차원 증가. 그리고 $n = m$ 이 되는 순간 근사가 보간으로 퇴화한다. + - 문제 9 (포물선): $A$ 에 3열 $(t_i^2) = (0, 1, 9, 16)$ 추가 → $A^{\mathrm{T}}A\hat{x} = A^{\mathrm{T}}b$ 는 + - $$\begin{bmatrix} 4&8&26 \\ 8&26&92 \\ 26&92&338 \end{bmatrix}\begin{bmatrix} C \\ D \\ E \end{bmatrix} = \begin{bmatrix} 36 \\ 112 \\ 400 \end{bmatrix}$$ + - (세우는 것까지가 문제. 내적 표 연습: 2열·3열 $= \sum t^3 = 0+1+27+64 = 92$ 등.) + - [그림 4.8(b)]는 어떻게 되나: $\mathbb{R}^4$ 사영 그림에 세 번째 화살표 $a_3 = (0, 1, 9, 16)$ 이 추가되고, $b$ 를 2차원 평면이 아니라 **3차원 부분공간**에 사영하게 된다. + - 문제 10 (3차 곡선): 4열 $(t_i^3) = (0, 1, 27, 64)$ 까지 추가하면 $A$ 는 $4 \times 4$ 방데르몽드 정사각. 시간 4개가 서로 다르니 가역. + - 소거로 풀면 $x = (C, D, E, F) = \frac{1}{3}(0, 47, -28, 5)$. **4개의 점을 정확히 통과** → $p = b$, $e = 0$. + - 핵심 문장: 미지수 개수 $n$ 이 데이터 개수 $m$ 에 도달하면 오차가 0이 된다 (보간). 최소제곱은 $m > n$ 의 도구다. + - **문제 11**: 최적 직선이 평균점 $(\hat{t}, \hat{b})$ 을 지남을 확인하고 이유를 설명하라. + - 🔁 개념 상기: 정규방정식 1행의 "의미 읽기" 문제다. + - (a) 확인: $\hat{t} = \frac{0+1+3+4}{4} = 2$, $\hat{b} = \frac{0+8+8+20}{4} = 9$. 최적 직선 $b = 1 + 4t$ 에 $t = 2$ 대입: $1 + 8 = 9 = \hat{b}$ ✓. + - (b) 이유: 정규방정식 1행은 $Cm + D\sum t_i = \sum b_i$. 양변을 $m$ 으로 나누면: + - $$C + D\hat{t} = \hat{b}$$ + - 즉 "1행 = 최적 직선이 평균점을 지난다는 조건". (1행은 $e$ ⊥ (1,…,1), 즉 $\sum e_i = 0$ 이기도 하다. 오차 총합 0 ⟺ 평균점 통과.) + - 핵심 문장: 통계에서 "회귀직선은 $(\bar{t}, \bar{b})$ 를 지난다"는 사실의 정체가 정규방정식 1행이다. + - **문제 12** (꼭 풀어볼 만한 문제): $b = (b_1, \ldots, b_m)$ 을 $a = (1, \ldots, 1)$ 방향 직선 위로 사영하라 (미지수 1개짜리 최소제곱). + - 🔁 개념 상기: 4.2 직선 사영 공식 $\hat{x} = \frac{a^{\mathrm{T}}b}{a^{\mathrm{T}}a}$ 의 통계 버전. 이 문제 하나로 평균·분산·표준편차가 전부 선형대수 언어로 번역된다. + - (a) $a^{\mathrm{T}}a = m$, $a^{\mathrm{T}}b = b_1 + \cdots + b_m$ → $\hat{x} = \frac{b_1 + \cdots + b_m}{m}$ = $b$ 들의 **평균**(mean). + - (b) 오차 $e = b - \hat{x}a$ 의 성분은 $b_i - (\text{평균})$. 따라서 + - $$\|e\|^2 = (b_1 - \text{평균})^2 + \cdots + (b_m - \text{평균})^2 = \text{분산}(variance)\ \sigma^2$$ + - $\|e\|$ 는 **표준편차**(에 해당하는 크기). + - (c) 🔢 $b = (1, 2, 6)$: 평균 3 → $p = (3, 3, 3)$, $e = (-2, -1, 3)$. + - 검산: $p^{\mathrm{T}}e = -6 - 3 + 9 = 0$ ✓. + - 사영행렬: $P = \frac{aa^{\mathrm{T}}}{a^{\mathrm{T}}a} = \frac{1}{3}\begin{bmatrix} 1&1&1 \\ 1&1&1 \\ 1&1&1 \end{bmatrix}$ ($Pb$ = 모든 성분을 평균으로 바꾸는 행렬!). + - 핵심 문장: **평균 = 상수 벡터** $(1,\ldots,1)$ **위로의 사영, 분산 = 그 오차의 크기 제곱.** 통계학의 기초가 사영 공식 한 줄이다. + - **문제 20**: $t = -1, 1, 2$ 에서 $b = (5, 13, 17)$. $\hat{x}$ 을 구하면 $e = 0$ 인 이유는? + - 🔁 개념 상기: 사영 문제는 "안인가 밖인가" 확인부터 (4.2 문제 17의 데이터 버전). + - 세 점 $(-1, 5), (1, 13), (2, 17)$ 을 보면: 기울기 $\frac{13-5}{1-(-1)} = 4 = \frac{17-13}{2-1}$. **세 점이 정확히 한 직선 위**에 있다! + - 직선은 $b = 9 + 4t$, 즉 $\hat{x} = (9, 4)$ 이고 $b = 9 \cdot (\text{1열}) + 4 \cdot (\text{2열})$. + - 빈칸 답: $e = 0$ 인 이유는 $b$ 가 $A$ **의 열공간 안**에 있기 때문. 최소제곱이 완전해로 퇴화하는 경우다. + - 핵심 문장: 데이터가 이미 직선 위면 $b \in \mathbf{C}(A)$, 오차 0. 최소제곱은 "해가 있으면 그 해"를 그대로 돌려준다. + - **문제 22**: $t = -2, -1, 0, 1, 2$, $b = (4, 2, -1, 0, 0)$ 과 가장 가까운 직선. + - 🔁 개념 상기: 시간이 대칭이다! [6단계] EX2의 지름길 (직교 열 → 대각 $A^{\mathrm{T}}A$ → 따로따로 나누기). + - $\sum t = 0$ 이므로 $A^{\mathrm{T}}A = \begin{bmatrix} 5&0 \\ 0&10 \end{bmatrix}$ ($m = 5$, $\sum t^2 = 4+1+0+1+4 = 10$). + - $A^{\mathrm{T}}b = (\sum b,\ \sum tb) = (5,\ -8-2+0+0+0) = (5, -10)$. + - 따로 풀기: $C = \frac{5}{5} = 1$, $D = \frac{-10}{10} = -1$. 최적 직선: $b = 1 - t$. + - 핵심 문장: 시간 합이 0이면 정규방정식이 대각이 되어 $C$ = 높이 평균, $D = \frac{\sum tb}{\sum t^2}$ 로 즉시 끝난다. diff --git a/Major Study/pages/4장 직교성.md b/Major Study/pages/4장 직교성.md index e8c5767..f82aa58 100755 --- a/Major Study/pages/4장 직교성.md +++ b/Major Study/pages/4장 직교성.md @@ -15,4 +15,5 @@ deck:: Logseq/전공공부/선형대수학 - 💡 수위 조절: 서론(p.208~209)은 사영·최소제곱·$QR$ 을 예고편처럼 쏟아붓는다. 여기서 다 이해될 필요가 전혀 없다. 각 절에서 제대로 배우니, 지금은 "직교가 이 모든 것의 공통 무기"라는 감만 잡으면 충분하다. - ## 소단원 - [[4.1 벡터와 부분공간의 직교성]] - - [[4.2 직선과 부분공간 위로의 사영]] \ No newline at end of file + - [[4.2 직선과 부분공간 위로의 사영]] + - [[4.3 최소제곱근사]] \ No newline at end of file diff --git a/Major Study/pages/hls__4장_직교성_1786280501491_0.md b/Major Study/pages/hls__4장_직교성_1786280501491_0.md index 79e58e5..7f2909e 100755 --- a/Major Study/pages/hls__4장_직교성_1786280501491_0.md +++ b/Major Study/pages/hls__4장_직교성_1786280501491_0.md @@ -267,4 +267,97 @@ file-path:: ../assets/4장_직교성_1786280501491_0.pdf hl-color:: yellow id:: 6a7b0d35-505d-4e2b-89fb-270f4e5f86de hl-type:: area - hl-stamp:: 1786449205469 \ No newline at end of file + hl-stamp:: 1786449205469 +- 오차벡터 e = b - Ax를 항상 0으로 줄일 수는 없다. e가 0일 때 x는 Ax = b의 정확한 해이다. e의 크기가 가능한 한 작아서 ‖b - Ax̂‖²이 최솟값에 도달하면, x̂은 최소제곱해가 된다 + ls-type:: annotation + hl-page:: 28 + hl-color:: yellow + id:: 6a7dcf45-30e9-47fc-bc0f-3243c1c73a00 +- 기본 방정식은 여전히 정규방정식 AᵀAx̂ = Aᵀb이다 + ls-type:: annotation + hl-page:: 28 + hl-color:: yellow + id:: 6a7dcf4f-ec05-4a72-afd6-26fe3bde7f0b +- Ax = b의 해가 존재하지 않으면, 이 식의 양변에 Aᵀ를 곱하고 AᵀAx̂ = Aᵀb를 푼다. + ls-type:: annotation + hl-page:: 28 + hl-color:: yellow + id:: 6a7dcf53-01d5-412b-9d65-325536a9a5d7 +- 임의의 x에 대한 제곱오차 ‖Ax - b‖² = ‖Ax - p‖² + ‖e‖² + ls-type:: annotation + hl-page:: 30 + hl-color:: yellow + id:: 6a7dd176-75b8-4e9f-bbf4-25909045ec4e +- 최소제곱해 x̂은 E = ‖Ax - b‖²을 가능한 한 작게 만든다 + ls-type:: annotation + hl-page:: 30 + hl-color:: yellow + id:: 6a7dd17a-8e52-4cec-b72c-eab898415e99 +- 미분적분학의 관점에서 생각해보자 + ls-type:: annotation + hl-page:: 31 + hl-color:: yellow + id:: 6a7f09e3-c19c-4ff6-b00d-d73ac7b9cc59 +- AᵀAx̂ = Aᵀb일 때, ‖Ax - b‖²의 편도함수는 0이다 + ls-type:: annotation + hl-page:: 32 + hl-color:: yellow + id:: 6a7f0a0d-c7d0-4ebe-b4a7-c2d23caaf25b +- 식 (4)의 두 방정식은 AᵀAx̂ = Aᵀb이다. + ls-type:: annotation + hl-page:: 32 + hl-color:: yellow + id:: 6a7f0a47-3114-4b81-af6e-2818eeafc72a +- [:span] + ls-type:: annotation + hl-page:: 32 + hl-color:: yellow + id:: 6a7f0a6c-2e57-4d5b-beef-04a0a0062d19 + hl-type:: area + hl-stamp:: 1786710636598 +- [:span] + ls-type:: annotation + hl-page:: 31 + hl-color:: yellow + id:: 6a7f0a74-30ff-4ec4-ba78-52d533dd1f8d + hl-type:: area + hl-stamp:: 1786710644409 +- Ax = b 대신에 Ax̂ = p를 푼다. 오차 e = b - p는 피할 수 없다. + ls-type:: annotation + hl-page:: 32 + hl-color:: yellow + id:: 6a7f0aac-af80-47bc-9b60-cd999da58ec2 +- 영공간 N(A)가 얼마나 작은지에 주목하라. N(A)는 단 하나의 점만 포함한다. 선형독립인 열을 이용하면 Ax = 0의 유일한 해는 x = 0임을 알 수 있다. 그러면 AᵀA는 가역행렬이다. 방정식 AᵀAx̂ = Aᵀb는 최적의 벡터 x̂을 완전히 결정한다. 오차 e = b - p는 Aᵀe = 0을 만족한다 + ls-type:: annotation + hl-page:: 33 + hl-color:: yellow + id:: 6a7f0ade-00e5-4727-942b-d85312b043db +- 직선 맞추기(fitting a line)는 최소제곱법에 대한 가장 명확한 응용이다 + ls-type:: annotation + hl-page:: 33 + hl-color:: yellow + id:: 6a7f0b52-edff-4a79-a474-8007acbfaf55 +- 푸리에 급수(Fourier series)는 무한 차원에서의 최소제곱 문제이다 + ls-type:: annotation + hl-page:: 38 + hl-color:: yellow + id:: 6a7f0d62-7ece-49bd-8feb-0343d9b2524c +- 오차벡터 e(즉 잔차(residual) b - Ax̂)는 행렬 A의 열과 직교한다(기하학 관점) + ls-type:: annotation + hl-page:: 34 + hl-color:: yellow + id:: 6a7f15b4-5473-4aab-a20c-7938633ae8f5 +- [:span] + ls-type:: annotation + hl-page:: 34 + hl-color:: yellow + id:: 6a7f15c9-4514-48df-a2a8-86fc14eb92c4 + hl-type:: area + hl-stamp:: 1786713545633 +- [:span] + ls-type:: annotation + hl-page:: 36 + hl-color:: yellow + id:: 6a7f15e6-50ab-4391-aeda-acda5434850c + hl-type:: area + hl-stamp:: 1786713574364 \ No newline at end of file