4.3 최소제곱근사: 소단원 정리 (사용자 메모 7건 반영) + 2차 하이라이트 3건 연결
- 8단계 재구성: 세 관점(기하·대수·미분적분) + 직선 맞추기 대수·선형대수 나란히 전개 - 자작 그림: 식 (2) 직각삼각형 (Ax−b·Ax−p·e의 정체) - p.243 빈칸 채점: 열공간 차원 m→3 교정, C·D·E 정답 확인 - 확인문제 4.3A(제곱합·최대·절댓값 비교)·4.3B 별도 섹션 정리 - 연습문제 1(+2·3)·9·10·11·12·20·22 선정·해설, 그림 4.6·4.7·4.8·종속열·식(3)(4)(8) 추출 - hls OCR 교정 13건, 2차 하이라이트(세 관점 문장·식 8·종속 열) 연결 Co-Authored-By: Claude Fable 5 <noreply@anthropic.com> Claude-Session: https://claude.ai/code/session_01Ufr6wUhJAzBaqcaBiRJ1xk
This commit is contained in:
songyc macbook
parent
77d696d4c0
commit
92e4e56b0d
BIN
Major Study/assets/4장_4.3_식2_직각삼각형.png
Executable file
BIN
Major Study/assets/4장_4.3_식2_직각삼각형.png
Executable file
Binary file not shown.
|
After Width: | Height: | Size: 141 KiB |
50
Major Study/assets/4장_4.3_식2_직각삼각형.svg
Executable file
50
Major Study/assets/4장_4.3_식2_직각삼각형.svg
Executable file
@ -0,0 +1,50 @@
|
||||
<svg xmlns="http://www.w3.org/2000/svg" viewBox="0 0 760 520" font-family="'Helvetica Neue', Arial, 'Apple SD Gothic Neo', 'Malgun Gothic', sans-serif">
|
||||
<defs>
|
||||
<marker id="aOr" markerWidth="10" markerHeight="10" refX="8" refY="4" orient="auto">
|
||||
<path d="M0,0 L8,4 L0,8 z" fill="#ea580c"/>
|
||||
</marker>
|
||||
<marker id="aGr" markerWidth="10" markerHeight="10" refX="8" refY="4" orient="auto">
|
||||
<path d="M0,0 L8,4 L0,8 z" fill="#059669"/>
|
||||
</marker>
|
||||
<marker id="aRd" markerWidth="10" markerHeight="10" refX="8" refY="4" orient="auto">
|
||||
<path d="M0,0 L8,4 L0,8 z" fill="#dc2626"/>
|
||||
</marker>
|
||||
</defs>
|
||||
<rect x="0" y="0" width="760" height="520" fill="#ffffff"/>
|
||||
<text x="380" y="34" text-anchor="middle" font-size="18" font-weight="bold" fill="#111827">식 (2)의 직각삼각형: ‖Ax − b‖² = ‖Ax − p‖² + ‖e‖²</text>
|
||||
|
||||
<!-- 열공간 직선 -->
|
||||
<line x1="80" y1="430" x2="690" y2="186" stroke="#1d4ed8" stroke-width="3"/>
|
||||
<text x="600" y="165" font-size="16" font-weight="bold" fill="#1d4ed8">열공간 C(A)</text>
|
||||
<text x="600" y="186" font-size="15" fill="#1d4ed8">(모든 Ax가 사는 직선)</text>
|
||||
|
||||
<!-- 삼각형 꼭짓점: b(354,159), p(410,288), Ax(590,216) -->
|
||||
<!-- 변: Ax → b (빗변) -->
|
||||
<line x1="590" y1="216" x2="366" y2="166" stroke="#dc2626" stroke-width="2.5" marker-end="url(#aRd)"/>
|
||||
<!-- 변: Ax → p (직선 위 이동) -->
|
||||
<line x1="590" y1="216" x2="422" y2="283" stroke="#059669" stroke-width="2.5" marker-end="url(#aGr)"/>
|
||||
<!-- 변: p → b (오차 e) -->
|
||||
<line x1="410" y1="288" x2="358" y2="170" stroke="#ea580c" stroke-width="3" marker-end="url(#aOr)"/>
|
||||
|
||||
<!-- 직각 표시 (p에서) -->
|
||||
<polyline points="404,273 419,267 425,281" fill="none" stroke="#374151" stroke-width="1.5"/>
|
||||
|
||||
<!-- 점 -->
|
||||
<circle cx="354" cy="159" r="5" fill="#dc2626"/>
|
||||
<circle cx="410" cy="288" r="5" fill="#111827"/>
|
||||
<circle cx="590" cy="216" r="5" fill="#111827"/>
|
||||
<text x="342" y="140" font-size="17" font-weight="bold" fill="#dc2626">b</text>
|
||||
<text x="404" y="315" font-size="16" font-weight="bold" fill="#111827">p = Ax̂ (수선의 발)</text>
|
||||
<text x="600" y="240" font-size="16" font-weight="bold" fill="#111827">Ax (임의의 후보)</text>
|
||||
|
||||
<!-- 변 라벨 -->
|
||||
<text x="470" y="160" font-size="15" font-weight="bold" fill="#dc2626">Ax − b (빗변)</text>
|
||||
<text x="475" y="272" font-size="15" font-weight="bold" fill="#059669">Ax − p</text>
|
||||
<text x="475" y="292" font-size="14" fill="#059669">x 선택으로 줄일 수 있는 변</text>
|
||||
<text x="215" y="222" font-size="15" font-weight="bold" fill="#ea580c">e = b − p</text>
|
||||
<text x="163" y="242" font-size="14" fill="#ea580c">누구도 못 줄이는 최소 오차</text>
|
||||
|
||||
<!-- 하단 설명 -->
|
||||
<text x="380" y="470" text-anchor="middle" font-size="15" fill="#374151">x를 바꾸면 Ax가 파란 직선 위를 미끄러진다: 초록 변만 변하고 주황 변은 그대로.</text>
|
||||
<text x="380" y="494" text-anchor="middle" font-size="15" fill="#374151">x = x̂을 고르면 Ax가 p에 포개져 초록 변이 0, 남는 오차는 ‖e‖²뿐 (그때가 최소).</text>
|
||||
</svg>
|
||||
|
After Width: | Height: | Size: 3.1 KiB |
BIN
Major Study/assets/4장_p237_그림4.6_직선과_사영.png
Executable file
BIN
Major Study/assets/4장_p237_그림4.6_직선과_사영.png
Executable file
Binary file not shown.
|
After Width: | Height: | Size: 504 KiB |
BIN
Major Study/assets/4장_p237_식3_오차제곱합.png
Executable file
BIN
Major Study/assets/4장_p237_식3_오차제곱합.png
Executable file
Binary file not shown.
|
After Width: | Height: | Size: 67 KiB |
BIN
Major Study/assets/4장_p238_식4_정규방정식_박스.png
Executable file
BIN
Major Study/assets/4장_p238_식4_정규방정식_박스.png
Executable file
Binary file not shown.
|
After Width: | Height: | Size: 147 KiB |
BIN
Major Study/assets/4장_p239_그림4.7_최소제곱_큰그림.png
Executable file
BIN
Major Study/assets/4장_p239_그림4.7_최소제곱_큰그림.png
Executable file
Binary file not shown.
|
After Width: | Height: | Size: 557 KiB |
BIN
Major Study/assets/4장_p240_식8_정규방정식_최종.png
Executable file
BIN
Major Study/assets/4장_p240_식8_정규방정식_최종.png
Executable file
Binary file not shown.
|
After Width: | Height: | Size: 114 KiB |
BIN
Major Study/assets/4장_p242_종속열_예제.png
Executable file
BIN
Major Study/assets/4장_p242_종속열_예제.png
Executable file
Binary file not shown.
|
After Width: | Height: | Size: 267 KiB |
BIN
Major Study/assets/4장_p246_그림4.8_문제1-11.png
Executable file
BIN
Major Study/assets/4장_p246_그림4.8_문제1-11.png
Executable file
Binary file not shown.
|
After Width: | Height: | Size: 466 KiB |
@ -812,5 +812,310 @@
|
||||
:rects (),
|
||||
:page 15},
|
||||
:content {:text "[:span]", :image 1786449205469},
|
||||
:properties {:color "yellow"}}
|
||||
{:id #uuid "6a7dcf45-30e9-47fc-bc0f-3243c1c73a00",
|
||||
:page 28,
|
||||
:position {:bounding {:x1 101.67100524902344,
|
||||
:y1 606.2066040039062,
|
||||
:x2 647.9697265625,
|
||||
:y2 677.6258544921875,
|
||||
:width 716,
|
||||
:height 1012.6281590388325},
|
||||
:rects ({:x1 232.33506774902344,
|
||||
:y1 606.2066040039062,
|
||||
:x2 647.9697265625,
|
||||
:y2 619.4010009765625,
|
||||
:width 716,
|
||||
:height 1012.6281590388325}
|
||||
{:x1 101.67100524902344,
|
||||
:y1 632.7473754882812,
|
||||
:x2 647.9671020507812,
|
||||
:y2 650.1084594726562,
|
||||
:width 716,
|
||||
:height 1012.6281590388325}
|
||||
{:x1 102.66926574707031,
|
||||
:y1 663.7369384765625,
|
||||
:x2 208.1149139404297,
|
||||
:y2 677.6258544921875,
|
||||
:width 716,
|
||||
:height 1012.6281590388325}),
|
||||
:page 28},
|
||||
:content {:text "오차벡터 e= b-Az 를 항상 0으로 줄일 수 는 없다. e가 0일 때 그는 Az = b의 정확한 해이다. 의 크기가 가능한 한 작아서 116 - A ||' 이 최솟값에 도달하면 , 굳은최소제곱 해가 된다"},
|
||||
:properties {:color "yellow"}}
|
||||
{:id #uuid "6a7dcf4f-ec05-4a72-afd6-26fe3bde7f0b",
|
||||
:page 28,
|
||||
:position {:bounding {:x1 241.21092224121094,
|
||||
:y1 758.0512084960938,
|
||||
:x2 549.0007934570312,
|
||||
:y2 774.0234375,
|
||||
:width 716,
|
||||
:height 1012.6281590388325},
|
||||
:rects ({:x1 241.21092224121094,
|
||||
:y1 758.0512084960938,
|
||||
:x2 549.0007934570312,
|
||||
:y2 774.0234375,
|
||||
:width 716,
|
||||
:height 1012.6281590388325}),
|
||||
:page 28},
|
||||
:content {:text "기본 방정식은 여전히 정규 방정식 AT A²= ATb 이다"},
|
||||
:properties {:color "yellow"}}
|
||||
{:id #uuid "6a7dcf53-01d5-412b-9d65-325536a9a5d7",
|
||||
:page 28,
|
||||
:position {:bounding {:x1 117.5564193725586,
|
||||
:y1 840.0064697265625,
|
||||
:x2 635.0550537109375,
|
||||
:y2 854.5897827148438,
|
||||
:width 716,
|
||||
:height 1012.6281590388325},
|
||||
:rects ({:x1 117.5564193725586,
|
||||
:y1 840.0064697265625,
|
||||
:x2 635.0550537109375,
|
||||
:y2 854.5897827148438,
|
||||
:width 716,
|
||||
:height 1012.6281590388325}),
|
||||
:page 28},
|
||||
:content {:text "Az= b의 해 가 존재하지 않으면, 이 식의 양변에 AT 를 곱하고 AT Af= ATb를 푼다."},
|
||||
:properties {:color "yellow"}}
|
||||
{:id #uuid "6a7dd176-75b8-4e9f-bbf4-25909045ec4e",
|
||||
:page 30,
|
||||
:position {:bounding {:x1 190.31031799316406,
|
||||
:y1 406.54296112060547,
|
||||
:x2 563.4765625,
|
||||
:y2 421.4409713745117,
|
||||
:width 716,
|
||||
:height 1012.6281590388325},
|
||||
:rects ({:x1 362.43487548828125,
|
||||
:y1 406.54296112060547,
|
||||
:x2 563.4765625,
|
||||
:y2 420.4318161010742,
|
||||
:width 716,
|
||||
:height 1012.6281590388325}
|
||||
{:x1 190.31031799316406,
|
||||
:y1 407.5520553588867,
|
||||
:x2 336.9357604980469,
|
||||
:y2 421.4409713745117,
|
||||
:width 716,
|
||||
:height 1012.6281590388325}),
|
||||
:page 30},
|
||||
:content {:text "임의 의 에 대한 제곱 오차 ||| Az- 6 ||=|| Azp ||+ ||e || 2"},
|
||||
:properties {:color "yellow"}}
|
||||
{:id #uuid "6a7dd17a-8e52-4cec-b72c-eab898415e99",
|
||||
:page 30,
|
||||
:position {:bounding {:x1 202.19183349609375,
|
||||
:y1 593.8476486206055,
|
||||
:x2 556.54296875,
|
||||
:y2 609.8198776245117,
|
||||
:width 716,
|
||||
:height 1012.6281590388325},
|
||||
:rects ({:x1 202.19183349609375,
|
||||
:y1 593.8476486206055,
|
||||
:x2 556.54296875,
|
||||
:y2 609.8198776245117,
|
||||
:width 716,
|
||||
:height 1012.6281590388325}),
|
||||
:page 30},
|
||||
:content {:text "최소제곱 해 소은 E = ||A -6 ||' 을 가능한 한 작게 만든다 "},
|
||||
:properties {:color "yellow"}}
|
||||
{:id #uuid "6a7f09e3-c19c-4ff6-b00d-d73ac7b9cc59",
|
||||
:page 31,
|
||||
:position {:bounding {:x1 136.61024475097656,
|
||||
:y1 582.4977951049805,
|
||||
:x2 333.3098449707031,
|
||||
:y2 595.692253112793,
|
||||
:width 716,
|
||||
:height 1012.6281590388325},
|
||||
:rects ({:x1 136.61024475097656,
|
||||
:y1 582.4977951049805,
|
||||
:x2 333.3098449707031,
|
||||
:y2 595.692253112793,
|
||||
:width 716,
|
||||
:height 1012.6281590388325}),
|
||||
:page 31},
|
||||
:content {:text "미분 적분학 의 관점에서 생각해보자"},
|
||||
:properties {:color "yellow"}}
|
||||
{:id #uuid "6a7f0a0d-c7d0-4ebe-b4a7-c2d23caaf25b",
|
||||
:page 32,
|
||||
:position {:bounding {:x1 201.83375549316406,
|
||||
:y1 436.72959899902344,
|
||||
:x2 542.3562622070312,
|
||||
:y2 453.39622497558594,
|
||||
:width 716,
|
||||
:height 1012.6281590388325},
|
||||
:rects ({:x1 201.83375549316406,
|
||||
:y1 436.72959899902344,
|
||||
:x2 542.3562622070312,
|
||||
:y2 453.39622497558594,
|
||||
:width 716,
|
||||
:height 1012.6281590388325}),
|
||||
:page 32},
|
||||
:content {:text "ATAE= AT6 일 때 , || Az - 611 '의 편도함수는 0 이다"},
|
||||
:properties {:color "yellow"}}
|
||||
{:id #uuid "6a7f0a47-3114-4b81-af6e-2818eeafc72a",
|
||||
:page 32,
|
||||
:position {:bounding {:x1 95.00867462158203,
|
||||
:y1 321.9509735107422,
|
||||
:x2 352.0469970703125,
|
||||
:y2 338.6175994873047,
|
||||
:width 716,
|
||||
:height 1012.6281590388325},
|
||||
:rects ({:x1 95.00867462158203,
|
||||
:y1 321.9509735107422,
|
||||
:x2 352.0469970703125,
|
||||
:y2 338.6175994873047,
|
||||
:width 716,
|
||||
:height 1012.6281590388325}),
|
||||
:page 32},
|
||||
:content {:text "식 (4 )의 두 방정식은 ATA=ATb이다."},
|
||||
:properties {:color "yellow"}}
|
||||
{:id #uuid "6a7f0a6c-2e57-4d5b-beef-04a0a0062d19",
|
||||
:page 32,
|
||||
:position {:bounding {:x1 94,
|
||||
:y1 206.748046875,
|
||||
:x2 676,
|
||||
:y2 307.748046875,
|
||||
:width 716,
|
||||
:height 1012.6281590388325},
|
||||
:rects (),
|
||||
:page 32},
|
||||
:content {:text "[:span]", :image 1786710636598},
|
||||
:properties {:color "yellow"}}
|
||||
{:id #uuid "6a7f0a74-30ff-4ec4-ba78-52d533dd1f8d",
|
||||
:page 31,
|
||||
:position {:bounding {:x1 109,
|
||||
:y1 689.498046875,
|
||||
:x2 639,
|
||||
:y2 726.498046875,
|
||||
:width 716,
|
||||
:height 1012.6281590388325},
|
||||
:rects (),
|
||||
:page 31},
|
||||
:content {:text "[:span]", :image 1786710644409},
|
||||
:properties {:color "yellow"}}
|
||||
{:id #uuid "6a7f0aac-af80-47bc-9b60-cd999da58ec2",
|
||||
:page 32,
|
||||
:position {:bounding {:x1 99.01258087158203,
|
||||
:y1 781.5538024902344,
|
||||
:x2 484.52642822265625,
|
||||
:y2 795.4426574707031,
|
||||
:width 716,
|
||||
:height 1012.6281590388325},
|
||||
:rects ({:x1 99.01258087158203,
|
||||
:y1 781.5538024902344,
|
||||
:x2 484.52642822265625,
|
||||
:y2 795.4426574707031,
|
||||
:width 716,
|
||||
:height 1012.6281590388325}),
|
||||
:page 32},
|
||||
:content {:text "Az= b대신 에 Ai =p 를 푼다. 오차 e=b - p 는 피할 수 없다."},
|
||||
:properties {:color "yellow"}}
|
||||
{:id #uuid "6a7f0ade-00e5-4727-942b-d85312b043db",
|
||||
:page 33,
|
||||
:position {:bounding {:x1 66.22178649902344,
|
||||
:y1 411.4040832519531,
|
||||
:x2 611.9248657226562,
|
||||
:y2 480.6857604980469,
|
||||
:width 716,
|
||||
:height 1012.6281590388325},
|
||||
:rects ({:x1 66.22178649902344,
|
||||
:y1 411.4040832519531,
|
||||
:x2 609.2098999023438,
|
||||
:y2 424.5984802246094,
|
||||
:width 716,
|
||||
:height 1012.6281590388325}
|
||||
{:x1 66.22178649902344,
|
||||
:y1 439.2577819824219,
|
||||
:x2 606.2931518554688,
|
||||
:y2 453.1466979980469,
|
||||
:width 716,
|
||||
:height 1012.6281590388325}
|
||||
{:x1 66.22178649902344,
|
||||
:y1 466.1023864746094,
|
||||
:x2 611.9248657226562,
|
||||
:y2 480.6857604980469,
|
||||
:width 716,
|
||||
:height 1012.6281590388325}),
|
||||
:page 33},
|
||||
:content {:text "영공간 N (A ) 가 얼마나 작은지에 주목하라 . N( A) 는 단 하나 의 점만 포함 한다. 선형독립 인 열을이용 하면 Az= 0의 유일한 해 는 z = 0임을 알 수 있다. 그러면 ATA 는 가역행렬이다. 방정식 ATA = ATb는 최적의 벡터 눈을 완전히 결정 한다. 오차e= b-p는 ATe= 0을 만족 한다 "},
|
||||
:properties {:color "yellow"}}
|
||||
{:id #uuid "6a7f0b52-edff-4a79-a474-8007acbfaf55",
|
||||
:page 33,
|
||||
:position {:bounding {:x1 66.22178649902344,
|
||||
:y1 647.6344909667969,
|
||||
:x2 458.88372802734375,
|
||||
:y2 664.9956359863281,
|
||||
:width 716,
|
||||
:height 1012.6281590388325},
|
||||
:rects ({:x1 66.22178649902344,
|
||||
:y1 647.6344909667969,
|
||||
:x2 458.88372802734375,
|
||||
:y2 664.9956359863281,
|
||||
:width 716,
|
||||
:height 1012.6281590388325}),
|
||||
:page 33},
|
||||
:content {:text "직선 맞추기 (fitting a line) 는 최소 제곱 법에 대한 가장 명확한 응용 이다"},
|
||||
:properties {:color "yellow"}}
|
||||
{:id #uuid "6a7f0d62-7ece-49bd-8feb-0343d9b2524c",
|
||||
:page 38,
|
||||
:position {:bounding {:x1 100.37976837158203,
|
||||
:y1 68.52212524414062,
|
||||
:x2 483.2030944824219,
|
||||
:y2 87.96658325195312,
|
||||
:width 716,
|
||||
:height 1012.6281590388325},
|
||||
:rects ({:x1 100.37976837158203,
|
||||
:y1 68.52212524414062,
|
||||
:x2 483.2030944824219,
|
||||
:y2 87.96658325195312,
|
||||
:width 716,
|
||||
:height 1012.6281590388325}),
|
||||
:page 38},
|
||||
:content {:text "푸리에 급수(Fourier series)는 무한 차원 에서 의 최소제곱 문제이다 "},
|
||||
:properties {:color "yellow"}}
|
||||
{:id #uuid "6a7f15b4-5473-4aab-a20c-7938633ae8f5",
|
||||
:page 34,
|
||||
:position {:bounding {:x1 113.2595443725586,
|
||||
:y1 755.9244537353516,
|
||||
:x2 659.7547607421875,
|
||||
:y2 799.3923492431641,
|
||||
:width 716,
|
||||
:height 1012.6281590388325},
|
||||
:rects ({:x1 482.07464599609375,
|
||||
:y1 755.9244537353516,
|
||||
:x2 659.7547607421875,
|
||||
:y2 770.5077667236328,
|
||||
:width 716,
|
||||
:height 1012.6281590388325}
|
||||
{:x1 113.2595443725586,
|
||||
:y1 785.5034332275391,
|
||||
:x2 397.78643798828125,
|
||||
:y2 799.3923492431641,
|
||||
:width 716,
|
||||
:height 1012.6281590388325}),
|
||||
:page 34},
|
||||
:content {:text "오차벡터 e ( 즉 잔차(residual ) b -A² )는 행렬 A의 열과 직교 한다( 기하학 관점 )"},
|
||||
:properties {:color "yellow"}}
|
||||
{:id #uuid "6a7f15c9-4514-48df-a2a8-86fc14eb92c4",
|
||||
:page 34,
|
||||
:position {:bounding {:x1 115,
|
||||
:y1 681.52734375,
|
||||
:x2 668,
|
||||
:y2 748.52734375,
|
||||
:width 716,
|
||||
:height 1012.6281590388325},
|
||||
:rects (),
|
||||
:page 34},
|
||||
:content {:text "[:span]", :image 1786713545633},
|
||||
:properties {:color "yellow"}}
|
||||
{:id #uuid "6a7f15e6-50ab-4391-aeda-acda5434850c",
|
||||
:page 36,
|
||||
:position {:bounding {:x1 106,
|
||||
:y1 219.0546875,
|
||||
:x2 659,
|
||||
:y2 344.0546875,
|
||||
:width 716,
|
||||
:height 1012.6281590388325},
|
||||
:rects (),
|
||||
:page 36},
|
||||
:content {:text "[:span]", :image 1786713574364},
|
||||
:properties {:color "yellow"}}],
|
||||
:extra {:page 15}}
|
||||
:extra {:page 36}}
|
||||
|
||||
Binary file not shown.
|
After Width: | Height: | Size: 32 KiB |
Binary file not shown.
|
After Width: | Height: | Size: 84 KiB |
Binary file not shown.
|
After Width: | Height: | Size: 58 KiB |
Binary file not shown.
|
After Width: | Height: | Size: 100 KiB |
224
Major Study/pages/4.3 최소제곱근사.md
Executable file
224
Major Study/pages/4.3 최소제곱근사.md
Executable file
@ -0,0 +1,224 @@
|
||||
deck:: Logseq/전공공부/선형대수학
|
||||
|
||||
- ### 핵심 개념
|
||||
- **흐름 지도**: [1단계] 문제 선언: 해가 없는 $Ax = b$ 에서 최선 찾기 → [2단계] 숫자로 체험: 세 점과 직선 → [3단계] 같은 답을 주는 세 관점 (기하·대수·미분적분) → [4단계] 최소제곱의 큰 그림 → [5단계] 직선 맞추기 일반 공식 → [6단계] 열이 직교하면 계산이 반값 → [7단계] 열이 종속이면? → [8단계] 포물선 맞추기와 그 너머.
|
||||
- #### [1단계] 문제 선언: 해가 없을 때의 최선, 최소제곱해
|
||||
- 왜 해가 없는가: 데이터 문제는 보통 방정식이 미지수보다 많다 ($m > n$, 과잉결정). $n$ 개의 열이 만드는 열공간은 $\mathbb{R}^m$ 안의 얇은 부분공간이라, 잡음 섞인 측정값 $b$ 는 거의 확실히 그 밖에 떨어진다.
|
||||
- **정의**: 오차 $e = b - Ax$ 를 0으로 만들 수 없을 때, $\|b - A\hat{x}\|^2$ 을 최솟값으로 만드는 $\hat{x}$ 이 **최소제곱해**(least squares solution)다.
|
||||
- 📌 원문 (p.234): ((6a7dcf45-30e9-47fc-bc0f-3243c1c73a00))
|
||||
- 도구는 새로 배울 것이 없다: 4.2의 정규방정식 그대로다.
|
||||
- 📌 원문 (p.234): ((6a7dcf4f-ec05-4a72-afd6-26fe3bde7f0b)) / ((6a7dcf53-01d5-412b-9d65-325536a9a5d7))
|
||||
- $$A^{\mathrm{T}}A\hat{x} = A^{\mathrm{T}}b$$
|
||||
- 💡 4.2와 4.3의 관계: **같은 방정식, 다른 주인공**. 4.2는 도착지(사영 $p$)를 강조했고, 4.3은 계수($\hat{x}$)를 강조한다. 둘은 $p = A\hat{x}$ 으로 연결된다. 지난번 질문으로 미리 확인했던 것: 정규방정식은 어떤 $A, b$ 에서도 항상 해가 있다.
|
||||
- #### [2단계] 숫자로 체험: 세 점 $(0,6), (1,0), (2,0)$ 과 가장 가까운 직선 (EX1)
|
||||
- 직선 $b = C + Dt$ 가 세 점을 전부 지나려면 (대수: 방정식 3개):
|
||||
- $t = 0$: $C + D \cdot 0 = 6$ → $C = 6$
|
||||
- $t = 1$: $C + D \cdot 1 = 0$ → $D = -6$
|
||||
- $t = 2$: $C + D \cdot 2 = 0$ → 검산 $6 - 12 = -6 \neq 0$ ✗. 모순, 이 직선은 존재하지 않는다.
|
||||
- 행렬로 번역 (선형대수): 미지수 $x = (C, D)$ 둘, 방정식 셋.
|
||||
- $$A = \begin{bmatrix} 1&0 \\ 1&1 \\ 1&2 \end{bmatrix}, \quad b = \begin{bmatrix} 6 \\ 0 \\ 0 \end{bmatrix}$$
|
||||
- $b$ 가 열공간($\mathbb{R}^3$ 안의 평면) 밖에 있다는 뜻이다.
|
||||
- 낯익은 행렬이다! 4.2 EX3에서 이미 정규방정식을 풀어 $\hat{x} = (5, -3)$ 을 얻었다. 그 답이 바로 최적의 $C, D$: **최적 직선은** $b = 5 - 3t$.
|
||||
- [그림 4.6] 같은 문제의 두 그림:
|
||||
- 
|
||||
- (p.237, 그림 4.6)
|
||||
- (a) 데이터 평면: 직선이 세 점을 못 지나고, 각 점까지의 **수직 거리**가 오차 $e_1, e_2, e_3 = 1, -2, 1$.
|
||||
- (b) $bpe$-공간($\mathbb{R}^3$): $b = (6,0,0)$ 이 열공간 평면 밖에 떠 있고, 수선의 발이 $p = (5, 2, -1)$, 수선이 $e = (1, -2, 1)$.
|
||||
- 💡 이 왕복이 4.3의 핵심 감각이다: (a)는 통계학자의 그림 (점과 직선), (b)는 선형대수학자의 그림 (벡터와 사영). **같은 문제다.** 데이터 $m$ 개 = $\mathbb{R}^m$ 의 벡터 하나.
|
||||
- #### [3단계] 오차 최소화: 같은 답을 주는 세 관점
|
||||
- 목표: $E = \|Ax - b\|^2$ (수직 오차들의 제곱합)을 가장 작게 만드는 $x$ 찾기.
|
||||
- 📌 원문 (p.236): ((6a7dd17a-8e52-4cec-b72c-eab898415e99))
|
||||
- **관점 ① 기하 (사영)**: 열공간 안에서 $b$ 와 가장 가까운 점은 수선의 발 $p$ 다. 최적은 $A\hat{x} = p$, 오차 $e = b - p$ 는 열공간과 직교. 4.2에서 끝낸 이야기.
|
||||
- **관점 ② 대수 (피타고라스 분해)**: 임의의 $x$ 에 대한 오차를 두 조각으로 쪼갠다.
|
||||
- 📌 원문 식 (2) (p.236): ((6a7dd176-75b8-4e9f-bbf4-25909045ec4e))
|
||||
- $$\|Ax - b\|^2 = \|Ax - p\|^2 + \|e\|^2$$
|
||||
- 왜 쪼개지나: $Ax - b = (Ax - p) + (p - b)$, 즉 두 벡터의 합이다. $Ax - p$ 는 열공간 안 벡터끼리의 차라 **열공간 안**에 있고, $p - b = -e$ 는 **좌영공간**에 있다. 직교하는 두 조각의 합 → 피타고라스.
|
||||
- 세 변이 각각 무엇인지 그림으로 (열공간을 직선으로 그린 2차원 버전):
|
||||
- 
|
||||
- 꼭짓점 3개: 직선 위의 **후보** $Ax$, 직선 위의 **수선의 발** $p$, 직선 밖의 **목표** $b$. 직각은 $p$ 에서 (오차 $e$ 가 열공간과 수직이니까).
|
||||
- 빗변이 $Ax - b$ (후보에서 목표까지), 밑변이 $Ax - p$ (직선 위 이동), 높이가 $e = b - p$.
|
||||
- $x$ 를 바꾸면 $Ax$ 가 직선 위를 미끄러진다: 변하는 것은 밑변 $\|Ax - p\|$ 뿐이고, 높이 $\|e\|$ 는 그대로다.
|
||||
- 첫 항은 $x = \hat{x}$ 으로 고르면 ($Ax$ 가 $p$ 에 포개져서) 정확히 0이 된다. 둘째 항 $\|e\|^2$ 은 어떤 $x$ 로도 **못 줄인다**. 그래서 최솟값이 $E_{\min} = \|e\|^2$ 이고, 그걸 달성하는 것이 $\hat{x}$.
|
||||
- **관점 ③ 미분적분학 (편도함수)**: 최소점에서는 모든 방향의 도함수가 0이다.
|
||||
- 📌 원문 (p.237): ((6a7f09e3-c19c-4ff6-b00d-d73ac7b9cc59))
|
||||
- EX1의 $E$ 를 미지수 $C, D$ 로 풀어 쓰면 (식 (3)):
|
||||
- 📌 원문 식 (3) (p.237): [🔗 PDF 위치](((6a7f0a74-30ff-4ec4-ba78-52d533dd1f8d)))
|
||||
- 
|
||||
- 미지수가 2개니 도함수도 2개: $\frac{\partial E}{\partial C} = 0$ 과 $\frac{\partial E}{\partial D} = 0$ 을 **둘 다** 요구한다 (한 방향만 최저면 안 되고, $C$ 방향·$D$ 방향 모두 바닥이어야 진짜 최소).
|
||||
- 전개해 정리하면 (식 (4)):
|
||||
- 📌 원문 식 (4) (p.238): [🔗 PDF 위치](((6a7f0a6c-2e57-4d5b-beef-04a0a0062d19)))
|
||||
- 
|
||||
- $3C + 3D = 6$, $3C + 5D = 0$. 계수행렬 $\begin{bmatrix} 3&3 \\ 3&5 \end{bmatrix}$ 이 정확히 $A^{\mathrm{T}}A$ 다!
|
||||
- 📌 원문 (p.238): ((6a7f0a47-3114-4b81-af6e-2818eeafc72a)) / 박스 ((6a7f0a0d-c7d0-4ebe-b4a7-c2d23caaf25b))
|
||||
- 우연이 아니다: 연쇄법칙이 $\frac{\partial E}{\partial D}$ 에 붙이는 추가 인수 $0, 1, 2$ 가 바로 $A$ 의 2열이다. **미분이 자동으로** $A^{\mathrm{T}}$ **를 만들어낸다.** 도함수 = 0 조건을 행렬로 묶으면 $A^{\mathrm{T}}(b - A\hat{x}) = 0$.
|
||||
- 💡 세 관점 모두 같은 정규방정식에 도달한다. 이게 가능한 이유는 "**제곱합의 도함수는 선형**"이기 때문 (p.241). 제곱을 미분하면 1차식이 나와서, 최소화 문제가 연립 1차방정식으로 떨어진다. 최소제곱법이 세상을 지배하는 이유다.
|
||||
- #### [4단계] 최소제곱의 큰 그림: $b = p + e$ (그림 4.7)
|
||||
- 3장~4.1의 큰 그림([그림 4.1])과 정반대 상황이라는 것이 포인트다.
|
||||
- 📌 원문 (p.238): ((6a7f0aac-af80-47bc-9b60-cd999da58ec2))
|
||||
- 그림 4.1: $Ax = b$ 의 해가 **많았다** → 입력 쪽을 $x = x_r + x_n$ 으로 분할했다.
|
||||
- 그림 4.7: $Ax = b$ 의 해가 **없다** → 이번엔 출력 쪽을 $b = p + e$ 로 분할한다.
|
||||
- 
|
||||
- (p.239, 그림 4.7)
|
||||
- 그림 4.7 꼼꼼히 읽기 (요소별로):
|
||||
- 왼쪽 다이아몬드 = $\mathbb{R}^n$ (입력 세계). 열이 독립이라 $r = n$, 그래서 **행공간이** $\mathbb{R}^n$ **전체**를 차지하고 영공간은 바닥의 점 $0$ 하나로 수축해 있다 (4.1 문제 2에서 그렸던 바로 그 상황).
|
||||
- 오른쪽 = $\mathbb{R}^m$ (출력 세계). $m > n$ 이라 열공간($n$차원)은 $\mathbb{R}^m$ 을 다 못 채우고, 그 직교여공간인 좌영공간이 남는다.
|
||||
- 화살표 둘: $Ax = b$ (점선)는 도착지 $b$ 가 열공간 밖이라 **불가능한 여행**. $A\hat{x} = p$ (실선)는 도착지를 수선의 발 $p$ 로 바꾼 **가능한 여행**. $b = p + e$ 직각 분해가 그 교체의 근거다.
|
||||
- 📌 원문 (p.239): ((6a7f0ade-00e5-4727-942b-d85312b043db))
|
||||
- ⚠️ **"영공간이 점 하나" = 사영으로 풀어야 하는 조건이 아니다** (두 조건을 분리해서 볼 것):
|
||||
- 조건 ① ($b$ 쪽, 출력 사정): $b$ 가 열공간 **밖**인가? → **사영이 필요한지**를 결정한다. 밖이면 해가 없어 $p$ 로 교체하고, 안이면 $e = 0$ 으로 최소제곱이 완전해로 퇴화한다 (연습문제 20이 그 경우).
|
||||
- 조건 ② ($A$ 쪽, 입력 사정): 열이 **독립**인가? → $\hat{x}$ **이 유일한지**를 결정한다. 독립이면 $\mathbf{N}(A) = \{0\}$, $A^{\mathrm{T}}A$ 가역, $\hat{x}$ 딱 하나. 종속이면 사영 $p$ 는 여전히 유일하지만 $\hat{x}$ 이 무한히 많다 ([7단계]).
|
||||
- 그러니까 "영공간이 항상 점 하나냐"는 질문의 답: 아니고, **그림 4.7이 열 독립이라는 표준 상황을 그려놓은 것**이다. 사영으로 풀어야 하는지(①)와는 별개의 조건이고, 둘이 동시에 성립하는 $r = n < m$ 케이스(3.5의 해 유형표에서 "0 또는 1개" 유형)가 최소제곱의 주 무대라서 함께 등장할 뿐이다.
|
||||
- 열 독립 가정이 실제로 하는 일: $\mathbf{N}(A^{\mathrm{T}}A) = \mathbf{N}(A) = \{0\}$ → 정규방정식의 해가 유일. 오차는 $A^{\mathrm{T}}e = 0$ (좌영공간 소속).
|
||||
- 💡 $\mathbf{N}(A^{\mathrm{T}}A) = \mathbf{N}(A)$ 의 세 번째 재등장이다 (4.1 문제 9 → 4.2 [6단계] → 여기). 이 한 줄이 최소제곱 전체를 떠받친다.
|
||||
- #### [5단계] 직선 맞추기: $m$ 개의 점과 가장 가까운 직선
|
||||
- 문제를 한 문장으로: 시간 $t_1, \ldots, t_m$ 에서 잰 높이 $b_1, \ldots, b_m$, 이 $m$ 개의 점 $(t_i, b_i)$ 에 **가장 가까운 직선** $b = C + Dt$ 를 찾아라. (정확히 그 직관이 맞다: "모든 점과 가장 가까운 직선 찾기"가 이 소단원의 전부다.)
|
||||
- 📌 원문 (p.239): ((6a7f0b52-edff-4a79-a474-8007acbfaf55))
|
||||
- **단계 A (대수 관점: 방정식 쌓기)**: 점 $(t_i, b_i)$ 가 직선 위에 있으려면 $C + Dt_i = b_i$. 점마다 방정식 하나씩, 총 $m$ 개. 그런데 미지수는 $C, D$ 둘뿐.
|
||||
- $m > 2$ 면 거의 항상 모순이다. 점 3개만 돼도 (EX1처럼) 일직선이 아닌 이상 다 지날 수 없다.
|
||||
- 행렬로 쌓으면 (식 (5)):
|
||||
- $$A = \begin{bmatrix} 1 & t_1 \\ \vdots & \vdots \\ 1 & t_m \end{bmatrix}, \qquad Ax = \begin{bmatrix} C + Dt_1 \\ \vdots \\ C + Dt_m \end{bmatrix} = b\ (\text{목표})$$
|
||||
- 💡 $A$ 의 두 열 읽기: 1열(전부 1)은 "절편 $C$ 의 기여", 2열(시간들)은 "기울기 $D$ 의 기여". $Ax = C \cdot (\text{1열}) + D \cdot (\text{2열})$, 즉 "직선 후보"들이 만드는 공간이 열공간이다.
|
||||
- **단계 B ("가장 가깝다"의 뜻 정하기)**: 각 점에서 직선까지의 **수직(세로) 오차**는 $e_i = b_i - C - Dt_i$. 이 오차들의 제곱합을 최소화하는 직선이 최소제곱선이다.
|
||||
- $$E = e_1^2 + \cdots + e_m^2 = (C + Dt_1 - b_1)^2 + \cdots + (C + Dt_m - b_m)^2$$
|
||||
- **단계 C (선형대수 관점: 사영으로 번역)**: 위 그림을 통째로 $\mathbb{R}^m$ 으로 옮긴다.
|
||||
- 점 $m$ 개의 높이들 = 벡터 $b \in \mathbb{R}^m$ 하나. 직선 후보들 = 2차원 열공간. "가장 가까운 직선" = $b$ **를 열공간에 사영**한 $p = A\hat{x}$.
|
||||
- 그래서 풀 것은 딱 하나, 정규방정식 $A^{\mathrm{T}}A\hat{x} = A^{\mathrm{T}}b$ ($2 \times 2$ 연립).
|
||||
- **단계 D (공식으로 정리, 식 (6)~(8))**: $A^{\mathrm{T}}A$ 와 $A^{\mathrm{T}}b$ 를 내적 표로 채우면 끝이다 (4.2 스스로 점검의 "내적 표 읽기" 그대로).
|
||||
- 1열·1열 $= m$, 1열·2열 $= \sum t_i$, 2열·2열 $= \sum t_i^2$ / 1열·$b = \sum b_i$, 2열·$b = \sum t_i b_i$:
|
||||
- $$\begin{bmatrix} m & \sum t_i \\ \sum t_i & \sum t_i^2 \end{bmatrix}\begin{bmatrix} C \\ D \end{bmatrix} = \begin{bmatrix} \sum b_i \\ \sum t_i b_i \end{bmatrix}$$
|
||||
- 📌 원문 식 (8) 박스 (p.240): [🔗 PDF 위치](((6a7f15c9-4514-48df-a2a8-86fc14eb92c4)))
|
||||
- 
|
||||
- 이것이 서두 요약 5번의 그 공식이다. 외울 필요 없이 내적 표로 그 자리에서 만들면 된다.
|
||||
- **단계 E (오차의 세 관점 대응, p.240)**: 잔차 $e = b - A\hat{x}$ 는
|
||||
- 📌 원문 (p.240): ((6a7f15b4-5473-4aab-a20c-7938633ae8f5))
|
||||
- 기하 관점: $A$ 의 열들과 직교하고,
|
||||
- 선형대수 관점: $\mathbf{N}(A^{\mathrm{T}})$ (좌영공간) 안에 있으며,
|
||||
- 미분적분 관점: $\frac{\partial E}{\partial C} = \frac{\partial E}{\partial D} = 0$ 이 되게 한다. 셋이 같은 말이다.
|
||||
- 🔢 EX1로 공식 검증: $m = 3$, $\sum t = 3$, $\sum t^2 = 5$, $\sum b = 6$, $\sum tb = 0$.
|
||||
- $$\begin{bmatrix} 3&3 \\ 3&5 \end{bmatrix}\begin{bmatrix} C \\ D \end{bmatrix} = \begin{bmatrix} 6 \\ 0 \end{bmatrix} \quad\Rightarrow\quad C = 5,\ D = -3\ ✓$$
|
||||
- [3단계] 식 (4)와 같은 방정식, 같은 답이다.
|
||||
- 💡 요약 한 줄: **직선 맞추기 = 열 2개짜리 사영 문제.** 대수(점·방정식 그림)와 선형대수(벡터·사영 그림)는 같은 문제의 두 언어다.
|
||||
- #### [6단계] 열이 직교하면 계산이 반값 (EX2)
|
||||
- 측정 시간의 합이 0이면 ($t = -2, 0, 2$ 같은 대칭 시간) $A$ 의 두 열 $(1,1,1)$ 과 $(-2,0,2)$ 가 직교한다.
|
||||
- $A^{\mathrm{T}}A$ (내적 표)의 비대각이 0: $A^{\mathrm{T}}A = \begin{bmatrix} 3&0 \\ 0&8 \end{bmatrix}$ → $C = \frac{7}{3}$ 과 $D = \frac{6}{8}$ 을 **따로따로** 나누기 한 번씩으로 얻는다.
|
||||
- 시간 이동 트릭: 시간이 대칭이 아니어도, 평균 시간 $\hat{t} = \frac{t_1 + \cdots + t_m}{m}$ 을 빼서 $T_i = t_i - \hat{t}$ 로 바꾸면 $\sum T_i = 0$, 언제나 이 좋은 상황이 된다 (최적 직선은 $C + D(t - \hat{t})$ 로 표현만 바뀜).
|
||||
- 일반 공식 (연습문제 30): $C = \frac{b_1 + \cdots + b_m}{m}$ (높이 평균), $D = \frac{\sum T_i b_i}{\sum T_i^2}$.
|
||||
- 💡 수위 조절: "계산 전에 **미리 열들을 직교화**해두면 만사가 쉬워진다"는 이 아이디어가 다음 절 4.4 **그람-슈미트 과정**의 전부다. 지금은 이 맛보기면 충분하다.
|
||||
- #### [7단계] $A$ 의 열이 선형종속이면 $\hat{x}$ 은 무엇인가
|
||||
- 지금까지의 숨은 가정: 열이 독립 → $A^{\mathrm{T}}A$ 가역 → $\hat{x}$ 유일. 이 가정이 깨지는 예 (p.242):
|
||||
- 📌 원문 종속 열 예제 (p.242): [🔗 PDF 위치](((6a7f15e6-50ab-4391-aeda-acda5434850c)))
|
||||
- 
|
||||
- (p.242)
|
||||
- ⚠️ **그래프 읽는 법** (헷갈리기 쉬운 지점을 정리): 그래프의 가로축은 시간 $t$, 세로축은 측정값이다.
|
||||
- $b = (3, 1)$ 은 "측정값 **벡터**"다: 1번째 측정값 $b_1 = 3$, 2번째 측정값 $b_2 = 1$.
|
||||
- 그런데 두 측정이 **모두 같은 시각** $T = 1$ 에 이루어졌다. 그래서 데이터 평면 위의 점으로 찍으면 $(1, 3)$ 과 $(1, 1)$, 세로로 나란한 두 점이 된다.
|
||||
- 즉 벡터 $b$ 의 성분 나열 $(3, 1)$ 과 그래프 위 점의 좌표 $(t, b)$ 는 **서로 다른 것**이다. 같은 시각에 잰 값이 3과 1로 달랐다는 것뿐, 측정값끼리 종속인 게 아니다.
|
||||
- 왜 "열"이 종속이 되나: 직선 모형에서 각 측정의 행은 $[1, t_i]$ 다. 두 측정의 시각이 똑같이 1이라 두 행이 똑같이 $[1, 1]$ → 행렬 $A = \begin{bmatrix} 1&1 \\ 1&1 \end{bmatrix}$ 의 두 열도 같아진다. **종속의 범인은 측정값이 아니라 겹친 측정 시각**이다.
|
||||
- 무슨 일이 벌어지나:
|
||||
- 사영은 문제없다: $b = (3,1)$ 을 열공간(직선)에 사영하면 $p = (2, 2)$. 같은 시각의 두 값 3, 1의 **평균 2**가 나온다 (자연스럽다!).
|
||||
- 문제는 계수다: $A\hat{x} = p$ 의 해가 무한히 많다. $T = 1$ 에서 높이 2를 지나기만 하면 어떤 기울기의 직선이든 되기 때문 (그림의 점선 다발). $\hat{x} = (2, 0)$ (수평선)도, $(0, 2)$ 도 답이고, 어느 것도 특별할 이유가 없다.
|
||||
- 💡 수위 조절: 이 "고르기 문제"의 답이 4.5절 **유사역행렬** $A^{+}$ 다. 무한한 해 중 **가장 짧은 해** $x^{+} = (1, 1)$ (행공간 소속, 영공간 성분 0)을 고르는 규칙이 생긴다. 지금은 "열이 종속이면 $\hat{x}$ 이 유일하지 않고, 최단 해를 고르는 도구가 4.5에 온다"까지만 알면 충분하다. 일단 넘어가도 되는 게 맞다! 이 소단원의 진짜 역할은 "열 독립 가정이 왜 필요했는지" 보여주는 것.
|
||||
- #### [8단계] 포물선 맞추기: 미지수가 3개로 늘어날 뿐
|
||||
- 왜 포물선인가: 갈릴레오의 낙하 실험처럼 세상엔 $t^2$ 항이 필요한 데이터가 많다 (이동거리 $\frac{1}{2}gt^2$).
|
||||
- ⚠️ 흔한 오해 교정: "$t^2$ 이 있으면 비선형 문제 아닌가?" 아니다. 곡선은 $t$ 에 대해 비선형이지만, **미지수** $C, D, E$ **는 여전히 선형**으로 등장한다. 그래서 그대로 선형대수 문제다.
|
||||
- $$C + Dt_i + Et_i^2 = b_i \quad\Longleftrightarrow\quad A = \begin{bmatrix} 1 & t_1 & t_1^2 \\ \vdots & \vdots & \vdots \\ 1 & t_m & t_m^2 \end{bmatrix}\ (m \times 3,\ \text{식 (10)})$$
|
||||
- 달라진 것: 열 하나($t_i^2$ 열) 추가, 정규방정식이 $3 \times 3$ 이 된 것뿐. 절차는 동일.
|
||||
- ✅ **p.243 빈칸 채우기 검증** (굿노트 필기 채점):
|
||||
- 빈칸 ① "행렬 $A$ 의 열공간의 차원은 ___": 굿노트에 적은 $m$ 은 **오답**이다. 정답은 **3**.
|
||||
- 열공간은 $\mathbb{R}^m$ **안에** 산다 (성분이 $m$ 개인 벡터들). 하지만 그 안에서 열 3개(시간이 3개 이상 다르면 독립)가 펼치는 **3차원** 부분공간이다.
|
||||
- "사는 곳의 차원($m$)"과 "부분공간 자신의 차원(3)"의 구분, 4.1 [2단계] 벽·바닥에서 했던 바로 그 구분이다. 사영 문제로 읽으면: $b \in \mathbb{R}^m$ 을 3차원 부분공간에 사영하는 것.
|
||||
- 빈칸 ②③④ "$e_1^2 + \cdots + e_m^2$ 의 ___, ___, ___ 에 대한 편도함수": 굿노트의 $C, D, E$ **정답** ✓. 미지수가 3개니 도함수도 3개, [3단계]의 확장이다.
|
||||
- 🔢 EX3, 특수한 경우: 세 점 $(0,6), (1,0), (2,0)$ 에 포물선을 맞추면?
|
||||
- 미지수 3개 = 점 3개 → $A$ 가 $3 \times 3$ 정사각 (방데르몽드). 가역이라 **정확히 통과**한다: $x = (C, D, E) = (6, -9, 3)$, 즉 $b = 6 - 9t + 3t^2$. 오차 0.
|
||||
- 💡 $n$ 이 $m$ 에 도달하면 "근사"가 "보간"으로 퇴화한다. 최소제곱이 특별히 필요한 것은 $m > n$ 일 때다.
|
||||
- 푸리에 급수 (읽을거리): 벡터 대신 **함수**를 근사하면 무한 차원 최소제곱이 된다 (제곱합 → 제곱적분).
|
||||
- 📌 원문 (p.244): ((6a7f0d62-7ece-49bd-8feb-0343d9b2524c))
|
||||
- ### 📖 확인문제 풀이 (4.3A·4.3B)
|
||||
- **확인문제 4.3A**: $t = 1, \ldots, 10$ 에서 측정값이 $0, 0, \ldots, 0, 40$ (마지막 하나만 이상값). 최적의 **수평선** $y = C$ 를 세 가지 오차 기준으로 구하라.
|
||||
- (a) 제곱합 $E_2 = e_1^2 + \cdots + e_{10}^2$ 최소화: $A$ = (1로만 된 열), $A^{\mathrm{T}}A = 10$, $A^{\mathrm{T}}b = 40$ → $10C = 40$, $C = 4$. **평균**이 답.
|
||||
- (b) 최대오차 $E_\infty = |e_{\max}|$ 최소화: 0과 40의 **중점** $C = 20$.
|
||||
- (c) 절댓값 합 $E_1 = |e_1| + \cdots + |e_{10}|$ 최소화: **중앙값** $C = 0$ (0이 9개, 40이 1개면 중앙값은 0. $C$ 를 0에서 올리면 $9|C|$ 가 $|40 - C|$ 감소보다 빨리 커진다).
|
||||
- 💡 이 문제의 교훈: **최소제곱(평균)은 이상값에 민감하다**. 40 하나가 답을 0에서 4로 끌어올렸다. 통계학자들이 종종 절댓값 합(중앙값)을 선호하는 이유. 다만 절댓값 합의 방정식은 비선형이라 계산이 어렵고, 제곱합은 선형이라 쉽다 (그래서 최소제곱이 기본기가 된 것).
|
||||
- 후반부 (10개 점에 직선 맞추기): $A^{\mathrm{T}}A = \begin{bmatrix} 10&55 \\ 55&385 \end{bmatrix}$, $A^{\mathrm{T}}b = (40, 400)$ → $C = -8$, $D = \frac{24}{11}$. 식 (8)에 숫자만 넣은 것.
|
||||
- **확인문제 4.3B**: $t = -2, -1, 0, 1, 2$ 에서 $b = (0, 0, 1, 0, 0)$ 에 가장 가까운 포물선 $C + Dt + Et^2$.
|
||||
- 시간이 대칭이라 $A$ 의 2열($t$)이 1열·3열과 직교 → $A^{\mathrm{T}}A = \begin{bmatrix} 5&0&10 \\ 0&10&0 \\ 10&0&34 \end{bmatrix}$ 에 0이 생기고, $D$ 방정식이 분리된다.
|
||||
- $10D = 0$ → $D = 0$ (예상대로: 데이터가 $t = 0$ 중심 대칭이면 최적 포물선도 대칭, 기울기 항 불필요).
|
||||
- 나머지 $2 \times 2$: $5C + 10E = 1$, $10C + 34E = 0$ → $C = \frac{34}{70}$, $E = -\frac{10}{70}$.
|
||||
- 💡 [6단계] 직교 열의 위력 재확인: 직교가 "분리"를 만든다. $D$ 는 $C, E$ 와 완전히 무관하게 결정됐다.
|
||||
- ### ❓ 스스로 점검
|
||||
- 최소제곱해 $\hat{x}$ 의 정의는? 무엇을 풀어서 구하는가?
|
||||
- $E = \|Ax - b\|^2$ (오차 제곱합)을 최소로 만드는 $x$.
|
||||
- 정규방정식 $A^{\mathrm{T}}A\hat{x} = A^{\mathrm{T}}b$ 를 풀어 구한다.
|
||||
- 사영과의 관계: $A\hat{x} = p$ ($b$ 의 열공간 사영). 4.2와 같은 방정식, 주인공만 $p$ 에서 $\hat{x}$ 으로.
|
||||
- 정규방정식에 도달하는 세 가지 관점을 말하라.
|
||||
- 기하: 오차 $e = b - A\hat{x}$ 이 열공간과 직교해야 한다.
|
||||
- 대수: $\|Ax-b\|^2 = \|Ax-p\|^2 + \|e\|^2$ (피타고라스), 첫 항을 0으로 만드는 것이 $\hat{x}$.
|
||||
- 미분적분: 편도함수 $\frac{\partial E}{\partial x_i} = 0$. 제곱합의 도함수는 선형이라 연립 1차방정식이 나온다.
|
||||
- 직선 맞추기에서 $A$, $A^{\mathrm{T}}A$, $A^{\mathrm{T}}b$ 는 어떤 모양인가?
|
||||
- $A$: 1열은 전부 1 (절편), 2열은 시간들 $t_i$ (기울기). $m \times 2$.
|
||||
- $A^{\mathrm{T}}A = \begin{bmatrix} m & \sum t_i \\ \sum t_i & \sum t_i^2 \end{bmatrix}$, $A^{\mathrm{T}}b = \begin{bmatrix} \sum b_i \\ \sum t_i b_i \end{bmatrix}$ (내적 표로 채우기).
|
||||
- [그림 4.1]과 [그림 4.7]의 차이를 분할의 언어로 말하라.
|
||||
- 그림 4.1 (3장~4.1): 해가 많다 → **입력** $x = x_r + x_n$ 분할.
|
||||
- 그림 4.7 (4.3): 해가 없다 → **출력** $b = p + e$ 분할. $Ax = b$ 대신 $A\hat{x} = p$ 를 푼다.
|
||||
- 최적 직선이 항상 지나는 점은? 그 이유는?
|
||||
- 평균점 $(\hat{t}, \hat{b})$ (시간 평균, 높이 평균).
|
||||
- 정규방정식의 1행 $Cm + D\sum t_i = \sum b_i$ 를 $m$ 으로 나누면 $C + D\hat{t} = \hat{b}$ (연습문제 11).
|
||||
- $A$ 의 열이 종속이면 최소제곱에서 무엇이 깨지고 무엇이 살아남는가?
|
||||
- 깨지는 것: $A^{\mathrm{T}}A$ 의 가역성 → $\hat{x}$ 이 유일하지 않다 (무한히 많다).
|
||||
- 살아남는 것: 사영 $p$ 는 여전히 유일하다.
|
||||
- 최단 $\hat{x}$ 을 고르는 도구가 4.5의 유사역행렬 $A^{+}$ (수위 조절: 이름만).
|
||||
- ### ✏️ 연습문제 풀이 (솔루션 참고)
|
||||
- **문제 1** (+ 문제 2·3 연계): 시간 $t = 0, 1, 3, 4$ 에서 $b = (0, 8, 8, 20)$. 정규방정식을 만들고 풀어 최적 직선과 $p$, $e$, $E$ 의 최솟값을 구하라.
|
||||
- 📌 참고 그림 (p.246):
|
||||
- 
|
||||
- 🔁 개념 상기: [5단계] 공식 그대로. $A^{\mathrm{T}}A$ 와 $A^{\mathrm{T}}b$ 를 내적 표로 채우고 $2 \times 2$ 를 푼다. 끝나면 $p = A\hat{x}$, $e = b - p$, $E_{\min} = \|e\|^2$.
|
||||
- 1단계, 재료 준비 (내적 표):
|
||||
- $m = 4$, $\sum t = 0+1+3+4 = 8$, $\sum t^2 = 0+1+9+16 = 26$
|
||||
- $\sum b = 36$, $\sum tb = 0 + 8 + 24 + 80 = 112$
|
||||
- $$\begin{bmatrix} 4&8 \\ 8&26 \end{bmatrix}\begin{bmatrix} C \\ D \end{bmatrix} = \begin{bmatrix} 36 \\ 112 \end{bmatrix}$$
|
||||
- 2단계, 풀기: 1행÷4 → $C + 2D = 9$. 2행÷2 → $4C + 13D = 56$. 대입: $4(9 - 2D) + 13D = 56$ → $5D = 20$ → $D = 4$, $C = 1$.
|
||||
- 최적 직선: $b = 1 + 4t$.
|
||||
- 3단계, $p$ 와 $e$: $t = 0, 1, 3, 4$ 에서 직선의 높이 $p = (1, 5, 13, 17)$. 오차 $e = b - p = (-1, 3, -5, 3)$.
|
||||
- $E_{\min} = \|e\|^2 = 1 + 9 + 25 + 9 = 44$.
|
||||
- 4단계, 검산 두 겹: $\sum e_i = -1+3-5+3 = 0$ ✓ ($e$ ⊥ 1열), $\sum t_i e_i = 0 + 3 - 15 + 12 = 0$ ✓ ($e$ ⊥ 2열). 오차가 두 열 모두와 직교한다.
|
||||
- 문제 2의 메시지: 측정값을 $p = (1, 5, 13, 17)$ 로 바꾸면 $A\hat{x} = p$ 가 **정확히** 풀리고 해는 같은 $(1, 4)$. "풀 수 없는 $b$ 를 풀 수 있는 $p$ 로 교체"가 최소제곱의 정체다.
|
||||
- 문제 3의 메시지: 이 $e$ 가 바로 $b$ 에서 열공간까지의 최단거리, $\|e\| = \sqrt{44}$.
|
||||
- 핵심 문장: 직선 맞추기 4종 세트는 "내적 표 → $2 \times 2$ 풀기 → $p = A\hat{x}$ → $e$ ⊥ 두 열 검산" 순서다.
|
||||
- **문제 9·10**: 같은 데이터에 포물선(미지수 3개), 3차 곡선(미지수 4개)을 맞추면?
|
||||
- 🔁 개념 상기: [8단계]. 열 하나 추가 = 정규방정식 한 차원 증가. 그리고 $n = m$ 이 되는 순간 근사가 보간으로 퇴화한다.
|
||||
- 문제 9 (포물선): $A$ 에 3열 $(t_i^2) = (0, 1, 9, 16)$ 추가 → $A^{\mathrm{T}}A\hat{x} = A^{\mathrm{T}}b$ 는
|
||||
- $$\begin{bmatrix} 4&8&26 \\ 8&26&92 \\ 26&92&338 \end{bmatrix}\begin{bmatrix} C \\ D \\ E \end{bmatrix} = \begin{bmatrix} 36 \\ 112 \\ 400 \end{bmatrix}$$
|
||||
- (세우는 것까지가 문제. 내적 표 연습: 2열·3열 $= \sum t^3 = 0+1+27+64 = 92$ 등.)
|
||||
- [그림 4.8(b)]는 어떻게 되나: $\mathbb{R}^4$ 사영 그림에 세 번째 화살표 $a_3 = (0, 1, 9, 16)$ 이 추가되고, $b$ 를 2차원 평면이 아니라 **3차원 부분공간**에 사영하게 된다.
|
||||
- 문제 10 (3차 곡선): 4열 $(t_i^3) = (0, 1, 27, 64)$ 까지 추가하면 $A$ 는 $4 \times 4$ 방데르몽드 정사각. 시간 4개가 서로 다르니 가역.
|
||||
- 소거로 풀면 $x = (C, D, E, F) = \frac{1}{3}(0, 47, -28, 5)$. **4개의 점을 정확히 통과** → $p = b$, $e = 0$.
|
||||
- 핵심 문장: 미지수 개수 $n$ 이 데이터 개수 $m$ 에 도달하면 오차가 0이 된다 (보간). 최소제곱은 $m > n$ 의 도구다.
|
||||
- **문제 11**: 최적 직선이 평균점 $(\hat{t}, \hat{b})$ 을 지남을 확인하고 이유를 설명하라.
|
||||
- 🔁 개념 상기: 정규방정식 1행의 "의미 읽기" 문제다.
|
||||
- (a) 확인: $\hat{t} = \frac{0+1+3+4}{4} = 2$, $\hat{b} = \frac{0+8+8+20}{4} = 9$. 최적 직선 $b = 1 + 4t$ 에 $t = 2$ 대입: $1 + 8 = 9 = \hat{b}$ ✓.
|
||||
- (b) 이유: 정규방정식 1행은 $Cm + D\sum t_i = \sum b_i$. 양변을 $m$ 으로 나누면:
|
||||
- $$C + D\hat{t} = \hat{b}$$
|
||||
- 즉 "1행 = 최적 직선이 평균점을 지난다는 조건". (1행은 $e$ ⊥ (1,…,1), 즉 $\sum e_i = 0$ 이기도 하다. 오차 총합 0 ⟺ 평균점 통과.)
|
||||
- 핵심 문장: 통계에서 "회귀직선은 $(\bar{t}, \bar{b})$ 를 지난다"는 사실의 정체가 정규방정식 1행이다.
|
||||
- **문제 12** (꼭 풀어볼 만한 문제): $b = (b_1, \ldots, b_m)$ 을 $a = (1, \ldots, 1)$ 방향 직선 위로 사영하라 (미지수 1개짜리 최소제곱).
|
||||
- 🔁 개념 상기: 4.2 직선 사영 공식 $\hat{x} = \frac{a^{\mathrm{T}}b}{a^{\mathrm{T}}a}$ 의 통계 버전. 이 문제 하나로 평균·분산·표준편차가 전부 선형대수 언어로 번역된다.
|
||||
- (a) $a^{\mathrm{T}}a = m$, $a^{\mathrm{T}}b = b_1 + \cdots + b_m$ → $\hat{x} = \frac{b_1 + \cdots + b_m}{m}$ = $b$ 들의 **평균**(mean).
|
||||
- (b) 오차 $e = b - \hat{x}a$ 의 성분은 $b_i - (\text{평균})$. 따라서
|
||||
- $$\|e\|^2 = (b_1 - \text{평균})^2 + \cdots + (b_m - \text{평균})^2 = \text{분산}(variance)\ \sigma^2$$
|
||||
- $\|e\|$ 는 **표준편차**(에 해당하는 크기).
|
||||
- (c) 🔢 $b = (1, 2, 6)$: 평균 3 → $p = (3, 3, 3)$, $e = (-2, -1, 3)$.
|
||||
- 검산: $p^{\mathrm{T}}e = -6 - 3 + 9 = 0$ ✓.
|
||||
- 사영행렬: $P = \frac{aa^{\mathrm{T}}}{a^{\mathrm{T}}a} = \frac{1}{3}\begin{bmatrix} 1&1&1 \\ 1&1&1 \\ 1&1&1 \end{bmatrix}$ ($Pb$ = 모든 성분을 평균으로 바꾸는 행렬!).
|
||||
- 핵심 문장: **평균 = 상수 벡터** $(1,\ldots,1)$ **위로의 사영, 분산 = 그 오차의 크기 제곱.** 통계학의 기초가 사영 공식 한 줄이다.
|
||||
- **문제 20**: $t = -1, 1, 2$ 에서 $b = (5, 13, 17)$. $\hat{x}$ 을 구하면 $e = 0$ 인 이유는?
|
||||
- 🔁 개념 상기: 사영 문제는 "안인가 밖인가" 확인부터 (4.2 문제 17의 데이터 버전).
|
||||
- 세 점 $(-1, 5), (1, 13), (2, 17)$ 을 보면: 기울기 $\frac{13-5}{1-(-1)} = 4 = \frac{17-13}{2-1}$. **세 점이 정확히 한 직선 위**에 있다!
|
||||
- 직선은 $b = 9 + 4t$, 즉 $\hat{x} = (9, 4)$ 이고 $b = 9 \cdot (\text{1열}) + 4 \cdot (\text{2열})$.
|
||||
- 빈칸 답: $e = 0$ 인 이유는 $b$ 가 $A$ **의 열공간 안**에 있기 때문. 최소제곱이 완전해로 퇴화하는 경우다.
|
||||
- 핵심 문장: 데이터가 이미 직선 위면 $b \in \mathbf{C}(A)$, 오차 0. 최소제곱은 "해가 있으면 그 해"를 그대로 돌려준다.
|
||||
- **문제 22**: $t = -2, -1, 0, 1, 2$, $b = (4, 2, -1, 0, 0)$ 과 가장 가까운 직선.
|
||||
- 🔁 개념 상기: 시간이 대칭이다! [6단계] EX2의 지름길 (직교 열 → 대각 $A^{\mathrm{T}}A$ → 따로따로 나누기).
|
||||
- $\sum t = 0$ 이므로 $A^{\mathrm{T}}A = \begin{bmatrix} 5&0 \\ 0&10 \end{bmatrix}$ ($m = 5$, $\sum t^2 = 4+1+0+1+4 = 10$).
|
||||
- $A^{\mathrm{T}}b = (\sum b,\ \sum tb) = (5,\ -8-2+0+0+0) = (5, -10)$.
|
||||
- 따로 풀기: $C = \frac{5}{5} = 1$, $D = \frac{-10}{10} = -1$. 최적 직선: $b = 1 - t$.
|
||||
- 핵심 문장: 시간 합이 0이면 정규방정식이 대각이 되어 $C$ = 높이 평균, $D = \frac{\sum tb}{\sum t^2}$ 로 즉시 끝난다.
|
||||
@ -16,3 +16,4 @@ deck:: Logseq/전공공부/선형대수학
|
||||
- ## 소단원
|
||||
- [[4.1 벡터와 부분공간의 직교성]]
|
||||
- [[4.2 직선과 부분공간 위로의 사영]]
|
||||
- [[4.3 최소제곱근사]]
|
||||
@ -268,3 +268,96 @@ file-path:: ../assets/4장_직교성_1786280501491_0.pdf
|
||||
id:: 6a7b0d35-505d-4e2b-89fb-270f4e5f86de
|
||||
hl-type:: area
|
||||
hl-stamp:: 1786449205469
|
||||
- 오차벡터 e = b - Ax를 항상 0으로 줄일 수는 없다. e가 0일 때 x는 Ax = b의 정확한 해이다. e의 크기가 가능한 한 작아서 ‖b - Ax̂‖²이 최솟값에 도달하면, x̂은 최소제곱해가 된다
|
||||
ls-type:: annotation
|
||||
hl-page:: 28
|
||||
hl-color:: yellow
|
||||
id:: 6a7dcf45-30e9-47fc-bc0f-3243c1c73a00
|
||||
- 기본 방정식은 여전히 정규방정식 AᵀAx̂ = Aᵀb이다
|
||||
ls-type:: annotation
|
||||
hl-page:: 28
|
||||
hl-color:: yellow
|
||||
id:: 6a7dcf4f-ec05-4a72-afd6-26fe3bde7f0b
|
||||
- Ax = b의 해가 존재하지 않으면, 이 식의 양변에 Aᵀ를 곱하고 AᵀAx̂ = Aᵀb를 푼다.
|
||||
ls-type:: annotation
|
||||
hl-page:: 28
|
||||
hl-color:: yellow
|
||||
id:: 6a7dcf53-01d5-412b-9d65-325536a9a5d7
|
||||
- 임의의 x에 대한 제곱오차 ‖Ax - b‖² = ‖Ax - p‖² + ‖e‖²
|
||||
ls-type:: annotation
|
||||
hl-page:: 30
|
||||
hl-color:: yellow
|
||||
id:: 6a7dd176-75b8-4e9f-bbf4-25909045ec4e
|
||||
- 최소제곱해 x̂은 E = ‖Ax - b‖²을 가능한 한 작게 만든다
|
||||
ls-type:: annotation
|
||||
hl-page:: 30
|
||||
hl-color:: yellow
|
||||
id:: 6a7dd17a-8e52-4cec-b72c-eab898415e99
|
||||
- 미분적분학의 관점에서 생각해보자
|
||||
ls-type:: annotation
|
||||
hl-page:: 31
|
||||
hl-color:: yellow
|
||||
id:: 6a7f09e3-c19c-4ff6-b00d-d73ac7b9cc59
|
||||
- AᵀAx̂ = Aᵀb일 때, ‖Ax - b‖²의 편도함수는 0이다
|
||||
ls-type:: annotation
|
||||
hl-page:: 32
|
||||
hl-color:: yellow
|
||||
id:: 6a7f0a0d-c7d0-4ebe-b4a7-c2d23caaf25b
|
||||
- 식 (4)의 두 방정식은 AᵀAx̂ = Aᵀb이다.
|
||||
ls-type:: annotation
|
||||
hl-page:: 32
|
||||
hl-color:: yellow
|
||||
id:: 6a7f0a47-3114-4b81-af6e-2818eeafc72a
|
||||
- [:span]
|
||||
ls-type:: annotation
|
||||
hl-page:: 32
|
||||
hl-color:: yellow
|
||||
id:: 6a7f0a6c-2e57-4d5b-beef-04a0a0062d19
|
||||
hl-type:: area
|
||||
hl-stamp:: 1786710636598
|
||||
- [:span]
|
||||
ls-type:: annotation
|
||||
hl-page:: 31
|
||||
hl-color:: yellow
|
||||
id:: 6a7f0a74-30ff-4ec4-ba78-52d533dd1f8d
|
||||
hl-type:: area
|
||||
hl-stamp:: 1786710644409
|
||||
- Ax = b 대신에 Ax̂ = p를 푼다. 오차 e = b - p는 피할 수 없다.
|
||||
ls-type:: annotation
|
||||
hl-page:: 32
|
||||
hl-color:: yellow
|
||||
id:: 6a7f0aac-af80-47bc-9b60-cd999da58ec2
|
||||
- 영공간 N(A)가 얼마나 작은지에 주목하라. N(A)는 단 하나의 점만 포함한다. 선형독립인 열을 이용하면 Ax = 0의 유일한 해는 x = 0임을 알 수 있다. 그러면 AᵀA는 가역행렬이다. 방정식 AᵀAx̂ = Aᵀb는 최적의 벡터 x̂을 완전히 결정한다. 오차 e = b - p는 Aᵀe = 0을 만족한다
|
||||
ls-type:: annotation
|
||||
hl-page:: 33
|
||||
hl-color:: yellow
|
||||
id:: 6a7f0ade-00e5-4727-942b-d85312b043db
|
||||
- 직선 맞추기(fitting a line)는 최소제곱법에 대한 가장 명확한 응용이다
|
||||
ls-type:: annotation
|
||||
hl-page:: 33
|
||||
hl-color:: yellow
|
||||
id:: 6a7f0b52-edff-4a79-a474-8007acbfaf55
|
||||
- 푸리에 급수(Fourier series)는 무한 차원에서의 최소제곱 문제이다
|
||||
ls-type:: annotation
|
||||
hl-page:: 38
|
||||
hl-color:: yellow
|
||||
id:: 6a7f0d62-7ece-49bd-8feb-0343d9b2524c
|
||||
- 오차벡터 e(즉 잔차(residual) b - Ax̂)는 행렬 A의 열과 직교한다(기하학 관점)
|
||||
ls-type:: annotation
|
||||
hl-page:: 34
|
||||
hl-color:: yellow
|
||||
id:: 6a7f15b4-5473-4aab-a20c-7938633ae8f5
|
||||
- [:span]
|
||||
ls-type:: annotation
|
||||
hl-page:: 34
|
||||
hl-color:: yellow
|
||||
id:: 6a7f15c9-4514-48df-a2a8-86fc14eb92c4
|
||||
hl-type:: area
|
||||
hl-stamp:: 1786713545633
|
||||
- [:span]
|
||||
ls-type:: annotation
|
||||
hl-page:: 36
|
||||
hl-color:: yellow
|
||||
id:: 6a7f15e6-50ab-4391-aeda-acda5434850c
|
||||
hl-type:: area
|
||||
hl-stamp:: 1786713574364
|
||||
Loading…
x
Reference in New Issue
Block a user