Logseq/Major Study/pages/hls__4장_직교성_1786280501491_0.md

file:: 4장_직교성_1786280501491_0.pdf file-path:: ../assets/4장_직교성_1786280501491_0.pdf

• 두 벡터가 직교한다는 것은 두 벡터의 내적이 0임을 의미한다. ls-type:: annotation hl-page:: 2 hl-color:: yellow id:: 6a787abc-f31a-487e-9c0e-451308dc7e36
• v · w = vᵀw = 0 ls-type:: annotation hl-page:: 2 hl-color:: yellow id:: 6a787ac1-8770-4b41-a862-8b8ae853cc50
• 4가지 기본 부분공간은 서로 직교하는 관계이다 ls-type:: annotation hl-page:: 2 hl-color:: yellow id:: 6a787bd5-b422-4b1e-8203-99d9c164a3ce
• [:span] ls-type:: annotation hl-page:: 2 hl-color:: yellow id:: 6a787c0d-a229-4698-95fc-bdb87ebf798a hl-type:: area hl-stamp:: 1786280971515
• 식 Ax = 0은 x가 행렬 A의 각 행과 직교함을 의미하며, 식 Aᵀy = 0은 y가 행렬 A의 각 열과 직교함을 의미한다 ls-type:: annotation hl-page:: 2 hl-color:: yellow id:: 6a787d5d-e3a3-4fd6-bc60-23b45bd56f24
• [:span] ls-type:: annotation hl-page:: 3 hl-color:: yellow id:: 6a787e07-d315-4645-8541-d8e1779e2175 hl-type:: area hl-stamp:: 1786281478386
• 직선 위의 모든 벡터와 평면 위에 모든 벡터가 서로 직교하면, 그 직선(1차원 부분공간)과 평면(2차원 부분공간)은 서로 직교한다. ls-type:: annotation hl-page:: 4 hl-color:: yellow id:: 6a787ea7-709a-4833-b9cc-9134563b40dc
• 행렬 A의 영공간은 A의 행공간과 직교한다. ls-type:: annotation hl-page:: 4 hl-color:: yellow id:: 6a787eb2-c989-4164-beca-de440e0edb91
• A의 열공간 C(A)와 Aᵀ의 영공간 N(Aᵀ)가 직교한다 ls-type:: annotation hl-page:: 4 hl-color:: yellow id:: 6a787ef7-1822-46e0-8709-ed5e9eb05a05
• [:span] ls-type:: annotation hl-page:: 5 hl-color:: yellow id:: 6a787f09-1ca3-4fa6-93e5-3e342dc05a83 hl-type:: area hl-stamp:: 1786281737047
• 전체 공간을 구성하는 직교하는 두 부분공간의 쌍을 특별히 직교여공간이라 한다 ls-type:: annotation hl-page:: 5 hl-color:: yellow id:: 6a788137-090c-4660-8c0e-093b7751a47c
• V의 직교여공간 V⊥은 V와 직교하는 모든 벡터를 포함한다. ls-type:: annotation hl-page:: 5 hl-color:: yellow id:: 6a788141-72f8-496c-b763-902b6938ff79
• [:span] ls-type:: annotation hl-page:: 5 hl-color:: yellow id:: 6a788158-f254-4ace-8d7b-92efbb1a5894 hl-type:: area hl-stamp:: 1786282327912
• 직교하는 두 부분공간에 속하는 유일한 벡터는 영벡터이다 ls-type:: annotation hl-page:: 7 hl-color:: yellow id:: 6a7881ad-9b11-4a79-88c1-01464b139f02
• [:span] ls-type:: annotation hl-page:: 7 hl-color:: yellow id:: 6a7881e1-fb21-49ef-acd2-b678f4d6c28d hl-type:: area hl-stamp:: 1786282465656
• [:span] ls-type:: annotation hl-page:: 7 hl-color:: yellow id:: 6a788201-e377-4ca6-964c-3f8810eac2b2 hl-type:: area hl-stamp:: 1786282496737
• 해의 유일성은 해가 존재함을 의미하고, 해의 존재성은 해가 유일함을 의미한다 ls-type:: annotation hl-page:: 7 hl-color:: yellow id:: 6a78823e-e254-436d-9494-f833c007e475
• 행렬 A는 행공간에서 열공간으로의 가역변환이다 ls-type:: annotation hl-page:: 6 hl-color:: yellow id:: 6a788859-b8b0-4ccf-a774-177555adbcec
• 행공간의 기저벡터 r개와 영공간의 기저벡터 (n-r)개를 더하면 r + (n-r) = n개의 벡터가 된다. 이 n개의 벡터는 선형독립이다. 따라서 Rⁿ을 생성한다 ls-type:: annotation hl-page:: 8 hl-color:: yellow id:: 6a788882-d504-47fd-809d-fa131414360a
• 영공간의 벡터 x와 행공간의 벡터 Aᵀy가 직교: xᵀ(Aᵀy) = (Ax)ᵀy = 0ᵀy = 0 ls-type:: annotation hl-page:: 4 hl-color:: yellow id:: 6a7888b9-0f6a-494b-a9e7-3cf7dbe5dd91
• 벡터 b는 S 안에서 가장 가까운 점 p로 사영된다. 그러면 오차벡터 e = b - p는 부분공간 S와 직교한다. ls-type:: annotation hl-page:: 13 hl-color:: yellow id:: 6a7a03f4-57ff-42c6-9820-cc0446588b7a
• 행렬 A가 선형독립인 열을 갖는다면, 벡터 b의 C(A) 위로의 사영은 p = A(AᵀA)⁻¹Aᵀb이다. 여기서 사영행렬 P = A(AᵀA)⁻¹Aᵀ는 대칭행렬이다 ls-type:: annotation hl-page:: 13 hl-color:: yellow id:: 6a7a0403-2799-49a5-952d-9fdf5d50e671
• P² = P이다. 즉 두 번째 사영은 p를 p로 사영하므로 아무것도 변하지 않는다 ls-type:: annotation hl-page:: 13 hl-color:: yellow id:: 6a7a040f-bcd4-4e55-863a-6152ed91aa7f
• 벡터 b가 직선 위로 사영되면, 사영 p는 벡터 b의 해당 직선 방향 부분이 된다. 벡터 b가 평면 위로 사영되면, 사영 p는 벡터 b의 해당 평면 방향 부분이 된다. 사영 p는 Pb이다. ls-type:: annotation hl-page:: 13 hl-color:: yellow id:: 6a7a0415-779e-42a1-9b91-95340aa2264b
• [:span] ls-type:: annotation hl-page:: 14 hl-color:: yellow id:: 6a7a041f-7af3-4273-a7e3-c56d9b591165 hl-type:: area hl-stamp:: 1786381341457
• 직선과 평면은 단순히 직교하는 것을 넘어, 서로 직교여공간이다 ls-type:: annotation hl-page:: 14 hl-color:: yellow id:: 6a7a042f-2b0c-4ecd-949e-f28c59939ff2
• 벡터들은 p₁ + p₂ = b를 만족하고, 행렬들은 P₁ + P₂ = I, P₁P₂ = 0을 만족한다. ls-type:: annotation hl-page:: 14 hl-color:: yellow id:: 6a7a0437-3040-4bc0-a638-f5b5d33a8f99
• b에서 p까지의 직선은 벡터 a와 직교한다 ls-type:: annotation hl-page:: 15 hl-color:: yellow id:: 6a7a043f-522f-490b-b277-c1d2a36f849c
• [:span] ls-type:: annotation hl-page:: 16 hl-color:: yellow id:: 6a7a044a-2260-4606-b890-6f4f9333742c hl-type:: area hl-stamp:: 1786381386523
• [:span] ls-type:: annotation hl-page:: 16 hl-color:: yellow id:: 6a7a045f-fe09-47a3-b9b0-74e54a3248ee hl-type:: area hl-stamp:: 1786381407053
• [:span] ls-type:: annotation hl-page:: 17 hl-color:: yellow id:: 6a7a046a-3e0f-494b-b603-5a93cc3eeed4 hl-type:: area hl-stamp:: 1786381417724
• 항등행렬 I에 대해 행렬 I - P도 사영행렬이어야 한다 ls-type:: annotation hl-page:: 17 hl-color:: yellow id:: 6a7af20e-41d5-4040-a603-a53e5809a41f
• P가 하나의 부분공간 위로 사영할 때, I - P는 그 부분공간과 직교하는 부분공간 위로 사영한다. ls-type:: annotation hl-page:: 17 hl-color:: yellow id:: 6a7af214-6b8f-4d35-99ab-549c781aa104
• p = Ax̂ (사영) ls-type:: annotation hl-page:: 18 hl-color:: yellow id:: 6a7af225-e248-4100-b418-ce9559de344b
• x̂ 위의 ^(hat) 표기는 열공간 안에서 가장 가까운 벡터를 제공하는 최적의 선택임을 의미한다. n = 1인 경우, 그 최적의 선택은 x̂ = aᵀb/aᵀa이다 ls-type:: annotation hl-page:: 18 hl-color:: yellow id:: 6a7af22c-331d-4718-b45f-3c7997457022
• (S) 안에서 벡터 x̂을 구하고, (C) 안에서 사영 p = Ax̂을 구한 다음, (T) 안에서 사영행렬 P를 구해보자. ls-type:: annotation hl-page:: 18 hl-color:: yellow id:: 6a7af232-2329-4ae5-8b0b-f32445874c99
• 오차벡터 b - Ax̂은 부분공간과 직교한다 ls-type:: annotation hl-page:: 18 hl-color:: yellow id:: 6a7af237-5421-4b5e-9aaf-f18ab9f7b198
• [:span] ls-type:: annotation hl-page:: 19 hl-color:: yellow id:: 6a7af245-203a-4d34-99d3-63a1f7a3bc3e hl-type:: area hl-stamp:: 1786442309180
• 핵심은 정규방정식(normal equation) Aᵀ(b - Ax̂) = 0을 해결하는 단계이다. ls-type:: annotation hl-page:: 19 hl-color:: yellow id:: 6a7af250-44f8-4e4d-8c66-e774cd33390a
• [:span] ls-type:: annotation hl-page:: 19 hl-color:: yellow id:: 6a7af25d-f986-4721-a903-e7463d07eb9a hl-type:: area hl-stamp:: 1786442333608
• 행렬 P = A(AᵀA)⁻¹Aᵀ를 계산할 때 주의할 점이 있다 ls-type:: annotation hl-page:: 20 hl-color:: yellow id:: 6a7af267-9dca-45c0-bc40-f0a8db37093b
• A는 직사각행렬이다. 즉 A의 역행렬은 없다. m > n인 경우에는 A⁻¹가 존재하지 않으므로 (AᵀA)⁻¹를 A⁻¹와 (Aᵀ)⁻¹로 나눌 수 없다 ls-type:: annotation hl-page:: 20 hl-color:: yellow id:: 6a7af26d-7da7-41db-ba30-fac9454a16e0
• AᵀA가 가역행렬일 필요충분조건은 행렬 A의 열이 선형독립인 것이다. ls-type:: annotation hl-page:: 21 hl-color:: yellow id:: 6a7af283-66b3-4560-ae49-96b3acabb433
• [:span] ls-type:: annotation hl-page:: 22 hl-color:: yellow id:: 6a7af28d-1121-4a8f-94c5-3749f4744e14 hl-type:: area hl-stamp:: 1786442380971
• [:span] ls-type:: annotation hl-page:: 18 hl-color:: yellow id:: 6a7b0d0a-167b-4f1f-9889-09c8be19e7e0 hl-type:: area hl-stamp:: 1786449160532
• [:span] ls-type:: annotation hl-page:: 21 hl-color:: yellow id:: 6a7b0d23-2b91-414c-a5e2-50a025e0a7ba hl-type:: area hl-stamp:: 1786449187251
• [:span] ls-type:: annotation hl-page:: 15 hl-color:: yellow id:: 6a7b0d35-505d-4e2b-89fb-270f4e5f86de hl-type:: area hl-stamp:: 1786449205469
• 오차벡터 e = b - Ax를 항상 0으로 줄일 수는 없다. e가 0일 때 x는 Ax = b의 정확한 해이다. e의 크기가 가능한 한 작아서 ‖b - Ax̂‖²이 최솟값에 도달하면, x̂은 최소제곱해가 된다 ls-type:: annotation hl-page:: 28 hl-color:: yellow id:: 6a7dcf45-30e9-47fc-bc0f-3243c1c73a00
• 기본 방정식은 여전히 정규방정식 AᵀAx̂ = Aᵀb이다 ls-type:: annotation hl-page:: 28 hl-color:: yellow id:: 6a7dcf4f-ec05-4a72-afd6-26fe3bde7f0b
• Ax = b의 해가 존재하지 않으면, 이 식의 양변에 Aᵀ를 곱하고 AᵀAx̂ = Aᵀb를 푼다. ls-type:: annotation hl-page:: 28 hl-color:: yellow id:: 6a7dcf53-01d5-412b-9d65-325536a9a5d7
• 임의의 x에 대한 제곱오차 ‖Ax - b‖² = ‖Ax - p‖² + ‖e‖² ls-type:: annotation hl-page:: 30 hl-color:: yellow id:: 6a7dd176-75b8-4e9f-bbf4-25909045ec4e
• 최소제곱해 x̂은 E = ‖Ax - b‖²을 가능한 한 작게 만든다 ls-type:: annotation hl-page:: 30 hl-color:: yellow id:: 6a7dd17a-8e52-4cec-b72c-eab898415e99
• 미분적분학의 관점에서 생각해보자 ls-type:: annotation hl-page:: 31 hl-color:: yellow id:: 6a7f09e3-c19c-4ff6-b00d-d73ac7b9cc59
• AᵀAx̂ = Aᵀb일 때, ‖Ax - b‖²의 편도함수는 0이다 ls-type:: annotation hl-page:: 32 hl-color:: yellow id:: 6a7f0a0d-c7d0-4ebe-b4a7-c2d23caaf25b
• 식 (4)의 두 방정식은 AᵀAx̂ = Aᵀb이다. ls-type:: annotation hl-page:: 32 hl-color:: yellow id:: 6a7f0a47-3114-4b81-af6e-2818eeafc72a
• [:span] ls-type:: annotation hl-page:: 32 hl-color:: yellow id:: 6a7f0a6c-2e57-4d5b-beef-04a0a0062d19 hl-type:: area hl-stamp:: 1786710636598
• [:span] ls-type:: annotation hl-page:: 31 hl-color:: yellow id:: 6a7f0a74-30ff-4ec4-ba78-52d533dd1f8d hl-type:: area hl-stamp:: 1786710644409
• Ax = b 대신에 Ax̂ = p를 푼다. 오차 e = b - p는 피할 수 없다. ls-type:: annotation hl-page:: 32 hl-color:: yellow id:: 6a7f0aac-af80-47bc-9b60-cd999da58ec2
• 영공간 N(A)가 얼마나 작은지에 주목하라. N(A)는 단 하나의 점만 포함한다. 선형독립인 열을 이용하면 Ax = 0의 유일한 해는 x = 0임을 알 수 있다. 그러면 AᵀA는 가역행렬이다. 방정식 AᵀAx̂ = Aᵀb는 최적의 벡터 x̂을 완전히 결정한다. 오차 e = b - p는 Aᵀe = 0을 만족한다 ls-type:: annotation hl-page:: 33 hl-color:: yellow id:: 6a7f0ade-00e5-4727-942b-d85312b043db
• 직선 맞추기(fitting a line)는 최소제곱법에 대한 가장 명확한 응용이다 ls-type:: annotation hl-page:: 33 hl-color:: yellow id:: 6a7f0b52-edff-4a79-a474-8007acbfaf55
• 푸리에 급수(Fourier series)는 무한 차원에서의 최소제곱 문제이다 ls-type:: annotation hl-page:: 38 hl-color:: yellow id:: 6a7f0d62-7ece-49bd-8feb-0343d9b2524c
• 오차벡터 e(즉 잔차(residual) b - Ax̂)는 행렬 A의 열과 직교한다(기하학 관점) ls-type:: annotation hl-page:: 34 hl-color:: yellow id:: 6a7f15b4-5473-4aab-a20c-7938633ae8f5
• [:span] ls-type:: annotation hl-page:: 34 hl-color:: yellow id:: 6a7f15c9-4514-48df-a2a8-86fc14eb92c4 hl-type:: area hl-stamp:: 1786713545633
• [:span] ls-type:: annotation hl-page:: 36 hl-color:: yellow id:: 6a7f15e6-50ab-4391-aeda-acda5434850c hl-type:: area hl-stamp:: 1786713574364