관측값 해석론 & 측량학 - 2-1. Vector and Matrix (벡터와 행렬에 관하여)

 
 
 
 
 

---

 
 
 

📘 Part 1. 왜 벡터와 행렬이 필요한가?

 
우리는 측량, 공간데이터, 머신러닝 등 수많은 분야에서 선형 방정식 형태로 문제를 표현한다:
 
$$
Ax = b
$$
 
예시:

$$
A =
\begin{bmatrix}
1 & 1 & 1 \\
2 & 3 & 0 \\
1 & 2 & 1
\end{bmatrix}, \quad
b =
\begin{bmatrix}
2 \\
5 \\
-1
\end{bmatrix}, \quad
x =
\begin{bmatrix}
x_1 \\
x_2 \\
x_3
\end{bmatrix}
$$
 
 

---

 
 
지금같이 행렬 $A$가 정방(즉, 행과 열의 수가 같고, 역행렬이 존재)이면 다음처럼 해를 구할 수 있다:
 
$$
x = A^{-1} b
$$
 
하지만 항상 그렇지는 않다.
미지수의 개수에 비해서 방정식이 훨씬 많은 경우, 즉 overdetermined system 에는 하나의 $x$를 구할 수 없다.
 
 

---

 
 

그래서 다음과 같은 최소자승 문제를 푼다:
 
$$
\min |Ax - b|^2
$$
 
즉, $Ax$와 $b$가 완전히 같을 수는 없으니,
그 차이를 최소화하겠다는 의미이다.
 
 

---

 
 

반대로 방정식보다 미지수가 더 많다면, 즉 underdetermined system이라면
 
그럴 땐 해가 무수히 많기 때문에 그 중에서 norm이 가장 작은 해를 구한다:
 

$$
\min |x|^2 \quad \text{subject to } Ax = b
$$
 
 

---

 
 
 

💡 SVD (Singular Value Decomposition)

 
이런 복잡한 시스템을 수학적으로 정리해주는 것이 SVD이다.
 
$$
A = U \Sigma V^T \quad \Rightarrow \quad A^+ = V \Sigma^{-1} U^T
$$
 
이때 $A^+$는 Moore–Penrose 유사역행렬,
즉 역행렬이 존재하지 않을 때 사용할 수 있는 대체제이다.
 
이를 통해 $x = A^+ b$라는 방식으로 해를 구할 수 있다.
 
 

---

 
 

📘 Part 2. Vectors – 벡터의 기초

 

✅ 벡터 정의

 

• row vector: $a = [a_1, a_2, ..., a_n]$
• column vector:
• $$
  a =
  \begin{bmatrix}
  a_1 \\
  a_2 \\
  \vdots \\
  a_n
  \end{bmatrix}
  $$
• 전치 (transpose): $a^T$
   
   

---

 
 

✅ 벡터 연산

• 덧셈: 두 벡터가 같은 차원일 때 원소별로 더함
• 스칼라 곱: $c = \alpha a \Rightarrow c_i = \alpha a_i$
• 선형결합: $c = \alpha a + \beta b$
   
   

---

 
 

✅ 선형 독립 vs 종속

 
벡터 집합 ${a_1, ..., a_n}$에 대해:

• 종속:
  $$
  \sum_{j=1}^n \alpha_j a_j = 0 \quad \text{and some } \alpha_j \ne 0
  $$
• 독립:
  $$
  \sum_{j=1}^n \alpha_j a_j = 0 \Rightarrow \alpha_j = 0 \text{ for all } j
  $$
   
   

---

 
 

✅ 내적과 직교성

 

• 내적 (dot product):
   
  $$
  a^T b = \sum_{i=1}^n a_i b_i = |a| |b| \cos(\theta)
  $$
   
• 직교: $a^T b = 0$
   
   

---

 
 

✅ 벡터 크기 (Norm)

$$
|a| = \sqrt{a^T a}
$$
 
 

---

 
 

✅ 정규화 (Normalization)

$$
\hat{a} = \frac{a}{|a|}
$$
 
 

---

 
 

✅ 직교 기저

벡터들이 서로 직교하고, 각 벡터의 크기가 1일 경우: 정규 직교 기저 (orthonormal basis)