[EECS 498-007/598-005] Lecture 1. Introduction (Deep Learning for Computer Vision)

 

---

 

이 포스팅은 University of Michigan - Justin Johnson 교수님의 [EECS 498-007/598-005] Deep Learning for Computer Vision을 기반으로 합니다. 

 

---

 

🚀 컴퓨터 비젼을 위한 딥러닝 Introduction 

 

intro

 

computer vision and deep learning

 

이 수업에서 다루는 컴퓨터 비젼을 위한 딥러닝은 전체 AI, ML 중에서 다음과 같은 범위를 다룬다고 보면 된다. 

 

 

---

 

🚀 컴퓨터 비젼 및 딥러닝의 발전 역사 

 

✅ 신경망의 기원 (고양이 시신경 실험) - Hubel and Wiesel, 1959 

Hubel and Wiesel, 1959 - cat experiment

 

고양이 시신경 실험을 통해서 하나의 물체를 볼 때, simple cell이 자국되어 다음 cell로 전달되고, 다음 cell이 또 다음 cell로 전달되며 받은 많은 복잡한 정보들을 바탕으로 "사물 인식"을 한다는 것을 밝혔다. 

이는 CNN의 시초이다. 

 

---

 

✅ Block World - Larry Roberts, (1963) 

Larry Roberts, 1963

 

원래 사물 (a)를

→ (b) 처럼 기하학적 모양으로 단순화시키거나, 

→ (c)처럼 feature point로 만들어서 

컴퓨터 비젼에 유용하도록 재구성 

 

---

 

✅ Stages of Visual Representation - David Marr, 1970s 

David Marr, 1970s - Stages of Visual Representation

 

Input Image를 Edge만 따거나, 2 ½-D Sketch를 하거나, 3-D Model로 표현하여 컴퓨터 비젼에 적절하도록 표현 

 

---

 

✅ Recognition via Parts - Brooks and Binford, Fischler and Eshlager 

Recognition via Parts - Brooks and Binford, Fischler and Eshlager

 

사람의 형태를 기계가 인식할 수 있도록 part를 나누어 Generalzied Cylinders, Pictorial Structure로 표현 

 

 

---

 

✅ John Canny, David Lowe, 1980s - Recognition via Edge Detection  

John Canny, David Lowe, 1980s - Recognition via Edge Detection

 

물체의 Edge를 추출하여 detection 하기 

 

 

---

 

✅ Normalized Cuts, Shi and Malik, 1990s - Recognition via Grouping  

Normalized Cuts, Shi and Malik, 1990s - Recognition via Grouping

 

Grouping을 통해서 사물을 구분하기 

 

 

---

 

✅ SIFT, David Lowe, 2000s - Recognition via Matching  

SIFT, David Lowe, 2000s - Recognition via Matching

 

같은 사물을 다른 각도로 찍었을 때 matching을 통해서 인식하기 

 

---

 

✅ Viola and Jones, 2001 - Face Detection  

Viola and Jones, 2001 - Face Detection

 

가장 성공적인 실생활에 쓰이는 객체 인식이었던 Face Detection 

방법론이나 인식율은 높지는 않았다고 한다 

 

 

---

 

✅ PASCAL Visual Object Challenge, 2001 

PASCAL Visual Object Challenge, 2001

 

PASCAL 객체인식 챌린지 

오른쪽 mAP 그래프를 보면 알 수 있지만 불과 2011년까지도 인식률이 50퍼센트를 닿지 못했었다... 

 

 

---

 

✅ Imagenet classification challenge, 2009 

Imagenet classification challenge, 2009 

 

Imagenet 분류 챌린지 

딥러닝이 본격적으로 도입된 2012년부터 오차가 확연히 줄어들은 것으로 보인다. 

 

 

---

 

✅ Krizhevsky, Sutskever, and Hinton, NeurIPS, 2012 - AlexNet 

Krizhevsky, Sutskever, and Hinton, NeurIPS, 2012 - AlexNet

 

2012년 AlexNet에서 딥러닝이 MainStream처럼 되었다고 한다 

 

 

---

✅ Perceptron, 1958 

Perceptron, 1958

 

데이터로부터 학습하는 가장 최초의 알고리즘 중 하나 

퍼셉트론의 시작 --> 현재는 선형분류 모델 

 

 

---

 

✅ Minsky and Papert, 1969 

Minsky and Papert, 1969

 

and, or 등은 퍼셉트론으로 연산이 가능하지만 위 그림과 같이 

XOR의 경우에는 퍼셉트론으로 분류가 불가능하다!! 

-> 이는 나중에 1차원이 아닌 해결책으로 해결된다. 

 

---

 

✅ Neocognitron: Fukushima, 1980 

Neocognitron: Fukushima, 1980

 

 

AlexNet과 유사 

 

 

---

 

✅ Backprop: Rumelhart, Hinton, and Williams, 1986 

Backprop: Rumelhart, Hinton, and Williams, 1986

 

Backpropagation에 대한 개념 (역전파) 

 

 

---

 

✅ Convolutional Networks: LeCun et al, 1998 

Convolutional Networks: LeCun et al, 1998

 

backpropagation을 neocognitron 아케틱쳐에 적용 

 

 

---

 

✅ 2000s: “Deep Learning” 

2000s: “Deep Learning”

 

딥러닝의 시작 (아직은 mainstream은 아님) 

 

 

---

 

✅ 2012 to Present: Deep Learning Explosion 

2012 to Present: Deep Learning Explosion

 

딥러닝이 mainstream으로 올라오기 시작 

 

 

---

 

✅ 2012 to Present: ConvNets are everywhere 

2012 to Present: ConvNets are everywhere

 

2012 to Present: ConvNets are everywhere

2012 to Present: ConvNets are everywhere

 

 

ConvNet의 이용 

 

 

---

 

✅ 2018TuringAward 

2018TuringAward

 

 

가장 유명한 세 분의 학자 분들 

 

 

---

 

 

이렇게 컴퓨터 비젼과 딥러닝에 대한 간략한 역사를 알아보았다. 

다음시간부터는 본격적으로 Image Classification을 시작으로 시각인식에 대해서 배운다!!!