Deep Learning Basic 09 - CNN

in AI Tech on ⁃ AI Basic
Deep Learning Basic 09 - CNN

핵심목표

  1. MLP : 만약 i 가 바뀌게 되면 사용하게 되는 가중치 행렬의 행도 바뀌기 때문에 가중치 행렬의 구조가 굉장히 커지게 됨 (실제 학습 시켜야하는 파라미터 숫자가 커짐)
  2. Convolution 연산
    • 커널이라는 고정된 가중치 행렬을 사용하고, 이 고정된 커널을 입력벡터 상에서 움직여가며 선형모델과 합성함수가 적용되는 구조
    • 커널은 그대로 유지하고 x라는 입력벡터 상에서 커널 사이즈만큼 움직여가며 계산하는 것이 Conv 연산의 특징
    • Conv 연산의 핵심은 차원이 높아지고 i, j, k의 위치가 바뀌었을 때 커널(r)의 값은 바뀌지 않는다는 것과 커널이 위치에 따라서도 커널(r)의 값은 바뀌지 않는다는 것을 기억해야함 (기본 핵심)
  3. 2D Convolution 연산 : 입력 행렬에 해당하는 데이터에서 커널을 x방향과 y방향으로 한 칸씩 움직여가며 적용
  4. Convolution 연산의 역전파 : Conv 연산에 미분을 해도 똑같이 Conv이 나오는 것을 관찰 가능하며, Discrete일 때도 마찬가지로 성립

Intro

  • Convolution 연산과 다양한 차원에서의 연산방법 공부
  • Convolution 연산의 역전파에 대해 공부
  • Convolution 연산은 오늘날 굉장히 많은 모델에서 이미지나 영상을 처리하기 위해 사용 지금까지 배웠던 fully connected layer와 비교해서 CNN(Convolutional Neural Network)의 커널 연산이 가지는 장점과, Convolution 연산이 다양한 차원에서 어떻게 진행되는지를 이해
  • Convolution 연산의 경우, 커널의 모든 입력데이터에 대해 공통으로 적용이 되기 때문에 역전파를 계산하는 경우에도 똑같이 Convolution 연산이 나오며, 이는 그림과 함께 잘 설명되어 있기 때문에 커널을 통해 gradient가 어떻게 전달이 되는지, 역전파가 어떻게 이루어지는지 이해

Deep Learning Basic 07 - CNN (Convolutional Neural Network)

in AI Tech on ⁃ AI Basic
Deep Learning Basic 07 - CNN (Convolutional Neural Network)

Intro

  • CNN(Convolutional Neural Network)에서 가장 중요한 연산은 Convolution으로, CNN에 대한 공부를 하기 전에 Convolution의 정의, convolution 연산 방법과 기능을 공부
  • 그리고 Convolution, 입력을 축소하는 Pooling layer, 모든 노드를 연결하여 최종적인 결과를 만드는 Fully connected layer 로 구성되는 기본적인 CNN(Convolutional Neural Network) 구조를 공부

Deep Learning Basic 04 - Optimization

in AI Tech on ⁃ AI Basic
Deep Learning Basic 04 - Optimization

Intro

  • 최적화와 관련된 주요한 용어와 다양한 Gradient Descent (경사하강법) 기법
  • 최적화 방법론은 다양하며,특히 Generalization, Overfitting, Cross-validation에 대해 학습
  • Further Questions
    • cross-validation을 하기 위해서는 어떤 방법들이 존재할까?
    • Time series의 경우 일반적인 k-fold cv를 사용해도 될까?

Pagination

© 2023 Daisy. All rights reserved.