CS231n9 [cs231n] 10강. Recurrent Neural Networks ✔ 본 포스팅은 20/10/10 ~ 20/12/26 동안 진행하는 가짜연구소 딥러닝기초이론스터디를 통해 학습한 내용입니다. ✔ 본 포스팅은 스탠포드 대학의 cs231n 강의를 정리한 내용입니다. Review 2014년에는 Batch normalization 기술이 없었기 때문에 깊은 모델이 converge하기 위해서는 다른 방법이 필요했다. GoogLeNet에서 auxillary layer를 사용했던 것이 Batch norm을 대신하기 위한 장치같은 것이었다. 그리고 이 때까지는 하나의 input x를 넣으면 하나의 output y를 뽑아내는 구조인 CNN에 대해서 배웠다. 오늘은 input과 output이 여러개가 될 수 있는 Recurrent Neural Network에 대해서 배워본다. RNN 개념.. 2020. 12. 12. [cs231n] 8강. Deep Learning Software ✔ 본 포스팅은 20/10/10 ~ 20/12/26 동안 진행하는 가짜연구소 딥러닝기초이론스터디를 통해 학습한 내용입니다. ✔ 본 포스팅은 스탠포드 대학의 cs231n 강의를 정리한 내용입니다. CPU vs GPU CPU : Central Processing Unit - 더 적은 수의 cores (4~10개 정도로 한번에 20개의 일을 시행) - 각 코어는 더 빠르고, 연속적 처리에 좋다. (sequential tasks) - cache(데이터나 값을 복사해놓는 임시장소)가 있지만, 대부분의 메모리는 컴퓨터 디스크에서 사용 GPU : Graphics Processing Unit -> NVIDIA 최고! - 수천개의 코어 - 각 코어는 더 느리지만 동시에 일을 수행 (parallel tasks) - 개별적.. 2020. 11. 28. [cs231n] 7강. Training Neural Networks II ✔ 본 포스팅은 20/10/10 ~ 20/12/26 동안 진행하는 가짜연구소 딥러닝기초이론스터디를 통해 학습한 내용입니다. ✔ 본 포스팅은 스탠포드 대학의 cs231n 강의를 정리한 내용입니다. 이번 강의에서는 NN을 훈련시키는 나머지 방법들에 대해서 공부한다. 지난 시간에는 가중치초기화, 학습률설정, 배치정규화 등에 대하여 배웠고, 이번 강에서는 NN을 더 최적화시키기 위해 1. Gradient update의 방법들 2. Regularization방법들 을 중점적으로 공부한다. Optimization 방법 NN의 loss가 최저인 지점을 찾아가기 위해 backpropagation을 거듭하게 되는데 가장 지름길로 빠르게 가기 위한 gradient update에는 여러 방법이 있다. 하나씩 살펴보자! 1... 2020. 11. 21. [cs231n] 6강. Training Neural Network 1 ✔ 본 포스팅은 20/10/10 ~ 20/12/26 동안 진행하는 가짜연구소 딥러닝기초이론스터디를 통해 학습한 내용입니다. ✔ 본 포스팅은 스탠포드 대학의 cs231n 강의를 정리한 내용입니다. ##이해수반 내용정리 추가하기## 개요 이제까지는 딥러닝이 어떻게 작동하고 구현되는지에 대한 원리를 살펴보았다. 오늘은 그러한 원리를 이용해 딥러닝을 설계할 때 우리가 주의깊게 설정하고 구성할 단계들과 파라미터 등에 대하여 본다. 1. Activation functions 2. Data preprocessing 3. Weight initialization 4. Batch normalization 5. Babysitting the learning process 6. Hyperparameter optimization.. 2020. 11. 14. [cs231n] 5강. Convolutional neural networks ✔ 본 포스팅은 20/10/10 ~ 20/12/26 동안 진행하는 가짜연구소 딥러닝기초이론스터디를 통해 학습한 내용입니다. ✔ 본 포스팅은 스탠포드 대학의 cs231n 강의를 정리한 내용입니다. Fully connected layer : 벡터화한 input에 같은 demension을 가진 각 class의 가중치벡터를 곱해 각 클래스의 활성화점수를 구한다. convolution layer : 3차원의 shape을 가진 이미지의 shape을 그대로 보존, 같은 depth를 가진 weight matrix 생성 1. CNN 의 구성 CNN 을 크게 보면 위와 같다. 특징추출영역 : Convolution layer , Pooling layer - Convolutiona layer : 입력데이터에 필터적용 + 활성.. 2020. 11. 8. [cs231n] 과제1. KNN classifiers KNN classifiers two_loops , one_loops , no_loops distances 정답코드는 많은데, X_train과 X_test 간의 distance를 구할 때 각각의 행렬의 배열이 어떻게 변하는지 초보인 나로서는 이해가 잘 가지 않았다. 쉬운 배열을 임의로 만들어서 정답코드의 distance를 구하는공식이 X_train과 X_test간의 원소들간의 계산에 어떻게 적용되는지 눈으로 확인해보았다. two_loops distances >>실제코드 >>쉽게 이해해보자 1. 먼저 가상의 train, test 샘플을 만든다. 실제 CIFAR10의 train 샘플은 (50000, 32, 32, 3) 차원으로 [50000장의 사진x (32x32 픽셀) x3개의 RGB채널] 로 이루어져있고, .. 2020. 10. 29. 이전 1 2 다음
