Kubeflow Components

보통 container 로 모든 component 들을 관리하고, 이 container 들은 kubernetes 에서 돌아가게 된다. component list Chainer Training Hyperparameter Tuning (Katib) Istio Integration (for TF Serving) Jupyter Notebooks ModelDB ksonnet MPI Training MXNet Training Pipelines PyTorch Training Seldon Serving NVIDIA TensorRT Inference Server TensorFlo...

더보기

Kubeflow Component study - Tensorflow training with TFJob

TFJob 은 kubernetes custom resource 로, kubernetes 위에서 tensorflow training 을 하기 위해 만들어진 것이다. tfjob 의 최대 장점은 kubernetes 위에서 돌아가는 병렬 학습 이다. 잠시 tfjob 의 yaml 파일을 살펴보자. apiVersion: kubeflow.org/v1beta1 kind: TFJob metadata: generateName: tfjob namespace: kubeflow spec: tfReplicaSpecs: PS: replicas: 1 restartPolicy: OnFailure ...

더보기

Kubernetes study (3)

Orchestrating the Cloud with Kubernetes 시작하기전에, 아래 repo 를 받아서 세팅해보자. git clone https://github.com/googlecodelabs/orchestrate-with-kubernetes.git Nginx with Kubernetes Kubernetes 에 Nginx 를 설치해서 사용해 보자. kubectl run nginx --image=nginx:1.10.0 nginx 1.10.0 이미지로 nginx 라는 이름으로 deployment 를 생성한다. kubectl expose deployment nginx --port 80 --ty...

더보기

Kubernetes study (2)

Hello Node Kubernetes Kubernetes 오픈소스로, 다양한 환경에서 실행될 수 있으며 컨테이너 매니징 해주는 컨테이너 운영 환경 이다. 컨테이너 스케쥴링, 모니터링, 삭제 관리 등 컨테이너를 종합적으로 관리해주는 운영환경이다. 간단한 Docker container 만들기 const http = require('http'); const handleRequest = (req, res) => { res.writeHead(200); res.end("Hello World!"); } const www = http.createServer(handleRequest); www.listen...

더보기

Kubernetes study (1)

Introduction to Docker GCP 설명 Google cloud Shell Shell 형태로 google cloud 를 관리. gcloud command line tool 로써 pre-installed 되어있음. GCP 를 컨트롤하는 용도. Commands gcloud auth list active account names 출력 gcloud config list proje...

더보기

mini-batch 를 사용하는 이유

애매하게 알던것 공부하기 global average pooling :heavy_check_mark: weight decay :heavy_check_mark: 1x1 convolution :heavy_check_mark: mini-batch 를 사용하는 이유 :heavy_check_mark: resnet attention seq2seq google net fast r-cnn faster r-cnn mask r-cnn yolo dropout transformer gru CAM mini-batch 란? 전체 집합에서 특정 sample 을 뽑아서 학습에...

더보기

Weight Decay

애매하게 알던것 공부하기 global average pooling :heavy_check_mark: weight decay :heavy_check_mark: 1x1 convolution resnet attention seq2seq google net fast r-cnn faster r-cnn mask r-cnn yolo dropout transformer gru CAM Overfitting 을 막기위한 기법중 하나로, 한국어로는 가중치 감소, 영어로는 Weight Decay 라고 부르는 방법이 있다. 학습과정에서 큰 가중치에 대해서 큰 페널티를 부여...

더보기

Global average pooling

애매하게 알던것 공부하기 global average pooling :heavy_check_mark: weight decay 1x1 convolution resnet attention seq2seq google net fast r-cnn faster r-cnn mask r-cnn yolo dropout transformer gru CAM Global Average pooling 이란? Fully connected layer 의 대안으로 나온 pooling layer. Global Average pooling 이 나올때 Deep learning 에서 ...

더보기

BOJ 6166 Meteor Shower

#include <cstdio> #include <cstdlib> #include <iostream> #include <cstring> #include <string> #include <algorithm> #include <cmath> #include <vector> #include <queue> #include <stack> #include <deque> #include <map> #include <unordered_map> #include <set> #includ...

더보기

BOJ 6165 Game of Lines

#include <cstdio> #include <cstdlib> #include <iostream> #include <cstring> #include <string> #include <algorithm> #include <cmath> #include <vector> #include <queue> #include <stack> #include <deque> #include <map> #include <unordered_map> #include <set> #includ...

더보기

BOJ 6156 Cow Contest

#include <cstdio> #include <cstdlib> #include <iostream> #include <cstring> #include <string> #include <algorithm> #include <cmath> #include <vector> #include <queue> #include <stack> #include <deque> #include <map> #include <unordered_map> #include <set> #includ...

더보기

BOJ 1800 Telephone Lines

#include <cstdio> #include <cstdlib> #include <iostream> #include <cstring> #include <string> #include <algorithm> #include <cmath> #include <vector> #include <queue> #include <stack> #include <deque> #include <map> #include <unordered_map> #include <set> #includ...

더보기