Convex optimization & Quadratic programming
last update datetime: Feb 06, 2020 1:34 AM
Optimization problem
일단 최적화 이론부터 잠시 살펴보자.
출처: https://wikidocs.net/17203
Mathematical optimization problem은. 최적화 해야할 variable이 있고, objecctive function f가 있는 상태에서, inequality constraint function, equality constraint function 등이 존재하는 경우 이다. 이 제약조건을 만족하는 경우에서 objective function f 를 최소로 만드는 x’ 를 찾는것이다...
BERT. Pre-training of Deep Bidirectional Transformers for Language Understanding
last update datetime: Feb 6, 2020 12:53 PM
Language Understanding
Paper
BERT: Pre-training of Deep Bidirectional Transformers for Language Understanding
Keywords
Language Model
deep bi-directional language model
Contribution
Computer Vision 분야에서는 ImageNet task로부터 많이 사용 되는 pre-trained 모델을 기반으로 transfer learning을 NLP 에도 깔끔하게 적용한것이다.
...
Shortest Unsorted Continuous Subarray
CREATED TIME: Feb 03, 2020 8:37 PM
UPDATED TIME: Feb 03, 2020 8:37 PM
난이도: Easy
class Solution {
public:
int findUnsortedSubarray(vector& nums) {
vector c(nums.size());
copy(nums.begin(), nums.end(), c.begin());
int left = 1, right = -1;
bool l_fixed = false;
bool r_fix...
Single Number
CREATED TIME: Feb 02, 2020 12:40 AM
UPDATED TIME: Feb 02, 2020 12:59 AM
난이도: Easy
class Solution {
public:
int singleNumber(vector& nums) {
unordered_set s(nums.begin(), nums.end());
int set_sum = accumulate(s.begin(), s.end(), 0);
int vector_sum = accumulate(nums.begin(), nums.end(), 0);
...
Permutations
CREATED TIME: Feb 02, 2020 12:59 AM
UPDATED TIME: Feb 02, 2020 1:00 AM
난이도: Medium
class Solution {
public:
void solve(vector& nums, int depth, vector<vector>& res){
if(depth == nums.size() - 1){
res.push_back(nums);
return;
}
for(int i=depth; i<num...
Number of Islands
CREATED TIME: Feb 02, 2020 5:06 PM
UPDATED TIME: Feb 02, 2020 5:06 PM
난이도: Medium
class Solution {
public:
int dx[4] = {0, 0, 1, -1};
int dy[4] = {1, -1, 0, 0};
bool isValidNode(int x, int y, vector<vector<char>>& ack_map){
int max_x = ack_map.size();
int max_y = ack_map[0].size();
...
5.5. Soft Margin with SVM
Files: https://strutive07.github.io/assets/images/5_5_Soft_Margin_with_SVM/IE661-Week_5-Part_2-icmoon-ver-1.pdf
last update datetime: Feb 01, 2020 11:27 PM
soft margin은 특정 node들이 decision boundary를 벗어나도 괜찮다! 이에 패널티를 부여할것이다, 최댛나 패널티를 줄이는 방향으로 decision boundary를 설정해라! 라는 방식이다.
패널티를 얼마나 줄것인지에 대한 상수 C 를 어떻게 정하느냐에 따라 decision boundary의 위치가 상당히 ...
4.5. How Gradient method works
Codes: https://strutive07.github.io/assets/images/4_5_How_Gradient_method_works/Week_4.zip
Files: https://strutive07.github.io/assets/images/4_5_How_Gradient_method_works/IE661-Week_4-Part_2-icmoon-ver-1.pdf
last update datetime: Jan 17, 2020 12:05 AM
4.4 에서 배웠던 gradient descent 를 rosenbrock function 예시를 통해서 알아보자.
Rosenbrock function
이 식은 (...
5.4. Error Handling in SVM
Files: https://strutive07.github.io/assets/images/5_4_Error_Handling_in_SVM/IE661-Week_5-Part_2-icmoon-ver-1.pdf
last update datetime: Jan 27, 2020 1:09 PM
이렇게 데이터에 noise가 있는 상태에서, 어떻게하면 decision boundary를 잘 찾을 수 있을까?
위 그림처럼 non linear decision boundary를 생성하는 방법이 있을수도 있고,
아니면 이런 noise를 무시하고 decision boundary를 생성하는 방법도 있다.
또한, 거리에 따른 반...
Binary Tree Inorder Traversal
CREATED TIME: Jan 21, 2020 4:19 PM
UPDATED TIME: Jan 21, 2020 4:19 PM
난이도: Medium
/**
* Definition for a binary tree node.
* struct TreeNode {
* int val;
* TreeNode *left;
* TreeNode *right;
* TreeNode(int x) : val(x), left(NULL), right(NULL) {}
* };
*/
class Solution {
public:
...
5.1, 2, 3 Decision Boundary with Margin, Maximizing the Margin, SVM with Matlab
Files: https://strutive07.github.io/assets/images/5_1_2_3_Decision_Boundary_with_Margin_Maximizing_t/IE661-Week_5-Part_1-icmoon-ver-1.pdf
last update datetime: Jan 21, 2020 11:00 PM
Decision boundary는 classification에서 가장 중요한 요소이다.
앞에서 배웠던 logistic regression, naive bayes를 확률과 연관지어서 생각했다. 한번 확률을 빼고 생각해보자.
이러한 데이터가 있다고 가정해보자.
Decision bounda...
Maximum Depth of Binary Tree
CREATED TIME: Jan 20, 2020 10:07 PM
UPDATED TIME: Jan 20, 2020 10:08 PM
난이도: Easy
/**
* Definition for a binary tree node.
* struct TreeNode {
* int val;
* TreeNode left;
* TreeNode *right;
* TreeNode(int x) : val(x), left(NULL), right(NULL) {}
* };
*/
class Solution {
public:
...
전체 글 228개, 19 페이지