Neural machine translation by jointly learning to align and translate

이전에 리뷰했던 seq2seq 논문 의 1 저자이신 조경현 교수님의 또다른 논문 입니다. 사실 seq2seq 의 단점을 극복하겠다 하면서 나온 논문이였는데, 그 방식으로 쓰인 attention mechanism 가 최근 NLP sota 에서는 거의 필수적으로 사용되고있어 매우 중요한 논문이 되었다. 이번 논문에서는 seq2seq 의 단점을 attention 으로 어떻게 극복하였고, attention 이 어떤것인지 알아봅시다. 이 논문에서 중심적으로 다룬 문제는 바로 context vector 그 자체 이다, seq2seq 에서 encoder 와 decoder 를 이어주는 context vector 가 fixed ...

더보기

Learning Phrase Representations using RNN Encoder-Decoder for Statistical Machine Translation

그 유명한 seq2seq 의 근간이 되는 논문이다. GRU 를 사용하여 encoder & decoder model을 통해 machine translation 문제를 푸는 논문 이다. 기존 translation의 경우, 보통 SMT(statistical machine translation)의 형태에 복잡한 function의 일부만 Neural network로 근사시키는 논문이였지만, 이 논문을 기점으로 Neural network를 기반으로한 end2end machine translation 논문들이 나오기 시작했다. 이 논문에서 제안한 NMT 방식은 encoder - decoder 를 기반으로한 seq2s...

더보기

BOJ 2869 달팽이는 올라가고 싶다

#include <cstdio> #include <cstdlib> #include <iostream> #include <cstring> #include <string> #include <algorithm> #include <cmath> #include <vector> #include <queue> #include <stack> #include <deque> #include <map> #include <unordered_map> #include <set> #includ...

더보기

BOJ 17370 육각형 우리 속의 개미

#include <cstdio> #include <cstdlib> #include <iostream> #include <cstring> #include <string> #include <algorithm> #include <cmath> #include <vector> #include <queue> #include <stack> #include <deque> #include <map> #include <unordered_map> #include <set> #includ...

더보기

BOJ 17363 우유가 넘어지면?

#include <cstdio> #include <cstdlib> #include <iostream> #include <cstring> #include <string> #include <algorithm> #include <cmath> #include <vector> #include <queue> #include <stack> #include <deque> #include <map> #include <unordered_map> #include <set> #includ...

더보기

BOJ 1300 K번째 수

#include <cstdio> #include <cstdlib> #include <iostream> #include <cstring> #include <string> #include <algorithm> #include <cmath> #include <vector> #include <queue> #include <stack> #include <deque> #include <map> #include <unordered_map> #include <set> #includ...

더보기

BOJ 1009 분산처리

#include <cstdio> #include <cstdlib> #include <iostream> #include <cstring> #include <string> #include <algorithm> #include <cmath> #include <vector> #include <queue> #include <stack> #include <deque> #include <map> #include <unordered_map> #include <set> #includ...

더보기

Leetcode container-with-most-water

https://leetcode.com/problems/container-with-most-water/ class Solution { public: int maxArea(vector<int>& height) { int res = 0; int l=0, r=height.size() - 1; while(l < r){ int area = min(height[l], height[r]) * (r - l); res = max(res, area); if(height[l] < height[...

더보기

BOJ 6591 이항 쇼다

#include <cstdio> #include <cstdlib> #include <iostream> #include <cstring> #include <string> #include <algorithm> #include <cmath> #include <vector> #include <queue> #include <stack> #include <deque> #include <map> #include <unordered_map> #include <set> #includ...

더보기

BOJ 2206 벽 부수고 이동하기

#include <cstdio> #include <cstdlib> #include <iostream> #include <cstring> #include <string> #include <algorithm> #include <cmath> #include <vector> #include <queue> #include <stack> #include <deque> #include <map> #include <unordered_map> #include <set> #includ...

더보기

BOJ 17362 수학은 체육과목 입니다 2

#include <cstdio> #include <cstdlib> #include <iostream> #include <cstring> #include <string> #include <algorithm> #include <cmath> #include <vector> #include <queue> #include <stack> #include <deque> #include <map> #include <unordered_map> #include <set> #includ...

더보기

BOJ 14442 벽 부수고 이동하기 2

#include <cstdio> #include <cstdlib> #include <iostream> #include <cstring> #include <string> #include <algorithm> #include <cmath> #include <vector> #include <queue> #include <stack> #include <deque> #include <map> #include <unordered_map> #include <set> #includ...

더보기