Attention Is All You Need

Details

Photo

—

Name

—

מחברים

Vaswani, Shazeer, Parmar ועוד (Google Brain)

שנה

2017

פורסם ב

NeurIPS 2017

תחום

למידה עמוקה / NLP

מושג מרכזי

Self-Attention והארכיטקטורה של Transformer

רמת קושי

גבוהה (לא לקרוא בלי לוח ומטריצות ליד)

זמן קריאה משוער

כ-90 דקות

כמות ציטוטים בערך

עשרות אלפים, אחד המצוטטים בהיסטוריה

הערה שלי

זה כמו לגלות שאפשר לזרוק מכל מקום על המגרש בלי לדרוך על הקו - שינה את כל אופן המשחק. אחרי המאמר הזה כל מה שידעתי על RNN הרגיש כמו סטטיסטיקה מהעונה הקודמת.