- Photo
- —
- Name
- —
- Ano
- 2017
- Autores principais
- Vaswani et al.
- Área
- Deep learning / NLP
- Principal ideia
- Introduz o Transformer usando só mecanismos de atenção, sem recorrência ou convoluções.
- Por que é importante
- Virou a base de quase todo modelo grande de linguagem, de tradução a chatbots.
- Aplicação no dia a dia
- Penso nele sempre que alguém fala de embeddings, context window ou fine-tune de modelo grande.
- Dificuldade de leitura
- Alta se você nunca viu atenção; média se já tá acostumado com redes neurais.
- Minha vibe
- Tipo aquele técnico que chega mudando o esquema tático do time inteiro e depois parece óbvio que tinha que ser assim.
TheLysts