概要

2017年に発行された論文「Attention」で言及した通り、NLPの展望は完全に変圧器ベースのアーキテクチャに移行されます。

2020年でも、ほとんどのコンピュータービジョンモデルは、画像の検出とセグメント化を畳み込みニューラルネットワークのみに依存しています。2021年は、検出およびセグメンテーションアルゴリズムの重要なマイルストーンになると予測しています。トランスフォーマーと混合された畳み込みは、ほとんどの開業医にとってデフォルトの選択になります。

新年に際して、推論、微調整、トレーニング用のコードを含むDETR（Transformersを使用したオブジェクト検出）Tensorflow実装をオープンソース化することにしました。

• Tensorflowリポジトリ: https://github.com/Visual-Behavior/detr-tensorflow
• DETR 論文: https://arxiv.org/abs/2005.12872