Skip to content

Latest commit

 

History

History
29 lines (22 loc) · 1.82 KB

Meta-learning with memory-augmented neural networks.md

File metadata and controls

29 lines (22 loc) · 1.82 KB

Meta-learning with memory-augmented neural networks (2016)

PDF HERE

Intro

此Memory Neural Networks 用的是external memory,與LSTM、RNN不同,而是有另外一塊memory,不是把memory存在neuron裡的那種。

要記很多東西時只需擴充external memory,不須擴充神經網路的parameter。

NTM

NTM適合用在有時序關係的預測上。more sophisticated memory access capabilities are more powerful, but the controller requires more training. Read/Write Head: 記憶體的讀寫頭,相當於pointer ,是要被讀取或被寫入的記憶體的address。

Omniglot

使用Omniglot(1423個class),Train for 100,000 episodes,每個episodes各有5個隨機挑選的class,並隨意assign 1~5的label,每class有10個instance,共50張圖。

1200class當training,423當testing。一個episode一個class 每個episode跟episode間external memory會全部wipe掉(因task不同,學的是不同的東西),但仍有跨task的知識incremental learning external memory處理short-term 記憶與new information

Test on never-seen classes。

參考