此Memory Neural Networks 用的是external memory,與LSTM、RNN不同,而是有另外一塊memory,不是把memory存在neuron裡的那種。
要記很多東西時只需擴充external memory,不須擴充神經網路的parameter。
NTM適合用在有時序關係的預測上。more sophisticated memory access capabilities are more powerful, but the controller requires more training. Read/Write Head: 記憶體的讀寫頭,相當於pointer ,是要被讀取或被寫入的記憶體的address。
使用Omniglot(1423個class),Train for 100,000 episodes,每個episodes各有5個隨機挑選的class,並隨意assign 1~5的label,每class有10個instance,共50張圖。
1200class當training,423當testing。一個episode一個class 每個episode跟episode間external memory會全部wipe掉(因task不同,學的是不同的東西),但仍有跨task的知識incremental learning external memory處理short-term 記憶與new information
Test on never-seen classes。