AI技術發展進度報告- 神經網路好像可以不用訓練了???

LOTTERY TICKET HYPOTHESIS

3 min readMar 15, 2020

深度學習是在AI領域中，使用神經網路來進行決策的技術。神經網路是由許多小小的神經元交織而成，神經元之間會互相影響，而我們就訓練這些神經元讓他們知道該怎麼做決策。
而這個訓練一般都曠日費時，尤其是越大型的神經網路，在決策效果較好的同時，也會需要訓練更久。

但這個訓練，也許不再需要了??

在2019年三月，MIT 計算機科學與人工智慧實驗室發了一篇論文:

THE LOTTERY TICKET HYPOTHESIS:
FINDING SPARSE, TRAINABLE NEURAL NETWORKS

其中的概念大致如下：
「每一個神經網路中其實都包含了一個最為重要的子網路，當一個神經網路被初始化後，該子網路就被確定，只要保留該子網路，即使把其他的部份全都刪除，基於相同的初始化權重重新訓練後，這個稀疏的、小小的子網路，也能有與原來龐大的神經網路近似甚至更好的準確度。」

而在上個月，2020年二月，耶路撒冷希伯來大學也發了一篇補充論文：

Proving the Lottery Ticket Hypothesis: Pruning is All You Need

他的重點大概是：
「對於所有有邊界(bounded)的分布，以及所有權重有邊界的目標神經網路，一個擁有夠多參數的神經網路，在任何的初始化狀態下，都一定擁有一個優秀的子網路，即使不需要訓練，也能擁有與被訓練好的神經網路相同的準確率。」

白話來說就是，只要能良好的刪除不必要的神經元(剪枝, pruning)，被剪枝後剩下的稀疏化(Sparse)的神經網路也能擁有與透過訓練來最佳化權重的神經網路相同的準確性。

這是相當顛覆性的思想呢，所以我又找了一下，發現google brain 有一位David Ha跟另一位作者也在2019年六月出了一個類似論調的論文：

Weight Agnostic Neural Networks

其中嘗試一種NEAT演算法來找到最佳的剪枝決策，以讓神經網路在不用訓練的情況下最佳化，雖然有些網友認為這個剪枝決策也是近似於一種訓練，不過神經網路的運作方式，也許的確需要更多的rethink。