他們發(fā)現(xiàn)，2004年，Herbert Jaeger和Harald Haas利用一個隨機連接人造神經(jīng)元的網(wǎng)絡(luò)在儲水池計算中形成“儲水池”，從而學(xué)習(xí)有三個混沌協(xié)變變量的動力學(xué)方程。在使用三組數(shù)字進行訓(xùn)練之后，這個網(wǎng)絡(luò)可以預(yù)測未來很長一段時間內(nèi)三個變量的值。不過，當(dāng)有多個相互作用的變量時，計算量會變得很龐大。

但是，需要一個更有效的方案來將儲水池計算與大型混沌系統(tǒng)聯(lián)系起來，因為這些混沌系統(tǒng)具有大量相互作用的變量。例如，需要跟蹤沿著火焰前進方向的每一點在三個空間方向上的速度分量。

他們花了幾年時間才找到了明確的解決方案。Pathak說：“我們利用的是空間擴展混沌系統(tǒng)中相互作用的局部性。”

局部性意味著變量在一個地方受到附近變量的影響，但不受遠(yuǎn)處變量的影響。利用它可以從本質(zhì)上將問題分塊。也就是說，可以將問題并行化，用一個神經(jīng)元儲水池來學(xué)習(xí)系統(tǒng)的一小塊，另一個儲水池學(xué)習(xí)另一塊，如此類推，并且使相鄰域輕微重疊以表示它們之間的相互作用。

只要將計算機資源按比例分配給每個任務(wù)，并行化處理，就可以使用儲水池計算的方法來處理幾乎任意大小的混沌系統(tǒng)。

具體解釋：三步走

儲水池計算分三步。假設(shè)你想用它來預(yù)測火災(zāi)蔓延的情形，那么首先，選取火焰鋒面的五個不同點測量火焰的高度，然后隨著火焰跳動前行繼續(xù)測量鋒面上這些點的火焰高度。

將這些數(shù)據(jù)流輸入到儲水池中隨機選擇的人造神經(jīng)元。輸入的數(shù)據(jù)觸發(fā)神經(jīng)元釋放信號，繼而觸發(fā)相鄰的神經(jīng)元并在整個網(wǎng)絡(luò)中級聯(lián)傳輸信號。

第二步是使神經(jīng)網(wǎng)絡(luò)從輸入數(shù)據(jù)中學(xué)習(xí)不斷演進的火焰鋒面的動力學(xué)方程。要做到這一點，在輸入數(shù)據(jù)時，還需要監(jiān)測儲水池中隨機選擇的幾個神經(jīng)元的信號強度。以五種不同方式對這些信號進行加權(quán)和組合可產(chǎn)生五個數(shù)字輸出。

這樣做的目的是調(diào)整用于計算輸出的各種信號的權(quán)重，直到這些輸出始終與下一組輸入，也就是在比火焰鋒面略晚的位置測得的新的五個高度，相匹配。所要的就是，把輸出作為下一點的輸入。

為了得到正確的權(quán)重，這個算法簡單地將每組輸出，或者說五點中的每一點的預(yù)測火焰高度，與下一組輸入或?qū)嶋H火焰高度進行比較，每次增加或減少各種信號的權(quán)重，只要可以使它們的組合給出五個輸出的正確值。

從一個時間步長到下一個，隨著權(quán)重的調(diào)整，逐步改善預(yù)測，直到算法能夠穩(wěn)定預(yù)測一個時間步長后的火焰狀態(tài)。

第三步，就可以真正去做預(yù)測了。了解了系統(tǒng)動力學(xué)方程的“儲水池”可以揭示系統(tǒng)如何演進。神經(jīng)網(wǎng)絡(luò)本質(zhì)上會自適應(yīng)。輸出反饋為新輸入，其輸出又再反饋為輸入，以此循環(huán)，從而預(yù)測火焰鋒面五個位置的高度將如何演進。其他并行的“儲水池”預(yù)測其他地方的火焰高度的演進。

傳統(tǒng)上，預(yù)測混沌系統(tǒng)的常用方法是某一時刻盡可能準(zhǔn)確地測量其條件，使用這些數(shù)據(jù)校準(zhǔn)物理模型，然后向前演進模型。如果要預(yù)測未來八倍時長的演進，需要對一個典型系統(tǒng)的初始條件進行100,000,000次以上的測量。

這就是為什么利用機器學(xué)習(xí)技術(shù)幾乎能夠知道真相了。

神經(jīng)網(wǎng)絡(luò)和混沌理論

最近，麻省理工學(xué)院和蘇黎世聯(lián)邦理工學(xué)院的研究人員取得了與馬里蘭團隊相似的結(jié)果，使用“長短期記憶”神經(jīng)網(wǎng)絡(luò)，該網(wǎng)絡(luò)具有周期性循環(huán)的特征，使其能夠長時間存儲臨時信息。

Ott和他的同事們已經(jīng)快可以將他們的預(yù)測技術(shù)用于實際應(yīng)用。在《混沌》雜志即將發(fā)表的新研究中，他們展示了如何通過混合數(shù)據(jù)驅(qū)動的機器學(xué)習(xí)方法和傳統(tǒng)的基于模型的預(yù)測，改進對像Kuramoto-Sivashinsky方程式這樣的混沌系統(tǒng)的預(yù)測。

Ott認(rèn)為這是改進天氣預(yù)報和其他類似工作的更好的途徑，因為我們并不總能找到完整的高分辨率數(shù)據(jù)或完美的物理模型。

“我們應(yīng)該做的就是利用我們已有的經(jīng)驗。如果我們?nèi)狈δ承┲R，就應(yīng)該使用機器學(xué)習(xí)來填補所這些空白。”

儲水池式預(yù)測本質(zhì)上可以校準(zhǔn)模型;在Kuramoto-Sivashinsky方程式的情況下，精確的預(yù)測可以延伸到12個李亞普諾夫時長。

李亞普諾夫時間的長度因不同系統(tǒng)而異，從毫秒到數(shù)百萬年不等(對于天氣預(yù)報情況來說是幾天)。這個時間越短，系統(tǒng)就越敏感就會越容易產(chǎn)生蝴蝶效應(yīng)，狀態(tài)的發(fā)散會更快。

目前還不清楚究竟為什么儲水池算法如此擅長學(xué)習(xí)混沌系統(tǒng)的動力學(xué)模型，只是知道計算機可以根據(jù)響應(yīng)數(shù)據(jù)進行自調(diào)節(jié)，直到計算公式與混沌系統(tǒng)的動態(tài)完全一致。

研究人員現(xiàn)在正打算使用混沌理論來更好地理解神經(jīng)網(wǎng)絡(luò)的內(nèi)部機制。