第74章 訓練開始
看眾人還沒完全搞明白，錢峰頓時有點急了，他手都快指到屏幕里去了：「時間差分法啊，這是一個隱式的時間差分啊。」
「你們看這個評論家網絡，是用每局的勝負來訓練的，而它的輸出卻連到了行動者網絡的每一個時間步上，用來訓練行動者網絡。」
「這就像是行動者的每一步棋，都有一個老師告訴他這一步讓他的勝率是提高了還是下降了，以及具體是提高下降了多少。」
「這樣的話，再也不需要通過蒙特卡洛法，下完一整局棋再收集一次很高方差的數據了，而是每一步棋，都能對圍棋程序做一次疊代訓練。」
「最外層的循環是每下一盤棋訓練一次評論家，而內層循環是每一步棋，都根據評論家的指導，訓練一次行動者。」
其他教授頓時恍然大悟，這個想法...似乎真的可行！
驚訝之餘又有些感慨，江銘真的是不斷創造奇蹟的信息學新星。
竟然真的在眾目睽睽之下，基於策略梯度算法之上又有了新的突破。
「後生可畏，後生可畏啊！」，文森特感嘆：「華國金陵大學真的是撿到寶了。」
「只是今天上午聽瑞秋的報告，提到了兩個模型對抗訓練的方式，突然產生的靈感...」，江銘不好意思地解釋道。
然而他的話，幾位教授只當耳旁風，聽聽就罷了，根本不會信。
這個算法，和上午瑞秋的生成式對抗網絡完全不同，那個算法雖然分成兩個模型，但是還是各自訓練的。
而江銘，則是將其中一個評論家網絡的輸出結果，作為梯度，反向傳播在行動網絡的每一個時間步下，其構思之精巧簡直嘆為觀止。
「開始訓練吧，我已經迫不及待地想看結果了。你的計算資源夠用嗎，不如直接用我們實驗室的資源。」
文森特不愧是麻省的高級研究員，做事雷厲風行，立馬掏出一張紙條，寫上了幾行數字。
「這是我們實驗室伺服器的IP位址和埠號，這個是一個臨時的用戶權限密碼，你直接連上去用。如果可以的話，爭取這兩天就把模型訓練出來，測試一下。」
江銘接過紙條，禮貌感謝了一下文森特教授。
他還真有點缺計算資源，昨天的訓練讓他意識到，圍棋程序的訓練的確需要大量計算資源。
尤其他這次設計的算法框架，江銘直接命名為行動者-評論家框架，雖然提高了訓練效率，但是對計算資源的需求可一點不少。
甚至由於兩個網絡中的數值傳遞，涉及了更多的地址移動操作，對CPU的性能要求更高。
「圍棋麼...」，錢峰思索片刻，道：「最近櫻花國好像就有一個圍棋的世界大賽吧，我去聯繫一下，也許能安排一個人機大戰也說不定。」
他作為NIPS的主編，還是在社會各界人脈廣泛，自作主張地幫江銘的圍棋程序找起了對手。
幾個信息學頂尖教授的能量可想而知，很快便安排好了這一切。
他們簡直比江銘還要對這個算法有信心，都迫不及待地想在這次的開會的短短一周內就能看到結果。
江銘無奈，一番操作連上了麻省的計算伺服器，開始了訓練...
...
接下的半天裡，江銘穿梭於主會場和幾個研討會分會場。
時間表上但凡他感興趣的工作，都會去會場聽一聽報告，許多研究員的創新點子讓江銘感到很受啟發。
當然，即使是聽報告，江銘也會每隔一個小時就打開筆記本，查看一下圍棋程序的訓練情況。
在他加入了全新的算法框架之後，僅僅訓練了三個小時，就看到指標有了變化！
雖然由於使用的是自我對弈方式的原因，勝率仍然在50%上下浮動，但是他注意到評論家網絡的方差正在逐漸降低，而行動者網絡的動作分布也開始區域集中。
這是一個非常好的趨勢！
評論家網絡的方差變低，意味著它對於每一步棋的判斷正變得越來越准，而行動者網絡動作分布的集中，則說明這個模型在下棋時不再是隨機亂下了。
它現在至少是在幾個可能的，比較好的落子位置中糾結。
江銘調出程序自我對弈的棋譜，仔細檢查。
他按照落子順序一點點看過去，逐漸露出便秘般的表情。
這根本評估不出來程序的下棋水平好嗎！
他的圍棋水平連半吊子都算不上，實在是看不大懂，能知道一個基本規則就已經是盡力了。
不行，還是得找個專業的人來看看，江銘瞬間想到了柯凡，也不知道他這個時候有沒有空。
正好今天的會議也告一段落了，江銘拿著電腦便跑回了東京站酒店。
酒店門口擺放著幾幅宣傳海報，是有關本次的應氏杯國際圍棋錦標賽的，甚至每個參賽選手，都有著等身立繪以及一些櫻花國媒體給選手起的中二名字。
江銘掃了一眼，都是什麼【最終壁壘】、【帝國之魔王】、【凶絕棋聖】之類的稱呼。
找了半天，他才在後面的位置看到了柯凡的稱號【山林棋豪】。
也不知道這個名字是他自封的還是櫻花國媒體給他取的，江銘撇撇嘴，走進了酒店。
此時正值十六進八的淘汰賽，很多選手在酒店的會議廳里激烈地鏖戰著。
江銘過去的時候，柯凡正一臉輕鬆地從賽場中走出來，看到了江銘，沖他招了招手。
「今天比完了？」，江銘問道。
「是啊，很輕鬆！今天我的對手實力不強，在棋中想要算計我，結果沒算好漏了個大勺，被我兩棋子拍死。」，柯凡洋洋得意地道。
「不錯啊，棋豪。」，江銘誇獎道。
柯凡頓時臉一黑：「你...你都看到了？那幫出生媒體真是給我亂起名字，我都服了。」
「對了，你今天有空嗎，我有個棋譜想要請教你。」，江銘問。
「可以啊，咱們這麼鐵的關係，看幾盤都沒關係。」，柯凡直接答應了下來。
兩人找了個沙發坐下，江銘趕緊掏出電腦，展示出剛剛導出的棋譜。
柯凡只看了一眼棋譜，便狐疑地抬起頭看著江銘：「這個棋譜是哪裡來的？」
「你們看這個評論家網絡，是用每局的勝負來訓練的，而它的輸出卻連到了行動者網絡的每一個時間步上，用來訓練行動者網絡。」
「這就像是行動者的每一步棋，都有一個老師告訴他這一步讓他的勝率是提高了還是下降了，以及具體是提高下降了多少。」
「這樣的話，再也不需要通過蒙特卡洛法，下完一整局棋再收集一次很高方差的數據了，而是每一步棋，都能對圍棋程序做一次疊代訓練。」
「最外層的循環是每下一盤棋訓練一次評論家，而內層循環是每一步棋，都根據評論家的指導，訓練一次行動者。」
其他教授頓時恍然大悟，這個想法...似乎真的可行！
驚訝之餘又有些感慨，江銘真的是不斷創造奇蹟的信息學新星。
竟然真的在眾目睽睽之下，基於策略梯度算法之上又有了新的突破。
「後生可畏，後生可畏啊！」，文森特感嘆：「華國金陵大學真的是撿到寶了。」
「只是今天上午聽瑞秋的報告，提到了兩個模型對抗訓練的方式，突然產生的靈感...」，江銘不好意思地解釋道。
然而他的話，幾位教授只當耳旁風，聽聽就罷了，根本不會信。
這個算法，和上午瑞秋的生成式對抗網絡完全不同，那個算法雖然分成兩個模型，但是還是各自訓練的。
而江銘，則是將其中一個評論家網絡的輸出結果，作為梯度，反向傳播在行動網絡的每一個時間步下，其構思之精巧簡直嘆為觀止。
「開始訓練吧，我已經迫不及待地想看結果了。你的計算資源夠用嗎，不如直接用我們實驗室的資源。」
文森特不愧是麻省的高級研究員，做事雷厲風行，立馬掏出一張紙條，寫上了幾行數字。
「這是我們實驗室伺服器的IP位址和埠號，這個是一個臨時的用戶權限密碼，你直接連上去用。如果可以的話，爭取這兩天就把模型訓練出來，測試一下。」
江銘接過紙條，禮貌感謝了一下文森特教授。
他還真有點缺計算資源，昨天的訓練讓他意識到，圍棋程序的訓練的確需要大量計算資源。
尤其他這次設計的算法框架，江銘直接命名為行動者-評論家框架，雖然提高了訓練效率，但是對計算資源的需求可一點不少。
甚至由於兩個網絡中的數值傳遞，涉及了更多的地址移動操作，對CPU的性能要求更高。
「圍棋麼...」，錢峰思索片刻，道：「最近櫻花國好像就有一個圍棋的世界大賽吧，我去聯繫一下，也許能安排一個人機大戰也說不定。」
他作為NIPS的主編，還是在社會各界人脈廣泛，自作主張地幫江銘的圍棋程序找起了對手。
幾個信息學頂尖教授的能量可想而知，很快便安排好了這一切。
他們簡直比江銘還要對這個算法有信心，都迫不及待地想在這次的開會的短短一周內就能看到結果。
江銘無奈，一番操作連上了麻省的計算伺服器，開始了訓練...
...
接下的半天裡，江銘穿梭於主會場和幾個研討會分會場。
時間表上但凡他感興趣的工作，都會去會場聽一聽報告，許多研究員的創新點子讓江銘感到很受啟發。
當然，即使是聽報告，江銘也會每隔一個小時就打開筆記本，查看一下圍棋程序的訓練情況。
在他加入了全新的算法框架之後，僅僅訓練了三個小時，就看到指標有了變化！
雖然由於使用的是自我對弈方式的原因，勝率仍然在50%上下浮動，但是他注意到評論家網絡的方差正在逐漸降低，而行動者網絡的動作分布也開始區域集中。
這是一個非常好的趨勢！
評論家網絡的方差變低，意味著它對於每一步棋的判斷正變得越來越准，而行動者網絡動作分布的集中，則說明這個模型在下棋時不再是隨機亂下了。
它現在至少是在幾個可能的，比較好的落子位置中糾結。
江銘調出程序自我對弈的棋譜，仔細檢查。
他按照落子順序一點點看過去，逐漸露出便秘般的表情。
這根本評估不出來程序的下棋水平好嗎！
他的圍棋水平連半吊子都算不上，實在是看不大懂，能知道一個基本規則就已經是盡力了。
不行，還是得找個專業的人來看看，江銘瞬間想到了柯凡，也不知道他這個時候有沒有空。
正好今天的會議也告一段落了，江銘拿著電腦便跑回了東京站酒店。
酒店門口擺放著幾幅宣傳海報，是有關本次的應氏杯國際圍棋錦標賽的，甚至每個參賽選手，都有著等身立繪以及一些櫻花國媒體給選手起的中二名字。
江銘掃了一眼，都是什麼【最終壁壘】、【帝國之魔王】、【凶絕棋聖】之類的稱呼。
找了半天，他才在後面的位置看到了柯凡的稱號【山林棋豪】。
也不知道這個名字是他自封的還是櫻花國媒體給他取的，江銘撇撇嘴，走進了酒店。
此時正值十六進八的淘汰賽，很多選手在酒店的會議廳里激烈地鏖戰著。
江銘過去的時候，柯凡正一臉輕鬆地從賽場中走出來，看到了江銘，沖他招了招手。
「今天比完了？」，江銘問道。
「是啊，很輕鬆！今天我的對手實力不強，在棋中想要算計我，結果沒算好漏了個大勺，被我兩棋子拍死。」，柯凡洋洋得意地道。
「不錯啊，棋豪。」，江銘誇獎道。
柯凡頓時臉一黑：「你...你都看到了？那幫出生媒體真是給我亂起名字，我都服了。」
「對了，你今天有空嗎，我有個棋譜想要請教你。」，江銘問。
「可以啊，咱們這麼鐵的關係，看幾盤都沒關係。」，柯凡直接答應了下來。
兩人找了個沙發坐下，江銘趕緊掏出電腦，展示出剛剛導出的棋譜。
柯凡只看了一眼棋譜，便狐疑地抬起頭看著江銘：「這個棋譜是哪裡來的？」