看看周圍,也差不多啦,包括我(代表本文作者夏晶晶,下同)司的內網已經大量涌現如何各種雞湯和培訓教程了,什么普通人你也有創新之潛力啦,50招學會如何創新啦,牛頓就差一個蘋果啦,跟阿基米德多洗澡啦,他們總是渴望著角落里某個不起眼的工程師像掃地僧一樣站出來改變這個世界。
我問一個問題: 如果我們說蘋果公司具有很強的創新(應該沒有人反對吧),那蘋果的創新之路是搞全民創新大革命?還是找了一大堆人參禪打坐然后求個靈光一現? 一個兩萬億美元的公司,就把未來賭在這么不確定的靈光一現的方式上?
先拋論點: 我認為的創新不是靈光一現,它是邏輯化的、甚至于是數字化產生的。
前幾天剛好有人問我,計算機體系結構這幾年有些什么顛覆式的創新?
我的回答是: 太陽底下沒有新鮮事。
曾經的我也特別喜歡各種花里胡哨,總覺得能想到一些別人沒想到的方法,我至今寫的專利,大概有2/3是入職前五年寫的。但后來嘛,閱讀的論文超過一定的數量之后,才發現自己過去只是頭發短見識短,讀書太少,那些創新的東西價值是有,但要么是某種方法的特定應用,要么就是某些特定領域的奇技淫巧。
可能是我能力比較弱吧,所以我對我今天寫的這個論點并不堅持,隨意拍磚。
我認為現在已經不再是愛因斯坦的時代了,都卷成啥樣了,光是重復的研究都海了去了。數一數,這世間比我聰明的人數以萬計,憑啥我就能一拍腦袋把這么多聰明人卷了幾十年的東西給顛覆了? 我沒這本事。什么,你說你的方向業界研究的人很少? 那我勸你考慮一下換個賽道,教授拿錢的時候身體也是很誠實的。
我始終認為,體系結構架構師的理想模型,是一個巨型神經網絡最后一層的FC(full connection)層,只是每個架構師基于不同的成長軌跡,最終都只能形成一個sparse connection。架構師最大的價值就在于對前驗網絡的鏈接及其的weight計算,所以每個架構師都需要不斷增加FC的連接數和其weight的準確度來完備自己。
如果你發現沒有可鏈接的前置層,如前所述,其實大概率是你沒找到。這也是我們需要去外界和學術圈積極交流的原因。但你一旦找到,如果教授本身的方向就是對的(大概率),最好的合作其實是耐心地觀察,提供數據幫助他,不要過多的打擾,靜待收獲。例如在RISC-V領域的luca benini教授。
我認為創新的第一重,在于計算,是當某些前置網絡的輸入因為時間演進而發生了變化時,再若干的鏈接和權重相乘,導致某個輸出的差值觸發了預定的閾值,而引發一系列變化。這些個變化,都是能夠計算出來的。
蘋果在最新的M1中采用了MCM結構的LPDDR,獲得了LPDDR的成本收益和GDDR級別的帶寬收益,這是無可否定的創新,但這是絕對不是某些人推崇的拍個腦袋靈光一現。他是架構師的FC網絡中,至少包括DRAM結構、基板封裝、DRAM制造等多個前置網絡變化帶來的可計算的結果。大家都知道,HBM是2.5D封裝形式的選項,LPDDR和GDDR是PCB級別的封裝選項,LPDDR比GDDR便宜,那么有沒有一種能夠在MCM級別的最佳選擇呢? 在基板加工工藝沒發展到一個技術點的時候,其實是沒有或者很不劃算的,但恰好,前兩年基板的某個制程被蘋果孵育出來了(這是奇點),再加上蘋果對美光的主導性和市場影響力,M1合封的LPDDR就水到渠成了。
嗯,你要說靈光一現的創新不也有很多很神奇的故事嗎?確實有,那是在我們的FC網絡不夠完備,前置條件不夠清晰的時候,來一把梭哈的行為,贏了會所嫩模,輸了下海干活唄。其中的勝利者(幸存者偏差),就變成了口口相傳的掃地僧神話了。
我天性不喜歡賭博。
寫verilog出身的人,都知道十賭十輸的道理。
那是否通過計算,就一定能創新呢?也不是。
我認為創新的第二重,在于算計。在于對一個邏輯樹(決策樹)的各種分支進行可能性推演,從無數的死路中尋找最符合邏輯的若干生路。
每次有人跑來告訴我一個好主意的時候,我問的第一個問題都是: 這個方案為什么intel(nvidia)不做? 從我認識到自己的渺小開始,我就不認為我能想到的,MIT、斯坦福聚集的硅谷想不到。而事實上,我發現確實如此。
算計的第一步,是假設自己的第一步對手都已經想到了,然后開始計算對手的第二步。如果對手已經想到了這個方案,他為什么不實施? 他是留作后手、還是遇到了什么困難。如果是遇到了困難,那他遇到的困難有沒有機會是我可以解決的?
真的,我現在做很多方案都是這么在推演。這兩年我特別喜歡閱讀intel/nvidia等公司的架構師和CEO的訪談,因為從這些訪談的思路上你有可能讀出他們的一些決策邏輯。經驗之談,有時候你真的能發現機會,最佳的可能是友商架構師的FC網絡有遺漏(極其稀少),其次最讓人開心的是友商公司的組織形式導致(大公司的組織總有毛病),這種機會最美滋滋的(當然友商也能找到我司的毛病),但大多數時候,你會發現友商的困難是你也無法邁過的,那應該做得就是記錄、孵化、耐心等待了。
在這個推演過程中,你不僅僅獲得了邏輯,有些時候,獲得的是惺惺相惜。我很喜歡火鳳燎原的一句話: “計謀分三層,第一種計謀,單發,第二種計謀,雙向互發,第三種計謀,融匯貫通。” 在地球的另一半,有人和你想得一樣呢。
intel的ponte vecchio,我遇到很多人對他不理解,及各種不屑,認為這么個復雜的東西根本不能量產。但隨著我也開始做3D chiplet,并且逐漸建立了一些FC鏈接之后,我認為ponte是一個無以倫比的創新,他所有的選擇其實都是在前置網絡相互之間所能達成的極致邊界的藝術。如果我某一天能夠碰上intel的大架構師RAJA,我希望能上去和他講一句話,“我和你想得一樣呢。” 我想,這是架構師的浪漫吧。
我認為創新的第三重,如何出招。
這是關于一個邏輯能夠反復盤算清楚之后,如何實施的方法。我其實也在不斷地嘗試和探索,我個人的路子是以劍道的三先作為分類。先先之先(預測對手的出端技)、先之先(擊其破綻的打擊技)、后之先(避其攻擊的反擊技)。
蘋果的合封LPDDR策略,就是典型的先之先,他雖然保密性高,但在產業鏈搗鼓的很多事情,并不是無跡可尋,但當他出招的時候,就是個當頭直劈打先手,氣勢整個壓制了產業鏈,你避無可避。如果是小公司,那么往往就得出奇制勝,尋先先之先策,這不是賭,是拼。……當然,我司擅長后之先。
但這一切依舊是有跡可尋的,可以推理邏輯的,哪有什么靈光一現。
所以啊,我理解這個世界內卷的激烈、對創新的渴求,但天天彎道超車彎道超車的,把靈光一現當成了主航道,甚至看不上在直道上堂堂正正的追趕了。