啟源拓展學(xué)院(百分百領(lǐng)導(dǎo)力培訓(xùn)課程)

圖片來(lái)源@視覺(jué)中國(guó)
文丨親愛(ài)的數(shù)據(jù),作者丨譚婧
DPU是人工智能芯片之后的又一大熱點(diǎn)。
業(yè)內(nèi)人士笑談,那些投資人鉆研DPU的熱情,比造DPU的人還高。
有人在問(wèn)DPU芯片是啥的時(shí)候,創(chuàng)業(yè)公司里,飄來(lái)一個(gè)熟悉的女聲:“支付寶到賬,人民幣一億元。”沒(méi)錯(cuò),就是融資額經(jīng)常上億。
別說(shuō)互聯(lián)網(wǎng)大廠(chǎng),國(guó)字頭大基金也刀背藏身,眼睛直勾勾盯著DPU,伺機(jī)而動(dòng)。
云廠(chǎng)商對(duì)DPU芯片的渴望,是歇斯底里的。逼得造DPU的人,鼻孔噴血,雙眼冒火。
而坊間有個(gè)說(shuō)法,DPU只有兩個(gè)品牌——亞馬遜云和阿里云,以及其他。
DPU的故事,要從好久之前講起了。
(一)1998年,美國(guó)斯坦福大學(xué)的球場(chǎng)上。
尖尖綠草被陽(yáng)光溫柔撫摸,孩子們尖叫雀躍,球衣鮮艷,帶風(fēng)奔跑。
球場(chǎng)外,一些家長(zhǎng)等著接孩子回家。他們中有的是斯坦福大學(xué)的同事及其家屬。
左右無(wú)事,家長(zhǎng)群里的兩位閑聊了起來(lái)。
“最近在忙啥?”
“創(chuàng)業(yè)了。”
“創(chuàng)業(yè)方向是啥?”
“在一臺(tái)計(jì)算機(jī)上可以跑多個(gè)操作系統(tǒng)。”
提問(wèn)的這位男士,文質(zhì)彬彬,聽(tīng)到回答,突然眼睛一亮,脫口而出:“這個(gè)想法挺好,很新鮮。”
最怕一流行家,遇見(jiàn)了一流行家,一聊就迸射火花。
兩位家長(zhǎng),在球場(chǎng)邊,就地達(dá)成投資意向。
這位家長(zhǎng),不,這位看準(zhǔn)就出手的早期投資人,氣質(zhì)儒雅,風(fēng)度翩翩。
他就是張首晟,著名華裔物理學(xué)家,楊振寧的愛(ài)徒,主要從事凝聚態(tài)物理領(lǐng)域的研究,斯坦福大學(xué)終身教授。
創(chuàng)業(yè)的那名家長(zhǎng)也不簡(jiǎn)單,叫黛安·格林(Diane Green),一位天賦型女性管理者,從創(chuàng)業(yè)之日起,就擔(dān)任高管,掌管公司長(zhǎng)達(dá)十年之久。
后話(huà)是,她還管了一陣子谷歌云。
此番操作,把孩子們都看懵了。
另一個(gè)孩子的爸爸,黛安·格林的老公,是斯坦福大學(xué)教授,孟德?tīng)枴ち_森布拉姆(Mendel Rosenblum,簡(jiǎn)稱(chēng)羅教授),是公司的首席科學(xué)家,他也是操作系統(tǒng)領(lǐng)域的世界級(jí)專(zhuān)家。
彼時(shí)創(chuàng)業(yè)路上,夫婦倆剛剛動(dòng)身,公司名叫VMware。
二十多年后,這家公司成為虛擬化技術(shù)領(lǐng)域的巨頭。
計(jì)算機(jī)技術(shù)的術(shù)語(yǔ),常常閃爍理性光芒,而“虛擬化”這個(gè)詞,一看就是鏡花水月,太虛幻境,把一種仙風(fēng)道骨的玄幻氣質(zhì),拿捏得死死的。
不意外,虛擬化技術(shù)的一開(kāi)始:學(xué)術(shù)研究站C位。
為數(shù)不多的高校在研究,美國(guó)斯坦福大學(xué)、英國(guó)劍橋大學(xué)。
屈指可數(shù)的公司在探索, IBM公司、英特爾公司、微軟公司。
上世紀(jì)70年代是虛擬化學(xué)術(shù)研究的黃金年代,有多篇學(xué)術(shù)論文為這個(gè)方向奠定了理論基礎(chǔ)。
科學(xué)技術(shù)這行,光憑論文不行,得拿出東西來(lái),還得用起來(lái)。
等有代表性的公司誕生,年年等斷腸,從七十年代,到九十年代,一等二十年。
據(jù)VMware公司CEO黛安·格林回憶,一天晚上,羅教授回到家,談起工作,他說(shuō):“我想重新審視虛擬化,將隔離引入操作系統(tǒng),能同時(shí)運(yùn)行新舊代碼,又不必構(gòu)建一個(gè)新的操作系統(tǒng)。”
想法像洪水一樣從腦中涌出,羅教授非常激動(dòng),睡醒的第二天,就開(kāi)始做原型。
不久之后,澎湃的行動(dòng)力,讓羅教授和他的學(xué)生們實(shí)現(xiàn)了X86 服務(wù)器的虛擬化。
科學(xué)家的朋友圈往往光芒四射,創(chuàng)始人集齊五位專(zhuān)家,擺開(kāi)了陣型,對(duì)虛擬化發(fā)起沖鋒,這一次載入史冊(cè)。
“攻下”X86,打開(kāi)虛擬化由守轉(zhuǎn)攻的新局面。
相傳,虛擬化技術(shù)公司的文化和互聯(lián)網(wǎng)企業(yè)文化不同。
美國(guó)斯坦福大學(xué)的學(xué)生閉眼挑offer的時(shí)候說(shuō),谷歌的文化吸引年輕人,擼狗上班,睡衣轟趴,而VMware 公司的員工則能在公司安穩(wěn)地結(jié)婚生子。
隨后,學(xué)術(shù)派傳球至邊路,PC的虛擬化接球。
雖然在小型PC機(jī)時(shí)代,虛擬化不是剛需,但是開(kāi)創(chuàng)了硬件新玩法,沸騰了極客的熱血。
小心翼翼問(wèn)一句,虛擬化是不是在騙CPU?
理直氣壯回答:CPU有一種被騙的“能力”。
虛擬化技術(shù)很厲害,還是要戒驕戒躁,后面的路,還長(zhǎng)。
(二)無(wú)疑,VMware公司是成功的,當(dāng)開(kāi)源世界崛起,軟件甩開(kāi)商業(yè)軟件的統(tǒng)治,開(kāi)源極客走上舞臺(tái)。
請(qǐng)大家記住這兩個(gè)虛擬化技術(shù)的精神小(領(lǐng))伙(袖),因?yàn)樗麄儗?duì)DPU的發(fā)展,至關(guān)重要。
按姓氏筆畫(huà)排序:安東尼·李國(guó)瑞(Anthony Liguori),美國(guó)人。張獻(xiàn)濤,中國(guó)人。
2001年,英國(guó)劍橋大學(xué)計(jì)算機(jī)實(shí)驗(yàn)室,IanPratt教授帶著幾個(gè)博士生做了一個(gè)非常知名的虛擬化項(xiàng)目.
叫Xen project。
Xen的讀音和“than”有點(diǎn)像,但不完全一樣,發(fā)音不吐舌頭。
Xen有一個(gè)龐大的、活力十足的開(kāi)發(fā)社區(qū),深遠(yuǎn)地影響了云計(jì)算、虛擬化和安全。
兩年后,Xen X86虛擬機(jī)監(jiān)視器的第一個(gè)穩(wěn)定版本就問(wèn)世了。
2004年,張獻(xiàn)濤在武漢大學(xué),念博士。多年寒窗,沒(méi)有少下功夫,他技術(shù)水平強(qiáng),動(dòng)手能力更強(qiáng)。
技術(shù)大神何愁去處,可張獻(xiàn)濤還是有些擔(dān)心,因?yàn)樘摂M化技術(shù)的擇業(yè)面,太小了。
讀博士,勤奮很重要,有一位好的博士導(dǎo)師也重要。
張獻(xiàn)濤的博士導(dǎo)師,是全球知名的密碼學(xué)家卿斯?jié)h。張獻(xiàn)濤一定是花掉了很多運(yùn)氣,才遇到了這么一個(gè)好導(dǎo)師。
他一臉慈祥地對(duì)張獻(xiàn)濤說(shuō):“虛擬化這個(gè)研究方向,我和英特爾有合作,你先去那里實(shí)習(xí),別擔(dān)心,我?guī)湍惆才牛O碌模茨阕约毫恕!?/p>
而今看來(lái),卿斯?jié)h教授將張獻(xiàn)濤送去企業(yè)實(shí)習(xí),是完完全全從學(xué)生的利益考慮。
(有些博士導(dǎo)師那是死活都不愿意放博士生出去干活,此處省略三千字吐槽)。
于是,張獻(xiàn)濤從一名英特爾的實(shí)習(xí)生做起,一做就是3年。時(shí)光飛逝,技術(shù)水平飛漲,他于2008年正式入職英特爾。
他可能也沒(méi)有想到,這份工作一干就是9年。
把鏡頭搖到2002年的美國(guó)IBM 公司,虛擬化的另一個(gè)前沿陣地。
一位名叫安東尼·李國(guó)瑞的大學(xué)生,在學(xué)校讀書(shū)期間一直在IBM實(shí)習(xí),每周20小時(shí),連續(xù)四年,風(fēng)霜雪雨,從不間斷。
2006年,安東尼入職IBMLinux 技術(shù)中心,成為一名軟件工程師,這份工作一干就是7年。
人這一生,找到一個(gè)真心喜愛(ài)的技術(shù)作為愛(ài)好,然后不計(jì)成本地付出時(shí)間和耐心,用心打磨,收獲的將不只是一個(gè)拿得出手的技能。
更重要的,還有一個(gè)脫胎換骨的自己。
也許某日傍晚,紅霞染盡天邊,張獻(xiàn)濤在看云,安東尼也在看云,可能會(huì)有那么一瞬間,他們都意識(shí)到自己要和這個(gè)名字極富詩(shī)意的技術(shù),打一輩子交道了。
世間因緣,因緣世間。
(三)芯片江湖,有人,有酒,有故事,就有批評(píng)英特爾的聲音。
PC為王的時(shí)代,因?yàn)樘摂M化不是主流,所以英特爾X86指令集對(duì)虛擬化的服務(wù)態(tài)度很不友好。
這鍋,得英特爾背,還背到了2005年。
英特爾在那一年才笑臉相迎,態(tài)度友好,在CPU里面做了一些擴(kuò)展指令集。
這次重拳,扭轉(zhuǎn)了虛擬化的乾坤。
那一年的年11月,英特爾宣布產(chǎn)品支持硬件虛擬化(VT-x,VT-d),AMD也屁顛跟上,宣布產(chǎn)品支持硬件虛擬化(SVM)。
別看姍姍來(lái)遲,但是這套技術(shù)也足夠硬核黨,能做出來(lái)也很了不起。
但是英特爾“罪名”也很昭彰——低效。
VMware公司眼疾嘴快,把英特爾一頓猛批。
模仿駱賓王討伐武則天,出了一篇著名的“檄文”,討伐英特爾。
指責(zé)支持虛擬化的擴(kuò)展指令集低效,還沒(méi)有自己家做的性能好(這里指VMware公司的“二進(jìn)制翻譯”,binary translation)。
指責(zé)別人,趁機(jī)夸贊自己,沒(méi)毛病。
經(jīng)此一事,也能一窺VMware公司的江湖地位,批評(píng)別人,得自己腰桿子倍兒直。
經(jīng)此一變,虛擬化便有了CPU芯片廠(chǎng)商的全火力支持,仿佛被按下二倍速播放鍵。
這是虛擬化的短板,第一次被拯救。
那時(shí)候,英特爾沒(méi)有白忙活,蘸著唾沫點(diǎn)鈔票,心里樂(lè)開(kāi)了花。支持Xen,跟支持Linux的道理一模一樣,虛擬化帶動(dòng)了生態(tài),大家都愛(ài)用戶(hù)黏性。
窗外陽(yáng)光正好,又是吃飯時(shí)間,天上白云飄過(guò),人間沒(méi)有巨變,云計(jì)算悄然巨變。
云計(jì)算的第一張門(mén)票,亞馬遜云搶到了。云計(jì)算的號(hào)角一吹響,開(kāi)源迅速占領(lǐng)C位。
Xen底氣十足,首席科學(xué)官兼劍橋大學(xué)計(jì)算機(jī)實(shí)驗(yàn)室教授Ian Pratt說(shuō):“微軟正處于追趕我們的道路上。”
此言不虛,微軟公司的產(chǎn)品確也深受 Xen的啟發(fā)。
一時(shí)間,紅帽,Sun Microsystems,Suse Linux,到處都有Xen的身影。
一時(shí)間,似乎任何新事物都會(huì)在Xen萌發(fā)。
Xen被掌聲包圍,連云巨頭都伸出橄欖枝。2006年,亞馬遜云(EC2)推出第一個(gè)采用Xen的實(shí)例類(lèi)型(m1.small)。
Xen登上了第一朵云,自此,成為云計(jì)算的生力軍。
虛擬化技術(shù)烈火烹油,微軟公司好不服氣。悄悄收購(gòu)位于美國(guó)波士頓的虛擬化廠(chǎng)商Softricity公司,趕緊公布了,為Windows Server引進(jìn)新的虛擬機(jī)管理產(chǎn)品的時(shí)間表。
“別催了,在買(mǎi)了。”
后續(xù)是微軟公司再露土豪本色,為了虛擬化連續(xù)多次出手多家創(chuàng)業(yè)公司。
這也從側(cè)面反映了虛擬化這個(gè)技術(shù),又小眾,又難,又關(guān)鍵,連微軟公司也啞巴吃黃連,有苦說(shuō)不出。
2007年英特爾出了VT-x,增強(qiáng)了很多功能,又反超了VMware公司的二進(jìn)制翻譯技術(shù)。
VMware公司內(nèi)心獨(dú)白:批評(píng)英特爾,草率了。
在2009 年的時(shí)候,研究公司Gartner預(yù)測(cè),三種技術(shù)將主導(dǎo)虛擬化:VMware公司的 ESX Server、Xen 和微軟公司的 Viridian hypervisor。
有些技術(shù)預(yù)(占)測(cè)(卜),聽(tīng)一聽(tīng),別當(dāng)真。
正面評(píng)論大聲說(shuō),Xen是當(dāng)時(shí)的業(yè)界標(biāo)準(zhǔn)之一,非常成熟。
負(fù)面評(píng)價(jià)小聲說(shuō),Xen的架構(gòu)非常復(fù)雜,代碼鏈非常長(zhǎng),對(duì)內(nèi)核的改動(dòng)也比較大。
Xen是一個(gè)非常好的項(xiàng)目,但是確實(shí)太復(fù)雜。全球真正搞懂Xen架構(gòu)的人不超過(guò)50人。大部分人,停留在僅僅能用這個(gè)層次。
再者,Xen還是傳統(tǒng)虛擬化技術(shù)。
Xen的傳統(tǒng)結(jié)構(gòu),決定了它身上的擔(dān)子特別重,要忙于許多事情,保護(hù)物理硬件,保護(hù)BIOS,虛擬化 CPU,虛擬化存儲(chǔ),虛擬化網(wǎng)絡(luò),還有諸多管理功能。
Xen過(guò)于笨重,注定退場(chǎng),但Xen的出現(xiàn),為虛擬化打開(kāi)了開(kāi)源世界的大門(mén)。
夢(mèng)里幾十年,長(zhǎng)風(fēng)幾萬(wàn)里,才把虛擬化吹進(jìn)開(kāi)源世界。
2014年,同樣是開(kāi)源的KVM來(lái)了。
作為L(zhǎng)inux的家族成員(以組件的形式出現(xiàn)),這個(gè)輕巧的超級(jí)管理程序,身姿輕盈,席卷世界。
這時(shí)候,VMware公司的日子也不紅火了,閉源商業(yè)軟件,花錢(qián)不說(shuō),云廠(chǎng)商改動(dòng)也不方便。
不要忘記的是,亞馬遜云和阿里云的DPU早期架構(gòu),都能看到Xen與KVM的身影。
(四)問(wèn)世間,是否此山最高,
或者,另有高處比天高。
(手動(dòng)打節(jié)奏:嘿哈!)
開(kāi)源社區(qū)背后的慘綠少年,藏身于開(kāi)源江湖,苦練絕技。
十多年前的虛擬化技術(shù),并不成熟。
放眼全世界,做虛擬化技術(shù)研究的人,真心不多。
開(kāi)源社區(qū)里最有權(quán)力、最受人尊敬的人,有一個(gè)統(tǒng)一的稱(chēng)謂,Maintainer(軟件維護(hù)者),也是高級(jí)別的代碼貢獻(xiàn)者,掌管開(kāi)源項(xiàng)目的設(shè)計(jì)規(guī)劃,對(duì)全局,有深入了解,對(duì)未來(lái),也有獨(dú)到見(jiàn)解。
世界有時(shí)候很大,有時(shí)候很小。
安東尼,是QEMU的Maintainer。
張獻(xiàn)濤,是KVM跨平臺(tái)支持以及KVM/IA64的作者和Maintainer 。
QEMU曾是世界上首屈一指的系統(tǒng)仿真器和虛擬器。QEMU支持Xen和KVM,并廣泛部署在大多數(shù)云環(huán)境中。
從Xen到KVM,安東尼和張獻(xiàn)濤的技術(shù)突飛猛進(jìn),天天打破天花板。只要解決性能方面的難題,什么姿勢(shì)都會(huì)。
要知道,那些系統(tǒng)底層,要去解決性能方面的故障或者錯(cuò)誤(Bug),都是非常難的,伸出手就能扼住整個(gè)項(xiàng)目的喉嚨,讓人動(dòng)彈不得。
安東尼和張獻(xiàn)濤,身上不斷出現(xiàn)“巧合”。
張獻(xiàn)濤和安東尼在Xen 和KVM 開(kāi)源社區(qū)都有交集,是享譽(yù)社區(qū)的極客,令無(wú)數(shù)開(kāi)源玩家高山仰止。
經(jīng)歷諸多采訪(fǎng)報(bào)道,他們?cè)谧鲎晕医榻B時(shí),都曾說(shuō)到一句話(huà):“我一直做虛擬化方向的工作。”
同樣的話(huà),一個(gè)用中文講出來(lái),一個(gè)用英文表達(dá)。
只要一有虛擬化安全的新聞熱點(diǎn)出現(xiàn),國(guó)外技術(shù)媒體都以采訪(fǎng)到安東尼為榮。張獻(xiàn)濤則是國(guó)內(nèi)第一批參與做KVM的。
巧合的背后,往往是必然。
2013年,安東尼,加入亞馬遜云。
2014年,張獻(xiàn)濤,加入阿里云。
昔日,在虛擬化開(kāi)源社區(qū),兩位最有“勢(shì)力”的人。
如今,在頭部云計(jì)算廠(chǎng)商,主導(dǎo)DPU技術(shù)變革。
更巧的是,一個(gè)負(fù)責(zé)Nitro系統(tǒng),一個(gè)負(fù)責(zé)神龍系統(tǒng)。
亞馬遜云和阿里云的DPU,均汲取了開(kāi)源虛擬化軟件Xen和KVM的精華。
云計(jì)算帶來(lái)了虛擬化技術(shù)的繁榮,實(shí)現(xiàn)了技術(shù)的躍遷。
此時(shí),虛擬化的專(zhuān)家,從硬件廠(chǎng)商的寶貝,變成了云計(jì)算廠(chǎng)商、大型互聯(lián)網(wǎng)公司的寶貝。
35歲就淘汰之類(lèi)的話(huà),在這些人面前,純當(dāng)放了一個(gè)臭屁。
所有人都意識(shí)到,虛擬化技術(shù)“值錢(qián)”了,蜂擁而至,可惜,門(mén)檻很高。
虛擬化是一門(mén)非常難的技術(shù),虛擬機(jī)是對(duì)真實(shí)計(jì)算環(huán)境的抽象,很多人被“抽象”二字難住。
操作系統(tǒng)內(nèi)核已是掃地僧級(jí)別的技能了,虛擬化則是獨(dú)孤求敗。
張獻(xiàn)濤說(shuō):“以前,我們認(rèn)為操作系統(tǒng)內(nèi)核是最難理解的,也是最復(fù)雜的系統(tǒng)軟件。業(yè)界有不少非常資深的內(nèi)核(kernel)工程師轉(zhuǎn)去做虛擬化,都理解不了,也做不好。”
為什么呢?
因?yàn)樘摂M化又抽象了一層,其難度大大增加,要用軟件去實(shí)現(xiàn)硬件(的功能)。
在云廠(chǎng)商沒(méi)有虛擬化專(zhuān)家的時(shí)代,亞馬遜云也找英特爾的人去解決問(wèn)題。
十幾年前,英特爾工程師火線(xiàn)救援云廠(chǎng)商的故事,都快被人遺忘了。
2010年,阿里云準(zhǔn)備在5月10日發(fā)布產(chǎn)品(ECS1.0)。
那時(shí),有三家企業(yè)的工程師擠在阿里云攻堅(jiān),攻了一個(gè)多月,有人都要把頭急禿了,眼看到日子了,還有一個(gè)坎,過(guò)不去。
大概1000臺(tái)服務(wù)器,運(yùn)行一晚之后,總會(huì)發(fā)生一件奇妙的事情,硬盤(pán)找不到了。
硬盤(pán)也很委屈:“我掉線(xiàn)了。”
攻堅(jiān)小組被死死逼到了墻角,他們拿出了一個(gè)負(fù)責(zé)任的推斷:?jiǎn)栴}要么出在芯片組身上,要么出在芯片身上。攻堅(jiān)小組在嘶吼,得讓英特爾派人來(lái),快點(diǎn)。
命懸一線(xiàn)之際,無(wú)論英特爾派誰(shuí)來(lái),都會(huì)被人死盯著,恨不得用秒表計(jì)時(shí)。
意外的是,英特爾的專(zhuān)家到現(xiàn)場(chǎng)后,看了一下(所有的配置),想了一會(huì),之后說(shuō):“改個(gè)參數(shù)就可以了”。
計(jì)時(shí)那個(gè)人,看了下表,從拿到阿里云的服務(wù)器日志到搞定,大約用時(shí)3000秒(50分鐘)。
這一刻的如釋重負(fù),讓在場(chǎng)的阿里云工程師一輩子也忘不了。
快拿幾條真絲圍巾,我們要纏在胳膊上跳廣場(chǎng)舞。
這事,讓一個(gè)外援在阿里云內(nèi)部,小火了一把。
誰(shuí)知不久之后,阿里云的章文嵩問(wèn)了團(tuán)隊(duì)一個(gè)問(wèn)題:如果要挖一個(gè)虛擬化做得最好的人,應(yīng)該挖誰(shuí)?
章文嵩是何人呢?Linux虛擬服務(wù)器創(chuàng)始人,開(kāi)源大神,曾任阿里云CTO,首席科學(xué)家。
阿里云的工程師們,雙手不離開(kāi)鍵盤(pán),頭也不用抬,張嘴就有了:張獻(xiàn)濤。
無(wú)獨(dú)有偶。
有人告訴我:“二零零幾年的時(shí)候,亞馬遜云還沒(méi)把安東尼搞過(guò)去,虛擬化的問(wèn)題也解決不了,也得靠英特爾。因?yàn)樘摂M化的大牛工程師,亞馬遜云也缺。”
亞馬遜云,有了安東尼。
阿里云,有了張獻(xiàn)濤。
尋隱者不遇,那虛擬化的高手到底在哪?
云深不知處,他們就聚集在IBM、英特爾、紅帽。
消息靈通人士透露,2008年左右,英特爾公司上海辦公室里,虛擬化團(tuán)隊(duì)大概十幾號(hào)人。云計(jì)算帶動(dòng)虛擬化技術(shù)熱門(mén)之后,全世界都來(lái)挖人。
自此,很多虛擬化的人才就留在了美國(guó),直到現(xiàn)在。
人爭(zhēng)一口氣,佛受一炷香。為什么云廠(chǎng)商會(huì)憋著口氣一頓猛搞芯片?
答案是:誰(shuí)痛苦,誰(shuí)難受,誰(shuí)逼瘋,誰(shuí)知道。
張獻(xiàn)濤懇切的語(yǔ)氣令人印象深刻:“就算不是神龍團(tuán)隊(duì),阿里云也會(huì)有另一支團(tuán)隊(duì)把DPU做出來(lái)。”
眾所周知,現(xiàn)在云計(jì)算廠(chǎng)商的服務(wù)器規(guī)模有多大。當(dāng)規(guī)模擴(kuò)大,用戶(hù)量增長(zhǎng),對(duì)DPU的渴求就變得心切。
幾十萬(wàn)臺(tái)服務(wù)器,一天天,嗷嗷待哺。
在安東尼心里,應(yīng)該也反反復(fù)復(fù)問(wèn)過(guò)很多遍DPU的本質(zhì)問(wèn)題:
“為了得到更好的產(chǎn)品,我們要設(shè)計(jì)硬件,要設(shè)計(jì)一個(gè)專(zhuān)門(mén)用于虛擬化的硬件平臺(tái)。不是通用軟件,不是通用硬件。”
回望來(lái)路,已無(wú)退路,在技術(shù)最佳的更迭期,DPU出現(xiàn)了。用DPU定制化硬件加速,成為最正確的方向。
(五)別怪我沒(méi)提醒,云計(jì)算的虛擬化,和前幾代虛擬化,大為不同。
前幾代產(chǎn)品與DPU隔著一條深不見(jiàn)底的天塹,跳過(guò)去,就是通天大道。
問(wèn)題來(lái)了,怎么跳?
從2012年開(kāi)始,亞馬遜云團(tuán)隊(duì),尤其是EC2虛擬化就開(kāi)始思考:
那個(gè)叫做Hypervisor的“超級(jí)管理員”,得膽子再大一點(diǎn),能力再?gòu)?qiáng)一點(diǎn)。那么問(wèn)題來(lái)了,世間能做出比純軟件架構(gòu)更好的超級(jí)管理程序嗎?
這是我能找到的,安東尼在外媒采訪(fǎng)中談到的,亞馬遜云關(guān)于DPU思想萌芽最早的時(shí)間點(diǎn)。
但那個(gè)時(shí)候還沒(méi)有Nitro的影子。
后來(lái),把Nitro System曝光于公眾面前的,是一次知名的收購(gòu)案。
被收購(gòu)的公司叫做Annapurna Labs,也就是安娜普爾納峰實(shí)驗(yàn)室,公司在以色列和美國(guó)都設(shè)有研發(fā)中心。
登山愛(ài)好者,瞅這個(gè)名字很眼熟。
巧了,喜馬拉雅山最高十峰之一,安娜普爾納峰。
角峰銳利,山體挺拔,線(xiàn)條凌厲,冰雪覆蓋,云海猛烈翻滾,在向全世界的登山者搔首弄姿:“你過(guò)來(lái)呀~”
又巧了,公司兩位創(chuàng)始人Billy和Nafea也是登山愛(ài)好者,以攀登此峰為榮。雖未抵達(dá),但心已至,他們將角峰設(shè)計(jì)成LOGO,印在了封裝好的芯片上。
登山是個(gè)人英雄主義,DPU是團(tuán)隊(duì)實(shí)干集體主義。
安娜普爾納峰實(shí)驗(yàn)室對(duì)于亞馬遜云來(lái)說(shuō),就是上天恩賜的禮物。國(guó)內(nèi)云廠(chǎng)商一開(kāi)始有這個(gè)好買(mǎi)賣(mài),半夜睡覺(jué)都笑醒。
收購(gòu)這件事情,光有鈔票不行,好的“收購(gòu)目標(biāo)”極其罕見(jiàn)。
這家“登山愛(ài)好者”公司,除了登山,還有幾個(gè)絕活。
其一,Graviton芯片,云廠(chǎng)商第一顆Arm芯片。
其二,是一種虛擬機(jī)抄近路小能手的技術(shù),ENA。
(ENA,全稱(chēng)是ElasticNetwork Adapter,一種網(wǎng)卡驅(qū)動(dòng),能用于虛擬機(jī)和物理機(jī),是開(kāi)源項(xiàng)目,發(fā)布在GitHub網(wǎng)站上。)
這種技術(shù)講究的是四兩撥千斤,使得虛擬機(jī)繞過(guò)軟件(內(nèi)核和用戶(hù)空間網(wǎng)絡(luò)處理程序),直接操作硬件(網(wǎng)卡),如此這般,提升了網(wǎng)絡(luò)效率。
昔日寂寂無(wú)名的ENA,成為亞馬遜云網(wǎng)絡(luò)虛擬化的關(guān)鍵技術(shù),日后是大名鼎鼎的Nitro的一部分。
合作如絲般順滑,那就買(mǎi)過(guò)來(lái),誰(shuí)叫那時(shí)候世界首富掌管亞馬遜公司呢。
2015年,收購(gòu)價(jià)3.5億美元。
別看當(dāng)時(shí)花了多少,要看日后省了多少。這是一場(chǎng)幾乎完美的收購(gòu),每年都為亞馬遜節(jié)省大把美金。
因?yàn)镈PU的特長(zhǎng)之一就是很能打,一套降龍十八掌,打敗虛擬化損耗,不在話(huà)下。
損耗少了,當(dāng)然省錢(qián)。
安娜普爾納峰實(shí)驗(yàn)室開(kāi)發(fā)的這張卡,不僅卸載了VPC網(wǎng)絡(luò)功能,還卸載了EBS 存儲(chǔ)網(wǎng)絡(luò)功能。
這就是前文提到的,“任務(wù)卸載”技術(shù)。
據(jù)網(wǎng)飛公司技術(shù)高管(Brendan Gregg)的說(shuō)法,Nitro的性能損耗非常小(不到1%),Nitro的虛擬化性能接近裸設(shè)備。
亞馬遜的文化里,有單向門(mén)(The one-way door)和雙向門(mén)(two-way door)決策的說(shuō)法。這個(gè)翻譯,頗為晦澀。
“單向門(mén)”的任務(wù),像電影《魷魚(yú)游戲》,大抵是干活時(shí)被人用槍指著腦袋。
只要任務(wù)失敗,就“嘣”一槍。驚不驚險(xiǎn),刺不刺激。
“雙向門(mén)”就是這個(gè)場(chǎng)景用得不好,搬到別的地方,說(shuō)不定還能用上,反正不會(huì)白忙活,KPI保住了,萬(wàn)事好商量。
DPU是專(zhuān)用的,“專(zhuān)用”意味著,拿到別處“沒(méi)用”。
Nitro 系統(tǒng)開(kāi)發(fā)的時(shí)候,槍和腦袋的距離,幾毫米。
失敗和成功的距離,一丟丟。
研發(fā)團(tuán)隊(duì)在描述艱難的開(kāi)發(fā)歲月的時(shí)候,像個(gè)文科生,一口氣用了四個(gè)形容詞。
他們說(shuō):“這次我們做決定,有條不紊,謹(jǐn)慎,緩慢,深思熟慮。”
懂行的心里明白,這不是普通的任務(wù),其要求已經(jīng)超出了傳統(tǒng)虛擬化技術(shù)的能力。因?yàn)榇蚱苽鹘y(tǒng),就是浴火重生。
研發(fā)團(tuán)隊(duì)在技術(shù)博客里寫(xiě)下:“只有創(chuàng)新才行,但我們沒(méi)有急著拍腦袋。整個(gè)探索的旅程歷經(jīng)五年,仔細(xì)、反復(fù)試驗(yàn),每一步都很小心,驗(yàn)證我們前進(jìn)的方向是正確的。”
喜大普奔的2013 年,亞馬遜云研發(fā)團(tuán)隊(duì)推出了第一款Nitro 卸載卡(C3 實(shí)例類(lèi)型),將網(wǎng)絡(luò)進(jìn)程卸載到硬件中。
馬不停蹄的2014 年,將 EBS 存儲(chǔ)卸載到硬件中(C4 實(shí)例類(lèi)型),這次研發(fā)團(tuán)隊(duì)首次與一家名為安娜普爾納峰實(shí)驗(yàn)室的公司合作。
Nitro研發(fā)團(tuán)隊(duì)談到了研發(fā)的時(shí)間節(jié)點(diǎn):“2017 年,我們卸載了最后的組件,包括控制面和剩余的 I/O,我們引入了一個(gè)新的管理程序,具有 C5 實(shí)例類(lèi)型的完整Nitro系統(tǒng)。”
代碼長(zhǎng)什么樣子,如今已經(jīng)記不清了,但工程師依然記著當(dāng)時(shí)的心情:
“這是投入的揮金如土,是身心的殫精竭慮,是承諾的使命必達(dá),是不可思議的時(shí)刻。當(dāng)Nitro系統(tǒng)推出時(shí),五年辛勤,此生難得。”
Nitro給亞馬遜云帶來(lái)什么?
Nitro的迭代推動(dòng)亞馬遜云最核心的EC2產(chǎn)品家族不斷往更大、更快、更安全、更穩(wěn)定、更多類(lèi)型、更高性?xún)r(jià)比方向演進(jìn)。
Nitro 系統(tǒng)讓亞馬遜云有能力提供100 Gbps 增強(qiáng)型以太網(wǎng)網(wǎng)絡(luò)的云,支持更高吞吐量或受網(wǎng)絡(luò)限制的工作負(fù)載(如 HPC 應(yīng)用程序)。
借助 Nitro 系統(tǒng),將虛擬化功能卸載到專(zhuān)用硬件上,將 EC2 的架構(gòu)分解為更小的塊。這些塊以多種不同的方式組裝,能夠靈活地設(shè)計(jì)和快速交付EC2 實(shí)例,并提供越來(lái)越多的計(jì)算、存儲(chǔ)、內(nèi)存和網(wǎng)絡(luò)選項(xiàng)。
亞馬遜云 CTO 沃納·威格爾(WernerVogels)曾經(jīng)說(shuō)過(guò),“在亞馬遜云,90%到95%的新項(xiàng)目,都是來(lái)自于客戶(hù)給我們的反饋,剩下的5%也是從客戶(hù)角度出發(fā)所做的創(chuàng)新嘗試。”
而Nitro 系統(tǒng)正是這種項(xiàng)目之一,它誕生于2013年,成熟于2017年,到現(xiàn)在還在不斷進(jìn)化中,2021年已經(jīng)迭代到第五代。
(六)最重要的一點(diǎn),亞馬遜云科技的團(tuán)隊(duì)看到了,阿里云神龍團(tuán)隊(duì)也看到了。
安東尼看到了,張獻(xiàn)濤也看到了。
把傳統(tǒng)的虛擬化技術(shù)直接移到云計(jì)算,缺陷極其明顯,畢竟不是為了云計(jì)算的服務(wù)器而生的。
把時(shí)間花在最值得思考的問(wèn)題上。
2016年左右,張獻(xiàn)濤博士,天天都在思考同一個(gè)問(wèn)題:什么樣的虛擬化技術(shù),才適合云計(jì)算?
得從根本上解決傳統(tǒng)虛擬化應(yīng)用到數(shù)據(jù)中心里面存在的缺陷(也就是性能、資源、隔離方面所有的問(wèn)題)。
他腦中的“神龍系統(tǒng)”慢慢清晰。
那一年里,張獻(xiàn)濤博士密集、低調(diào)往返于北京和杭州兩地,意在勸說(shuō)多位大咖級(jí)芯片主架構(gòu)師加入阿里云。
有這樣一句話(huà),很打動(dòng)人心,日后實(shí)現(xiàn)的時(shí)候,更激動(dòng)人心:
“外界無(wú)法理解互聯(lián)網(wǎng)公司要做DPU的決心,這件事情絕對(duì)是前人沒(méi)有做過(guò)的,它可以改變?cè)朴?jì)算里面最核心的技術(shù)。”
神龍芯片給阿里云帶來(lái)什么技術(shù)價(jià)值?
張獻(xiàn)濤認(rèn)為,第一,解決CPU和內(nèi)存完全隔離的問(wèn)題。這里的隔離有兩個(gè)層面意思,一個(gè)是安全方面的隔離,一個(gè)是性能的隔離。
第二,IO鏈路上最容易出安全漏洞。QEMU這個(gè)模擬器是從傳統(tǒng)的虛擬化帶過(guò)來(lái)的,在神龍芯片第一代的那個(gè)時(shí)間點(diǎn)上,它是完完全全過(guò)時(shí)了。
所謂的過(guò)時(shí)了,包括兩點(diǎn)。其一,代碼是開(kāi)源的,人人皆可見(jiàn)。其次,安全漏洞多,常發(fā)生一些虛擬機(jī)逃逸的情況。
在公共云的世界里,“虛擬機(jī)逃逸”五個(gè)字,還沒(méi)有說(shuō)出口,就有一群人撲上去,捂住你的嘴。
虛擬機(jī)逃逸=絕對(duì)不允許。
DPU解決了性能,同時(shí)也解決了安全方面的問(wèn)題。
神龍芯片一開(kāi)始就想好了,多張卡解決問(wèn)題,強(qiáng)調(diào)多合一,多種功能在一張卡上實(shí)現(xiàn),復(fù)雜度下降,穩(wěn)定性增強(qiáng)。
兩架馬車(chē),解決的問(wèn)題一樣,實(shí)現(xiàn)的思路不同。
佛山無(wú)影腳,神龍無(wú)影刀。
DPU的一個(gè)關(guān)鍵就是,“從哪里切”與“切到何處”,答案充滿(mǎn)玄機(jī)和禪意。
這讓人想起庖丁解牛,若要回答:骨在哪,肉在哪,骨肉相連又在哪;
恐怕要稔知全牛結(jié)構(gòu),全憑手感,刀法在腦海里,在肌肉里。
這還不夠,難題在于,每一家云廠(chǎng)商的軟件是不一樣的。
怎樣處理分布式存儲(chǔ)和分布式網(wǎng)絡(luò)的軟件接口?
哪些應(yīng)該放在控制路徑?
哪些放在數(shù)據(jù)路徑?
如果不懂虛擬化,你就不知道怎么切,或者切完后性能也不好。
DPU團(tuán)隊(duì)表面生氣,心里憋悶,誰(shuí)出的破題?
再或者,有的DPU團(tuán)隊(duì),還沒(méi)有看到牛在哪里。
DPU這個(gè)東西,光有硬件思路,或光有軟件思路,一定會(huì)出大問(wèn)題。
當(dāng)故事講到這里,虛擬化的知識(shí)就不夠用了,要細(xì)聊張獻(xiàn)濤在英特爾的另一段經(jīng)歷。
上海虹橋作為著名的交通樞紐,周邊房?jī)r(jià),一直看漲。
2005年的時(shí)候,張獻(xiàn)濤剛到英特爾實(shí)習(xí),工資不高,錢(qián)包不鼓,在大虹橋地段找房子住,選來(lái)選去,選了仙霞路附近的茅臺(tái)路,一個(gè)叫做天山五村的老式小區(qū)。
大虹橋的房?jī)r(jià),逼得張獻(xiàn)濤和師兄合租了一個(gè)單間,逼仄的房間里,擺了兩張單人床,已經(jīng)夠局促了。沒(méi)想到,更局促的在后面。
一進(jìn)英特爾,張獻(xiàn)濤的壓力值就爆表了。
為什么?他發(fā)現(xiàn),六年的計(jì)算機(jī)專(zhuān)業(yè)白讀了,媽耶,英特爾大牛們說(shuō)的話(huà),居然聽(tīng)不太懂。原因是他們講的那些東西,都牽涉到芯片內(nèi)部的專(zhuān)業(yè)知識(shí)。
能主宰一個(gè)時(shí)代的門(mén)派,半導(dǎo)體產(chǎn)業(yè)鏈的頂端,還是有很多秘籍的。
腦袋混沌了幾天之后,張獻(xiàn)濤那股子不服輸?shù)膭艃海项^了。
經(jīng)高人指點(diǎn),他沖到藏經(jīng)閣就找寶典。
《英特爾系統(tǒng)編程手冊(cè)》(System Development Manual)是這樣一種存在,你看第一遍,包你根本看不懂。
照理說(shuō),計(jì)算機(jī)的操作系統(tǒng),是按此寫(xiě)出來(lái)的。比如,英特爾的64位處理器用的是IA 64,配套的《手冊(cè)》有好幾卷。
《手冊(cè)》也誠(chéng)不我欺,卷卷厚如板磚,就不信你能讀完。
晚上,師兄睡了,張獻(xiàn)濤不敢開(kāi)大燈,從枕頭下面摸出一樣?xùn)|西,手電筒。于是,咳嗽放屁都在一個(gè)被窩里,用手電筒的光,照著看《手冊(cè)》。
老舊小區(qū)的黑瓦和夜色融在一起,樓層里閃爍著零星的光,從窗口的方格里冒出來(lái),張獻(xiàn)濤屋里的光,從被子里透出來(lái)。
開(kāi)了頭才知道,痛苦是一層套一層的套娃。
每日不輟的翻讀,還要看操作系統(tǒng)的內(nèi)核代碼。這行代碼為什么這么寫(xiě),他要到編程手冊(cè)里找答案。這還不夠,要看Linux和Xen的代碼。
看不懂怎么辦,英特爾還有一個(gè)“師兄幫扶”機(jī)制,類(lèi)似學(xué)霸紅領(lǐng)巾,不懂問(wèn)師兄。
左手一本軟件編程手冊(cè),右手一本硬件編程手冊(cè),外加Linux內(nèi)核代碼,一行一行去理解。
再看不懂怎么辦,去找美國(guó)的工程師請(qǐng)教。
張獻(xiàn)濤吃一口編程手冊(cè),蘸幾行Linux內(nèi)核代碼,成為每日的例行動(dòng)作。
日復(fù)一日,張獻(xiàn)濤對(duì)CPU、對(duì)操作系統(tǒng)的理解,加深加深,再加深。
在英特爾公司,張獻(xiàn)濤知道了一個(gè)“冷知識(shí)”。
任何一顆芯片,從英特爾公司“走”出來(lái)之前,內(nèi)部員工可能提前三到五年就已經(jīng)拿到了“未出廠(chǎng)的芯片”。
工程師們要把 CPU所有的新功能用軟件“用”起來(lái)。
說(shuō)白了,到手的芯片還沒(méi)有正式量產(chǎn)。芯片里面會(huì)有各種各樣的毛病。你要去理解“問(wèn)題”來(lái)自于軟件,還是硬件。
不了解這點(diǎn),你永遠(yuǎn)不會(huì)懷疑CPU會(huì)出問(wèn)題。
DPU的技術(shù)領(lǐng)袖,需要對(duì)芯片、對(duì)芯片組、對(duì)PCIe總線(xiàn)、對(duì)操作系統(tǒng)、對(duì)虛擬化的了解,到達(dá)一種境界,關(guān)燈取物,如同開(kāi)燈取物一樣自如。
看似行云流水的判斷,是在日復(fù)一日、年復(fù)一年、無(wú)聲無(wú)息中形成的,就像火山爆發(fā)后,熱風(fēng)里從早到晚飄落的火山灰,把一切技術(shù)難點(diǎn)都掩埋。
從火山灰中醒來(lái),看到一個(gè)重塑的新世界。
DPU的部署,無(wú)異于完成了給高速飛馳的列車(chē)換防風(fēng)材料,給深海作業(yè)的潛艇換防水材料。
2017年到2021年,亞馬遜云和阿里云均已跑步進(jìn)入了DPU產(chǎn)品迭代良性循環(huán)的新世界。
2021年的夏天,張獻(xiàn)濤博士對(duì)我說(shuō):“以前,沒(méi)有人相信互聯(lián)網(wǎng)公司需要芯片技術(shù)。現(xiàn)在,大家都相信了。”
(七)裁判一聲長(zhǎng)哨,男主持人富有磁性的聲音播報(bào):觀眾朋友們,這里是數(shù)據(jù)中心賽場(chǎng),IaaS層終場(chǎng),云計(jì)算基礎(chǔ)設(shè)施最后一場(chǎng)比賽。
當(dāng)優(yōu)秀DPU問(wèn)世的時(shí)候,國(guó)內(nèi)云計(jì)算廠(chǎng)商在IaaS層,這輪的戰(zhàn)斗,宣告結(jié)束了。
自研出DPU的云計(jì)算廠(chǎng)商說(shuō):“我攤牌了,我贏了。”
哪怕五年前,放眼找工作的網(wǎng)站,就算云計(jì)算廠(chǎng)商“放出”招芯片專(zhuān)家的崗位,誰(shuí)敢去?去干啥?再資深的HR一看崗位說(shuō)明,都懵了,就沒(méi)接觸過(guò)搞芯片的人。
軟件開(kāi)發(fā)周期何其快,硬件開(kāi)發(fā)周期何其慢。旁人都說(shuō),這戀情看上去就不長(zhǎng)久。
老牌芯片公司一扭頭,眼角余光里都是質(zhì)(鄙)疑(視)。
云廠(chǎng)商只擅長(zhǎng)軟件,如何面對(duì)芯片?
云廠(chǎng)商面對(duì)的場(chǎng)景極其復(fù)雜,用芯片怎么搞定?
誰(shuí)出的題,這么難。
問(wèn)題是復(fù)雜中的復(fù)雜,需求是剛需中的剛需。
很抱歉文章科普得遲了,DPU是一種云上服務(wù)器的專(zhuān)用芯片。
這句話(huà),有兩個(gè)關(guān)鍵詞,“云上服務(wù)器”和“專(zhuān)用芯片”。
先講,云上服務(wù)器。
云上服務(wù)器有些像公共澡堂,可以一個(gè)人用,也可以多人共用,麻煩都是“一起用”帶來(lái)的。
公共澡堂“一起用”,最好有隔板。我看你,你看我,這樣不文(安)明(全)。
可口可樂(lè)和百事可樂(lè)要在一朵云上,還能互相看文件,立馬就翻臉了,肥皂也不撿了。
那怎么辦?
答案是:得插DPU,而且是每臺(tái)服務(wù)器都得插。十萬(wàn)臺(tái)服務(wù)器,插十萬(wàn)張DPU。殺毒軟件是用軟件保護(hù)安全,DPU的作用之一是用硬件保護(hù)安全。
說(shuō)到安全,硬件比軟件更能打,這個(gè)就不贅述了。
再講,專(zhuān)用芯片。
提到專(zhuān)用芯片,挖礦炒幣賺到錢(qián)的人興奮了,搶著說(shuō):“我最內(nèi)行。”因?yàn)椴煌募用茇泿牛煌牡V機(jī)。礦機(jī)越對(duì)口,挖幣越賺錢(qián)。
金錢(qián)的銅臭味,告訴我們:專(zhuān)門(mén)的事情,讓專(zhuān)門(mén)的芯片去做。
現(xiàn)在還有爭(zhēng)議,但是未來(lái),會(huì)看得清楚,DPU是云計(jì)算的標(biāo)配。
摩爾和登納德兩位老先生,無(wú)情指出“現(xiàn)實(shí)之無(wú)奈”,CPU成了最昂貴的“打工人”。
所以,DPU作為專(zhuān)用硬件,除了安全,還要來(lái)給CPU減負(fù)。
幾條街之外,都能聽(tīng)見(jiàn)DPU的嘮叨:“哎呦,CPU我的祖宗,快放下,您哪敢動(dòng)這,可不能把資源浪費(fèi)在網(wǎng)絡(luò)和存儲(chǔ)的負(fù)載上。”
CPU則說(shuō):救救孩子吧。我太南了。
(CPU大聲呼救的原因是:CPU既要處理大量的上層應(yīng)用,又要維持底層軟件的基礎(chǔ)設(shè)施,還要處理各種特殊的IO類(lèi)協(xié)議,不堪重負(fù)。)
把“負(fù)擔(dān)”從CPU上卸載下來(lái),DPU將有望成為承接這些“負(fù)擔(dān)”的代表性芯片。
CPU也很高興DPU的出現(xiàn),你行,你上呀。
的確,有人夸DPU是繼CPU和GPU之后的“第三顆”主力芯片。
不要因?yàn)轷r花和掌聲太多,就對(duì)DPU的能力有什么誤會(huì)。
CPU穩(wěn)坐“主咖”寶座,CPU可以當(dāng)DPU用,CPU也可以當(dāng)GPU用,但是反過(guò)來(lái)不成立。
DPU的事情CPU能做,但是,CPU比DPU昂貴老多了。牛刀太貴,殺雞的人自然不舍得。
云廠(chǎng)商想實(shí)現(xiàn)“一起洗澡(一起用)”,得靠虛擬化技術(shù)。虛擬化雖好,但是會(huì)引發(fā)一堆“糟心事兒”,比如性能損耗,甚至有人把這種損耗比喻成“交稅”,搞不定當(dāng)然多交稅。
這種損耗也相當(dāng)于,還沒(méi)有開(kāi)始洗澡,一半水在水管里就浪費(fèi)光了,肥皂沫都沒(méi)有來(lái)得及沖掉。
技術(shù)問(wèn)題越難,極客們?cè)脚d奮,不自覺(jué)揚(yáng)起了手里的小皮鞭。
虛擬化是DPU的精髓,虛擬化的歷史幾乎和計(jì)算機(jī)一樣悠久,是計(jì)算機(jī)科學(xué)史上最偉大的思想之一,造就了偉大的云計(jì)算技術(shù)和市場(chǎng)。
“制造假象”“隱藏細(xì)節(jié)”(給上層應(yīng)用提供一種假象,降低上層應(yīng)用使用下層資源的復(fù)雜度)。
我們天天在用的操作系統(tǒng),也是一種虛擬化的“思想”,是對(duì)硬件資源的虛擬化。
PC機(jī)的虛擬化,把計(jì)算的核心“變成”進(jìn)程。把存儲(chǔ)介質(zhì)“變成”文件系統(tǒng)。
云計(jì)算的硝煙戰(zhàn)火中,虛擬化這個(gè)噴涂了迷彩偽裝的彈藥庫(kù),終于藏不住了。
(八)說(shuō)它低調(diào),誰(shuí)料想,DPU直接沖破了次元壁,在彈幕里打出“火鉗劉明”。
有人造出來(lái)DPU的時(shí)候,DPU還沒(méi)火,它們就是,阿里云的“神龍芯片”,亞馬遜云的“NitroSystem”。
兩者,都優(yōu)秀。
不僅造出來(lái)了,還規(guī)模化用起來(lái)了。
不僅規(guī)模化了,在云的場(chǎng)景中收益還巨大了。
阿里云在國(guó)內(nèi)云計(jì)算廠(chǎng)商技術(shù)團(tuán)隊(duì)里是最拔尖的。
亞馬遜云在技術(shù)上從來(lái)沒(méi)讓人失望過(guò)(公關(guān)廣告投入就另說(shuō)了)。
他們?cè)霥PU的團(tuán)隊(duì),猶如雄師過(guò)江,天翻地覆慨而慷。
自此,云廠(chǎng)商分成兩列縱隊(duì):有DPU的,沒(méi)有DPU的。
中國(guó)男足,笑而不語(yǔ),大比分落后,說(shuō)的就是那些沒(méi)有DPU的云廠(chǎng)商。
亞馬遜云和阿里云都是革命者,且心有靈犀,選了相同的技術(shù)方向。
云燦霞鋪,同是天涯得意人。
亞馬遜云的SA是解決方案架構(gòu)師(SolutionsArchitect),很能打,一言不合就秀(show)代碼,簡(jiǎn)直人人都匹敵創(chuàng)業(yè)公司CTO。
一位SA私下里告訴我:“簡(jiǎn)單來(lái)講,DPU就相當(dāng)于是把虛擬化不同的工作負(fù)載,下放到不同的卡上。”
留意“下放”這動(dòng)詞,得體會(huì)了一陣子,才想通。這個(gè)詞,用得妙啊,它背后的專(zhuān)業(yè)術(shù)語(yǔ)是“任務(wù)卸載”。
“Nitro是一張卡,把負(fù)載(Hypervisor虛擬層,存儲(chǔ),網(wǎng)絡(luò))都綁上去。也就是把影響虛擬化安全、性能、穩(wěn)定性的那些東西都裝進(jìn)板卡里去。”
“它不是一張卡,是一套卡。每張卡片有不同的目標(biāo)。”
“Nitro System之所以稱(chēng)為是一個(gè)系統(tǒng),它包含三個(gè)獨(dú)立的部分:Nitro 卡、Nitro 安全芯片和Nitro 管理程序。
以前嘴饞,必須自己會(huì)燒兩個(gè)小菜,但是,現(xiàn)成的API準(zhǔn)備好了。
不僅會(huì)燒菜,還會(huì)自創(chuàng)新菜。
學(xué)(搞)燒(創(chuàng))菜(新),沒(méi)那么難。
因?yàn)镹itro系統(tǒng)是一個(gè)“基礎(chǔ)組件盒子”,有許多不同的組裝方式,從而使AWS能夠靈活設(shè)計(jì)和快速交付(EC2實(shí)例類(lèi)型),計(jì)算、存儲(chǔ)、內(nèi)存和網(wǎng)絡(luò)都可以成為組合的選項(xiàng)。
選擇困難癥患者看到后,趕緊喝了一口咖啡,壓壓驚。
亞馬遜云員工也談到,這種做法能夠?qū)⒃朴?jì)算微服務(wù)架構(gòu)擴(kuò)展到硬件,方便“創(chuàng)新API”。
2017年的時(shí)候,愛(ài)看熱鬧的人,圍觀神龍MOC卡,但,萬(wàn)萬(wàn)沒(méi)有想到,圍觀的就是DPU。
一位阿里云異構(gòu)計(jì)算團(tuán)隊(duì)的員工私下里告訴我:“MOC可以理解為一臺(tái)小服務(wù)器。物如其名,卡上微系統(tǒng)(Micro-servicer On Chip)。但是,2021年,我們對(duì)外口徑統(tǒng)一用神龍芯片,不叫MOC卡。”
阿里云員工還說(shuō):“對(duì)于神龍芯片的細(xì)節(jié),公司希望對(duì)外少談。有不少人,在打聽(tīng)。”
2021年10月20日,神龍推出第四代,江湖人稱(chēng)神龍4.0。
比起第三代神龍,關(guān)鍵性能指標(biāo)提升了多少呢?
說(shuō)兩個(gè)關(guān)鍵的,網(wǎng)絡(luò)關(guān)鍵性能指標(biāo)提升一倍以上,存儲(chǔ)關(guān)鍵性能指標(biāo)提升兩倍。
神龍4.0全球首次搭載大規(guī)模彈性RDMA高性能網(wǎng)絡(luò),網(wǎng)絡(luò)延遲整體大幅降低。
RDMA作為網(wǎng)絡(luò)通信技術(shù),不是一個(gè)新技術(shù),但是,阿里云彈性RDMA,讓RDMA這項(xiàng)技術(shù),從高性能計(jì)算(HPC)這個(gè)小眾領(lǐng)域,走向公有云。
曾經(jīng)RDMA大規(guī)模組網(wǎng)的能力,是整個(gè)業(yè)界都解決不了的問(wèn)題。
彈性RDMA將對(duì)云原生微服務(wù)、無(wú)服務(wù)計(jì)算應(yīng)用的性能提升大有幫助,甚至是Java 中用Netty 網(wǎng)絡(luò)編程框架的應(yīng)用程序,都會(huì)從中受益。

2021年的秋天,張獻(xiàn)濤對(duì)我說(shuō):“神龍芯片是目前業(yè)界最出色的DPU,沒(méi)有之一。”
DPU要才華有才華,要顏值有顏值,但是還有“兩大怪”。
一大怪,亞馬遜云和阿里云的DPU,不外賣(mài)。
DPU作為專(zhuān)用芯片,不要你懂,只要自己懂自己。
另一大怪,不少云計(jì)算廠(chǎng)商,一提自研DPU,就說(shuō)拜拜。
何況青云和UCloud上市了,也都在虧損。
更何況,造DPU,怎么著,得拍出三個(gè)億人民幣來(lái)。
(九)村口的土墻上,刷上了白底紅漆的廣告語(yǔ):
DPU,早擁有,早致富。
DPU,保安全。
DPU,隔離好。
DPU,省大錢(qián)。
一定得用,又沒(méi)錢(qián)自研,可以用英偉達(dá)的DPU呀。2020年,英偉達(dá)69億美金收購(gòu)Mellanox,劍指DPU。
可惜不是“量體裁衣”,用起來(lái)不稱(chēng)手,很痛苦。有專(zhuān)家毫不留情地批評(píng),對(duì)英偉達(dá)現(xiàn)有的feature(功能),都不滿(mǎn)意。
樹(shù)上葉子,綠了又黃,云計(jì)算廠(chǎng)商給博通公司提交的工單,在排隊(duì)。
北風(fēng)吹來(lái),枝頭禿禿,工單仍在排隊(duì)。
阿里云和亞馬遜云的DPU都是2017年發(fā)布的。
事隔多年,有沒(méi)有哪家云廠(chǎng)商跟上了?
眾人搖頭,鴉雀無(wú)聲。
亞馬遜云和阿里云則可能會(huì)說(shuō):“原諒我,沒(méi)忍住,笑出了聲”。
非公開(kāi)產(chǎn)品市場(chǎng),急需“消息靈通人士”。
巧了,有一家著名的國(guó)內(nèi)云廠(chǎng)商,跑到客戶(hù)那里宣(吹)傳(牛),DPU不就是智能網(wǎng)卡嘛,我廠(chǎng)2012年就有了,比神龍和Nitro快多了。
懂行的客戶(hù)發(fā)出靈魂一問(wèn),瞬間“社死”現(xiàn)場(chǎng)。
“你家DPU果真如此,那你為什么不用?”
吹牛牛逼癥,出現(xiàn)人傳人的現(xiàn)象了嗎?
又巧了,笑傲江湖的轉(zhuǎn)身,余下的DPU產(chǎn)品,要么停留在“并不怎么好用”的水平上。
要么只摸索著做了個(gè)原型出來(lái),停留在驗(yàn)證概念(Proof of concept)的水平上。
中國(guó)男足,笑了笑說(shuō),抱歉,打不開(kāi)局面。
球迷火了:“花了這么多錢(qián),你想說(shuō)重在參與?”
太巧了,有人告訴“親愛(ài)的數(shù)據(jù)”,多家公司暗地里派出員工,天天找阿里云的人套話(huà),這個(gè)為啥這樣做,那個(gè)接口為什么這么設(shè)計(jì)。
芯片的水很深,總會(huì)從供應(yīng)鏈拿到一些“內(nèi)部消息”,還有一家云廠(chǎng)商抄了好幾年,像素級(jí)別地抄,也沒(méi)有抄出個(gè)像樣的。
更糟糕的是,規(guī)模越做越大,快撐不下去了。
那些有DPU的云廠(chǎng)商,熱升級(jí),多Happy,迭代速度嗖嗖滴。
那些沒(méi)有DPU的云廠(chǎng)商,可慘了,聽(tīng)說(shuō)其中一家,得一個(gè)月重啟一次服務(wù)器。
(曾以為重啟僅僅是文科生的常用操作,別問(wèn)我怎么知道的。)
DPU是朋友圈凡爾賽的神器。
云廠(chǎng)商發(fā)朋友圈,祝友商早日建成世界一流DPU。
意識(shí)到友商已經(jīng)建成世界一流DPU,默默刪掉上一條朋友圈。
Fungible公司在朋友圈寫(xiě)下,2019年,我們定義了DPU。
樓下評(píng)論:“公司挺值錢(qián),軟銀愿景基金大手筆投了。”
可惜,產(chǎn)品做得一般,對(duì)云計(jì)算的理解不到位,無(wú)法向其評(píng)論豎大拇指。
英特爾坐不住了,發(fā)布了IPU基礎(chǔ)設(shè)施處理器,來(lái)表達(dá)對(duì)“DPU”這件事情不同的看法。
希望朋友圈獲得高贊。
云廠(chǎng)商樓下依次排隊(duì)點(diǎn)贊,但內(nèi)心唏噓不已,DPU的世界,英特爾也不能一聲令下“一統(tǒng)江湖”了。
(十)投資DPU,至少有兩個(gè)“不投”。
一不投,那些不熟悉云業(yè)務(wù)的需求的團(tuán)隊(duì)。
二不投,那些對(duì)軟硬件融合部分理解得比較粗淺的團(tuán)隊(duì)。
可惜,投資DPU這潭水,沒(méi)有水最混,只有水更混。
DPU身上有兩樁著名的冤案。在沒(méi)有DPU之前,SmartNIC(一種智能網(wǎng)卡)先一步問(wèn)世,給網(wǎng)絡(luò)減負(fù)。
第一印象最深刻。所以,有些人至今誤認(rèn)為,DPU就是SmartNIC。
SmartNIC是對(duì)網(wǎng)絡(luò)進(jìn)行加速,但解決的問(wèn)題比DPU小多了。
這時(shí)候,ETC自動(dòng)抬杠機(jī)(精)上線(xiàn)了:“你就回答我,DPU最基本的功能是不是一張網(wǎng)卡?”
哪怕是人民群眾,都對(duì)新聞里的“5G”“千兆光纖”耳熟,更別說(shuō)工業(yè)互聯(lián)網(wǎng)、車(chē)聯(lián)網(wǎng)。
對(duì)網(wǎng)絡(luò)的要求越來(lái)越高了,云計(jì)算的網(wǎng)絡(luò)帶寬從主流的10Gbps,閉著眼睛,就朝著100 Gbps一路狂奔。
可惜的是,DPU雖然能給網(wǎng)絡(luò)幫上忙,但不是智能網(wǎng)卡。
當(dāng)一個(gè)產(chǎn)品已有翻天覆地的變化,我們不妨叫它的新名字。
遺憾的是,沿著智能網(wǎng)卡的道路一意孤行,永遠(yuǎn)也到達(dá)不了DPU的綠洲。
不過(guò),在“2021年智能網(wǎng)卡峰會(huì)”上大談特談DPU,也是特定時(shí)期的特色。
所有誤解,皆是云煙。
“智能網(wǎng)卡是不是DPU的必經(jīng)之路?先一步造智能網(wǎng)卡,做扎實(shí)了再做DPU這種思路,您怎么樣理解?”
電子工業(yè)出版社出版的《軟硬件融合:超大規(guī)模云計(jì)算架構(gòu)創(chuàng)新之路》一書(shū)的作者,原UCloud(優(yōu)刻得)云計(jì)算廠(chǎng)商芯片及硬件研發(fā)負(fù)責(zé)人黃朝波這樣認(rèn)為:
“站在功能的層次,肯定是從簡(jiǎn)入繁的過(guò)程,這個(gè)說(shuō)法是對(duì)的。”
轉(zhuǎn)折之后,往往是重點(diǎn)。
“站在實(shí)現(xiàn)的角度,這個(gè)說(shuō)法,值得商榷。智能網(wǎng)卡的路子,往往跟著英偉達(dá)(NVIDIA)的做法,先NIC,再SmartNIC,再SOC。網(wǎng)絡(luò)功能的實(shí)現(xiàn),是定制ASIC(專(zhuān)用集成芯片)。然而,亞馬遜云和阿里云‘沒(méi)走尋常路’。從一開(kāi)始,就只有CPU來(lái)實(shí)現(xiàn),再逐步加入各種加速。總之,這條DPU的演進(jìn)之路是,從CPU到DPU。”
正如前文所述,亞馬遜云和阿里云是相同的技術(shù)方向,走法卻不同。
你品,你細(xì)品:英偉達(dá)的技術(shù)路線(xiàn)是從定制加速,到通用。這和亞馬遜云和阿里云那種,從通用到加入定制,完全是兩個(gè)相反的技術(shù)演進(jìn)方向。
另一個(gè)冤案,是按字面意思理解DPU。
果然不能僅看表面。
DPU的全名,叫DataProcessing Unit,是數(shù)據(jù)處理器。自賽博開(kāi)天辟地,就有數(shù)據(jù)。
CPU不能處理數(shù)據(jù)嗎?GPU不能嗎?既然不是,那憑啥就你叫數(shù)據(jù)處理。
CPU和GPU攥緊了拳頭,強(qiáng)忍著扇耳光子的沖動(dòng)嚷嚷:“今天,誰(shuí)來(lái)都不好使。”
更別說(shuō),《數(shù)據(jù)安全法》砸得門(mén)板咚咚直響:“臨時(shí)檢查,聽(tīng)說(shuō),你們這里有數(shù)據(jù),還是底層數(shù)據(jù)?”
這樣下去,保安拉起黃色警戒帶,場(chǎng)面恐怕要失控。
冤案掩蓋了難點(diǎn)。
DPU是軟件定義硬件,是用硬件適配軟件做加速,想懂DPU,要懂很多東西:芯片,系統(tǒng)軟件,計(jì)算機(jī)體系結(jié)構(gòu),云計(jì)算服務(wù),虛擬化。
兩個(gè)云廠(chǎng)商的成功故事,也淡化了難點(diǎn)。
投資人常聽(tīng)人說(shuō):“阿里云和亞馬遜云的DPU都造出來(lái)了,留給創(chuàng)(中)業(yè)(國(guó))者(隊(duì))的時(shí)間不多了。”
2021年,一堆國(guó)產(chǎn)DPU公司接二連三拿到融資。
雙手一伸,數(shù)一下,云豹智能、益思芯、合肥邊緣智芯、星云智聯(lián)、青云半導(dǎo)體、大禹智芯、中科馭數(shù)、芯啟源、深存智能等。
DPU創(chuàng)業(yè)企業(yè),存在于北京、上海、珠海等地。
公開(kāi)工商資料上可查的是,互聯(lián)網(wǎng)大廠(chǎng)也已刷刷出手:
騰訊投資,云豹智能。
美團(tuán)投資,星云智聯(lián)。
字節(jié)投資,云脈芯聯(lián)。
DPU的利好點(diǎn)很多,中國(guó)的云計(jì)算市場(chǎng),是一個(gè)多云的市場(chǎng)。比如電信云為代表的行業(yè)云出現(xiàn)后,金融云、物流云等更多的行業(yè)云逐步涌現(xiàn)。
甚至?xí)小暗胤皆啤薄澳彻倭挪块T(mén)云”。
頭部的云計(jì)算廠(chǎng)商,不是DPU唯一的客戶(hù)。
再者,中國(guó)計(jì)算機(jī)學(xué)會(huì)專(zhuān)家曾估計(jì),用于數(shù)據(jù)中心的DPU的量將達(dá)到和數(shù)據(jù)中心服務(wù)器等量的級(jí)別,每年以千萬(wàn)級(jí)新增,算上存量的替代,5年總體的需求將突破兩億枚。
這一下就超過(guò)獨(dú)立GPU卡的需求量。
甚至可以說(shuō),一臺(tái)服務(wù)器可能沒(méi)有GPU,但不能沒(méi)有DPU。
好比酒店每個(gè)房間都要有WIFI,否則前臺(tái)客服電話(huà)就會(huì)被打爆。
目之所及,一片形勢(shì)大好,欣(浪)欣(費(fèi))向(金)榮(錢(qián))。
實(shí)際上,小眾且專(zhuān)精的關(guān)鍵技術(shù),難以一窺其全貌。
DPU存在的本質(zhì),是解決傳統(tǒng)虛擬化應(yīng)用到云計(jì)算中的諸多問(wèn)題的。因?yàn)樵缙诘奶摂M化技術(shù)更多用在桌面系統(tǒng),把傳統(tǒng)的用在桌面上的虛擬化直接搬來(lái)用,用起來(lái)不順手。
DPU設(shè)計(jì)的本質(zhì)和虛擬化緊密相關(guān),是為了解決虛擬化帶來(lái)的“糟心事兒”(性能、資源、隔離方面等等)。
簡(jiǎn)單地說(shuō),虛擬化主要分成四種:CPU虛擬化,內(nèi)存虛擬化,網(wǎng)絡(luò)虛擬化,存儲(chǔ)虛擬化。唯有DPU才是從根本上解決傳統(tǒng)虛擬化應(yīng)用到數(shù)據(jù)中心里面存在的缺陷的最后一站。
英特爾VT-x,只解決CPU虛擬化和內(nèi)存的問(wèn)題。網(wǎng)絡(luò)虛擬化和存儲(chǔ)虛擬化的問(wèn)題是個(gè)歷史遺留問(wèn)題,一直沒(méi)有得到有效的解決,尤其在云計(jì)算場(chǎng)景里。功能上能實(shí)現(xiàn),但是性能、可擴(kuò)展性、隔離性老是處理不好。
部分問(wèn)題解決了,其他的怎么辦?
DPU來(lái)解決“其他的”,也就是說(shuō),DPU是解決虛擬化短板的最后一站。
DPU是瞄準(zhǔn)了云計(jì)算里硬件虛擬化的真實(shí)痛點(diǎn)來(lái)做的。
這么強(qiáng),那DPU到底都牽扯哪些技術(shù)?
這么說(shuō)吧,因?yàn)樯婕暗募夹g(shù)領(lǐng)域非常之廣,阿里云彈性計(jì)算負(fù)責(zé)人張獻(xiàn)濤說(shuō):“為了神龍芯片,我?guī)缀鮿?dòng)員了阿里云全線(xiàn)的一流專(zhuān)家。”
可能在一些造CPU的人的眼里,造DPU比較簡(jiǎn)單。我CPU這么復(fù)雜都能造,玩轉(zhuǎn)DPU算降維打擊。
可是,DPU真的好造嗎?
如果不懂虛擬化,不懂系統(tǒng)軟件,不懂云計(jì)算的場(chǎng)景,光懂芯片就想做DPU,那么可以送出五個(gè)黑體大字:無(wú)知者,無(wú)畏。
DPU是多流派技術(shù)的集大成者,有軟件,有硬件,有計(jì)算,有網(wǎng)絡(luò),有存儲(chǔ),有虛擬化,有安全,有加速器,有驅(qū)動(dòng),有框架,有應(yīng)用,精粹交織。
也許有一天,DPU會(huì)“號(hào)令”CPU(不是替代)。
最后,讓我們?yōu)槟切┱嬲募夹g(shù)革命者,起身致敬,鼓掌歡呼。
畢竟一次局部技術(shù)革命,可比一場(chǎng)球賽更帶勁兒。
“帶球隊(duì)員距球場(chǎng)小禁區(qū)還有幾步之遙,隊(duì)友在不遠(yuǎn)處大喊,傳中!傳中!守門(mén)員面色一動(dòng),似乎在猶豫。抓住機(jī)會(huì),小角度大力抽射,破門(mén)!”
“還愣著干啥,進(jìn)球了,鼓掌啊。”
(完)
掃描二維碼推送至手機(jī)訪(fǎng)問(wèn)。
版權(quán)聲明:本文由一點(diǎn)團(tuán)建發(fā)布,如需轉(zhuǎn)載請(qǐng)注明出處。