驍龍5G手機(jī)可運(yùn)行10億大模型！高通侯明娟解析終端側(cè)AI關(guān)鍵作用
在2023年中國(guó)國(guó)際服務(wù)貿(mào)易交易會(huì)成果發(fā)布活動(dòng)上,高通公司全球副總裁侯明娟參與《混合AI是AI的未來(lái)》白皮書(shū)線下發(fā)布會(huì),并分享在AI領(lǐng)域的觀察和展望。她指出,高通AI研發(fā)最關(guān)注的領(lǐng)域,是如何在低功耗環(huán)境下,讓AI更高效地運(yùn)行。高通致力于通過(guò)提供高效的硬件、算法和軟件工具,持續(xù)推動(dòng)終端側(cè)AI性能功耗比提升。她還推薦大家前去高通展臺(tái)參觀,看看10億級(jí)生成式AI模型在高通驍龍5G手機(jī)平滑運(yùn)行的演示。
侯明娟談到,在ChatGPT引起的熱潮下,生成式AI帶來(lái)空前的發(fā)展機(jī)遇,AI以驚人的速度快速走進(jìn)人們生活的方方面面,從最熟悉的電腦,擴(kuò)展到智能手機(jī)、智能汽車、智能工廠、智能檢測(cè)等。她指出,混合AI架構(gòu)在云端和終端側(cè)之間分配并且協(xié)同處理AI的工作負(fù)載,能讓這些終端的用戶獲得更好的AI使用體驗(yàn),終端側(cè)AI將發(fā)揮更關(guān)鍵的作用,只有實(shí)現(xiàn)AI在終端側(cè)的普及,才能夠?qū)崿F(xiàn)AI的規(guī)模化擴(kuò)展。
她分析了終端側(cè)AI在普及AI中起關(guān)鍵作用的原因。目前云端AI的算力成本是搜索引擎的10倍,這些額外算力每年帶來(lái)數(shù)十億美元的運(yùn)算成本,算力不足是阻礙AI快速普及的最大原因?；旌螦I架構(gòu)可以根據(jù)需求功能的復(fù)雜程度,選擇在云端運(yùn)行,或者在終端側(cè)運(yùn)行,或者在終端和云端之間動(dòng)態(tài)分配負(fù)載,如果超過(guò)終端側(cè)算力,就通過(guò)5G等網(wǎng)絡(luò),無(wú)縫切換到云端推理,然后返回演算成果。終端側(cè)AI可以有效的分擔(dān)算力,降低云端AI觸及算力瓶頸的概率。
侯明娟指出,高通的許多科學(xué)家投入很大的研發(fā)精力,持續(xù)迭代優(yōu)化硬件和軟件,提高終端側(cè)AI性能功耗比。高通還推出AI軟件棧,整合AI框架、開(kāi)發(fā)者庫(kù)、系統(tǒng)軟件和操作系統(tǒng)。在軟件棧的助力下,開(kāi)發(fā)者只需一次開(kāi)發(fā),就能在不同的終端類型,不同的操作系統(tǒng)上,擴(kuò)展AI應(yīng)用。
侯明娟解釋,高通推出《混合AI是AI未來(lái)》白皮書(shū)的目的是,與業(yè)界分享高通對(duì)AI技術(shù)發(fā)展和應(yīng)用趨勢(shì)的理解,并希望產(chǎn)生和更多產(chǎn)業(yè)伙伴合作的機(jī)會(huì),共同探索AI技術(shù)普惠之路。高通對(duì)終端側(cè)AI的應(yīng)用前景充滿希望,期待和業(yè)界一起,把AI能力擴(kuò)展到更廣泛的領(lǐng)域。此前高通通過(guò)“發(fā)明-分享-協(xié)作”的模式,在5G智能手機(jī)領(lǐng)域獲得巨大的成功,能否將這些成功的經(jīng)驗(yàn)復(fù)制到AI領(lǐng)域,值得期待。
關(guān)注我們
