Hauv kev sib tw kom nrawm dua kev txawj ntse, Silicon Valley lub tuam txhab Cerebras tab tom ua lub tswv yim txawv txawv: Mus loj.
Thaum lub khoos phis tawj siv lub nti yog qhov loj ntawm cov rau tes, Cerebras' nti yog qhov loj ntawm phaj noj hmo.
Kev kawm tob, AI thev naus laus zis uas txhawb lub suab pab, tsav tsheb tus kheej thiab Go champions, vam khom rau" neural network" software teeb tsa hauv txheej. Cov kev kawm sib sib zog nqus tuaj yeem ua haujlwm ntawm ib lub khoos phis tawj, tab sis cov txheej txheem loj tshaj plaws tau nthuav tawm thoob plaws ntau txhiab lub tshuab txuas, qee zaum hauv cov chaw khaws ntaub ntawv loj, xws li cov haujlwm los ntawm Google. Hauv pawg loj, mus txog 48 pizza-box-sized servers swb rau hauv ib-txiv neej-siab racks; Cov rhawv zeb tau ua kab ua kab thiab ua kom lub tsev loj li lub tsev rau khoom. Neural tes hauj lwm hauv cov kab ke no tuaj yeem daws teeb meem txaus ntshai, tab sis lawv kuj tseem ntsib teeb meem nyuaj. Lub network uas nthuav tawm hauv pawg yog zoo li lub paj hlwb tawg thoob plaws ib chav thiab txuas ua ke. Cov hluav taws xob txav nrawm, tab sis txawm li ntawd los, kev sib txuas lus hla cov chips tau qeeb thiab siv lub zog ntau heev.
Eric Vishria, tus tswv cuab dav dav ntawm San Francisco nqis peev tuam txhab lag luam Benchmark, xub pom qhov teeb meem thaum nws hnov Cerebras Systems, lub tuam txhab khoos phis tawj tshiab, hais lus thaum lub caij nplooj ntoo hlav xyoo 2016. Benchmark tau paub txog kev nqis peev thaum ntxov hauv cov tuam txhab xws li Twitter, Uber, thiab ebay - uas yog, hauv software, tsis yog kho vajtse. Lub tuam txhab saib txog 200 qhov pib ib xyoo thiab nqis peev hauv ib qho." Peb tau ua qhov kev ua si ntawm hnia ib txhiab qav,&" Vishria hais rau kuv. Thaum pib ntawm nws cov lus hais, nws txiav txim siab muab tus qav pov rov qab." Kuv xav, vim li cas kuv thiaj pom zoo qhov no?" Peb' tsis rov nqis peev kho vajtse,&"; nws rov xav txog." Nws' yog ruam."
Cerebras tus sib koom ua ke Andrew Feldman tau pib nrog daim npog npog rau nws pab pawg swb thiab ntes Vishria' kev saib xyuas: nws txuj ci tau zoo kawg. Feldman tom qab ntawd sib piv ob hom tshuab computer. Ua ntej, nws saib cov duab ua haujlwm, lossis Gpus - chips tsim tshwj xeeb rau tsim cov duab 3D. Hnub no' lub tshuab kev kawm tshuab vam khom cov duab no rau ntau yam laj thawj. Tom ntej no, nws tau saib ntawm lub hauv paus ua haujlwm, lossis cpus, lub hom phiaj dav dav uas ua haujlwm feem ntau hauv ib lub computer." Qhov swb thib peb yog hais txog' Gpus,' uas yog qhov tsis zoo rau kev kawm tob - lawv tsuas yog tshwm sim ib puas zaug zoo dua li cpus." Cerebras tau los nrog hom tshiab ntawm nti uas tsis yog tsim los rau duab tab sis tshwj xeeb yog tsim los rau kev txawj ntse.
Vishria tau siv los hnov lub suab los ntawm cov tuam txhab uas npaj yuav siv kev kawm tob hauv cybersecurity, kev kho mob, duab sib tham thiab lwm yam ntawv thov. Tom qab Cerebras' tham, nws tau tham nrog cov kws tsim khoom ntawm cov tuam txhab nyiaj txiag los ntawm Benchmark, suav nrog Zillow, Uber, thiab Stitch Fix; Lawv hais rau nws tias lawv muaj teeb meem nrog AI vim nws siv sijhawm ntev heev rau&"qhia; qhia &"; neural network. Google tau pib siv super-fast" tensor processing units," lossis Tpus, cov chips tshwj xeeb tsim rau ARTIFICIAL txawj ntse. Vishria paub tias muaj kub kub mus ntxiv thiab ib tus neeg yuav tsum tau khaws thiab thaws.
Xyoo ntawd, Benchmark thiab Foundation Capital, lwm lub tuam txhab peev lag luam, tau coj $ 27 lab puag ncig nyiaj txiag rau Cerebras, uas tau nce ze li $ 500 lab. Lwm lub tuam txhab tseem tab tom ua lub npe hu ua kev txawj ntse nrawm; Cerebras' cov neeg sib tw groq, Graphcore thiab Sambanova tau nce ntau dua $ 2 nphom hauv peev ntawm lawv. Tab sis Cerebras' txoj kev yog txawv. Hloov chaw luam tawm kaum tawm wafers ntawm ib daim loj ntawm silicon, txiav lawv tawm thiab txuas lawv rau ib leeg, lub tuam txhab tau tsim cov loj heev&"wafer level &"; nti Thaum lub khoos phis tawj thev naus laus zis yog qhov me me ntawm cov rau tes, Cerebras hais txog qhov loj me ntawm phaj noj hmo thiab yog lub tshuab computer loj tshaj plaws hauv ntiaj teb.
Txawm tias cov neeg sib tw pom qhov ua tau zoo." Nov yog kev tshawb fawb tshiab," Nigel Toon, Graphcore' tus thawj coj thiab tus tsim, tau hais rau kuv." Nws' yog ib qho tsis txaus ntseeg ntawm kev tsim vaj tsev. Nws' yog qhov ua tau zoo." Lub caij no, lwm tus kws tshaj lij uas kuv tau tham los piav qhia nws yog qhov haujlwm tshawb fawb - loj rau qhov loj' Yav dhau los, lub tuam txhab tau sim thiab ua tsis tiav los ua cov chips loj; Cerebras' npaj cov nyiaj rau thawj koom ruam uas kov yeej cov teeb meem kev tsim vaj tsev yog ua tau thiab tsim nyog nws." Ua siab ncaj, rau kuv, kev tsis paub yog qhov zoo dua," Vishria hais." Kuv tsis' tsis paub yog tias kuv paub nyuaj npaum li cas los ua qhov lawv ua, Kuv yuav muaj lub siab tawv los nqis peev."
Nws yog qhov yooj yim los lees paub tias khoos phis tawj tau nrawm dua thiab nrawm dua. Qhov no feem ntau piav qhia los ntawm Moore' Txoj Cai: tus qauv tsim nyob rau xyoo 1965 los ntawm semiconductor pioneer Gordon Moore, raws li tus naj npawb ntawm cov transistors ntawm lub nti ua ob npaug txhua xyoo lossis ob xyoos. Yog lawm, Moore' Txoj Cai tsis yog' tsis yog txoj cai lij choj tiag tiag, thiab cov kws ua haujlwm ua haujlwm tsis muaj zog los txo cov transistors thaum tseem txhim kho&"architecture &" ntawm txhua tus nti los tsim cov qauv siv tau zoo dua thiab muaj zog.
Cov kws tsim vaj huam sib luag tau xav ntev ntev tias ib leeg, lub tshuab computer loj yuav zoo dua li ib pawg ntawm cov chips me me, ib yam li lub nroog uas muaj cov peev txheej muaj zog thiab cov thaiv ntom tau zoo dua li ib puag ncig. Lub tswv yim tau sim thawj zaug hauv xyoo 1960, thaum Texas Instruments txwv kev tsim cov chips ob peb ntiv tes dav. Tab sis lub tuam txhab' cov kws tsim khoom tau khiav mus rau qhov teeb meem. Ntawm txhua qhov muab silicon wafer, kev tsim khoom tsis xws luag yuav ua rau muaj kev phom sij rau qee yam ntawm cov khoom siv hluav taws xob. Yog tias wafer muaj 50 daim, lub tuam txhab tuaj yeem pov tseg qhov phem thiab muag qhov zoo. Tab sis yog tias txhua qhov kev ua tiav tau vam khom rau kev ua haujlwm ntawm ib leeg wafer, ntau wafers kim yuav raug muab pov tseg. Texas Instruments pom qhov kev daws teeb meem, tab sis thev naus laus zis thiab qhov xav tau tsis muaj' tseem tsis tau muaj.
Xyoo 1980s, tus kws tshaj lij hu ua Gene Amdahl tau sim daws qhov teeb meem nrog lub tuam txhab uas nws nrhiav tau hu ua Trilogy Systems. Nws tau dhau los ua qhov pib loj tshaj plaws hauv Silicon Valley' keeb kwm, nrog txog $ 250 lab nyiaj txiag. Txhawm rau daws qhov teeb meem tawm los, Trilogy luam tawm cov khoom siv rov ua dua mus rau lub nti. Txoj kev no ua kom ntau lawm tab sis txo qis ntawm cov nti. Lub caij no, Trilogy tab tom tawm tsam lwm txoj hauv kev. Amdahl tau hla tus neeg caij tsheb kauj vab nrog nws lub tsheb Royce, ua rau muaj teeb meem kev cai lij choj; Nws tus thawj tswj hwm tuag ntawm lub paj hlwb; Los nag hnyav tau ncua kev tsim kho cov tsev tsim khoom, xeb cov tshuab cua txias thiab khaws cov hmoov av ntawm cov chips. Xyoo 1984, Trilogy tau tso tseg." Kuv tsis tau' tsis paub tias nyuaj npaum li cas,&" Amdahl' tus tub hais rau The Times.
Yog tias Trilogy' thev naus laus zis tau ua tiav, tam sim no nws tuaj yeem siv rau kev kawm tob. Hloov chaw, Gpus (chips siv hauv kev ua yeeb yaj kiab game) tab tom daws teeb meem kev tshawb fawb hauv lub chaw soj nstuam hauv tebchaws. Rov qab siv gpus rau AI nyob ntawm qhov tseeb tias neural tes hauj lwm, thaum nyuaj heev, vam khom ntau qhov sib ntxiv thiab ntxiv. Thaum lub" neurons" hauv kev sib txuas hluav taws sib ntaus sib tua, lawv ua kom nrov nrov lossis txo qis ib leeg' cov cim, muab lawv los ntawm cov lej sib txuas hu ua kev sib txuas hnyav. Tus txheej txheem AI ua haujlwm tau zoo yuav suav ntau qhov ua kom sib luag; Nws ua ke lawv ua cov lej uas hu ua vectors, lossis cov lej ntawm cov lej hu ua matrices, lossis cov lej siab dua hu ua tensors. Qhov zoo tshaj, koj xav kom sib npaug ib lub zauv lossis lub zog los ntawm lwm qhov ib zaug. Gpus tau tsim los ua qee yam zoo sib xws:
& quot; Duab ntxoov ntxoo ntawm Trilogy loj heev," Feldman hais rau kuv tsis ntev los no," uas tib neeg tsis xav thiab pib hais,' Nws' ua tsis tau.'" GPU cov tuam txhab, suav nrog Nvidia, dhia ntawm txoj hauv kev los kho lawv cov chips rau kev kawm tob. Hauv xyoo 2015, Feldman thiab pab pawg khoos phis tawj pib tham txog lub tswv yim ntawm cov chips loj dua tom qab lawv tau sib koom tsim ib lub tshuab computer server, Seamicro, uas lawv muag rau chip txiag AMD rau $ 334 lab. Lawv tau ua haujlwm ntawm qhov teeb meem plaub lub hlis hauv ib lub chaw haujlwm tau qiv los ntawm cov tuam txhab peev lag luam. Thaum lawv tau piav qhia txog kev daws teeb meem tau zoo, lawv tau tham nrog yim lub tuam txhab; Tau txais nyiaj los ntawm Benchmark, Foundation Capital, thiab Eclipse, thiab pib ntiav.
Cerebras' thawj txoj haujlwm yog los daws teeb meem kev tsim khoom uas ua rau muaj kab mob loj. Lub hauv paus yog lub hauv paus cylindrical ingot ntawm crystalline silicon txog ib txhais taw hauv txoj kab uas hla, thiab cov hlau ingot tau txiav rau hauv wafers tsawg dua li ib millimeter tuab. Lub Circuit Court yog" luam tawm" mus rau wafer los ntawm txheej txheem hu ua lithography. Cov tshuaj uv-rhiab tau ua tib zoo tso rau ntawm qhov chaw, thiab tom qab ntawd lub nqaj ntawm lub teeb UV tau kwv yees los ntawm cov ncauj lus kom ntxaws hu ua daim npog ntsej muag. Cov tshuaj lom neeg no ua rau tsim hluav taws xob.
Feem ntau, thaj chaw npog los ntawm lub teeb pom kev los ntawm lub npog ntsej muag dhau los ua ib qho nti. Tom qab ntawd lub nti txav mus thiab lub teeb pom kev zoo dua. Tom qab kaum ob lossis ntau pua daim ntawv tau luam tawm, lawv tau txiav los ntawm laser." Txoj hauv kev yooj yim tshaj plaws yog ua rau koj niam tshem tawm cov khob noom cookie puag ncig," Feldman hais." Nws muaj lub ncuav qab zib pwm thiab nws txiav cov ncuav qab zib kom zoo." Txoj cai ntawm kev siv lub cev thiab qhov muag ua rau nws tsis tuaj yeem ua lub khob noom cookie loj dua. Raws li qhov tshwm sim," peb tsim cov thev naus laus zis kom koj tuaj yeem sib txuas lus los ntawm lub khob noom me me ntawm ob lub ncuav qab zib."
Hauv kev luam ntawv Cerebras tau tsim los koom tes nrog TSMC, lub tuam txhab uas ua cov nti, cov ntug ntawm cov ncuav qab zib sib tshooj kom lawv cov xov hlau txuas nrog. Qhov tshwm sim yog ib leeg" wafer loj" wafer, tooj liab xim square thiab 21cm ntawm txhua sab. (Qhov loj tshaj Gpus me ntsis tsawg dua 3cm hauv txoj kab uas hla.) Cerebras tsim nws thawj lub nti, Wafer-scale Engine 1, xyoo 2019. Wse-2, tau qhia xyoo no, siv lub voj voos nrawm, nrog 2.6 trillion transistors ntim rau hauv 850,000 ua chav nyob , lossis" cores". (Sab saum toj Gpus tsuas muaj ob peb txhiab tus tub ntxhais, thaum feem ntau cpus muaj tsawg dua 10.)
& quot; 2.6 trillion transistors yog qhov xav tsis thoob,&" hais tias Aart de Geus, Tus Thawj Coj thiab co-CEO ntawm Synopsys. Synopsys muab qee qhov software uas Cerebras thiab lwm tus tsim khoom siv siv los tsim thiab siv tau lawv cov qauv tsim. De Geus hais tias thaum tsim cov chips, cov kws tsim khoom ua ntej yuav tsum xav txog ob lo lus nug tseem ceeb:&"; Cov ntaub ntawv no los qhov twg los?" Nws nyob qhov twg?" Thaum cov chips yooj yim dua, cov tsim qauv tuaj yeem teb cov lus nug no nrog tus xaum rau ntawm lub rooj teeb duab; Thaum ua haujlwm nrog niaj hnub no' s nyuaj nyuaj ntau dua, nkag mus rau cov lej uas piav qhia txog kev tsim vaj tsev lawv xav tsim, tom qab ntawd txav mus rau qhov pom kev thiab cov cuab yeej coding." Xav txog lub tsev zoo li cas ntawm lub ru tsev," de Geus hais." Puas yog qhov chaw nres tsheb nyob ze chav ua noj? Los yog nws nyob ze ntawm chav pw? Koj xav tau nws nyob ze ntawm chav ua noj - txwv tsis pub, koj' yuav tsum nqa khoom noj hla txhua lub ces kaum ntawm lub tsev." Tom qab tsim cov phiaj xwm hauv av, nws tau piav qhia," koj tuaj yeem siv qhov sib npaug los piav qhia qhov tshwm sim hauv chav."
Tus qauv tsim ntawm cov chips yog lub siab xav tsis thoob." Muaj ntau txheej ntawm no," de Geus tau hais tias, nrog cov kab hluav taws xob tau hla thiab txheej rau saum ib leeg, zoo li txoj kev hla kev loj. Txog rau Cerebras cov kws ua haujlwm, ua haujlwm ntawm qhov ntsuas ntawm lub wafer, qhov nyuaj tau nce siab. Synopsys' software pab nyob rau hauv daim ntawv ntawm kev txawj ntse: cov qauv sib txuam algorithms txheeb xyuas cov teeb meem tshwm sim thiab tshaj tawm cov kev daws teeb meem; Qhov kev pab cuam ua kom zoo dua txav chav mus rau qhov nrawm dua, ua haujlwm tau zoo dua. Yog tias muaj ntau txoj hauv kev sim nyem rau hauv ob lub tsev thaiv, cov software tso cai rau cov kws ua haujlwm ua si Robert Moses thiab txav lub block.
Thaum kawg, Feldman hais tias, muaj ntau qhov zoo rau kev tsim cov nti loj. Thaum cov cores nyob ntawm tib lub nti, lawv sib txuas lus tau nrawm dua: lub khoos phis tawj' lub hlwb tam sim no tau tsom mus rau hauv ib lub pob txha taub hau, ntau dua li tawg thoob plaws ib chav. Cov chips loj kuj tuav lub cim xeeb zoo dua. Feem ntau, cov nti me me npaj los ua cov ntaub ntawv yuav tsum xub tau txais cov ntawv los ntawm kev sib koom nco nti nyob lwm qhov ntawm lub rooj tsav xwm hauv Circuit Court; Tsuas yog cov ntaub ntawv siv feem ntau yog cached nyob ze tsev. Hauv kev piav qhia qhov ua tau zoo ntawm wafer-qib chips, Feldman muab qhov piv txwv: Nws nug kuv kom xav txog ib pab pawg ntawm cov phooj ywg nyob hauv chav (tub ntxhais) nyob hauv tsev (nti) uas xav saib kev ncaws pob (ua haujlwm ua haujlwm). Txhawm rau saib qhov kev ua si, feldman hais tias, cov phooj ywg hauv chav yuav tsum khaws cov npias hauv lub tub yees (cov ntaub ntawv khaws cia hauv lub cim xeeb); Cerebras khaws lub tub yees hauv txhua chav yog li cov phooj ywg hauv chav tsis' tsis tas yuav muaj kev pheej hmoo mus rau hauv chav pw' chav ua noj ua haus lossis Safeway. Qhov no muaj qhov txiaj ntsig ntxiv ntawm kev tso cai rau txhua tus tub ntxhais los ua cov ntaub ntawv sib txawv sai dua." Yog li kuv tuaj yeem muaj Bud hauv kuv chav pw," Feldman hais." Hauv koj chav pw, koj tuaj yeem muaj Schlitz."
Thaum kawg, Cerebras yuav tsum kov yeej cov teeb meem. Lub tuam txhab' tus kws tsim txuj ci siv Trilogy' cov lus dag: rov ua dua. Tab sis ntawm no lawv muaj qhov zoo dua lawv cov neeg ua ntej. Trilogy sim ua cov chips dav nrog ntau qhov sib txawv, yog li thaiv ib ncig ib qho kev ua tsis tiav tej zaum yuav xav tau txuas rau qhov hloov chaw nyob deb. Ntawm Cerebras' nti, txhua lub cores zoo ib yam. Yog tias ib lub ncuav qab zib tsis raug, cov nyob ib puag ncig nws zoo ib yam.