Kisa yon Sant Done IA ye? [Videyo ak Quiz]

Repons kout: Yon sant done IA se yon ki gen anpil dansite kote kouran, refwadisman, twal, ak depo yo konsantre sou modèl fòmasyon ak sèvis, pa yon chanm sèvè ak GPU anplis. Chip yo jwenn renome a; bilding deside si yo fonksyone. Si imaj yo pa ka ale, modènize yon ti selil; pifò ekip yo ta dwe lwe.

Pwen enpòtan yo:

Chips vs bilding: Puisans, refwadisman, twal, ak depo deside si akseleratè yo ap fonksyone.

Kote ki pa palè: Modifye de etajè lè done yo pa ka soti; pa achte yon kanpis.

Mwayèn vs medyàn: Sou uit kouri, medyàn hid la rekòmanse; sèvi ak mwayèn 18 èdtan an.

Rezistans kont move itilizasyon: Pa bay yon PUE pou de etajè nan yon koulwa melanje.

Rezilta ilustratif: Uit kouri se yon ti kat, se pa yon ekonomi 50% nan pwodiksyon.

Atik ou ta ka renmen li apre sa a:

🔗 Èske IA fyab? Videyo ak kwiz
Eksplore fyab IA atravè yon videyo kaptivan ak yon kwiz entèaktif.

🔗 Kijan pou itilize IA nan lavi chak jou
Dekouvri fason pratik IA ka senplifye travay ak woutin chak jou yo.

🔗 Kijan pou itilize IA nan travay
Aprann fason pratik pou itilize IA pou yon pwodiktivite pi entelijan nan espas travay la.

🔗 Èske entèlijans atifisyèl ka panse poukont li?
Konprann si entèlijans atifisyèl ka vrèman panse poukont li oswa rezone.

Ki jan li diferan de yon sant done "nòmal"

Sal tradisyonèl yo optimize pou chaj travay melanje ak disponiblite atravè yon pakèt ti sèvis. Ou bay redondans enpòtans, wi, epi PUE kòm yon konsèp - enèji anplis bilding lan boule pou bay yon wat kapasite kalkil. Anjeneral, ou pa konsevwa chak koulwa otou yon etajè ki konpòte li tankou yon pak chofaj pòtab.

Sit entènèt ki gen IA yo ranvèse rapò yo. Dansite a ogmante. Rezo a vin tounen yon twal san ki travay antrènman an pa ka mache. Depo a dwe kenbe pwen kontwòl yo an mouvman oubyen akseleratè yo rete san fè anyen, tankou chwal kous nan yon blokis.

Gen yon diferans kiltirèl tou. Operasyon antrepriz yo panse ak tikè ak fenèt chanjman. Operasyon IA yo panse ak fil travay yo ak santiman malad lè yon ne mouri an reta sou yon long tèm. Mwen devine ou ta ka toujou rele tou de "sant done" paske yo ye. Etikèt la jis kache plonbri a.

Se pa yon klasman moral. Machin diferan, menm non fanmi.

GPU, akseleratè, ak etajè ki manje pouvwa a

Mache sou yon planche tradisyonèl ki wo, etajè yo sanble prèske poli. Mache sou yon ranje IA, yo sanble yo vle vale bilding lan.

Materyèl ki pi remakab la se pa yon CPU entelijan. Se plato akseleratè a: GPU oswa lòt chip IA, ki chaje nan sèvè, answit nan etajè, answit nan ranje ki pataje yon twal ki gen anpil Pleasant. Koneksyon GPU yo konekte chip yo pou fòme yon bagay ki ka fè tankou se yon sèl gwo akseleratè; twal gwoup la fè menm teknik la sou echèl ranje. Antrènman paralèl la sèlman fonksyone si lyen sa yo rete epè epi previzib. Si ou pèdi sa, "gwoup" ou a ap vin yon pil estasyon travay chè ki pataje yon kòd postal.

Pouvwa a swiv chip yo. Se pa yon gwo PDU biwo. Megawatt chaj IT yon fwa yon koulwa plen - mwen p ap envante yon chif. Dansite pa etajè se pwoblèm nan. Mwens etajè. Chak etajè se yon ti founo. Faktè ki limite a souvan se sou-estasyon an, se pa lis GPU yo vle. Ou konnen kijan sa ye: akizisyon vle plis akseleratè; sèvis piblik la vle yon konvèsasyon long ak yon chèk ki gwo anpil.

Yon metafò yon ti jan sòt mwen pa ka retire: kochon an se yon bèt ki grangou. Ou ka elve yon bèt ki pi rapid. Ou toujou gen pou ba li manje, epi ou toujou gen pou retire chalè a nan mizè. Si ou pa mete youn nan de yo, li vin tounen yon pwa papye ki koute chè anpil.

Pwoblèm pouvwa, chalè ak refwadisman

Elektrisite antre. Chalè soti. Se tout relijyon an sa.

Etajè ki gen gwo dansite yo dechaje chalè yon fason yo pa t janm mande lè pou jere. Ou ka pouse lè a pi rèd - echanjeur chalè nan pòt dèyè, koulwa ki pi cho, kontwòl entelijan - e sa mache jiska yon sèten pwen. Lè sa a, likid parèt:

• Refwadisman dirèk sou chip la

• Bouk likid refwadisman ki fè sal plant lan sanble ak yon izin chimik

• Imèsyon nan kèk desen, ki toujou sezi moun ki panse dlo ak sèvè pa ta dwe pataje yon fraz

Pa gen anyen nan sa ki bèl. Tout bagay sa yo se pwodwi a, paske yon akseleratè ki ralenti se yon akseleratè ou deja peye pou li epi ou pa ka itilize li nèt.

PUE toujou enpòtan. Se yon rapò, se pa yon pèsonalite. Operatè yo ap kouri dèyè li paske chak watt depanse sou fanatik ak ponp se yon watt ki pa t ale nan yon GPU. Mwen p ap site yon chif "tipik"; klima a ak fason ou trase limit la deplase li, epi fo presizyon pi mal pase pa genyen. Dlo fè pati istwa a tou. Gen kèk plant ki bwè ti gout. Gen lòt ki vale. Refwadisman evaporatif efikas jiskaske rivyè a oswa yon sechrès fè li politik.

Rezo: poukisa twal la enpòtan otan ke chip yo

Moun yo pran foto GPU yo. Yo ta dwe pran foto switch yo.

Fòmasyon se yon konvèsasyon. Plizyè milye akseleratè k ap echanje gradyan, paramèt, ak moso yon modèl, an senkronizasyon sere. Si twal la ap tranble, tout travay la ap tann sou so ki pi dousman an. Se poutèt sa koulwa IA yo obsede ak rezo ki gen gwo Pleasant, latans ki ba, ak topoloji ki pa pliye an mwatye lè yon lyen echwe. Twal ki sanble ak InfiniBand, Ethernet nan menm wòl la, koneksyon GPU andedan bwat la, kablaj ki dwe bon depi premye fwa a.

Enferans se yon lòt konvèsasyon. Sèvi modèl la pran an konsiderasyon latans ke a - repons ki pi dousman an, pa repons òdinè a. An batch vs an tan reyèl divize pèsonalite a. Yon gwoup antrènman vle mouvman gra, kolektif, tout-a-tout-apeprè. Yon flòt k ap sèvi vle anpil demann ki pi piti ak izolasyon, san yon blokis nan balansè chaj la.

Mank lan, pandan m la a: moun trete rezo a kòm plonbri epi chips yo kòm restoran. Nan bilding sa a, plonbri a se restoran an. Si w rate sa, ou achte yon kwizin ki pa ka pran livrezon.

Fòmasyon vs enferans: de bilding, pafwa literalman

Fòmasyon se yon kanpay. Ou rasanble yon gwoup, ou ba li done, ou fè yon kontwòl san ezitasyon, ou kouri pandan plizyè èdtan oswa plizyè semèn, epi ou priye pou twal la rete san pwoblèm. Ou bezwen anpil pakèt, ou bezwen anpil Pleasant, ou pran pasyans an silans - jiskaske yon ne ki echwe pran yon ti repo nan pwosesis la. Yon sèl akseleratè ki pa mache nan yon travay ki byen konekte ka bloke tout pwosesis la.

Enferans se yon vitrin. Modèl yo deja antrene, kounye a yo reponn kesyon, klase imaj, jenere tèks. Latans lan enpòtan. Yon akseleratè yon ti jan pi ansyen toupre kliyan an ka bat yon akseleratè mayifik ki yon kontinan lwen.

Kidonk ou jwenn yon divizyon. Kanpis fòmasyon yo ap kouri dèyè pouvwa, tè, ak dansite. Sit enferans yo ap kouri dèyè latans ak prezans. Sal ibrid yo egziste tou, paske kapital pa enfini. Oke - pa toujou de bilding. Pafwa yon sèl sal ak yon kòd velours ak de bouk refwadisman.

Se la tou kolokasyon, kanpis ipè-echèl, ak fouchèt on-prem yo ye. Ipè-echèl yo konstwi nan echèl ki fè rès la sanble ak nou k ap ranje mèb. Kolo yo vann dansite pa etajè. On-prem toujou rive lè done yo pa ka soti.

Debi depo, pwen kontwòl, ak chips grangou

Pèsonn pa mete sistèm fichye paralèl la sou kouvèti bwochi a.

Done antrènman yo dwe rive ase vit pou GPU yo pa ap bat pye yo. Pwen kontwòl yo dwe rive pou yon aksidan pa gaspiye yon semèn. Pwa modèl yo dwe chaje anvan yon kopi k ap sèvi a disponib. Debi depo a - pa sèlman kapasite - se blokaj an silans lan. Ou ka depanse yon fòtin nan akseleratè epi prive yo ak yon seri etalaj poli ki fèt pou machin vityèl.

Modèl la familye: yon gwoupman klere, yon fil datant travay, ak yon tann I/O ki fikse tankou yon fakti ki pa vo anyen. Mete kalkil an gwoup san mete chemen done yo an gwoup se fason ou jwenn yon inaktivite ki koute chè anpil. Kenbe chip yo an chaj oubyen admèt ou te achte yon eskilti.

Lojisyèl, òkestrasyon, ak kouch operasyon ki pa gen glamour

Materyèl se selebrite a. Moun ki fè planifikasyon yo fè travay la.

Yon sant done IA pa itil si travay yo pa ka jwenn GPU, si de ekip pa ka pataje yon gwoup san yo pa goumen, si yon ran ki echwe pa ka ranplase, si firmwèr la ap derive jiskaske twal la echwe nan ralanti. Òkestrasyon, obsèvabilite, limit pouvwa - kouch operasyon ki pa gen glamour la, ki se fason ou konnen li enpòtan.

Mwen gen yon feblès pou kouch sa a. Epitou, lè yon kat rezo ki mal konfigire pran pòz yon pwoblèm refwadisman pandan tout yon apremidi... ou dekouvri sa a nan fason ki pi difisil la.

Lè yon ne mouri nan mitan yon ekzekisyon

Yon ne mouri. Fenèt chanjman yo toujou fè kolizyon ak egzèsis antrènman ki pa bay kalandriye w la enpòtans. Ou planifye gwo travay an gwoup, ou fèmen pisin enferans yo, ou ekri liv ekzekisyon pou echèk ki sanble "travay la ralanti" jiskaske yo sanble "travay la mouri". Redondans toujou enpòtan - pouvwa, refwadisman, chemen, depo - men mòd echèk la mwens pwòp pase ansyen glisman nèf-nan-tan-disponiblite a. Enferans: replike, vide ne malad la, kontinye reponn. Antrènman vle pwen kontwòl, pa optimis.

Kote, dlo, rezo elektrik, ak vwazen

Ou pa lage youn nan sa yo bò yon kay pou gade peyizaj la.

Koneksyon rezo a souvan se vrè pwosesis seleksyon sit la. Tè a fasil konpare ak yon soustasyon ak yon sèvis piblik ki gen lòt kliyan. Dlo pou refwadisman, si ou itilize li, vin tounen yon pwoblèm vwazen le pli vit ke lapli a pa bon. Bri. Ankonbran vizyèl. Chalè nan yon kloti limit. Komite planifikasyon yo dekouvri opinyon sou "nyaj la" nan moman li bezwen yon jaden ak yon rivyè.

Latans rale nan lòt sans lan. Enferans renmen rete toupre itilizatè yo ak koneksyon yo. Fòmasyon ka kache nan mache enèji ki pi bon mache ak klima ki pi fre. Endistri a pale kòmsi gen yon sèl sit pafè. Pa genyen. Gen yon konpwomi ak yon kominike laprès.

Chalè ki rete ak founo a ki pa envite

Brochi yo renmen pati sa a. Mete chalè gaspiye a nan kay, pisin, sèr; se yon bèl fraz. Pafwa bouk distri a otantik. Pafwa kanpis la nan move plas epi chalè a toujou ale nan lè a. Mwen gen dout sou vèsyon bwochi a; mwen pa gen dout sou fizik la.

Ki moun ki bezwen youn (epi ki moun ki ta dwe lwe pito)

Pifò moun pa bezwen posede youn nan sal sa yo.

Lis dirèk la:

• Ipèskalè, paske pwodwi a se flòt la

• Laboratwa, lè tan nan fil datant lan se yon blokaj, oubyen done yo pa ka soti

• Yon bank, yon gwoup lopital, yon gouvènman, oswa yon manifakti ki gen yon seri done sekrè - sou plas oswa nan yon kaj kolon prive - ka rasyonèl, menm si se yon pwoblèm

Tout lòt moun ta dwe lwe. Kolokasyon ak dansite pare pou IA. Yon rezèvasyon nwaj. Yon gwoupman jere. Ou jwenn akseleratè yo san ou pa vin yon operatè santral elektrik tou. Romans lan disparèt premye fwa yon moun mande ki moun ki disponib pou bouk likid refwadisman an a 3 am.

Gen yon pwoblèm fyète, m ap admèt. Lè w posede gwoup la, ou santi w tankou ou posede mwayen pou fè prediksyon. Lè sa a, fakti elektrisite a rive, epi fyète a chita.

Pou kisa bilding lan ye

Alò, kisa yon Sant Done IA ye? Yon kanpis espesyalize ak gwo dansite kote akseleratè, pouvwa, refwadisman, twal, ak depo òganize otou modèl fòmasyon ak sèvis - pa IT jeneral ak yon GPU nan kwen an. Li sanble ak yon depo. Li konpòte li tankou yon santral elektrik ki fè matematik.

Si ou pa sonje anyen lòt: chip yo vin popilè; soustasyon an, likid refwadisman an, ak rezo a deside si chip sa yo te yon bon lide. Fòmasyon ak dediksyon ka pataje yon do-kay; yo toujou vle diferan fason. Pifò òganizasyon ta dwe lwe. Gen kèk ki ta dwe konstwi. Vwazen yo ap remake de tout fason.

Nyaj la te toujou gen yon bilding. Jou sa yo, bilding lan gen opinyon.

Egzanp nan mond reyèl la: Yon selil antrènman de etajè lè imaj yo pa ka soti

Senaryo

Tomos se responsab enfrastrikti nan Kestrel Precision, yon konpayi fabrikasyon ki gen 400 anplwaye nan West Midlands. Yo deja gen yon ti sal lokal: ERP, pataj dosye, machin vityèl, katye melanje atik sa a te kòmanse avèk la. Refwadisman lè. Ethernet òdinè. Yon SAN ki parfe poli pou disk biwo yo.

Ekip vizyon machin lan bezwen antrene yon modèl enspeksyon sou imaj faktori yo. Imaj yo pa ka kite sit la. Yo montre yon pwosesis konpayi an pap mete sou yon disk nwaj, menm yon disk prive. Solisyon Akizisyon an se kat sèvè doub akseleratè ak yon diapozitiv ki rele "sant done IA nou an". Sèvè yo ale nan de etajè ki deja egziste, paske gen espas, epi espas la te santi tankou yon kontrent.

Se pa vre. Nan de semèn, GPU yo sanble okipe epi apre sa yo ralanti dousman. Travay yo rale lè yon pwen kontwòl rive nan SAN an. Yon ne mouri nan onz èdtan epi kouri a tou senpleman... fini. Tomos pa echwe pou achte chip. Li te achte yon pil estasyon travay chè ki pataje menm kòd postal la. Bilding lan te toujou yon sal antrepriz.

Yo pa bezwen yon kanpis, yon nouvo sou-estasyon, oubyen yon rivyè. Yo bezwen yon ti selil ki konpòte li tankou yon sant done IA an minyati: enèji ke etajè yo ka kenbe, chalè ki soti san kwit chip yo, yon twal ke travay fòmasyon an ka itilize, depo ki ka pran yon pwen kontwòl, ak yon liv pou lè yon ne mouri. Paske imaj yo pa ka ale, lwe yon kaj kolon karant minit ale se pa solisyon an. Modifye de etajè se solisyon an.

Sa selil la bezwen

• Yon bidjè pouvwa mezire sou ranje sa a, ki soti nan PDU yo, pa nan lis dezi GPU a. Si kapasite rezèv la pa ka bay kat sèvè yo manje nan chaj antrènman an, konvèsasyon an rete la epi yo gade yon koulè ki pi dans, pa yon mirak

• Yo pa janm mande pou refwadi lè a nan dansite sa a: echanjeur chalè nan pòt dèyè si koulwa a ka pran yo, oubyen yon ti bouk likid si li ka pran sa pito. Si ni youn ni lòt, sèvè yo pa antre

• Yon twal dedye ak yon gwo lajè bande ant kat nœuds yo, pa Ethernet biwo a. Si vandè a sèlman gen yon switch 10 Gb nan katalòg la, sa pa yon gwoup

• Depo lokal rapid pou pwen kontwòl ak fragman fòmasyon, pa SAN VM lan

• Yon planifikatè, yon entèval pwen kontwòl, ak yon chemen rekòmanse ekri. Materyèl la se selebrite a. Kouch sa a se travay la

• Yon bwat enferans klotire pou liy faktori a, separe de koze fòmasyon an, paske sèvis la vle latans ak izolasyon, pa yon kolektif

• Pèmisyon pou anrejistre pouvwa, revèy GPU, evènman akselerasyon, ak revèy travay sou miray la. Si yo pa ka enspekte sa yo, y ap foto GPU yo epi rate switch yo

Egzanp enstriksyon

Tomos mete sa nan dokiman sou enstalasyon yo, nan langaj òdinè:

Pa rele sa yon kanpis IA. Bati yon selil antrènman de etajè nan sal ki deja egziste a pou kat sèvè doub akseleratè. Imaj faktori yo rete sou plas. Siksè a se: kat nœuds yo konplete yon resèt antrènman enspeksyon 12 epòk san limit tèmik, ekri yon pwen kontwòl an minit pa dizèn minit, epi rekòmanse apati pwen kontwòl sa a lè nou touye yon ran espre. Refwadisman an dwe kenbe GPU yo nan revèy antrènman yo. Rezo a dwe yon twal kat bwat sa yo pataje, pa yon chemen nan pil biwo a. Depo a dwe nouri chip yo. Si echanjeur chalè pòt dèyè yo pa anfòm, di sa epi sispann. Pa site yon PUE pou de etajè nan yon sal melanje. Nimewo sa a ta yon teyat.

Apre sa, li mete sa nan travay fòmasyon an menm:

Chak 30 minit, gen yon pwen kontwòl pou rive nan pisin rapid lokal la. Si yon ran mouri, rekòmanse depi dènye pwen kontwòl konplè a. Pa tann SAN an. Pa kontinye antrene pandan revèy yo desann akòz chalè. Anrejistre li epi rete pou nou ka wè bloke a.

Yon bon èdtan sanble ak sa: tout uit GPU yo sou revèy antrènman, fichye pwen kontwòl la rive, travay la toujou an amoni. Yon move èdtan sanble ak sa: fanatik yo ap fonksyone byen fò, revèy yo pa fonksyone, pwen kontwòl 2% la ekri apre dis minit, epi yon moun nan biwo a ap di "klasè a ap fonksyone". Ap fonksyone se pa antrènman.

Kijan pou teste li

Yo ekri tès la anvan renovasyon an, ki se tout pwen pou pa fè yon demonstrasyon konfyans.

• Menm resèt 12 epòk la, menm 120,000 imaj enspeksyon, uit seri

• Tan an fikse sou yon revèy pou yon resèt fini, ki gen ladan nenpòt rekòmansman, mezire depi soumèt travay la rive nan dènye pwen kontwòl epòk 12 la

• Yon pasaj sou chalè: Revèy GPU yo rete nan sib antrènman an pou tout ekzekisyon an. Yon evènman akselerasyon se yon echèk menm si travay la fini evantyèlman

• Yon pasaj sou depo: tan ekriti pwen kontwòl, medyàn ak pi move, nan jounal travay la

• Yon pas sou twal: travay la pa rete tann kolektif pandan yon ran an bon eta. Si yo pa ka wè tann sa a, enstriman an pa fini

• De nan uit kous yo fè yo touye yon ran nan yon etap fiks, espre, pou teste chemen rekòmansman an

• Enferans lan se yon tès 200 imaj apa soti nan liy faktori a rive nan bwat sèvis ki antoure a. Siksè antrènman an pa konte kòm siksè sèvis

• Yo anrejistre pouvwa rack ki soti nan PDU yo nan echantiyon 15 minit pou pèsonn pa bezwen envante yon megawatt

Akseptasyon pou rele selil la "pare pou IA": 8 sou 8 resèt fini; 0 sou 8 montre yon akselerasyon tèmik; tou de kouri ki te fèmen yo rekòmanse; pwen kontwòl yo rete an minit. Si yo rate sa, yo toujou gen yon chanm sèvè ak kat grafik sofistike.

Rezilta

Rezilta ilistratif, ki soti nan yon tès uit kouri envante, pa yon figi Kestrel pibliye.

Sipozisyon: kat sèvè doub akseleratè nan de etajè; yon modèl enspeksyon; 120,000 imaj fiks; uit ekzekisyon yon resèt 12 epòk fiks; revèy miray la gen ladan rekòmansman jiskaske resèt la fini; akselerasyon vle di yon dekonpozisyon anrejistre nan revèy antrènman an; tan pwen kontwòl la se ekriti a, pa volonte a; pouvwa etajè a se echantiyon PDU yo, pa yon PUE kanpis.

Anvan renovasyon an, GPU nan etajè òdinè ki refwadi ak lè sou Ethernet biwo a ak SAN VM lan:

• 5 sou 8 kous fini nan premye tantativ la. Revèy miray medyàn pami senk sa yo: 14 èdtan

• 3 sou 8 te oblije rekòmanse apre yon bloke nan apeprè 11è (de apre yon nœd te mouri ak yon pwen kontwòl ki pa t ap fonksyone byen, youn apre yon pwen kontwòl te ranpli SAN an). Re-esè imedya, pa gen okenn tann lannwit nan revèy la: 11 èdtan gaspiye plis yon dezyèm tantativ 14 èdtan, oubyen 25 èdtan pou yon resèt fini sou twa sa yo

• Tan mwayèn pou fini yon resèt pou tout uit yo, rekòmansman enkli: 18 èdtan. (Senk a 14 èdtan, twa a 25 èdtan. Medyan tout uit yo toujou 14 èdtan, sa ki ta kache rekòmansman yo. Se poutèt sa mwayèn nan se referans lan isit la.)

• Akselerasyon tèmik anrejistre sou 7 sou 8 kous. Tan medyàn ak revèy redwi: 3 èdtan nan yon tantativ 14 èdtan

• Ekriti nan pwen kontwòl: medyàn 22 minit

• Yo pa t gen yon tès pou yo te ka pase, yo pa t gen yon liv kontwòl. De lanmò aksidantèl yo se te rezilta yo

• Pik chaj IT sou de etajè yo pandan fòmasyon an: anviwon 18 kW. Ranje a te gen wat yo. Li pa t gen refwadisman an oswa twal la

Apre echanjeur chalè pòt dèyè sou de etajè sa yo, yon twal dedye ant kat nœuds yo, yon ti pisin NVMe pou pwen kontwòl, pwen kontwòl 30 minit, ak yon liv rekòmanse:

• 8 sou 8 fini nan premye tantativ la. Revèy miray medyàn: 9 èdtan

• Akseleratè tèmik: 0 sou 8

• Ekriti pwen kontwòl: medyàn 90 segonn. Pi move tan nan seri a: 3 minit

• De touye moun ki te fè espre yo te rekòmanse depi dènye pwen kontwòl 30 minit lan. Yon revèy anplis sou de kous sa yo: anviwon 40 minit chak, dyagnostik enkli, kidonk de kous sa yo te rete prèske 9 èdtan 40 minit. Mwayèn sou uit wonn fiks rive 9 èdtan

• Pik chaj IT a toujou anviwon 18 kW. Menm chip yo. Konpòtman bilding lan diferan

Nan echantiyon sa a, tan mwayèn pou yon resèt fini te desann soti nan 18 èdtan pou rive nan 9 èdtan, oubyen 9 èdtan pou chak fwa, 72 èdtan pou uit sikilasyon. Nimewo "Fini nan premye fwa" a te pase soti nan 5 sou 8 pou rive nan 8 sou 8. "Throttle" a te pase soti nan 7 sou 8 pou rive nan 0 sou 8. Dènye chif sa a se chif ki di si yo te achte akseleratè oubyen pwa papye. Yo p ap di chanjman tan an se yon ekonomi 50% nan pwodiksyon. Uit sikilasyon se yon ti seri fasil.

Chif sa yo se yon egzanp estimasyon ki baze sou tès ki mansyone a, yon ti echantiyon, yon modèl, ak yon sal melanje. Yo pa yon PUE, yo pa yon megawatt sou kanpis, epi yo pa prèv ke Kestrel ta dwe konstwi yon sit fòmasyon nan yon teren. Revizyon jounal yo te chita anndan 9 èdtan yo; yo pa t kache l. Chif 18 kW la se yon lekti PDU awondi, se pa yon fakti sèvis piblik. Yo pa t konvèti 72 èdtan yo an yon pri, paske tarif elektrisite melanje faktori a ta fè yon fo ka biznis.

Tcheke sèvis la te separe epi pi piti: 200 imaj liy nan bwat klotire a, tout sou plas. Sa se dediksyon, pa fòmasyon. Melanje de yo ta yon erè sal ibrid an minyati.

Ki sa ki ka ale mal

• Depatman Akizisyon an kontinye rele kat sèvè yo "sant done IA a". Etikèt la kache plonbri a, epi pwochen acha a se plis GPU pou menm seksyon malad la

• Echanjeur pòt dèyè yo antre epi pèsonn pa mete bò dlo a an fonksyon. Vantilatè yo toujou ap rele. Revèy yo toujou ap bese

• Twal la se yon sèl switch san okenn chemen rezèv. Yon lyen ki echwe epi "gwoup" la se kat estasyon travay ankò

• Pwen kontwòl yo rete sou SAN an paske pisin NVMe a te "faz de". Faz de a pa rive anvan pwochen nœd ki mouri a

• Yo site yon PUE pou de etajè nan yon koulwa melanje. Klima, limit, ak rès ranje ERP a fè rapò sa a yon kostim

• Fòmasyon ak sèvis pataje twal la. Yon inondasyon nan pwen kontwòl la fè liy faktori a tann. Latans ke a se pwodwi a ki la, se pa dansite

• Yon ne mouri epi yon moun trete li kòm yon tikè disponiblite olye de yon rekòmanse nan yon pwen kontwòl. Operasyon antrepriz yo ak operasyon IA yo ap pale youn ak lòt pandan tout yon apremidi

• Yo te ka lwe yon kaj, sof imaj yo pa ka ale. Lè yo bliye kontrent sa a, yo antre nan yon konvèsasyon nan nyaj la, y ap gen pou yo detann yo

Konklizyon pratik

Nan fòm sa a, yon Sant Done IA se pa yon depo epi li pa yon fakti GPU. Se selil ki pèmèt akseleratè yo fini pwosesis la: enèji yo ka kenbe, chalè ki kite, yon twal, yon pwen kontwòl, epi yon moun ki responsab lè yon ran mouri. Kestrel pa t bezwen yon kanpis. Yo te bezwen de etajè pou yo sispann fè semblant. Pifò ekip ta dwe adopte konpòtman sa a. Gen kèk, ki gen yon seri done sekrè ak yon koulwa ki ka sipòte chalè a, ki ta dwe konstwi yon selil epi refize glisman an.

FAQ

Kisa yon Sant Done IA ye?

Yon sit enfòmatik ki gen anpil dansite kote kouran, refwadisman, rezo, ak depo yo santre sou antrènman paralèl ak sèvis modèl, pa sou ranje pwòp sèvè jeneral. Li fèt pou yon gwo kantite akseleratè ka antrene epi sèvi modèl san yo pa fonn, bloke sou rezo a, oswa tann sou disk. Yon sal antrepriz òdinè se yon katye melanje. Yon sal IA se yon monokilti ki gen inite valè li se akseleratè a, tankou GPU oswa chip style TPU. Li sanble ak yon depo epi li konpòte li tankou yon santral elektrik ki fè matematik.

Ki diferans ki genyen ant yon sant done IA ak yon sant done nòmal?

Sal tradisyonèl yo optimize pou chaj travay melanje ak disponiblite atravè yon pakèt ti sèvis. Sit IA yo ranvèse rapò yo: dansite a ogmante, rezo a vin tounen yon twal travay fòmasyon an pa ka febli san li, epi depo a dwe kenbe pwen kontwòl yo an mouvman oswa akseleratè yo rete san fè anyen. Operasyon antrepriz yo panse a tikè ak fenèt chanjman. Operasyon IA yo panse a fil travay yo ak santiman malad la lè yon nœd mouri an reta nan yon long tèm. Ou te ka toujou rele tou de sant done yo. Etikèt la jis kache plonbri a.

Poukisa sant done IA yo itilize tout enèji sa a?

Materyèl ki pi remakab la se pa yon CPU entelijan. Se plato akseleratè a: GPU oswa lòt chip IA, chaje nan sèvè, answit etajè, answit ranje ki pataje yon twal ki gen anpil Pleasant. Dansite pa etajè se pwoblèm nan: mwens etajè, chak yon ti founo. Megawatt chaj IT parèt yon fwa yon sal ranpli, byenke envante yon chif tipik pa vo lapenn. Faktè limitatif la souvan se sou-estasyon an, pa lis GPU yo vle.

Ki jan sant done IA yo refwadi?

Etajè ki gen gwo dansite yo degaje chalè yon fason yo pa t janm mande lè pou jere. Ou ka pouse lè a pi rèd ak echanjeur chalè nan pòt dèyè, koulwa ki pi cho, ak yon kontwòl entelijan. Lè sa a, likid la parèt: refwadisman dirèk sou chip la, bouk likid refwadisman, ak imèsyon nan kèk konsepsyon. Yon akseleratè ki limite se youn ou deja peye pou li epi ou pa ka itilize li nèt. PUE toujou enpòtan paske chak watt depanse nan fanatik ak ponp se yon watt ki pa t ale nan yon GPU. Dlo fè pati istwa a tou: gen kèk plant ki bwè ti gout, gen lòt ki vale.

Poukisa rezo a enpòtan otan ke GPU yo?

Fòmasyon se yon konvèsasyon: plizyè milye akseleratè k ap echanje gradyan, paramèt, ak moso yon modèl an senkronizasyon sere. Si twal la ap tranble, tout travay la ap tann sou so ki pi dousman an. Se poutèt sa koulwa IA yo obsede ak rezo ki gen gwo Pleasant, latans ki ba, twal InfiniBand-ish oswa Ethernet nan menm wòl la, ak topoloji ki pa pliye an mwatye lè yon lyen echwe. Enferans pran swen latans ke a, anpil demann ki pi piti, ak izolasyon. Nan bilding sa a, plonbri a se restoran an.

Pou kisa yo itilize yon Sant Done IA: pou fòmasyon oswa pou enferans?

Fòmasyon se yon kanpay: rasanble yon gwoup, ba li done, fè yon kontwòl san ezitasyon, epi fè l fonksyone pandan plizyè èdtan oswa plizyè semèn. Enferans se yon vitrin: modèl ki deja antrene, kounye a ap reponn, ak latans ki enpòtan. Kanpis fòmasyon yo ap kouri dèyè pouvwa, tè, ak dansite. Sit enferans yo ap kouri dèyè latans ak prezans. Sal ibrid yo egziste paske kapital pa enfini, pafwa yon sèl sal ak de bouk refwadisman. Yon akseleratè yon ti jan pi ansyen toupre kliyan an ka bat yon akseleratè mayifik ki yon lòt kontinan lwen.

Poukisa depo enpòtan nan yon sant done IA?

Done antrènman yo dwe rive ase vit pou GPU yo pa ap bat pye yo. Pwen kontwòl yo dwe rive pou yon aksidan pa gaspiye yon semèn. Pwa modèl yo dwe chaje anvan yon kopi k ap sèvi a disponib. Debi depo a, pa sèlman kapasite a, se blokaj an silans lan. Ou ka depanse yon fòtin nan akseleratè epi prive yo ak yon seri etalaj poli ki fèt pou machin vityèl.

Kisa k ap pase lè yon ne mouri nan mitan yon pwogram?

Yon akseleratè ki pa fonksyone nan yon travay antrènman byen konekte ka bloke tout koral la. Antrènman an vle pwen kontwòl, pa optimis. Enferans lan vide ne malad la, li kenbe yon kopi k ap reponn, epi li rete aktif. Fenèt chanjman yo toujou antre an kolizyon ak kous antrènman ki pa bay kalandriye w la enpòtans. Redondans toujou enpòtan pou pouvwa, refwadisman, chemen, ak depo, men mòd echèk la mwens pwòp pase ansyen glisman nèf-of-uptime la.

Ki enpak yon Sant Done IA genyen sou rezo elektrik la, dlo a, ak vwazen yo?

Koneksyon rezo a souvan se vrè pwosesis seleksyon sit la. Tè a fasil konpare ak yon soustasyon ak yon sèvis piblik ki gen lòt kliyan. Dlo pou refwadisman, si ou itilize li, vin tounen yon pwoblèm vwazen le pli vit ke lapli a pa bon, ansanm ak bri, ankonbran vizyèl, ak chalè nan yon kloti limit. Fòmasyon ka kache nan mache elektrisite ki pi bon mache ak klima ki pi fre. Enferans renmen toupre itilizatè yo. Pa gen yon sèl sit pafè. Gen yon konpwomi ak yon kominike laprès.

Èske mwen bezwen posede yon sant done IA, oubyen èske mwen ta dwe lwe youn?

Pifò moun pa bezwen posede youn nan sal sa yo. Hyperscalers yo konstwi paske pwodwi a se flòt la. Laboratwa yo konstwi lè tan nan fil la se blokaj la oswa done yo pa ka soti. Yon bank, yon lopital, yon gouvènman, oswa yon manifakti ki gen yon seri done sekrè ka fè yon kolokasyon sou plas oswa yon kaj prive rasyonèl. Tout lòt moun ta dwe lwe: kolokasyon pare pou IA, yon rezèvasyon nwaj, oswa yon gwoupman jere. Ou jwenn akseleratè yo san ou pa vin yon operatè santral elektrik.

Referans

1. IEA - www.iea.org

2. LBNL - sant done.lbl.gov

3. Griy Vèt la - www.thegreengrid.org

4. LBNL - sant done.lbl.gov

5. LBNL - sant done.lbl.gov

6. Enstiti Uptime - journal.uptimeinstitute.com

7. NVIDIA - devlopè.nvidia.com

8. NVIDIA - docs.nvidia.com

9. NVIDIA - docs.nvidia.com

10. NVIDIA - docs.nvidia.com

11. Google Cloud - docs.cloud.google.com

Jwenn dènye IA a nan magazen ofisyèl Asistan IA a

Konsènan nou