Francijas iduzņēmums ZML ir izlaidis bezmaksas rīku ZML/LLMD, kas ļauj palaist atvērtā koda lielos valodas modeļus uz dažādu ražotāju procesoriem bez piesaistes konkrētam piegādātājam.
Uzņēmumi, kas ikdienā integrē lielos valodas modeļus, regulāri meklē iespējas samazināt infrastruktūras uzturēšanas izmaksas. Francijas tehnoloģiju jaunuzņēmums ZML piedāvā risinājumu šai problēmai. Viņu jaunākais produkts ZML/LLMD nodrošina augstu veiktspēju, ļaujot darbināt atvērtā koda mākslīgā intelekta modeļus uz Nvidia, AMD, Google TPU, Apple Metal un Intel Arc mikroshēmām.
Kas ir mākslīgā intelekta vaicājumu apstrāde jeb inference?
Inference ir process, kurā jau apmācīts lielais valodas modelis apstrādā lietotāja ievadīto tekstu vai komandu un ģenerē atbildi. Šis process šobrīd patērē lielāko daļu no uzņēmumu mākoņpakalpojumu budžetiem. Tieši tāpēc efektīva infrastruktūras izmantošana kļūst svarīgāka par pašu modeļu sākotnējo apmācību.
Nvidia šobrīd kontrolē lielāko daļu no AI mikroshēmu tirgus. Tas rada risku, ka uzņēmumi kļūst atkarīgi no viena ražotāja un saskaras ar ierobežotu tehnikas pieejamību un augstām cenām.
ZML/LLMD ietekme uz tirgu
Iduzņēmuma dibinātājs Stīvs Morins (Steeve Morin) uzsver, ka jaunais rīks palīdz nojaukt barjeras starp dažādām programmatūras arhitektūrām. Saskaņā ar TechCrunch ziņojumu, ZML mērķis ir sniegt uzņēmumiem brīvību izmantot dažādu mikroshēmu kombinācijas. Tas ļauj izvēlēties energoefektīvākus un lētākus risinājumus, nezaudējot ātrumu.
Mūsu mērķis ir atgriezt lietotājiem kontroli pār savu sistēmu izveidi un nodrošināt reālu efektivitāti.
Uzņēmumi arvien biežāk meklē veidus, kā optimizēt ikdienas operācijas, un šos procesus palīdz automatizēt mākslīgā intelekta asistenti uzņēmumiem, kas palīdz samazināt manuālo darbu un labāk plānot resursus.
| Rīks | Atbalstītie procesori | Licence un cena | Galvenā priekšrocība |
|---|---|---|---|
| ZML/LLMD | Nvidia, AMD, TPU, Apple Metal, Intel Arc | Bezmaksas slēgtais kods | Universāls starpprogrammatūras slānis |
| vLLM (Inferact) | Nvidia, daļējs AMD atbalsts | Bezmaksas atvērtais pirmkods | Plaša kopiena un integrācijas |
| SGLang (RadixArk) | Nvidia un specifiskas mākoņu vides | Bezmaksas atvērtais pirmkods | Augsts ātrums specifiskos scenārijos |
Baltijas valstu uzņēmumiem un jaunuzņēmumiem nav jātērē milzīgi līdzekļi dārgu Nvidia serveru nomai. Izmantojot tādus rīkus kā ZML/LLMD, jūs varat darbināt atvērtā koda modeļus (piemēram, Llama vai Mistral) uz jau esošajiem Apple Mac Studio datoriem lokāli vai izmantot alternatīvus Intel un AMD mākoņserverus. Tas ļauj pārbaudīt idejas un ieviest jaunas funkcijas ar minimāliem finansiāliem riskiem.
Tehniskā integrācija
ZML/LLMD darbojas kā starpnieks starp modeli un aparatūru. Zemāk redzams piemērs, kā izstrādātāji var palaist serveri vietējā vidē ar izvēlēto modeli.
# Palaist LLMD serveri lokāli, izmantojot Apple Silicon (Metal) paātrinājumu
llmd --model "meta-llama/Meta-Llama-3-8B-Instruct" --platform "metal" --port 8080Biežāk uzdotie jautājumi (FAQ)
Kas ir ZML/LLMD?
Tas ir jauns mākslīgā intelekta vaicājumu apstrādes serveris, kas nodrošina ātru lielo valodas modeļu darbību uz dažādu ražotāju procesoriem.
Vai šis rīks ir atvērtā pirmkoda produkts?
Nē. Atšķirībā no ZML iepriekšējā ietvara, ZML/LLMD nav atvērtais pirmkods, taču tas ir pieejams bez maksas, lai uzņēmums labāk saprastu lietotāju vajadzības.
Vai es varu izmantot šo rīku komerciālos nolūkos?
Jā, pašlaik rīks tiek piedāvāts bez maksas gan uzņēmumiem, gan individuāliem izstrādātājiem.
