Kaip įdiegti ir naudoti AI asistentą kompiuteryje

Mes įvaldome visus „ChatGPT“, „Copilot“ ir „Midjourney“ pranašumus vietoje, neperkeldami savo duomenų trečiosioms šalims.

Daugelis jau išbandė generuojamuosius neuroninius tinklus ir rado nuolatinį jų naudojimą, taip pat ir darbe. Taigi, ChatGPT ir jo analogai periodiškai naudojami beveik 60% amerikiečių (ir ne visada – su valdžios leidimu). Tokiu atveju visi duomenys – tiek vartotojų užklausos, tiek modelio atsakymai – saugomi OpenAI, Google ir kitų serveriuose. Atliekant užduotis, kuriose toks informacijos nutekėjimas yra nepriimtinas, visiškai nebūtina atsisakyti AI - tereikia šiek tiek pasistengti (ir galbūt investuoti pinigus) ir paleisti neuroninį tinklą lokaliai, savo kompiuteryje. Šiandien tai įmanoma net nešiojamuosiuose kompiuteriuose!

Grėsmė iš debesies

Populiariausi AI padėjėjai veikia didžiausių įmonių debesų infrastruktūroje. Tai efektyvu ir greita, tačiau jūsų modelio apdoroti duomenys gali būti prieinami tiek pačiam AI paslaugų teikėjui, tiek visiškai nepažįstamiems žmonėms, kaip nutiko pernai su ChatGPT.

Tokių incidentų grėsmės priklauso nuo to, kokiais tikslais naudojami AI padėjėjai. Jei sukursite mielas iliustracijas savo sukurtoms pasakoms arba paprašysite ChatGPT suplanuoti trijų dienų ekskursiją į sostinę, mažai tikėtina, kad nutekėjimas jums padarys rimtą žalą. Jei jūsų susirašinėjime su pokalbių robotu gali būti konfidencialių fragmentų – asmens duomenų, slaptažodžių ar banko kortelių numerių – nebegalima leisti nutekėjimo į debesį. Tačiau to gana lengva išvengti pirmiausia filtruojant duomenis, ir mes turime atskiras postas.

Tačiau tais atvejais, kai arba visa korespondencija yra konfidenciali (pavyzdžiui, medicininė ar finansinė informacija), arba abejotinas išankstinio filtravimo patikimumas (reikia apdoroti didelius duomenų kiekius, kurių niekas iš anksto neattikrins ir nefiltruos), yra tik viena išeitis - perkelti apdorojimą iš debesies į vietinį kompiuterį. Žinoma, mažai tikėtina, kad galėsite paleisti savo „ChatGPT“ ar „Midjourney“ versiją be interneto, tačiau kiti lokaliai veikiantys neuroniniai tinklai užtikrina panašią kokybę ir mažesnę skaičiavimo apkrovą..

Kokia įranga reikalinga neuroniniam tinklui paleisti?

Tikriausiai esate skaitę, kad dirbant su neuroniniais tinklais reikia itin galingų vaizdo plokščių, tačiau praktikoje tai ne visada. Įvairūs AI modeliai, priklausomai nuo jų specifikos, gali būti reiklūs tokiems kompiuterio komponentams kaip atmintis, vaizdo atmintis, diskas, procesorius (svarbi ne tik informacijos apdorojimo greitis, bet ir procesoriaus palaikymas tam tikroms vektorinėms instrukcijoms). Galimybė įkelti modelį priklauso nuo RAM kiekio, o „konteksto lango“, tai yra, ankstesnio dialogo atminties, dydis priklauso nuo vaizdo atminties kiekio. Paprastai naudojant silpnas vaizdo plokštes ir centrinį procesorių generavimas vyksta sraigės greičiu (tekstiniams modeliams 1–2 žodžiai per sekundę), todėl minimalios konfigūracijos kompiuteris tinkamas tik susipažinti su konkrečiu modeliu ir vertinant jos esminį tinkamumą. Kasdieniniam naudojimui reikės padidinti atminties kiekį, atnaujinti vaizdo plokštę arba pasirinkti kitą, greitesnį AI modelį..

Pirmiausia galite sutelkti dėmesį į kompiuterius, kurie dar 2017 m. buvo laikomi gana galingais: ne žemesnius nei Core i7 procesorius su AVX2 instrukcijų palaikymu, 16 GB RAM ir vaizdo plokštes su 4 GB atminties. Mac mylėtojams tinka Apple Silicon M1 ir naujesni modeliai, o atminties reikalavimai nesikeis.

Renkantis AI modelį, pirmiausia turėtumėte susipažinti su jo sistemos reikalavimais. Paieškos užklausa patinka «Modelio vardas reikalavimai“ padės įvertinti, ar apskritai verta atsisiųsti šį modelį, atsižvelgiant į turimą techninę įrangą. Pavyzdžiui, galite išsamiai ištirti atminties kiekio, procesoriaus ir GPU įtaką įvairių modelių veikimui, Čia.

Geros naujienos tiems, kurie neturi prieigos prie galingos aparatinės įrangos, yra tai, kad yra supaprastintų AI modelių, kurie gali išspręsti praktines problemas net naudojant seną aparatinę įrangą. O jei jūsų vaizdo plokštė labai paprasta ir silpna, tuomet galima naudoti modelius ir jų paleidimo aplinkas, kurios naudoja tik centrinį procesorių. Priklausomai nuo užduočių, jie netgi gali užtikrinti priimtiną greitį.

AI modelio pasirinkimas ir kvantavimo magija

Šiandien sukurta daug kalbų modelių, tačiau nemaža jų dalis neturi plataus praktinio pritaikomumo. Tačiau yra lengvai naudojamų ir viešai prieinamų AI įrankių, kurie puikiai tinka konkrečioms užduotims, nesvarbu, ar tai būtų teksto generavimas (pvz., Mistral 7B), ar kodo fragmentų generavimas (pvz., Code Llama 13B). Todėl, renkantis modelį, reikia susiaurinti pasirinkimą iki kelių iš esmės tinkamų kandidatų, o tada įsitikinti, kad jūsų kompiuterio resursų pakanka jiems paleisti.

Didžiąją dalį atminties bet kuriame neuroniniame tinkle sunaudoja svoriai – skaitiniai koeficientai, apibūdinantys kiekvieno tinklo neurono veikimą. Iš pradžių, treniruojant modelį, svoriai apskaičiuojami ir labai tiksliai išsaugomi trupmeniniais skaičiais. Tačiau paaiškėjo, kad apvalinant treniruoto modelio svorius, jo darbo kokybė šiek tiek sumažėja, tačiau tai leidžia paleisti AI įrankį įprastuose kompiuteriuose. Šis apvalinimo procesas vadinamas kvantavimu ir jo dėka modelio dydį galima sumažinti dešimtis kartų – vietoj 16 bitų kiekvienas svoris užima 8, 4 ar net 2 bitus..

Pagal turimus tyrimus, didesnis modelis su daugiau parametrų ir kvantavimo kartais gali duoti geresnių rezultatų nei modelis su tiksliu svorio saugojimu, bet mažiau parametrų.

Apsiginklavę šiomis žiniomis, esate pasiruošę atrasti atvirojo kodo kalbų modelių lobyną, būtent viršūnę Atidarykite LLM lyderių lentelę. Šiame sąraše dirbtinio intelekto įrankiai rūšiuojami pagal kelis kartos kokybės rodiklius, o filtrai leidžia lengvai išjungti per didelius, per mažus arba per tikslius modelius..

Perskaitę modelio aprašymą ir įsitikinę, kad jis potencialiai tinka jūsų programai, išbandykite jo veikimą debesyje naudodamiesi paslaugomis Apkabinantis Veidas arba „Google Colab“.. Taip sutaupysite laiko, nes neįkelsite modelių, kurių rezultatai nepatenkinami. Jei esate patenkinti pirminiu modelio bandymu, laikas patikrinti, kaip jis veikia vietoje!

Reikalinga programinė įranga

Dauguma atvirų modelių yra paskelbti Apkabinantis Veidas, bet neužtenka tik juos atsisiųsti į kompiuterį. Norėdami pradėti, turite įdiegti, pavyzdžiui, specializuotą programinę įrangą LLaMA.cpp arba – dar paprasčiau – jo „įvynioklis“» LM studija. Pastarasis leidžia pasirinkti norimą modelį tiesiai iš programos, jį atsisiųsti ir paleisti dialogo lange.

Kitas paprastas būdas yra naudoti pokalbių robotą vietoje — GPT4All. Čia pasirinkimas apsiribos pusantros tuzino kalbų modelių, tačiau dauguma jų veiks net kompiuteryje su 8 GB atminties ir paprasta vaizdo plokšte.

Jei generavimas yra per lėtas, tikriausiai reikia modelio su grubesniu kvantavimu (2 bitai vietoj 4). Jei generavimas nutrūksta arba atsiranda vykdymo klaidų, problema dažnai kyla dėl atminties trūkumo - verta ieškoti modelio su mažiau parametrų arba, vėlgi, su grubesniu kvantavimu..

Hugging Face programoje daugelis modelių jau yra kvantuojami skirtingais tikslumo laipsniais, tačiau jei jums labiausiai tinkantis modelis dar nebuvo išmatuotas reikiamu bitų gyliu, galite tai padaryti patys naudodami GPTQ.

Dar vienas daug žadantis įrankis šią savaitę buvo išleistas į beta versiją., Kalbėkitės su RTX iš NVIDIA. Populiariausių AI lustų gamintojas pristatė vietinį pokalbių robotą, galintį perpasakoti „YouTube“ vaizdo įrašų turinį, apdoroti dokumentų rinkinius ir dar daugiau – jei vartotojas turi „Windows“ kompiuterį su 16 GB atminties ir NVIDIA RTX 30 arba 40 serijų. vaizdo plokštė su aštuonių ar daugiau gigabaitų vaizdo atminties. „Po gaubtu“ - visos tos pačios „Mistral“ ir „Llama2“ veislės Apkabinantis Veidas. Žinoma, galingos vaizdo plokštės gali pagerinti kartos našumą, bet, pagal pirmųjų bandytojų atsiliepimus, Esama beta versija yra gana didelė (apie 40 GB) ir ją sunku įdiegti. Tačiau NVIDIA pokalbis su RTX gali pasirodyti labai perspektyvus vietinis AI asistentas ateityje..

Aukščiau išvardytos programos visus skaičiavimus atlieka visiškai lokaliai, nesiunčia duomenų į serverius ir gali veikti visai be interneto, todėl gali saugiai tvarkyti neskelbtiną informaciją. Tačiau norėdami visiškai apsidrausti nuo nutekėjimo, turite įsitikinti, kad duomenys nenutekės ne tik iš kalbos modelio, bet ir tiesiog iš jūsų kompiuterio – o čia mūsų visapusiškas saugumo sprendimas. Svarbus jo pranašumas dirbant su vietiniais AI modeliais yra tas Kaspersky Premium praktiškai neturi jokios įtakos kompiuterio veikimui, kas buvo ne kartą patvirtinta nepriklausomi testai.