Kuinka tuoda esikoulutettu malli PyTorchiin?

PyTorchin koneoppimismallit voivat olla erittäin monimutkaisia ja yksityiskohtaisia, ja niissä on miljoonia rivejä ja teratavuja dataa. Mitä laajempi ja monipuolisempi koulutuksessa käytetty tietojoukko on, sitä paremmat ovat mallin päätelmät. On erittäin tärkeää pystyä käyttämään aiemmin koulutettuja malleja johtopäätösten tekemiseen uudesta tiedosta, koska se voi säästää resursseja ja käyttää samoja huolellisesti suunniteltuja malleja.

Tässä blogissa käymme läpi kaksi tapaa tuoda esikoulutettu malli PyTorchiin.

Kuinka tuoda esikoulutettu malli PyTorchiin Torchvisionin avulla?

' soihtunäkö ” -kirjastoa voidaan käyttää esikoulutettujen mallien tuomiseen PyTorchiin. Se on ensisijaisen ' taskulamppu ”-kirjasto ja sisältää aiemmin koottujen tietojoukkojen ja koulutettujen mallien toiminnallisuuden. Tämä kirjasto tarjoaa käyttäjille mahdollisuuden kutsua malleja, jotka on koulutettu suurelle tietojoukolle. Näitä esikoulutettuja malleja voidaan soveltaa uuteen dataan, ja ne voivat tehdä kelvollisia päätelmiä ilman pitkiä ja hallitsemattomia koulutussilmukoita.

Seuraa alla annettuja ohjeita oppiaksesi tuomaan esikoulutettu malli PyTorchiin Torchvisionin avulla:

Vaihe 1: Avaa Google Colab
Mene Colaboratorioon verkkosivusto Googlen luoma ja aloita ' Uusi muistikirja ”projektin aloittamiseksi:

Vaihe 2: Tuo tarvittavat kirjastot
Kun Colab IDE on määritetty, ensimmäinen vaihe on asentaa ja tuoda projektissa tarvittavat kirjastot:

! pip asennus taskulamppu

tuonti taskulamppu
tuonti soihtunäkö
tuonti soihtunäkö. mallit

Yllä oleva koodi toimii seuraavasti:

' pip Pythonin paketin asennusohjelmaa käytetään ' taskulamppu ' kirjasto.
Seuraavaksi ' tuonti ” -komentoa käytetään tuomaan kirjasto Colab-projektiin.
Sitten ' soihtunäkö ” kirjasto tuodaan projektiin. Tämä sisältää toimintoja tietojoukkoja ja malleja varten.
' torchvision.model ' moduuli sisältää valikoiman valmiiksi koulutettuja malleja, kuten jäännöshermoverkon malleja' ResNet ”:

Vaihe 3: Tuo valmiiksi koulutettu malli
Tuo valmiiksi koulutettu malli, joka on tallennettu 'torchvision.models'-pakettiin käyttämällä alla olevaa koodiriviä:

Esikoulutettu_malli = soihtunäkö. mallit . vakava 50 ( esikoulutettu = Totta )

Yllä oleva koodirivi toimii seuraavasti:

Määrittele muuttuja ja anna sille sopiva nimi viittaukselle, kuten 'Valmiiksi koulutettu_malli' .
Käytä 'torchvision.models' moduuli lisätäksesi ' ResNet ” malli.
Lisää ' vakava 50 ” malli ja aseta ” pretraained = Totta 'argumenttina:

Tarkastele seuraavaksi esikoulutettua mallia tulosteena 'print()'-menetelmällä:

Tulosta ( Esikoulutettu_malli )

Huomautus : Pääset käyttämään Colab-muistikirjaamme, jossa on tietoja esikoulutetun PyTorch-mallin tuomisesta torchvisionin avulla tästä linkki .

Kuinka tuoda esikoulutettu PyTorch-malli Hugging Face -tietokannasta?

Toinen tapa tuoda esikoulutettu malli on hankkia se Hugging Face -alustalta. Hugging Face on yksi suosituimmista online-tietokannoista valmiiksi koulutetuille malleille ja suurille tietojoukoille, jotka ovat saatavilla datatieteilijöille ja ohjelmoijille.

Tuo valmiiksi koulutettu PyTorch-malli Hugging Face -tietojoukosta noudattamalla alla olevia ohjeita:

Vaihe 1: Käynnistä Colab-muistikirja ja asenna ja tuo tarvittavat kirjastot
Ensimmäinen vaihe on käynnistää muistikirja Colab IDE:ssä ja asentaa kirjastot ' pip ' paketin asennusohjelma ja tuo ne käyttämällä ' tuonti 'komento:

! pip asennus taskulamppu
! pip asennusmuuntajat

tuonti taskulamppu
tuonti muuntajat
muuntajista tuonti AutoModel

Tässä projektissa tarvitaan seuraavat kirjastot

' taskulamppu ”-kirjasto on olennainen PyTorch-kirjasto.
' muuntajat ” kirjasto sisältää Hugging Facen toiminnot, sen mallit ja tietojoukot:

Vaihe 2: Tuo malli halaavista kasvoista
Tässä esimerkissä malli, joka tuodaan ' Halaavat kasvot ” tietokanta löytyy tästä linkki . Käytä ' AutoModel.from_pretrained() ” -menetelmä esikoulutetun mallin tuomiseksi Hugging Facesta alla olevan kuvan mukaisesti:

esikoulutettu_mallin_nimi = 'Helsinki-NLP/opus-mt-en-zh'
esikoulutettu_malli = AutoModel. from_pretraned ( esikoulutettu_mallin_nimi )

Tulosta ( esikoulutettu_malli )

Yllä oleva koodi toimii seuraavasti:

Kopioi mallin nimi sen verkkosivuilta Hugging Face -alustalla ja määritä se ' esikoulutettu_mallin_nimi ”-muuttuja Colabissa.
Käytä sitten ' AutoModel.from_pretrained() ” -menetelmää ja syötä argumentiksi mallin nimimuuttuja.
Käytä lopuksi 'Tulosta() ” -menetelmä tuodun mallin esittelemiseksi tulosteessa.

Hugging Facesta tuotu esikoulutettu malli näyttää alla olevan tulosteen:

Huomautus : Pääset käyttämään Colab-muistikirjaamme, jossa kerrotaan kuinka tuoda esikoulutettu malli Hugging Facesta tästä linkki .

Pro-Tip

Hugging Face on arvokas kokoelma suuria tietojoukkoja ja monimutkaisia malleja, joita kaikki voivat käyttää ilmaiseksi syväopetusprojekteissa. Voit myös ladata omia tietojoukkojasi muiden käytettäväksi, ja alusta on viritetty yhteistyöhön datatieteilijöiden ja kehittäjien kesken kaikkialla maailmassa.

Menestys! Olemme osoittaneet, kuinka esiopetettu PyTorch-malli tuodaan käyttämällä torchvision-kirjastoa tai Hugging Face -tietokannasta muuntajakirjastoa käyttämällä.

Johtopäätös

Tuodakseen esikoulutetun mallin PyTorchiin käyttäjät voivat käyttää joko torchvision-kirjastoa tai Hugging Face -verkkotietokantaa käyttämällä Google Colabin muuntajakirjastoa. Näitä esikoulutettuja malleja käytetään välttämään arvokkaan ajan ja laitteistoresurssien käyttämistä koulutukseen ja siirtymään suoraan uusien tietojen testaamiseen uskottavien johtopäätösten tekemiseksi. Tässä blogissa olemme näyttäneet kaksi tapaa tuoda esikoulutettuja malleja PyTorchiin.

Kuinka tuoda esikoulutettu malli PyTorchiin?