Tässä blogissa käsittelemme alla olevaa sisältöä:
- Kuinka mukauttaa tekstin luontia lataamalla malli Transformersin 'pipeline'-toiminnolla?
- Kuinka käyttää muuntajapohjaista mallia tekstin luomiseen PyTorchissa?
- Kuinka käyttää muuntajapohjaista mallia tekstin luomiseen TensorFlowissa?
Kuinka mukauttaa tekstin luontia lataamalla malli Transformersin 'pipeline'-toiminnolla?
' putki ” -toimintoa käytetään esiopetetun tekoälymallin automaattiseen lataamiseen käyttäjän vaatimusten mukaisesti. Käyttääkseen tätä toimintoa käyttäjien on asennettava ' muuntajat ”paketteja. Tämä paketti antaa pääsyn huippuluokan Transformer-pohjaisiin malleihin, jotka voivat suorittaa tunneanalyysin sekä monia muita Luonnollisen kielen käsittely (NLP) tehtäviä.
Jos haluat nähdä yllä kuvatun skenaarion käytännön esittelyn, siirry alla annettuihin vaiheisiin!
Vaihe 1: Asenna muuntajapaketit
Suorita aluksi '! pip” komento muuntajapakettien asentamiseksi:
! pip asennusmuuntajat
Kuten näet, määritetty paketti on asennettu onnistuneesti:
Vaihe 2: Tuo muuntajapohjainen malli
Tuo sen jälkeen tarvittava muuntajapohjainen malli. Voit tehdä tämän tuomalla ensin putki '-toiminto kohteesta ' muuntajat ”. Käytä seuraavaksi tuotua funktiota ja välitä ' tekstin luominen ' argumenttina sille yhdessä vaaditun mallin nimen kanssa' gpt2 ”. Siirrä ne seuraavaksi ' Tuottaa ”muuttuja:
alkaen muuntajat tuonti putki
Tuottaa = putki ( 'tekstin sukupolvi' , malli = 'gpt2' )
Vaihe 3: Luo mukautettu teksti
Anna nyt haluttu teksti argumenttina ' Tuottaa ”. Kuten alla:
Tuottaa ( 'Käyttämällä gpt2-mallia tekstin luomiseen muuntajissa' )Toimitetun lähdön mukaan ladattu esikoulutettu ' gpt3 ” mallin teksti on luotu onnistuneesti:
Voit käyttää myös muita argumentteja, kuten:
kehote = 'Käyttämällä gpt2-mallia tekstin luomiseen muuntajissa'Tulosta ( geeni ( kehote , palautusjonojen_määrä = 5 , Maksimi pituus = kaksikymmentä ) )
Tässä:
- ' kehote ' käytetään argumenttina, joka pitää sisällään syötteen.
- ' numero_paluusekvenssi '-argumenttia käytetään luomaan tarjotun tekstin sekvenssien määrä.
- ' Maksimi pituus '-argumenttia käytetään määrittämään luodun tekstin pituus. Meidän tapauksessamme se rajoittuu ' 30 ”-merkit (sanat tai välimerkit):
Huomautus: Muokattu teksti on jatkoa määritetylle kehotteelle, joka perustuu mallin harjoitustietoihin.
Kuinka käyttää muuntajapohjaista mallia tekstin luomiseen PyTorchissa?
Käyttäjät voivat myös muokata tekstiä ' PyTorch ' kumpi on ' Soihtu ” perustuva koneoppimiskehys. Sitä käytetään erilaisissa sovelluksissa, kuten NLP ja Computer Vision. Jos haluat käyttää muuntajapohjaista mallia tekstin mukauttamiseen PyTorchissa, tuo ensin ' GPT2Tokenisaattori ' ja ' GPT2-malli '-toiminnot kohdasta ' muuntajat ':
alkaen muuntajat tuonti GPT2Tokenisaattori , GPT2-malliKäytä sitten ' GPT2Tokenisaattori ” tokenisaattori halutun esikoulutetun mallimme mukaan nimeltä ” gpt2 ':
tokenisaattori = GPT2Tokenisaattori. from_pretraned ( 'gpt2' )Jälkeenpäin painot esikoulutetusta mallista:
malli = GPT2-malli. from_pretraned ( 'gpt2' )Ilmoita seuraavaksi ' gen_text ”-muuttuja, joka sisältää tekstin, jota haluamme mukauttaa:
gen_text = 'Käyttämällä gpt2-mallia tekstin luomiseen muuntajissa'Ohita nyt ' gen_text ' ja ' return_tensors='pt' ' argumenttina, joka luo tekstin PyTorchissa ja tallentaa luodun arvon ' encoded_input ”muuttuja:
encoded_input = tokenisaattori ( gen_text , return_tensors = 'pt' )Ohita lopuksi ' encoded_input '-muuttuja, joka pitää mukautetun tekstin ' malli ' parametrina ja saat tuloksen käyttämällä ' Maksimi pituus ' argumentti, joka on asetettu arvoon ' kaksikymmentä ', mikä osoittaa, että luotu teksti rajoittuu annettuihin tunnuksiin, ' palautusjonojen_määrä ', joka on asetettu arvoon ' 5 ', joka osoittaa, että luotu teksti perustuu viiteen tekstisarjaan:
ulostulo = malli ( **encoded_input )generaattori ( gen_text , Maksimi pituus = kaksikymmentä , palautusjonojen_määrä = 5 )
Lähtö
Kuinka käyttää muuntajapohjaista mallia tekstin luomiseen TensorFlowissa?
Jos haluat luoda tekstin Transformersissa, ' TensorFlow ”-pohjaisia koneoppimiskehyksiä käytetään myös. Voit tehdä tämän tuomalla ensin tarvittavat toiminnot, kuten ' GPT2Tokenisaattori ' ja ' TFGPT2 malli ' alkaen ' muuntajat ”. Loput koodista on sama kuin yllä, vain käytämme ' TFGPT2 malli '-toiminto '' GPT2-malli ”-toiminto. Seuraavasti:
alkaen muuntajat tuonti GPT2Tokenisaattori , TFGPT2 mallitokenisaattori = GPT2Tokenisaattori. from_pretraned ( 'gpt2' )
malli = TFGPT2 malli. from_pretraned ( 'gpt2' )
teksti = 'Käyttämällä gpt2-mallia tekstin luomiseen muuntajissa'
encoded_input = tokenisaattori ( teksti , return_tensors = 'tf' )
ulostulo = malli ( encoded_input )
generaattori ( gen_text , Maksimi pituus = kaksikymmentä , palautusjonojen_määrä = 5 )
Kuten näet, mukautettu teksti on luotu onnistuneesti:
Se siitä! Olemme kehittäneet tekstin luomisen mukauttamista Transformersissa.
Johtopäätös
Tekstin luomisen mukauttamiseksi Transformersissa on useita tapoja, kuten mallin lataaminen liukuhihnatoiminnolla käyttämällä muuntajapohjaista mallia ' PyTorch ' ja ' TensorFlow ', jotka perustuvat koneoppimiskehyksiin. Tässä oppaassa olemme tarjonneet lyhyttä tietoa sekä käytännön esittelyn tekstin luomisen mukauttamisesta Transformersissa.