Tällä aikakaudella Transformers ovat tehokkaimpia malleja, jotka ovat tuottaneet parhaat tulokset useissa NLP (Natural Language Processing) -toiminnoissa. Aluksi sitä käytettiin kielen mallinnustehtäviin, kuten tekstin luomiseen sekä luokitteluun, konekääntämiseen ja moniin muihin. Mutta nyt sitä käytetään myös objektien tunnistamiseen, kuvien luokitukseen ja useisiin muihin tietokonenäkötehtäviin.
Tässä opetusohjelmassa annamme menettelyn tekstin luokitteluun Transformersin avulla.
Kuinka tehdä tekstin luokittelu muuntajia käyttämällä?
Jos haluat suorittaa tekstin luokittelun Transformersin avulla, asenna ensin ' muuntajat ”-kirjastoon suorittamalla annettu komento:
! pip Asentaa muuntajat
Kuten näet, määritetty kirjasto on asennettu onnistuneesti:
Tuo sitten ' putki ' alkaen ' muuntajat ' kirjasto:
muuntajien tuontiputkesta
Täällä ' putki ” sisältää NLP-tehtävän, joka meidän on suoritettava, ja halutun muuntajamallin tälle toiminnolle yhdessä tokenisaattorin kanssa.
Huomautus: Tokenisaattoria käytetään mallin syöttämän tekstin prosessointiin jakamalla teksti tokeneihin.
Käytä sen jälkeen ' putki () ' -toiminto ja välitä se ' nolla laukaus -luokitus 'argumenttina. Anna seuraavaksi toinen parametri, joka on mallimme. Käytämme Facebookin ' BART ”muuntajamalli. Tässä emme käytä tokenisaattoria, koska se voidaan automaattisesti päätellä määritetyn mallin perusteella:
text_classifier = liukuhihna ( 'nolla-luokittelu' , malli = 'facebook/bart-large-mnli' )
Ilmoita nyt ' seq ”-muuttuja, joka sisältää syöttötekstimme, joka on luokiteltava. Sitten tarjoamme luokat, joihin haluamme luokitella tekstin ja tallentaa ' lab ', joka tunnetaan nimikkeinä:
lab = [ 'päivittää' , 'virhe' , 'tärkeä' , 'todentaminen' ]
Suorita lopuksi liukuhihna syötteen kanssa:
Liukulinjan suorittamisen jälkeen, kuten näet, malli ennusti tarjoamamme sekvenssin luokiteltavaksi:
Lisäinformaatio: Jos haluat nopeuttaa mallin suorituskykyä, sinun on käytettävä GPU:ta. Jos kyllä, voit tätä tarkoitusta varten määrittää liukuhihnalle laiteargumentin ja asettaa sen arvoksi ' 0 ' käyttääksesi GPU:ta.
Jos haluat luokitella tekstin useampaan kuin yhteen sekvenssi-/syöttötekstilauseeseen, voit lisätä ne luetteloon ja välittää sen syötteenä liukuhihnalle. Katso tätä tarkoitusta varten koodinpätkä:
seq = [ 'Oikoluku ja editointi ovat välttämättömiä osia selkeyden, johdonmukaisuuden ja virheetön sisällön varmistamiseksi' ,'Tänä nykyaikana SEO-optimointi on välttämätöntä, jotta artikkelit sijoittuvat hyvin ja tavoittavat laajemman yleisön.' ]
text_classifier ( seq , lab )
Lähtö
Se siitä! Olemme koonneet helpoimman tavan suorittaa tekstin luokittelu Transformersin avulla.
Johtopäätös
Transformaattoreita käytetään kielen mallinnustehtäviin, kuten tekstin luomiseen, tekstin luokitteluun ja konekääntämiseen, sekä tietokonenäkötehtäviin, mukaan lukien objektien tunnistus ja kuvien luokittelu. Tässä opetusohjelmassa olemme havainnollistaneet tekstin luokitteluprosessia Transformersin avulla.