Johdatus seleeniin Python 3: ssa

Tässä artikkelissa kerrotaan, miten Selenium asennetaan Linux -jakeluun (eli Ubuntuun), ja miten suoritetaan perusverkkoautomaatio ja web -romutus Selenium Python 3 -kirjaston avulla.

Edellytykset

Jotta voit kokeilla tässä artikkelissa käytettyjä komentoja ja esimerkkejä, sinulla on oltava seuraavat:

1) Tietokoneellesi asennettu Linux -jakelu (mieluiten Ubuntu).
2) Python 3 asennettu tietokoneellesi.
3) PIP 3 asennettuna tietokoneellesi.
4) Tietokoneeseesi asennettu Google Chrome- tai Firefox -selain.

Löydät monia artikkeleita näistä aiheista osoitteessa LinuxHint.com . Muista tarkistaa nämä artikkelit, jos tarvitset lisäapua.

Python 3 -virtuaaliympäristön valmistelu projektille

Python -virtuaaliympäristöä käytetään luomaan eristetty Python -projektihakemisto. PIP -moduulit, jotka asennat PIP: n avulla, asennetaan vain projektihakemistoon eikä maailmanlaajuisesti.

Python virtualenv moduulia käytetään Python -virtuaalisten ympäristöjen hallintaan.

Voit asentaa Pythonin virtualenv moduuli maailmanlaajuisesti käyttäen PIP 3: ta seuraavasti:

PIP3 lataa ja asentaa maailmanlaajuisesti kaikki tarvittavat moduulit.

Tässä vaiheessa Python virtualenv moduuli on asennettava maailmanlaajuisesti.

Luo projektihakemisto python-seleeni-perus/ nykyisessä työhakemistossasi seuraavasti:

Siirry äskettäin luotuun projektihakemistoosi python-seleeni-perus/ , seuraavasti:

Luo Python -virtuaalinen ympäristö projektihakemistoosi seuraavalla komennolla:

Python -virtuaalinen ympäristö pitäisi nyt luoda projektihakemistoosi. ”

Aktivoi Python -virtuaalinen ympäristö projektihakemistossasi seuraavan komennon avulla:

Kuten näette, Python -virtuaalinen ympäristö aktivoidaan tälle projektihakemistolle.

Selenium Python -kirjaston asentaminen

Selenium Python -kirjasto on saatavana Python PyPI: n virallisessa arkistossa.

Voit asentaa tämän kirjaston PIP 3: lla seuraavasti:

Selenium Python -kirjasto pitäisi nyt asentaa.

Nyt kun Selenium Python -kirjasto on asennettu, seuraava asia, joka sinun on tehtävä, on asentaa web -ohjain suosikkiselaimellesi. Tässä artikkelissa näytän sinulle, kuinka voit asentaa Firefoxin ja Chromen Web -ohjaimet Seleniumille.

Firefox Gecko -ohjaimen asentaminen

Firefox Gecko -ohjaimen avulla voit hallita tai automatisoida Firefox -verkkoselaimen Seleniumilla.

Voit ladata Firefox Gecko -ohjaimen osoitteesta GitHub julkaisee sivun mozilla/geckodriver verkkoselaimesta.

Kuten näette, v0.26.0 on Firefox Gecko -ohjaimen uusin versio tämän artikkelin kirjoittamishetkellä.

Voit ladata Firefox Gecko -ohjaimen vierittämällä hiukan alaspäin ja napsauttamalla Linux geckodriver tar.gz -arkistoa käyttöjärjestelmäarkkitehtuurisi mukaan.

Jos käytät 32-bittistä käyttöjärjestelmää, napsauta geckodriver-v0.26.0-linux32.tar.gz linkki.

Jos käytät 64-bittistä käyttöjärjestelmää, napsauta geckodriver-v0.26.0-linuxx64.tar.gz linkki.

Minun tapauksessani lataan Firefox Gecko -ohjaimen 64-bittisen version.

Selaimesi pitäisi pyytää sinua tallentamaan arkisto. Valitse Tallenna tiedosto ja napsauta sitten OK .

Firefox Gecko Driver -arkisto on ladattava ~/Lataukset hakemistoon.

Pura geckodriver-v0.26.0-linux64.tar.gz arkisto ~/Lataukset hakemistoon Kuljettajat/ projektisi hakemistoon kirjoittamalla seuraava komento:

Kun Firefox Gecko Driver -arkisto on purettu, uusi geko kuljettaja binaaritiedosto on luotava Kuljettajat/ projektisi hakemistosta, kuten näet alla olevasta kuvakaappauksesta.

Testaa Selenium Firefox Gecko -ohjainta

Tässä osassa näytän sinulle, kuinka voit määrittää ensimmäisen Selenium Python -skriptisi testataksesi, toimiiko Firefox Gecko -ohjain.

Avaa ensin projektihakemisto python-seleeni-perus/ suosikki IDE: n tai editorin kanssa. Tässä artikkelissa käytän Visual Studio -koodia.

Luo uusi Python -komentosarja ex01.py ja kirjoita komentosarjaan seuraavat rivit.

Kun olet valmis, tallenna ex01.py Python -käsikirjoitus.

Selitän koodin tämän artikkelin myöhemmässä osassa.

Seuraavalla rivillä Selenium määritetään käyttämään Firefoxin Gecko -ohjainta Kuljettajat/ projektisi hakemistoon.

Testaa, toimiiko Firefox Gecko -ohjain seleenin kanssa, suorita seuraava ex01.py Python -käsikirjoitus:

Firefox -verkkoselaimen pitäisi automaattisesti siirtyä osoitteeseen Google.com ja sulkea itsensä 5 sekunnin kuluttua. Jos näin tapahtuu, Selenium Firefox Gecko -ajuri toimii oikein.

Chrome Web -ohjaimen asentaminen

Chrome Web -ohjaimen avulla voit hallita tai automatisoida Google Chrome -selainta Selenium -ohjelmalla.

Sinun on ladattava sama Chrome -ohjaimen versio kuin Google Chrome -selaimessasi.

Löydät Google Chrome -selaimesi versionumeron osoitteesta chrome: // settings/help Google Chromessa. Versionumeron tulee olla Tietoja Chromesta osiossa, kuten näet alla olevasta kuvakaappauksesta.

Minun tapauksessani versionumero on 83.0.4103.116 . Versionumeron kolme ensimmäistä osaa ( 83.0.4103 , minun tapauksessani) on vastattava Chrome Web -ohjaimen versionumeron kolmea ensimmäistä osaa.

Voit ladata Chrome -verkko -ohjaimen osoitteesta virallinen Chrome -ohjaimen lataussivu .

Kohteessa Nykyiset julkaisut -osio, Chrome Web -ohjain Google Chrome -selaimen uusimpiin julkaisuihin on saatavilla, kuten alla olevasta kuvakaappauksesta näet.

Jos käyttämäsi Google Chromen versio ei ole Nykyiset julkaisut osiossa, vieritä hieman alaspäin, ja sinun pitäisi löytää haluamasi versio.

Kun olet napsauttanut oikeaa Chrome Web -ohjaimen versiota, sen pitäisi viedä sinut seuraavalle sivulle. Klikkaa chromedriver_linux64.zip linkki, kuten alla olevassa kuvakaappauksessa todetaan.

Chrome Web Driver -arkisto on nyt ladattava.

Chrome Web Driver -arkisto on nyt ladattava ~/Lataukset hakemistoon.

Voit purkaa chromedriver-linux64.zip arkisto ~/Lataukset hakemistoon Kuljettajat/ projektisi hakemistoon seuraavalla komennolla:

Kun Chrome Web Driver -arkisto on purettu, uusi kromiohjain binaaritiedosto on luotava Kuljettajat/ projektisi hakemistosta, kuten näet alla olevasta kuvakaappauksesta.

Testataan Selenium Chrome Web -ohjainta

Tässä osassa näytän sinulle, kuinka voit määrittää ensimmäisen Selenium Python -skriptisi testataksesi, toimiiko Chrome -verkko -ohjain.

Luo ensin uusi Python -komentosarja ex02.py ja kirjoita komentosarjaan seuraavat koodirivit.

Kun olet valmis, tallenna ex02.py Python -käsikirjoitus.

Selitän koodin tämän artikkelin myöhemmässä osassa.

Seuraavalla rivillä Selenium määritetään käyttämään Kuljettajat/ projektisi hakemistoon.

Testaa, toimiiko Chrome -verkko -ohjain seleenin kanssa, suorittamalla ex02.py Python -skripti seuraavasti:

Google Chrome -selaimen pitäisi automaattisesti siirtyä osoitteeseen Google.com ja sulkea itsensä 5 sekunnin kuluttua. Jos näin tapahtuu, Selenium Firefox Gecko -ajuri toimii oikein.

Verkkokaavion perusteet seleenillä

Käytän tästä lähtien Firefox -selainta. Voit myös käyttää Chromea, jos haluat.

Perus Selenium Python -skriptin pitäisi näyttää alla olevan kuvakaappauksen skriptiltä.

Tuo ensin seleeni Web -ajuri alkaen seleeni moduuli.

Tuo seuraavaksi Avaimet alkaen selenium.webdriver.common.avaimet . Tämä auttaa sinua lähettämään näppäimistön painalluksia Seleniumin automatisoimaan selaimeen.

Seuraava rivi luo selaimen kohde Firefox -selaimelle Firefox Gecko -ohjainta (Webdriver) käyttäen. Voit hallita Firefox -selaimen toimintoja tämän objektin avulla.

Verkkosivuston tai URL -osoitteen lataaminen (lataan verkkosivustoa https://www.duckduckgo.com ), soita saada() menetelmä selaimen objekti Firefox -selaimessasi.

Seleniumin avulla voit kirjoittaa testisi, tehdä verkkojen romuttamisen ja lopuksi sulkea selaimen lopettaa() menetelmä selaimen esine.

Yllä on Selenium Python -skriptin perusasettelu. Kirjoitat nämä rivit kaikkiin Selenium Python -skripteihisi.

Esimerkki 1: Verkkosivun otsikon tulostaminen

Tämä on helpoin esimerkki seleenin käytöstä. Tässä esimerkissä tulostamme vierailevan verkkosivun otsikon.

Luo uusi tiedosto ex04.py ja kirjoita siihen seuraavat koodirivit.

Kun olet valmis, tallenna tiedosto.

Tässä, browser.title käytetään vieraillun verkkosivun otsikon ja Tulosta() -toimintoa käytetään nimikkeen tulostamiseen konsoliin.

Suorittamisen jälkeen ex04.py käsikirjoituksen, sen pitäisi:

1) Avaa Firefox
2) Lataa haluamasi verkkosivu
3) Hae sivun otsikko
4) Tulosta otsikko konsoliin
5) Lopuksi sulje selain

Kuten näette, ex04.py script on tulostanut verkkosivun otsikon hienosti konsoliin.

Esimerkki 2: Useiden verkkosivujen otsikoiden tulostaminen

Kuten edellisessä esimerkissä, voit käyttää samaa tapaa tulostaa useiden verkkosivujen otsikot Python -silmukan avulla.

Luo uusi Python -komentosarja ymmärtääksesi, miten tämä toimii ex05.py ja kirjoita komentosarjaan seuraavat koodirivit:

Kun olet valmis, tallenna Python -komentosarja ex05.py .

Tässä, URL -osoitteet luettelo säilyttää kunkin verkkosivun URL -osoitteen.

TO varten silmukkaa käytetään iterointiin URL -osoitteet luettelokohteita.

Jokaisen iteroinnin yhteydessä Selenium kehottaa selainta käymään url ja saat verkkosivun otsikon. Kun Selenium on poiminut verkkosivun otsikon, se tulostetaan konsoliin.

Suorita Python -komentosarja ex05.py , ja sinun pitäisi nähdä jokaisen verkkosivun otsikko URL -osoitteet lista.

Tämä on esimerkki siitä, kuinka Selenium voi suorittaa saman tehtävän useilla verkkosivuilla tai verkkosivustoilla.

Esimerkki 3: Tietojen poimiminen verkkosivulta

Tässä esimerkissä näytän sinulle perusteet tietojen keräämisestä verkkosivuilta seleeniä käyttämällä. Tämä tunnetaan myös nimellä web -kaavinta.

Käy ensin Random.org linkki Firefoxista. Sivun pitäisi luoda satunnainen merkkijono, kuten alla olevasta kuvakaappauksesta näet.

Jos haluat poimia satunnaisia ​​merkkijonotietoja seleenillä, sinun on myös tiedettävä tietojen HTML -esitys.

Jos haluat nähdä satunnaisten merkkijonojen tiedot HTML -muodossa, valitse satunnaiset merkkijonotiedot ja paina hiiren oikeaa painiketta (RMB) ja napsauta Tarkasta elementti (Q) , kuten alla olevassa kuvakaappauksessa todetaan.

Tietojen HTML -esitys tulee näyttää Tarkastaja välilehti, kuten näet alla olevasta kuvakaappauksesta.

Voit myös napsauttaa Tarkastuskuvake ( ) tarkastamaan sivun tiedot.

Napsauta tarkastuskuvaketta () ja vie hiiri satunnaisten merkkijonotietojen päälle, jotka haluat poimia. Tietojen HTML -esitys tulee näyttää kuten ennenkin.

Kuten näette, satunnaiset merkkijonotiedot on kääritty HTML -koodiin varten ja sisältää luokan tiedot .

Nyt kun tiedämme poistettavien tietojen HTML -esityksen, luomme Python -komentosarjan tietojen poimimiseksi seleeniä käyttämällä.

Luo uusi Python -komentosarja ex06.py ja kirjoita komentosarjaan seuraavat koodirivit

Kun olet valmis, tallenna ex06.py Python -käsikirjoitus.

Tässä, browser.get () menetelmä lataa verkkosivun Firefox -selaimeen.

The browser.find_element_by_css_selector () method etsii tietyn elementin sivun HTML -koodista ja palauttaa sen.

Tässä tapauksessa elementti olisi pre.data , varten tunniste, jolla on luokan nimi tiedot .

Alapuolella pre.data elementti on tallennettu dataElement muuttuja.

Käsikirjoitus tulostaa valitun tekstisisällön pre.data elementti.

Jos suoritat ex06.py Python -komentosarjan, sen pitäisi poimia satunnaiset merkkijonotiedot verkkosivulta, kuten näet alla olevasta kuvakaappauksesta.

Kuten näette, joka kerta, kun suoritan ex06.py Python -skripti, se poimii eri satunnaiset merkkijonotiedot verkkosivulta.

Esimerkki 4: Tietoluettelon poimiminen verkkosivulta

Edellinen esimerkki näytti sinulle, kuinka poimia yksittäinen tietoelementti verkkosivulta seleeniä käyttämällä. Tässä esimerkissä näytän sinulle, kuinka seleenin avulla voidaan poimia tietoluettelo verkkosivulta.

Käy ensin random-name-generator.info Firefox -selaimestasi. Tämä verkkosivusto luo kymmenen satunnaista nimeä aina, kun lataat sivun uudelleen, kuten alla olevasta kuvakaappauksesta näet. Tavoitteenamme on poimia nämä satunnaiset nimet seleeniä käyttämällä.

Jos tarkastelet nimiluetteloa tarkemmin, näet, että se on järjestetty luettelo ( kuolla tag). The kuolla tunniste sisältää myös luokan nimen nameList . Jokainen satunnainen nimi esitetään luettelokohteena ( klo -tunniste) kuolla tag.

Voit purkaa nämä satunnaiset nimet luomalla uuden Python -komentosarjan ex07.py ja kirjoita komentosarjaan seuraavat koodirivit.

Kun olet valmis, tallenna ex07.py Python -käsikirjoitus.

Tässä, browser.get () menetelmä lataa satunnaisnimigeneraattorin verkkosivun Firefox -selaimeen.

The browser.find_elements_by_css_selector () menetelmä käyttää CSS -valitsinta ol.nameList li löytää kaikki klo elementit kuolla tunniste, jolla on luokan nimi nameList . Olen tallentanut kaikki valitut klo elementtejä nameList muuttuja.

TO varten silmukkaa käytetään iterointiin nameList luettelo klo elementtejä. Jokaisessa iteroinnissa klo elementti on painettu konsoliin.

Jos suoritat ex07.py Python -skripti, se hakee kaikki satunnaiset nimet verkkosivulta ja tulostaa sen näytölle, kuten näet alla olevasta kuvakaappauksesta.

Jos suoritat komentosarjan toisen kerran, sen pitäisi palauttaa uusi satunnaisten käyttäjänimien luettelo, kuten alla olevasta kuvakaappauksesta näet.

Esimerkki 5: Lomakkeen lähettäminen - haku DuckDuckGolla

Tämä esimerkki on yhtä yksinkertainen kuin ensimmäinen esimerkki. Tässä esimerkissä käyn DuckDuckGo -hakukoneessa ja etsin termiä seleeni hq käyttämällä seleeniä.

Ensinnäkin vieraile DuckDuckGo -hakukone Firefox -selaimelta.

Jos tarkistat haun syöttökentän, sen pitäisi olla tunnus search_form_input_homepage , kuten näet alla olevasta kuvakaappauksesta.

Luo nyt uusi Python -komentosarja ex08.py ja kirjoita komentosarjaan seuraavat koodirivit.

Kun olet valmis, tallenna ex08.py Python -käsikirjoitus.

Tässä, browser.get () menetelmä lataa DuckDuckGo -hakukoneen kotisivun Firefox -selaimeen.

The browser.find_element_by_id () menetelmä valitsee tuloelementin tunnuksella search_form_input_homepage ja tallentaa sen searchInput muuttuja.

The searchInput.send_keys () menetelmää käytetään näppäinpainallustietojen lähettämiseen syöttökenttään. Tässä esimerkissä se lähettää merkkijonon seleeni hq , ja Enter -näppäintä painetaan näppäimellä Avaimet vakio.

Heti kun DuckDuckGo -hakukone saa Enter -näppäimen (paina ENTER ), se etsii ja näyttää tuloksen.

Suorita ex08.py Python -skripti seuraavasti:

Kuten näette, Firefox -selain vieraili DuckDuckGo -hakukoneessa.

Se kirjoitti automaattisesti seleeni hq hakukenttään.

Heti kun selain sai Enter -näppäimen, paina ( Avaimet ), se näytti hakutuloksen.

Esimerkki 6: Lomakkeen lähettäminen osoitteessa W3Schools.com

Esimerkissä 5 DuckDuckGo -hakukoneen lomakkeen lähettäminen oli helppoa. Sinun tarvitsee vain painaa Enter -näppäintä. Tämä ei kuitenkaan koske kaikkia lomakkeiden lähetyksiä. Tässä esimerkissä näytän sinulle monimutkaisemman lomakkeenkäsittelyn.

Käy ensin W3Schools.comin HTML -lomakkeet -sivu Firefoxin selaimelta. Kun sivu on latautunut, sinun pitäisi nähdä esimerkkilomake. Tämä on lomake, jonka lähetämme tässä esimerkissä.

Jos tarkistat lomakkeen, Etunimi syöttökentässä on oltava tunnus fnimi , Sukunimi syöttökentässä on oltava tunnus nimi , ja Lähetä -painike pitäisi olla tyyppi Lähetä , kuten näet alla olevasta kuvakaappauksesta.

Jos haluat lähettää tämän lomakkeen Seleniumin avulla, luo uusi Python -komentosarja ex09.py ja kirjoita komentosarjaan seuraavat koodirivit.

Kun olet valmis, tallenna ex09.py Python -käsikirjoitus.

Tässä, browser.get () menetelmä avaa W3schools HTML -lomakkeet -sivun Firefox -selaimessa.

The browser.find_element_by_id () menetelmä etsii syöttökentät tunnuksen perusteella fnimi ja nimi ja se tallentaa ne fnimi ja nimi muuttujia, vastaavasti.

The fname.clear () ja lname.clear () menetelmät tyhjentävät oletusnimen (John) fnimi arvo ja sukunimi (Doe) nimi arvo syöttökentistä.

The fname.send_keys () ja lname.send_keys () menetelmien tyyppi Shahriar ja Shovon kohdassa Etunimi ja Sukunimi syöttökenttiä.

The browser.find_element_by_css_selector () menetelmä valitsee Lähetä -painike lomakkeesta ja tallentaa sen submittedButton muuttuja.

The submittedButton.send_keys () menetelmä lähettää Enter -näppäimen painamalla ( ENTER ) Lähetä -painike lomakkeesta. Tämä toiminto lähettää lomakkeen.

Suorita ex09.py Python -skripti seuraavasti:

Kuten huomaat, lomake on lähetetty automaattisesti oikeilla syötteillä.

Johtopäätös

Tämän artikkelin pitäisi auttaa sinua pääsemään alkuun Selenium -selaintestauksen, verkkoautomaation ja web -romutuskirjastojen kanssa Python 3: ssa. Lisätietoja on virallinen Selenium Python -dokumentaatio .