Tämä opas selittää ristiinvalidoinnin ja sen toiminnan AWS-palvelun avulla.
Mitä ristiinvalidointi on?
Ristiinvalidoinnin avulla kehittäjät voivat verrata erilaisia koneoppimismalleja ja saada käsityksen työstään tosielämässä. Se auttaa käyttäjää selvittämään, mikä koneoppimisen (ML) tai syvän oppimisen (DL) malli toimii paremmin tietylle tiedolle tai skenaariolle. On tilanteita, joissa useita malleja voidaan käyttää yhdelle tietojoukolle. Tässä kehittäjät käyttävät ristiinvalidointia saadakseen sopivan mallin optimoitujen tulosten saamiseksi:
Miten ristiinvalidointi toimii?
Tietojoukon ML-mallien tarkistamiseksi käyttäjän on arvioitava mallin ominaisuudet, jota kutsutaan algoritmin harjoittamiseksi. Toinen tarkistettava asia on mallin arviointi sen suorituskyvyn selvittämiseksi, ja sitä kutsutaan mallin testaamiseksi. Ei ole hyvä idea testata mallia kaikilla tiedoilla, mutta käytämme 75% tiedoista harjoitteluun ja 25% testaukseen saadaksemme parempia tuloksia. Ristiinvalidointi testaa joka 25 % tiedoista tarkistaakseen, mikä lohko toimii parhaiten:
Mikä on Amazon SageMaker?
Ristiinvalidointi AWS:ssä voidaan tehdä Amazon SageMaker -palvelun avulla, koska se on suunniteltu rakentamaan, kouluttamaan ja ottamaan käyttöön koneoppimismalleja. Se auttaa datatieteilijöitä ja kehittäjiä valmistelemaan dataa tehokkaiden ML- tai DL-mallien rakentamista varten yhdistämällä tarkoitukseen rakennetut ominaisuudet. Nämä ominaisuudet ovat hyödyllisiä luotaessa optimoituja ja tarkkoja malleja, jotka voivat kehittyä ajan myötä:
Amazon SageMakerin ominaisuudet
Amazon SageMaker on hallittu palvelu, eikä se vaadi ML-ympäristöjen hallintaa. Se tarvitsee paljon dataa ML-mallien kouluttamiseen ja rakentamiseen, jotta se on hyvin yhteydessä Amazon S3- tai Amazon Redshift -palveluihin tietojen keräämiseksi. Raakadata voi olla vaikeaa saada tietoa, joten se vaatii myös ominaisuuksia mallien rakentamiseen. Käytä sitten tietoja mallien kouluttamiseen ja suorita sitten testit niille käyttämällä jokaista 25 %:a tiedosta saadaksesi parempia tuloksia/ennusteita:
Siinä kaikki AWS:n ristiinvalidaatiosta.
Johtopäätös
Ristiinvalidointi on prosessi, jossa hankitaan optimaalinen koneoppimis- tai syväoppimismalli, jotta tiedot saavat parempia tuloksia. Se suorittaa testauksen jokaiselle 25 %:n dataosalle selvittääkseen, mikä lohko tuottaa suurimman tehon, mikä tekee siitä sopivan sovitusmallin. AWS tarjoaa SageMaker-palvelun, joka suorittaa ristiinvalidoinnin ja rakentaa koneoppimismalleja pilveen. Tässä oppaassa on selitetty ristiinvalidointiprosessi ja sen toiminta AWS:ssä.