Antti Leinonen:

Roskapostin suodatus

Johdanto

Harjoitustyössäni käsittelen roskapostia yleiseisti sekä sen suodatusmenetelmiä.

Lisäksi kokeilin, kuinka helppoa on roskapostisuodattimen asentaminen ja konfigurointi. Ohjelmaksi valitsin Mozilla Thunderbird:n koska se on laajasti käytössä ja siinä on sisään rakennettu roskapostisuodatin.

Yleistä

Roskaposti

Roskaposti on sähköpostin avulla tapahtuvaa mainosten lähettämistä ilman vastaanottajan suostumusta. Roskapostit tulevat suurimmaksi osaksi ulkomailta ja usein myös lähettäjän sähköpostiosoite sekä IP osoite on väärennetty.

MAPS (Mail Abuse Prevention System) ja Spamhaus Project (Spamhaus 2004) määrittelevät roskapostin seuraavasti: Roskapostia on sähköpostiviesti, jonka sisältö ei ole riippuvainen henkilöstä vaan on yhtä pätevä lähetettynä joukolle ihmisiä. Toisaalta myös viesti, jota vastaanottaja ei ole erikseen tai tarkoituksella pyytänyt luetaan roskapostiksi, samoin viesti jossa lähettäjä väittää antavansa vastaanottajalle suhteettoman suuren edun tai tarjouksen. [6]

Roskapostin ehkä suurin tunnusmerkki on sen ei-haluttavuus. Roskapostiksi siis lasketaan viestit, joita vastaanottaja ei halua ja joihin vastaanottaja ei ole antanut lupaa. Tämä ei tarkoita kuitenkaan sitä, että kaikki ikävät viestit, kuten laskut olisivat roskapostia. Toinen roskapostin piirre on lähettäjän ja vastaanottajan yhteys tai oikeastaan sen puuttuminen. [6]

Suomessa roskapostin lähettäminen on kielletty kuluttajasuojalain ja yksityisyyden suojasta televiestinnässä ja teletoiminnan tietoturvasta säädetyn lain nojalla. Vain yrityksille lähetyt mainokset eivät tarvitse vastaanottajan lupaa. [7]

Esimerkki roskapostin otsikoista (alkuperäinen kuva Wikipediasta).

Opt-out, Opt-in ja Double opt-in periaatteet

On kolmea eri käytäntöä mainostajien ja viestien mainostajien välille siitä, milloin mainosviestejä voidaan lähettää. Näitä käytäntöjä kutsutaan Opt-out, Opt-in ja Double opt-in periaatteiksi. [6]

Opt-out on näistä löyhin ja mainostajien kannattama periaate. Siinä mainoksia saadaan lähettää kenelle vain ja koska vain. Usein viestit voidaan kuitenkin kieltää, eli vastaanottaja voi pyytää poistamaan osoitteensa sähköpostilistalta. Tässä on kuitenkin se ongelma, että nykyään vastaamalla johonkin roskapostiviestiin saa yleensä vain lisää roskapostia. [6]

Opt-in periaate vaatii, että käyttäjältä pyydetään ensin lupa mainosten lähettämiseen. Eli siis käytännössä rastia nettikilpailussa, jossa annetaan lupa mainosten lähettämiseen. Myös Opt-in:ssä käyttäjällä on mahdollisuus pyytää itsensä poistamista sähköpostilistalta. [6]

Double opt-in periaate on lähellä Opt-in periaatetta. Erona siinä on vain, että käyttäjälle lähetetään vielä yksi varmistusviesti ennen mainosten lähettämistä. Tällä varmistetaan, että ketään ei voida kiusata "väärentämällä" sähköpostiosoite johonkin kilpailuun. [6]

Sähköposti on herkkä väärinkäytöksille

Sähköpostijärjestelmä on erittäin herkkä väärinkäytöksille, koska kaikki voivat lähettää henkilökohtaisia viestejä kenelle tahansa todella helposti ja ilmaiseksi (tai hyvin edullisesti). Euroopan komission mukaan roskaposti maksaa vastaanottajille noin kymmenen miljardia euroa vuodessa. Jopa miljoonien sähköpostimainosten lähettäminen on helppoa. Mainostajan ei edes kannata kohdentaa markkinointia, sillä samalla vaivalla voidaan viesti lähettää kaikkiin hallussa oleviin osoitteisiin. [4]

Roskapostilta suojautuminen

Roskapostilta voi suojautua monilla eri tavoilla. Internet-operaattorit voivat käyttää keskitettyjä ratkaisuja, joissa roskaposteja suodatetaan jo sähköpostipalvelimilla. Myös yksityiselle käyttäjälle on tarjolla erillisiä ohjelmia roskapostin suodattamiseen, jotka voidaan asentaa joko osaksi sähköpostiohjelmaa tai erilliseksi ohjelmaksi [9], kuten esimerkiksi Spamihilator. Lisäksi tarjolla on yrityskäyttöön tarkoitettuja ohjelmia, kuten MessageLabsin? kaupallinen Email Anti-Spam. Sitä voi käyttää myös Image Control Service -palvelun kanssa, joka auttaa epäasiallisten kuvien suodatuksessa [10].

Paras tapa välttää roskapostia on ehkä ennaltaehkäisy. Koska roskapostittajat keräävät sähköpostiosoitteita uutisryhmistä ja seittisivuilta, kannattaa niille oman sähköpostiosoitteensa antamista välttää. Oma sähköpostiosoite voi kuitenkin joutua roskapostittajan tietoon esimerkiksi tietomurron yhteydessä, jolloin välttyäkseen roskapostilta täytyy käyttää jonkinlaista roskapostisuodatinta.

Roskapostin suodatus menetelmät

Roskapostia on mahdollista suodattaa monilla erilaisilla keinoilla. Hyvän suodattimen ominaisuuksia ovat mm. [5]:

• Suodatin ei estä kuin roskaposti viestien vastaanottamisen.
• Suodatin estää roskapostien vastaanottamisen.
• Suodatin vaikeuttaa mahdollisimman vähän tavallista viestintää (viestintä voi esimerkiksi vaikeutua kohtuuttoman paljon, jos vastaanottajalla käytössä on vahvistuspyyntöviestejä lähettävä suodatin).
• Suodatin toimii luotettavasti.
• Suodatin ei estä sähköpostiviestin luetettavuutta.
• Suodatin ei vaaranna viestinnän luottamuksellisuutta.

Avainsanat

Roskapostisuodattamista voidaan tehdä monella tapaa. Avainsanoihin perustuvat menetelmät ovat yksinkertaisimpia. Niissä tutkitaan koko viesti ja etsitään tiettyjä avainsanoja kuten viagara. Ongelmana tässä on se, että sanojen kirjoitusasua on helppo muuttaa, jolloin tietokone ei enää tunnista sanaa. Esimerkiksi ´v14gara´ sanaa tietokone ei enää tunnista, vaikka ihminen yhdistääkin sen heti oikeaan asiayhteyteen. Toinen suuri ongelma on se, että oikeat viestit voidaan määritellä roskapostiksi, jos niissä esiintyy roskapostiavainsanoja. [1] ja [7]

Heuristinen skannaus

Yksi tapa roskapostin suodatukseen on heuristinen skannaus. Tässä tekniikassa viestin otsikkoa ja itse viestiä tutkitaan erilaisin tekniikoin. Esimerkiksi tutkitaan viestin kirjoitusasua, kopio-kenttää tai sen sisältämää HTML-koodia. Saatujen tulosten pohjalta viesti pisteytetään. Jos se saa tarpeeksi pisteitä, se luokitellaan roskapostiksi. Yksi ongelma tässä on se, että ohjelmalle pitää ensin opettaa, mitkä ja millaiset viestit ovat roskapostia, jotta ohjelma tulisi tarkemmaksi. [7]

Mustat listat

Yksi suosittu ja helppo tapa suodattaa roskaposteja ovat mustat listat. Ne ovat luetteloita jotka sisältävät tietoja esimerkiksi tunnetuista roskapostittajista tai avoimista välityspalvelimista, joita roskapostittajat hyödyntävät roskapostin lähetyksessä. Melkein kaikissa sähköpostipalvelimissa on sisäänrakennettu mahdollisuus käyttää pääsylistoja. [7]

Pääsylistat voivat olla kiinteitä, mutta niiden toiminta ei ole kovin luotettavaa, koska roskapostit tulevat usein väärennetyistä ositteista. Useimmiten käytetäänkin DNS-pohjaisia listoja. Tällöin sähköpostipalvelin tekee kyselyn DNS-palvelimelle ja hylkää listalta löytyvät postit. [7]

Bayesialainen suodatus

Yksi uusimmista menetelmistä on niin sanottu Bayesialainen suodatus. Se on hiukan avainsanoihin perustuvaa suodatusta hienostuneempi. Se perustuu sanojen esiintymien tilastolliseen analyysiin. Sanoilla on tietty esiintymistodennäköisyys. Kun käyttäjä kertoo, mikä viesti luokitellaan roskapostiksi ja mikä ei, suodatin laskee, kuinka yleistä kyseisten sanojen esiintyminen on kyseisen tyyppisessä viestissä. Kun suodatin on oppinut tämän, voidaan erottelu roskapostin ja tavallisen postin välillä tehdä. Erottelu tapahtuu käsittelemällä saadun viestin sanat erikseen. Ne pisteytetään yksitellen Bayesin teoreeman mukaisesti. Tämän jälkeen saadut pisteet lasketaan yhteen tietyn kaavan mukaisesti (lisätietoa?) ja saadaan todennäköisyys sille, onko viesti roskapostia . Bayes-suodatin toimii kohtalaisen hyvin, se tunnistaa jopa 90% roskapostista. Tällainen bayes-suodatin löytyy muun muassa Mozilla Thundbird sähköpostiohjelmasta. Servereillä käytettävistä spammifiltereistä SpamAssasin? ja ASSP hyödyntävät myös Bayesialaista suodatusta. [2] ja [8]

Testatut ohjelmat

Mozilla Thunderbird

Mozilla Thunderbirdin roskapostin suodatus käyttää hyväkseen Bayesialaista suodatusta ja toimiikin todella hyvin. Thunderbirdille voi opettaa, minkälaiset sähköpostiviestit ovat roskapostia. Tällöin roskapostin suodatus tehostuu entisestään. [3]

Roskapostisuodin on sähköpostiohjelmaan sisään rakennettu eikä sen käyttöönotto vaadi uusien ohjelmien asentamista. Myös roskapostin suodattamisen päälle pistäminen on hyvin yksinkertaista. Joka varmasti on hyvä asia tavallista käyttäjää ajatellen.

Roskaposti suotimen teho vaikutti todella hyvältä. Oman kokemuksen mukaan Mozilla Thunderbird tunnisti jopa 90% roskapostista. Ohjeet, kuinka Thunderbirdissä saadaan roskapostin suodatus kytkettyä päälle löytyy täältä.

F-Secure Internet Security 2009

F-Securella on oma roskapostin hallintajärjestelmä, jota voidaan käyttää mainospostin suodattamiseen. Roskapostin suodatintila voidaan valita kolmesta eri vaihtoehdosta: tiukka, keskitaso (oletus) ja väljä. Suodatustaso määrittää suodatuksen tehokkuuden. Tämän lisäksi F-Secure mahdollistaa Internet-kyselyiden käytön. Jos tämä optio on valittuna, niin sähköpostia lähettäneen palvelimen IP-osoitetta verrataan käytönaikaiseen mustaan listaan. Musta lista sisältää tiedot tunnetuista roskapostiviestejä lähettävistä palvelimista.

Kun roskaposti havaitaan, se siirretään automaattisesti roskaposti- tai verkkohuijauskansioon riippuen käytettävästä suodatustasosta. Toisinaan käyttäjä saattaa saada roskapostia tai ei-roskapostia sisältävät viestit tulkitaan roskapostiksi. F-Securessa voi erikseen sallia / kieltää viestit tietystä sähköpostiosoitteesta.

Päätelmät

Roskaposti on todella suuri ongelma sähköpostijärjestelmässä. Kuitenkin roskapostia voidaan vähentää lainasäädännön ja erilaisten suodatusmenetelmien avulla.

Koska toimivan roskapostisuodattimen asentaminen on todella helppoa, ei roskapostin pitäisi olla käyttäjälle mikään ylitsepääsemätön ongelma. Kuitenkin monien sähköpostilaatikot ovat rajatun kokoisia ja sen täyttyminen roskapostista saattaa välillä olla pahakin ongelma.

Lähteet

• [1] Wikipedia - Email spam
• [2] Wikipedia - Bayesian filtering
• [3] Mozilla thunderbird tutuksi - Roskaposti toiminnot
• [4] Spämmi eli ei-toivottu viestintä Internetissä (vanhentunut)
• [5] Spämmiltä suojautuminen (vanhentunut)
• [6] Roskaposti - Sähköisen viestinnän kasvava uhka (vanhentunut)
• [7] Wikipedia - Roskaposti
• [8] Wikipedia - Bayesilainen roskapostisuodatus (viitattu 19.9.2009)
• [9] Wikipedia - E-mail filtering (viitattu 9.11.2009)
• [10] MessageLabs Hosted Email Image Control Service (viitattu 9.11.2009)

-- JariEerola? - 11 Nov 2009