You are here: TUTWiki>Tietoturva/Tutkielmat>LuukkainenJ?>2006-4

Antti Leinonen

Roskapostin Suodatus

Johdanto

Harjoitustyössäni käsittelen roskapostia yleiseisti sekä sen suodatusmenetelmiä.

Lisäksi kokeilin kuinka helppoa on roskapostisuodattimen asentaminen ja konfigurointi. Ohjelmaksi valitsin Mozilla Thunderbird:n koska se on laajasti käytössä ja siinä on sisään rakennettu roskapostisuodatin.

Yleistä

Roskaposti

Roskaposti on sähköpostin avulla tapahtuvaa mainosten lähettämistä, jota vastaanottaja ei halua eikä ole antanut lupaa. Roskapostit tulevat suurimmaksi osaksi ulkomailta ja usein myös lähettäjän sähköpostiosoite sekä IP osoite on väärennetty.

MAPS (Mail Abuse Prevention System) ja Spamhaus Project (Spamhaus 2004) määrittelevät roskapostin seuraavasti: Roskapostia on sähköpostiviesti, jonka sisältö ei ole riippuvainen henkilöstä vaan on yhtä pätevä lähetettynä joukolle ihmisiä. Toisaalta myös viesti, jota vastaanottaja ei ole erikseen tai tarkoituksella pyytänyt luetaan roskapostiksi, samoin viesti jossa lähettäjä väittää antavansa vastaanottajalle suhteettoman suuren edun tai tarjouksen. [6]

Roskapostin ehkä suurin tunnusmerkki on sen ei-haluttavuus. Roskapostiksi siis lasketaan viestit joita vastaanottaja ei halua ja joihin vastaanottaja ei ole antanut lupaa. Tämä ei tarkoita kuitenkaan sitä, että kaikki ikävät viestit, kuten laskut olisivat roskapostia. Toinen roskapostin piirre on lähettäjän ja vastaanottajan yhteys tai oikeastaan sen puuttuminen. [6]

Suomessa roskapostin lähettäminen on kielletty kuluttajasuojalain ja yksityisyyden suojasta televiestinnässä ja teletoiminnan tietoturvasta säädetyn lain nojalla. Vain yrityksille lähetyt mainokset eivät tarvitse vastaanottajan lupaa. [7]

roskapostia.jpg

Esimerkki roskapostin otsikoista.

Kansainvälinen ongelma

Roskaposti on kansainvälinen ongelma, koska sähköposti ei tunne maiden rajoja. Roskapostia voidaankin torjua tehokkaasti vain jos kaikki valtiot osallistuvat roskapostin torjuntaan. Kansainvälinen toiminta on erityisen tärkeää koska suurin osa roskapostista näyttää tulevan Suomen ja Euroopan unionin ulkopuolelta, erityisesti Yhdysvalloista. Yhdysvalloissa on vuonna 2004 tullut voimaan laki joka kieltää roskapostin lähettäminen, mutta tämä ei ole kuitenkaan vähentänyt roskapostin lähettämistä yhdysvalloissa juuri ollenkaan. YK:ssa on jopa suunnitelma mallilaista, joka avulla voitaisiin toteuttaa kansainväliset minimiehdot täyttävä kattava lainsäädäntö. Myös OECD on perustanut ryhmän koordinoimaan OECD:n jäsenmaiden roskapostipolitiikkaa, roskapostia ehkäisevän teknologian kehittämistä sekä erilaisten hyvien käytäntöjen omaksumista. [9]

Opt-out, Opt-in ja Double opt-in periaatteet

On kolmea eri käytäntöä mainostajien ja viestien mainostajien välille siitä milloin mainosviestejä voidaan lähettää. Näitä käytäntöjä kutsutaan Opt-out, Opt-in ja Double opt-in periaatteiksi. [6]

Opt-out on näistä löyhin ja mainostajien kannattama periaate. Siinä mainoksia saadaan lähettää kenelle vain ja koska vain. Usein viestit voidaan kuitenkin kieltää, eli vastaanottaja voi pyytää poistamaan osoitteensa sähköpostilistalta. Tässä on kuitenkin se ongelma, että nykyään vastaamalla johonkin roskapostiviestiin saa yleensä vain lisää roskapostia. [6]

Opt-in periaate vaatii, että käyttäjältä pyydetään ensin lupa mainosten lähettämiseen. Eli siis käytännössä rastia nettikilpailussa jossa annetaan lupa mainosten lähettämiseen. Myös Opt-in:ssa kärttäjällä on mahdollista pyytää itsensä poistamista sähköpostilistalta. [6]

Douple opt-in periaate on lähellä opt-in periaatetta. Erona siinä on vain, että käyttäjälle lähetetään vielä yksi varmistusviesti ennen mainosten lähettämistä. Tällä varmistetaan, että ketään ei voida kiusata ´väärentämällä´ sähköpostiosoite johonkin kilpailuun. [6]

Sähköposti on herkkä väärinkäytöksille

Sähköpostijärjestelmä on erittäin herkkä väärinkäytöksille koska kaikki voivat lähettää henkilökohtaisia viestejä kenelle tahansa todella helposti ja ilmaiseksi (tai hyvin edullisesti). Euroopan komission mukaan roskaposti maksaa vastaanottajille noin kymmenen miljardia euroa vuodessa. Jopa miljoonien sähköpostimainosten lähettäminen on helppoa, että mainostajan ei kannata edes kohdentaa markkinointia kun samalla vaivalla voidaan viesti lähettää kaikkiin hallussa oleviin osoitteisiin. [4]

Roskapostilta suojautuminen

Roskapostilta voi suojautua monilla eri tavoilla. Internetoperaattorit voivat voivat käyttää keskitettyjä ratkaisuja joissa roskaposteja suodatetaan jo sähköpostipalvelimilla. Myös yksityiselle käyttäjälle on monia ohjelmia roskapostin suodattamiseen. Valitettavasti monet kokevat ne vaikeiksi asentaa ja käyttää.

Paras tapa välttää roskapostia on ehkä ennaltaehkäisy. Koska roskapostittajat keräävät sähköpostiosoitteita uutisryhmistä ja seittisivuilta, kannattaa niille oman sähköpostiosoitteensa antamista välttää. Oma sähköpostiosoite voi kuitenkin joutua roskapostittajan tietoon esimerkiksi tietomurron yhteydessä, jolloin välttyäkseen roskapostilta on pakko käyttää jonkinlaista roskapostisuodatinta.

Roskapostin suodatus menetelmät

Roskapostia on mahdollista suodattaa monilla erilaisilla keinoilla. Hyvän suodattimen ominaisuuksia ovat mm. [5]:

* Suodatin ei estä kuin roskaposti viestien vastaanottamisen * Suodatin estää roskapostien vastaanottamisen * Suodatin vaikeuttaa mahdollisimman vähän tavallista viestintää (viestintä voi esimerkiksi vaikeutua kohtuuttoman paljon, jos vastaanottajalla käytössä on vahvistuspyyntöviestejä lähettävä suodatin) * Suodatin toimii luotettavasti * Suodatin ei estä sähköpostiviestin luetettavuutta. * Suodatin ei vaaranna viestinnän luottamuksellisuutta

Avainsanat

Roskapostisuodattimista voidaan tehdä monilla tavoilla. Avainsanoihin perustuvat menetelmät ovat yksinkertaisimpia. Niissä tutkitaan koko viesti ja etsitään tiettyjä avainsanoja kuten Viagara. Ongelmana tässä on se, että sanojen kirjoitusasua on helppo muuttaa jolloin tietokone ei enää tunnista sanaa. Esimerkiksi ´v14gara´ sanaa tietokone ei enää välttämättä tunnista, vaikka ihminen yhdistääkin sen heti oikeaan asiayhteyteen. Toinen suuri ongelma on se, että oikeat viestit voidaan määritellä roskapostiksi jos niissä esiintyy roskapostiavainsanoja. [1] ja [7]

Heuristinen skannaus

Yksi tapa roskapostin suodatukseen on heuristinen skannaus. Tässä tekniikassa viestin otsikkoa ja itse viestiä tutkitaan erilaisin tekniikoin ja viesti pisteytetään. Jos viesti saa tarpeeksi pisteitä se luokitellaan roskapostiksi. Yksi ongelma tässä on se että ohjelmalle pitää ensin opettaa mitkä millaiset viestit ovat roskapostia, jotta ohjelma tulisi tarkemmaksi. [7]

Mustat listat

Yksi suosittu ja helppo tapa suodattaa roskaposteja ovat mustat listat. Ne ovat luetteloita jotka sisältävät tietoja esimerkiksi tunnetuista roskapostittajista tai avoimista välityspalvelimista (joita roskapostittajat hyödyntävät roskapostin lähetyksessä). Melkein kaikissa sähköpostipalvelimissa on sisäänrakennettu mahdollisuus käyttää pääsylistoja. [7]

Pääsylistat voivat olla kiinteitä, mutta niiden toiminta ei ole kovin luetettavaa, koska roskapostit tulevat usein väärennetyistä ositteista. Useimmiten käytetäänkin DNS-pohjaisia listoja. Tällöin sähköpostipalvelin tekee kyselyn DNS-palvelimelle ja hylkää ne postit jotka löytyvät listalta. [7]

Bayesian suodatus

Yksi uusimmista menetelmistä on niin sanottu Bayesialainen suodatus. Se on hiukan avainsanoihin perustuvaa suodatusta hienostoinuneempi. Se perustuu sanojen esiintymien tilastolliseen analyysiin. Bayes-suodatin toimii kohtalaisen hyvin, se tunnistaa jopa 90% roskapostista. Tällainen bayes-suodatin löytyy muun muassa Mozilla Thundbird sähköpostiohjelmasta. Servereillä käytettävistä spammifiltereistä SpamAssasin? ja ASSP hyödyntävät myös Bayesialaista suodatusta. [2]

Testatut ohjelmat

Mozilla Thunderbird

Mozilla Thunderbirdin roskapostin suodatus käyttää hyväkseen Bayesialaista suodatusta ja toimiikin todella hyvin. Thunderbirdille voi opettaa, minkälaiset sähköpostiviestit ovat roskapostia. Tällöin roskapostin suodatus tehostuu entisestään. [3]

Roskapostisuodin on sähköpostiohjelmaan sisään rakennettu eikä sen käyttöönotto vaadi uusien ohjelmien asentamista. Myös roskapostin suodattamisen päälle pistäminen on hyvin yksinkertaista. Joka varmasti on hyvä asia tavallista käyttäjää ajatellen.

Sen jälkeen kun roskapostisuodin on kytketty päälle, niin sen toiminta on automaattista. Roskapostisuotimelle voi halutessaan myös opettaa mitkä sähköpostit ovat roskapostia (jos suodin ei sitä tunnista) ja myös jos suodin luulee roskapostiksi sellaista postia mikä ei sitä ole, niin myös sen opettaminen on helppoa.

Roskaposti suotimen teho vaikuttaa todella hyvältä. Heti suotimen päälle laiton jälkeen ohjelma tunnisti noin 95% roskapostista ja jo muutaman viikon opettamisen jälkeen se tunnistaa jopa 99% roskapostista. Eikä juuri koskaan erehdy luulemaan oikeaa postia roskapostiksi.

Ohjeet kuinka Thunderbirdissä saadaan roskapostin suodatus kytkettyä päälle

Ohjeet löytyvät täältä.

Päätelmät

Roskaposti on todella suuri ongelma sähköpostijärjestelmässä. Kuitenkin roskapostia voidaan vähentää lainasäädännön ja erilaisten suodatusmenetelmien avulla.

Koska toimivan roskapostisuodattimen asentaminen on todella helppoa, ei roskapostin pitäisi olla käyttäjälle mikään ylitsepääsemätön ongelma. Kuitenkin monien sähköpostilaatikot ovat rajatun kokoisia ja sen täyttyminen roskapostista saattaa välillä olla pahakin ongelma.

Lähteet

* [1] Wikipedia - Email spam

* [2] Wikipedia - Bayesian filtering

* [3] Mozilla thunderbird tutuksi - Roskaposti toiminnot

* [4] Spämmi — eli ei-toivottu viestintä Internetissä

* [5] Spämmiltä suojautuminen

* [6] Roskaposti - Sähköisen viestinnän kasvava uhka

* [7] Wikipedia - Roskaposti

* [8] Roskaposti paketti

-- JukkaLuukkainen? - 20 Sep 2009
Topic attachments
I Attachment Action Size Date Who Comment
roskapostia.jpgjpg roskapostia.jpg manage 87.2 K 20 Sep 2009 - 11:15 UnknownUser  
Print version |  PDF  | History: r1 | 
Topic revision: r1 - 20 Sep 2009 - 11:45:55 - JukkaLuukkainen?
 

TUTWiki

Copyright © by the contributing authors. All material on this collaboration platform is the property of the contributing authors.
Ideas, requests, problems regarding TUTWiki? Send feedback