You are here: TUTWiki>Tietoturva/Tutkielmat>TalvitieT?>2007-28

Antti Leinonen:

Roskapostin suodatus

Johdanto

Harjoiutustyöni perustuu viime vuonna tekemääni harjoitustyöhön, jota parantelen tänä vuonna. Harjoitustyössäni käsittelen roskapostia yleiseisti sekä sen suodatusmenetelmiä.

Lisäksi kokeilin kuinka helppoa on roskapostisuodattimen asentaminen ja konfigurointi. Ohjelmaksi valitsin Mozilla Thunderbird:n koska se on laajasti käytössä ja siinä on sisään rakennettu roskapostisuodatin.

Yleistä

Roskaposti

Roskaposti on sähköpostin avulla tapahtuvaa mainosten lähettämistä, jota vastaanottaja ei halua eikä ole antanut lupaa. Roskapostit tulevat suurimmaksi osaksi ulkomailta ja usein myös lähettäjän sähköpostiosoite sekä IP osoite on väärennetty.

MAPS (Mail Abuse Prevention System) ja Spamhaus Project (Spamhaus 2004) määrittelevät roskapostin seuraavasti: Roskapostia on sähköpostiviesti, jonka sisältö ei ole riippuvainen henkilöstä vaan on yhtä pätevä lähetettynä joukolle ihmisiä. Toisaalta myös viesti, jota vastaanottaja ei ole erikseen tai tarkoituksella pyytänyt luetaan roskapostiksi, samoin viesti jossa lähettäjä väittää antavansa vastaanottajalle suhteettoman suuren edun tai tarjouksen. [6]

Roskapostin ehkä suurin tunnusmerkki on sen ei-haluttavuus. Roskapostiksi siis lasketaan viestit joita vastaanottaja ei halua ja joihin vastaanottaja ei ole antanut lupaa. Tämä ei tarkoita kuitenkaan sitä, että kaikki ikävät viestit, kuten laskut olisivat roskapostia. Toinen roskapostin piirre on lähettäjän ja vastaanottajan yhteys tai oikeastaan sen puuttuminen. [6]

Roskapostiksi lasketaan myös niin kutsutut plishing -viestit, joiden lähettäjä yrittää saada tietoonsa vastaanottajan henkilöllisyyttä voidakseen käyttää esiintyen myöhemmin tällä henkilöllisyydellä. Viesti on yleensä virallisen näköinen, ja siinä kehotetaan menemään viestissä olevan linkin kautta huijaussivustolle. Nämä väärennetyt sivut näyttävät hyvin pitkälti aidoilta palveluntarjoajien nettisivuilta, mutta niiden tarkoitus on vain vuotaa yktyisyystietoja rikollisille. Plishing -viesteihin vastaa jopa 25% prosenttia niiden uhreista, minkä vuoksi ne ovat todellinen ongelma. [8]

Suomessa roskapostin lähettäminen on kielletty kuluttajasuojalain ja yksityisyyden suojasta televiestinnässä ja teletoiminnan tietoturvasta säädetyn lain nojalla. Vain yrityksille lähetyt mainokset eivät tarvitse vastaanottajan lupaa. [7]

Roskapostia

Esimerkki roskapostin otsikoista.

Kansainvälinen ongelma

Roskaposti on kansainvälinen ongelma, koska sähköposti ei tunne maiden rajoja. Roskapostia voidaankin torjua tehokkaasti vain jos kaikki valtiot osallistuvat roskapostin torjuntaan. Kansainvälinen toiminta on erityisen tärkeää koska suurin osa roskapostista näyttää tulevan Suomen ja Euroopan unionin ulkopuolelta, erityisesti Yhdysvalloista. Yhdysvalloissa on vuonna 2004 tullut voimaan laki joka kieltää roskapostin lähettäminen, mutta tämä ei ole kuitenkaan vähentänyt roskapostin lähettämistä yhdysvalloissa juuri ollenkaan. YK:ssa on jopa suunnitelma mallilaista, joka avulla voitaisiin toteuttaa kansainväliset minimiehdot täyttävä kattava lainsäädäntö. Myös OECD on perustanut ryhmän koordinoimaan OECD:n jäsenmaiden roskapostipolitiikkaa, roskapostia ehkäisevän teknologian kehittämistä sekä erilaisten hyvien käytäntöjen omaksumista. [9]

Opt-out, Opt-in ja Double opt-in periaatteet

On kolmea eri käytäntöä mainostajien ja viestien mainostajien välille siitä milloin mainosviestejä voidaan lähettää. Näitä käytäntöjä kutsutaan Opt-out, Opt-in ja Double opt-in periaatteiksi. [6]

Opt-out on näistä löyhin ja mainostajien kannattama periaate. Siinä mainoksia saadaan lähettää kenelle vain ja koska vain. Usein viestit voidaan kuitenkin kieltää, eli vastaanottaja voi pyytää poistamaan osoitteensa sähköpostilistalta. Tässä on kuitenkin se ongelma, koska nykyään vastaamalla johonkin roskapostiviestiin saa yleensä vain lisää roskapostia. [6]

Opt-in periaate vaatii, että käyttäjältä pyydetään ensin lupa mainosten lähettämiseen. Eli siis käytännössä ei siis tarvitse kuin rastia kohta esimerkiksi nettikilpailussa, jossa annetaan lupa mainosten lähettämiseen. Myös Opt-in:ssa käyttäjällä on mahdollista pyytää itsensä poistamista sähköpostilistalta. [6]

Douple opt-in periaate on lähellä opt-in periaatetta. Erona siinä on vain, että käyttäjälle lähetetään vielä yksi varmistusviesti ennen mainosten lähettämistä. Tällä varmistetaan, että kolmannet osapuolet ei voi tilata sähköpostia kenellekään ´väärentämällä´ näiden sähköpostiosoitteita esimerkiksi nettikilpailuissa. [6]

Sähköposti on herkkä väärinkäytöksille

Sähköpostijärjestelmä on erittäin herkkä väärinkäytöksille koska kaikki voivat lähettää henkilökohtaisia viestejä kenelle tahansa todella helposti ja ilmaiseksi tai hyvin vähäisin kustannuksin. Euroopan komission mukaan roskaposti maksaa vastaanottajille noin kymmenen miljardia euroa vuodessa. Jopa miljoonien sähköpostimainosten lähettäminen on helppoa, että mainostajan ei kannata edes kohdentaa markkinointia kun samalla vaivalla voidaan viesti lähettää kaikkiin hallussa oleviin osoitteisiin. [4]

Roskapostilta suojautuminen

Roskapostilta voi suojautua monilla eri tavoilla. Internetoperaattorit voivat voivat käyttää keskitettyjä ratkaisuja joissa roskaposteja suodatetaan jo sähköpostipalvelimilla. Myös yksityiselle käyttäjälle on monia ohjelmia roskapostin suodattamiseen. Valitettavasti monet kokevat ne vaikeiksi asentaa ja käyttää.

Paras tapa välttää roskapostia on ehkä ennaltaehkäisy. Koska roskapostittajat keräävät sähköpostiosoitteita uutisryhmistä ja seittisivuilta, kannattaa niille oman sähköpostiosoitteensa antamista välttää. Oma sähköpostiosoite voi kuitenkin joutua roskapostittajan tietoon esimerkiksi tietomurron yhteydessä, jolloin välttyäkseen roskapostilta on pakko käyttää jonkinlaista roskapostisuodatinta.

Roskapostin suodatus menetelmät

Roskapostia on mahdollista suodattaa monilla erilaisilla keinoilla. Hyvän suodattimen ominaisuuksia ovat mm. [5]:

  • Suodatin ei estä kuin roskaposti viestien vastaanottamisen
  • Suodatin estää roskapostien vastaanottamisen
  • Suodatin vaikeuttaa mahdollisimman vähän tavallista viestintää (viestintä voi esimerkiksi vaikeutua kohtuuttoman paljon, jos vastaanottajalla käytössä on vahvistuspyyntöviestejä lähettävä suodatin)
  • Suodatin toimii luotettavasti
  • Suodatin ei estä sähköpostiviestin luetettavuutta.
  • Suodatin ei vaaranna viestinnän luottamuksellisuutta

Avainsanat

Roskapostisuodattimista voidaan tehdä monilla tavoilla. Avainsanoihin perustuvat menetelmät ovat yksinkertaisimpia. Niissä tutkitaan koko viesti ja etsitään tiettyjä avainsanoja kuten Viagara. Ongelmana tässä on se, että sanojen kirjoitusasua on helppo muuttaa jolloin tietokone ei enää tunnista sanaa. Esimerkiksi ´v14gara´ sanaa tietokone ei enää välttämättä tunnista, vaikka ihminen yhdistääkin sen heti oikeaan asiayhteyteen. Toinen suuri ongelma on se, että oikeat viestit voidaan määritellä roskapostiksi jos niissä esiintyy roskapostiavainsanoja. [1] ja [7]

Heuristinen skannaus

Yksi tapa roskapostin suodatukseen on heuristinen skannaus. Tässä tekniikassa viestin otsikkoa ja itse viestiä tutkitaan erilaisin tekniikoin ja viesti pisteytetään. Jos viesti saa tarpeeksi pisteitä se luokitellaan roskapostiksi. Yksi ongelma tässä on se että ohjelmalle pitää ensin opettaa mitkä millaiset viestit ovat roskapostia, jotta ohjelma tulisi tarkemmaksi. [7]

Mustat listat

Yksi suosittu ja helppo tapa suodattaa roskaposteja ovat mustat listat. Ne ovat luetteloita jotka sisältävät tietoja esimerkiksi tunnetuista roskapostittajista tai avoimista välityspalvelimista (joita roskapostittajat hyödyntävät roskapostin lähetyksessä). Melkein kaikissa sähköpostipalvelimissa on sisäänrakennettu mahdollisuus käyttää pääsylistoja. [7]

Pääsylistat voivat olla kiinteitä, mutta niiden toiminta ei ole kovin luetettavaa, koska roskapostit tulevat usein väärennetyistä ositteista. Useimmiten käytetäänkin DNS-pohjaisia listoja. Tällöin sähköpostipalvelin tekee kyselyn DNS-palvelimelle ja hylkää ne postit jotka löytyvät listalta. [7]

Mustien listojen tehokkuus on kuitenkin heikentynyt, sillä nykyään roskapostin lähettäjät osaavat ottaa käyttöönsä suojaamattomia kotikoneita. [10] Tällaista hajautettua roskapostittamista on vaikeampi torjua, eikä roskapostittajien tarvitse huolehtia kapasiteetin hankkimisesta.

Bayesian suodatus

Yksi uusimmista menetelmistä on niin sanottu Bayesialainen suodatus. Se on hiukan avainsanoihin perustuvaa suodatusta hienostoinuneempi. Se perustuu sanojen esiintymien tilastolliseen analyysiin. Bayes-suodatin toimii kohtalaisen hyvin, se tunnistaa jopa 90% roskapostista. Tällainen bayes-suodatin löytyy muun muassa Mozilla Thundbird sähköpostiohjelmasta. Servereillä käytettävistä spammifiltereistä SpamAssasin? ja ASSP hyödyntävät myös Bayesialaista suodatusta. [2]

Plishing -viesteiltä suojautuminen

Antiplishing -järjestön nettisivujen mukaan sähköpostiviestin oikeellisuutta ei voida taata, ellei sitä ole digitaalisesti allekirjoitettu. Useimmiten allekirjoitusta ei ole, joten plishing -viesteiltä tulisi suojautua muilla keinoin. Sähköpostissa olevia linkkejä ei tule painaa, vaan kirjoittaa osoitteet suoraan selaimen ikkunaan. Mikäli on epävarma sähköpostin lähettäjästä, on varminta ottaa puhelimella yhteyttä yritykseen, jolta sähköposti näytti tulleen. Henkilökohtaisia tietoja ei tule syöttää sähköpostin kautta tulleiden pyyntöjen perusteella. Selaimen päivittäminen on tärkeimpiä keinoja paljastaa plishing – yritykset, Internet explorer tulisi olla vähintään versio 7 ja Firefox versio 2. Plishing -viestejä lähettäneen osoitteen voi lähettää antiplishing -organisaatiolle, joka pitää yllä mustaa listaa plishing -huijareista. [9]

Testatut ohjelmat

Mozilla Thunderbird

Mozilla Thunderbirdin roskapostin suodatus käyttää hyväkseen Bayesialaista suodatusta ja toimiikin todella hyvin. Thunderbirdille voi opettaa, minkälaiset sähköpostiviestit ovat roskapostia. Tällöin roskapostin suodatus tehostuu entisestään. [3]

Roskapostisuodin on sähköpostiohjelmaan sisään rakennettu eikä sen käyttöönotto vaadi uusien ohjelmien asentamista. Myös roskapostin suodattamisen päälle pistäminen on hyvin yksinkertaista. Joka varmasti on hyvä asia tavallista käyttäjää ajatellen.

Sen jälkeen kun roskapostisuodin on kytketty päälle, niin sen toiminta on automaattista. Roskapostisuotimelle voi halutessaan myös opettaa mitkä sähköpostit ovat roskapostia, mikäli suodin ei tunnista niitä automaattisesti. Mikäli suodin luulee oikeaa postia roskapostiksi, niin myös sen opettaminen on helppoa.

Roskaposti suotimen teho vaikuttaa todella hyvältä. Heti suotimen päälle laiton jälkeen ohjelma tunnisti noin 95% roskapostista ja jo muutaman viikon opettamisen jälkeen se tunnistaa jopa 99% roskapostista. Eikä juuri koskaan erehdy luulemaan oikeaa postia roskapostiksi.

Ohjeet kuinka Thunderbirdissä saadaan roskapostin suodatus kytkettyä päälle

Ohjeet löytyvät täältä.

Päätelmät

Roskaposti on todella suuri ongelma sähköpostijärjestelmässä. Kuitenkin roskapostia voidaan vähentää lainasäädännön ja erilaisten suodatusmenetelmien avulla.

Koska toimivan roskapostisuodattimen asentaminen on todella helppoa, ei roskapostin pitäisi olla käyttäjälle mikään ylitsepääsemätön ongelma. Kuitenkin monien sähköpostilaatikot ovat rajatun kokoisia ja sen täyttyminen roskapostista saattaa välillä olla pahakin ongelma.

Lähteet


Mallitehtävät Kommentit

-- TuireTalvitie? - 18 Sep 2009
Print version |  PDF  | History: r5 < r4 < r3 < r2 | 
Topic revision: r5 - 03 Nov 2009 - 21:10:18 - TuomasSyvaejaervi?
 

TUTWiki

Copyright © by the contributing authors. All material on this collaboration platform is the property of the contributing authors.
Ideas, requests, problems regarding TUTWiki? Send feedback