Antti Leinonen:
Roskapostin suodatus
Johdanto
Harjoitustyössäni käsittelen roskapostia yleiseisti sekä sen suodatusmenetelmiä.
Lisäksi kokeilin, kuinka helppoa on roskapostisuodattimen asentaminen ja konfigurointi. Ohjelmaksi valitsin Mozilla Thunderbird:n koska se on laajasti käytössä ja siinä on sisään rakennettu roskapostisuodatin.
Yleistä
Roskaposti
Roskaposti on sähköpostin avulla tapahtuvaa mainosten lähettämistä ilman vastaanottajan suostumusta. Roskapostit tulevat suurimmaksi osaksi ulkomailta ja usein myös lähettäjän sähköpostiosoite sekä IP osoite on väärennetty.
MAPS (Mail Abuse Prevention System) ja Spamhaus Project (Spamhaus 2004) määrittelevät roskapostin seuraavasti: Roskapostia on sähköpostiviesti, jonka sisältö ei ole riippuvainen henkilöstä vaan on yhtä pätevä lähetettynä joukolle ihmisiä. Toisaalta myös viesti, jota vastaanottaja ei ole erikseen tai tarkoituksella pyytänyt luetaan roskapostiksi, samoin viesti jossa lähettäjä väittää antavansa vastaanottajalle suhteettoman suuren edun tai tarjouksen. [6]
Roskapostin ehkä suurin tunnusmerkki on sen ei-haluttavuus. Roskapostiksi siis lasketaan viestit, joita vastaanottaja ei halua ja joihin vastaanottaja ei ole antanut lupaa. Tämä ei tarkoita kuitenkaan sitä, että kaikki ikävät viestit, kuten laskut olisivat roskapostia. Toinen roskapostin piirre on lähettäjän ja vastaanottajan yhteys tai oikeastaan sen puuttuminen. [6]
Suomessa roskapostin lähettäminen on kielletty
kuluttajasuojalain ja
yksityisyyden suojasta televiestinnässä ja teletoiminnan tietoturvasta säädetyn lain nojalla. Vain yrityksille lähetyt mainokset eivät tarvitse vastaanottajan lupaa. [7]
Esimerkki roskapostin otsikoista (alkuperäinen kuva
Wikipediasta).
Opt-out, Opt-in ja Double opt-in periaatteet
On kolmea eri käytäntöä mainostajien ja viestien mainostajien välille siitä, milloin mainosviestejä voidaan lähettää. Näitä käytäntöjä kutsutaan Opt-out, Opt-in ja Double opt-in periaatteiksi. [6]
Opt-out on näistä löyhin ja mainostajien kannattama periaate. Siinä mainoksia saadaan lähettää kenelle vain ja koska vain. Usein viestit voidaan kuitenkin kieltää, eli vastaanottaja voi pyytää poistamaan osoitteensa sähköpostilistalta. Tässä on kuitenkin se ongelma, että nykyään vastaamalla johonkin roskapostiviestiin saa yleensä vain lisää roskapostia. [6]
Opt-in periaate vaatii, että käyttäjältä pyydetään ensin lupa mainosten lähettämiseen. Eli siis käytännössä rastia nettikilpailussa, jossa annetaan lupa mainosten lähettämiseen. Myös Opt-in:ssä käyttäjällä on mahdollisuus pyytää itsensä poistamista sähköpostilistalta. [6]
Double opt-in periaate on lähellä Opt-in periaatetta. Erona siinä on vain, että käyttäjälle lähetetään vielä yksi varmistusviesti ennen mainosten lähettämistä. Tällä varmistetaan, että ketään ei voida kiusata "väärentämällä" sähköpostiosoite johonkin kilpailuun. [6]
Sähköposti on herkkä väärinkäytöksille
Sähköpostijärjestelmä on erittäin herkkä väärinkäytöksille, koska kaikki voivat lähettää henkilökohtaisia viestejä kenelle tahansa todella helposti ja ilmaiseksi (tai hyvin edullisesti). Euroopan komission mukaan roskaposti maksaa vastaanottajille noin kymmenen miljardia euroa vuodessa. Jopa miljoonien sähköpostimainosten lähettäminen on helppoa. Mainostajan ei edes kannata kohdentaa markkinointia, sillä samalla vaivalla voidaan viesti lähettää kaikkiin hallussa oleviin osoitteisiin. [4]
Roskapostilta suojautuminen
Roskapostilta voi suojautua monilla eri tavoilla. Internet-operaattorit voivat käyttää keskitettyjä ratkaisuja, joissa roskaposteja suodatetaan jo sähköpostipalvelimilla. Myös yksityiselle käyttäjälle on tarjolla erillisiä ohjelmia roskapostin suodattamiseen, jotka voidaan asentaa joko osaksi sähköpostiohjelmaa tai erilliseksi ohjelmaksi [9], kuten esimerkiksi
Spamihilator. Lisäksi tarjolla on yrityskäyttöön tarkoitettuja ohjelmia, kuten
MessageLabsin? kaupallinen
Email Anti-Spam. Sitä voi käyttää myös Image Control Service -palvelun kanssa, joka auttaa epäasiallisten kuvien suodatuksessa [10].
Paras tapa välttää roskapostia on ehkä ennaltaehkäisy. Koska roskapostittajat keräävät sähköpostiosoitteita uutisryhmistä ja seittisivuilta, kannattaa niille oman sähköpostiosoitteensa antamista välttää. Oma sähköpostiosoite voi kuitenkin joutua roskapostittajan tietoon esimerkiksi tietomurron yhteydessä, jolloin välttyäkseen roskapostilta täytyy käyttää jonkinlaista roskapostisuodatinta.
Roskapostin suodatus menetelmät
Roskapostia on mahdollista suodattaa monilla erilaisilla keinoilla. Hyvän suodattimen ominaisuuksia ovat mm. [5]:
- Suodatin ei estä kuin roskaposti viestien vastaanottamisen.
- Suodatin estää roskapostien vastaanottamisen.
- Suodatin vaikeuttaa mahdollisimman vähän tavallista viestintää (viestintä voi esimerkiksi vaikeutua kohtuuttoman paljon, jos vastaanottajalla käytössä on vahvistuspyyntöviestejä lähettävä suodatin).
- Suodatin toimii luotettavasti.
- Suodatin ei estä sähköpostiviestin luetettavuutta.
- Suodatin ei vaaranna viestinnän luottamuksellisuutta.
Avainsanat
Roskapostisuodattamista voidaan tehdä monella tapaa.
Avainsanoihin perustuvat menetelmät ovat yksinkertaisimpia. Niissä tutkitaan koko viesti ja etsitään tiettyjä avainsanoja kuten viagara. Ongelmana tässä on se, että sanojen kirjoitusasua on helppo muuttaa, jolloin tietokone ei enää tunnista sanaa. Esimerkiksi ´v14gara´ sanaa tietokone ei enää tunnista, vaikka ihminen yhdistääkin sen heti oikeaan asiayhteyteen. Toinen suuri ongelma on se, että oikeat viestit voidaan määritellä roskapostiksi, jos niissä esiintyy roskapostiavainsanoja. [1] ja [7]
Heuristinen skannaus
Yksi tapa roskapostin suodatukseen on
heuristinen skannaus. Tässä tekniikassa viestin otsikkoa ja itse viestiä tutkitaan erilaisin tekniikoin. Esimerkiksi tutkitaan viestin kirjoitusasua, kopio-kenttää tai sen sisältämää HTML-koodia. Saatujen tulosten pohjalta viesti pisteytetään. Jos se saa tarpeeksi pisteitä, se luokitellaan roskapostiksi. Yksi ongelma tässä on se, että ohjelmalle pitää ensin opettaa, mitkä ja millaiset viestit ovat roskapostia, jotta ohjelma tulisi tarkemmaksi. [7]
Mustat listat
Yksi suosittu ja helppo tapa suodattaa roskaposteja ovat
mustat listat. Ne ovat luetteloita jotka sisältävät tietoja esimerkiksi tunnetuista roskapostittajista tai avoimista välityspalvelimista, joita roskapostittajat hyödyntävät roskapostin lähetyksessä. Melkein kaikissa sähköpostipalvelimissa on sisäänrakennettu mahdollisuus käyttää pääsylistoja. [7]
Pääsylistat voivat olla kiinteitä, mutta niiden toiminta ei ole kovin luotettavaa, koska roskapostit tulevat usein väärennetyistä ositteista. Useimmiten käytetäänkin DNS-pohjaisia listoja. Tällöin sähköpostipalvelin tekee kyselyn DNS-palvelimelle ja hylkää listalta löytyvät postit. [7]
Bayesialainen suodatus
Yksi uusimmista menetelmistä on niin sanottu
Bayesialainen suodatus. Se on hiukan avainsanoihin perustuvaa suodatusta hienostuneempi. Se perustuu sanojen esiintymien tilastolliseen analyysiin. Sanoilla on tietty esiintymistodennäköisyys. Kun käyttäjä kertoo, mikä viesti luokitellaan roskapostiksi ja mikä ei, suodatin laskee, kuinka yleistä kyseisten sanojen esiintyminen on kyseisen tyyppisessä viestissä. Kun suodatin on oppinut tämän, voidaan erottelu roskapostin ja tavallisen postin välillä tehdä. Erottelu tapahtuu käsittelemällä saadun viestin sanat erikseen. Ne pisteytetään yksitellen Bayesin teoreeman mukaisesti. Tämän jälkeen saadut pisteet lasketaan yhteen tietyn kaavan mukaisesti (
lisätietoa?) ja saadaan todennäköisyys sille, onko viesti roskapostia . Bayes-suodatin toimii kohtalaisen hyvin, se tunnistaa jopa 90% roskapostista. Tällainen bayes-suodatin löytyy muun muassa Mozilla Thundbird sähköpostiohjelmasta. Servereillä käytettävistä spammifiltereistä
SpamAssasin? ja ASSP hyödyntävät myös Bayesialaista suodatusta. [2] ja [8]
Testatut ohjelmat
Mozilla Thunderbird
Mozilla Thunderbirdin roskapostin suodatus käyttää hyväkseen Bayesialaista suodatusta ja toimiikin todella hyvin. Thunderbirdille voi opettaa, minkälaiset sähköpostiviestit ovat roskapostia. Tällöin roskapostin suodatus tehostuu entisestään. [3]
Roskapostisuodin on sähköpostiohjelmaan sisään rakennettu eikä sen käyttöönotto vaadi uusien ohjelmien asentamista. Myös roskapostin suodattamisen päälle pistäminen on hyvin yksinkertaista. Joka varmasti on hyvä asia tavallista käyttäjää ajatellen.
Roskaposti suotimen teho vaikutti todella hyvältä. Oman kokemuksen mukaan Mozilla Thunderbird tunnisti jopa 90% roskapostista. Ohjeet, kuinka Thunderbirdissä saadaan roskapostin suodatus kytkettyä päälle löytyy
täältä.
F-Secure Internet Security 2009
F-Securella on oma roskapostin hallintajärjestelmä, jota voidaan käyttää mainospostin suodattamiseen. Roskapostin suodatintila voidaan valita kolmesta eri vaihtoehdosta: tiukka, keskitaso (oletus) ja väljä. Suodatustaso määrittää suodatuksen tehokkuuden. Tämän lisäksi F-Secure mahdollistaa Internet-kyselyiden käytön. Jos tämä optio on valittuna, niin sähköpostia lähettäneen palvelimen IP-osoitetta verrataan käytönaikaiseen mustaan listaan. Musta lista sisältää tiedot tunnetuista roskapostiviestejä lähettävistä palvelimista.
Kun roskaposti havaitaan, se siirretään automaattisesti roskaposti- tai verkkohuijauskansioon riippuen käytettävästä suodatustasosta. Toisinaan käyttäjä saattaa saada roskapostia tai ei-roskapostia sisältävät viestit tulkitaan roskapostiksi. F-Securessa voi erikseen sallia / kieltää viestit tietystä sähköpostiosoitteesta.
Päätelmät
Roskaposti on todella suuri ongelma sähköpostijärjestelmässä. Kuitenkin roskapostia voidaan vähentää lainasäädännön ja erilaisten suodatusmenetelmien avulla.
Koska toimivan roskapostisuodattimen asentaminen on todella helppoa, ei roskapostin pitäisi olla käyttäjälle mikään ylitsepääsemätön ongelma. Kuitenkin monien sähköpostilaatikot ovat rajatun kokoisia ja sen täyttyminen roskapostista saattaa välillä olla pahakin ongelma.
Lähteet
--
JariEerola? - 11 Nov 2009