You are here: TUTWiki>Tietoturva/Tutkielmat>TyoLuettelo?>2005-35

Arttu Kalli (2005)

Kaupallinen roskapostinsuodatus työryhmäverkossa

Johdanto

Harjoitustyössä tutkitaan eri sovellus- ja toimintavaihtoehtoja Microsoft Exchange 2000 -version roskapostien suodatukseen. Työssä verrataan kaupallisia sovelluksia CloudMark Server Edition ja F-Secure Spam Control.

Työssä tutkitaan myös roskapostien ja mustien listojen korrelaatiota ja riittävyyttä roskapostien torjunnassa. Erityisen suurta huomiota kiinnitetään ´väärien´ hälytysten tuomalle työmäärälle roskapostien tulemisessa.

Ohjelmistoversiot

Cloudmark Server Edition

CloudMarkin SpamNetistä vertailtavana ja tutkittavana versiona oli Microsoft Exchange -integroitu Cloudmark Server Edition (CSE), joka perustuu saman valmistajan yhteisölliseen SpamNet-toteutukseen, jossa käyttäjät itse painavat viestit roskaposteiksi niiden tullessa koneelle. Tällöin viesteistä muodostetaan tiiviste, joka lähetetään CloudMarkin palvelimelle muiden käyttäjien hyödyksi. Cloudmarkin toteutus vertaa siten jokaisesta viestistä muodostamaansa tiivistettä ensin palvelimen tietohin ja vastaanottaa sieltä tiedon, onko viesti roskapostia.

Toiminta

Cloudmarkin SpamNet perustuu yhteisölliseen roskapostiluokitteluun. Roskapostit skannataan F-Securen tuotteen tavoin Microsoftin Messaging API -protokollan avulla Cloudmarkin serverillä. Alla oleva kuva havainnollistaa tilannetta hyvin.

cloudmark-flow2.gif

Kuvan mukaisesti posti saapuu Internetistä (1) ja se luetaan sisään Microsoftin Exchange palvelimeen. Palvelimessa viestit luetaan sisään ja CSE (Cloudmark Server Edition) kommunikoi (2) MAPI protokollan välityksellä Exchangen kanssa.

Seuraavassa vaiheessa viesteistä muodostetaan CSE:ssä yksilöllinen sormenjälki (3), jonka tietoja verrataan muiden ohjelmiston käyttäjien tallettamiin sormenjälkiin Cloudmarkin palvelimella (4). Luottamuksellisuus säilyy, koska CloudMarkille välitetään vain viestistä muodostettu tiiviste eikä itse viestiä tai tietoja sen sisällöstä. Tiivisteestä ei pystytä valmistamaan itse viestiä, mutta tiiviste on kuitenkin riittävän pitkä erottamaan viestit toisistaan luotettavasti. [1]

Menetelmä perustuu siten roskapostiviestien yleiselle ominaisuudelle, jossa ne ovat massalähetettyjä posteja, jotka suuri joukko ihmisistä vastaanottaa. Tällöin voidaan pelkän samanmuotoisuuden, sekä tiivisteen ansioista estää tiettyjen postien pääsy järjestelmään.

Jos viesti osoittautuu tiivisteen perusteella roskapostiksi, Cloudmarkin palvelin välittää tiedon CSE-palvelimelle (5), joka käsittelee viestin asetettujen arvojen perusteella eliminoiden roskapostin. [1]

CloudMark osaa myös ottaa vastaan palautetta loppukäyttäjiltä, jolloin SPAM-listat pysyvät jatkuvasti ajantasalla. Loppukäyttäjien sähköpostilaatikot lähettävät tiedot siitä, onko käyttäjä siirtänyt jonkin tietyn sähköpostin saapuneista posteista roskapostilaatikkoon vai onko kenties roskapostilaatikkoon mennyt virheellisesti viesti, joka ei oikeasti olekaan roskapostia. Näin CloudMarkin serverit pysyvät ajantasalla siitä, mitkä viestit ovat roskapostia ja mitkä eivät. Ominaisuus on hyvä esimerkiksi kauppojen mainoskirjeiden kohdalla. CloudMark saattaisi luokitella ne roskapostiksi, koska niitä lähetetään kymmeniätuhansia kappaleita. Mutta kun käyttäjä siirtää viestin roskapostilaatikosta saapuneiden viestien laatikkoon, CloudMarkille lähtee viesti, että kyseinen sähköposti ei olekkaan roskapostia. Tämän jälkeen viesti osataan lähettää seuraaville loppukäyttäjille oikeana sähköpostina roskapostin sijaan.

Asennus

Asennus tapahtuu helposti Windwos-tyylisellä asennusohjelmalla, jossa on selkeät graafiset käyttöliittymät. Asennusvaiheeseen ei liity mitään erikoisia tilanteita, vaan ohjeet ovat selkeät.

Hallinta

Hallintaa varten ohjelmassa on hallintakonsoli. Hallinta ja tasojen muutto on helppoa ohjelman avulla. Hallintakonsolilla voidaan valita, mitä roskapostiksi tunnnistetuille viesteille tehdään. Tapoja on kolme: joko viestit merkataan roskaposteiksi, ne siirretään omaan kansioonsa tai ne tuhotaan. Yleisin valinta lienee niiden siirtäminen omaan kansioonsa.

Hallintakonsoli antaa käyttäjän päättää, laitetaanko roskapostisuodatus päälle postilaatikkopohjaisesti. Tällä ominaisuudella voidaan valita, onko järkevää ostaa kaikille käyttäjille lisenssi ohjelmaan vai vain ylimmän johdon käyttöön. Samoin voi olla, että osalla käyttäjistä on vähemmän roskapostia kuin toisilla käyttäjillä.

Päivitykset ohjelmaan ja menetelmiiin

Päitykset tulevat keskitetyn palvelun kautta automaattisen jatkuvasti järjestelmään. Koska roskaposteja verrataan keskitetyn ohjelmistovalmistajan oman palvelimen kautta toisiinsa, eivät roskapostitunnistuspäivitykset ole tarpeellisia missään vaiheessa.

Ohjelmistopäivityksistä informoidaan lisenssinhaltijoita sähköpostitse. Tämä riittää ohjelmiston päivittämiseen, koska uusia ohjelmistoversioita ei tule kovinkaan usein, eli vain noin 2-6 versiota vuodessa. Automatisoidut päivitykset myös itse serverituotteeseen toki tekisivät ohjelmiston käytöstä yhä helpompaa.

Tarkkuus roskapostien poistamisessa

Tarkkuus vaikuttaa alkuvaiheessa todella hyvälle. On selkeästi havaittavissa, että virheellisesti roskapostiksi tunnistuneita viestejä tulee SpamNetillä todella vähän. Nerokkaaksi CloudMarkin järjestelmän tekee yhteisöllisyyden hyödyntäminen. Järjestelmän ihmisläheinen roskapostien merkkaus antaa testiaineistossa hyvän vaikutelman.

Ainoastaan markkinointikirjeitä, jotka olivat periaatteesa tilattuja ja aiheellisia, meni roskapostiksi ilman suurempaa tarvetta. Määrää voi kuitenkin pitää vähäisenä, erityisesti verrattaessa F-Securen vastaavaan tuotteeseen

Hinta

Tuote maksaa 50 käyttäjän verkkoon noin 1200 euroa vuodessa. Tämä hinta pitää sisällään kaikki päivitykset vuoden sykleissä sekä muut ylläpito- ja tukipalvelut, jotka CloudMark tarjoaa.

F-Secure Spam Control

F-Securen Spam Controlista oli vertailtavana uusin 6.0 versio, joka perustuu ainakin osittain avoimeen SpamAssassin-tuotteeseen. Ohjelmisto pisteyttää saamansa viestit ja merkkaa niiden otsikkotietoihin mahdolliset roskapostitunnukset. Perinteiseen pisteytystoteutukseen perustuva ohjelma on hallittavissa ja integroitavissa muihin yrityksen tuotteisiin ja vaatiikin alustakseen saman valmistajan F-Secure for Microsoft Exchange -toteutuksen. Spam Controlin toiminta ei ole riippuvainen viestin sisällöstä, formaatista tai kielestä

Toiminta

F-Securen Spam Control perustuu markkinoiden käytetyimpään, GPL-lisenssin alaiseen SpamAssassin-tuotteeseen. Tämä selviää tutkimalla ohjelman käynnistystietoja, sekä vertaamalla niitä SpamAssassinin tiedostoihin. Tiedostoista löytyy SpamAssassinin tekstejä. Havainto on sikäli mielenkiintoinen, ettei F-Secure puhu SpamAssassin-kytkennästä missään dokumentaatiossaan tai ulkoisessa markkinoinnissa.

SpamAssassin on avoimen lähdekoodin ohjelmisto, joka on alunperin kehitetty Linux-ympäristöön perl-ohjelmointikielellä. Ohjelmisto lukee sisääntulevan postin ja antaa sen sisällölle pisteitä tiettyjen sääntöjen mukaan. Kun pisteytys ylittää spam-viesteille tarkoitetun lukumäärän, merkataan viestin otsikkotietoihin spam-tunniste ja pistesaldo. [4]

F-Securen tuote sisältää modifikaatioita SpamAssassin-tekniikkaan. Spam Control sisältää mm. DNS-blacklist -palvelut [2]. Ne ovat internetissä toimivia listoja, joita ylläpidetään ilmoitusten perusteella. Jonkin koneen (ip-osoite) lähettäessä runsaasti roskapostia voidaan siitä tehdä ilmoitus jollekin roskapostilistaa ylläpitävälle taholle, esim. Open Relay Database [3]. Tällöin kone asetetaan roskapostin lähettäjäksi, ja se merkkautuu palveluun. Asiakkaat ja ohjelmat tarkistavat kaikkien sisään lähetettyjen viestien tilan ja oikeellisuuden dns-blacklist -palvelusta, koska viestien otsikkotiedot pitävät sisällään tiedon lähettävistä palvelimista. DNS-blacklist -tekniikkaa on kuvattu RFC:ssä 5782 [5].

Spam Control on kytkettynä Microsoftin Exchange palvelimeen MAPI-protokollan avulla CloudMarkin ohjelman tapaan. [2] Tällöin integraatio on saumaton, eikä vaikuta muutoin palvelimen toimintaan.

Asennus

Suurin ero SpamAssassinissa ja Spam Controlissa on hallinnassa sekä asennuksen helppoudessa. Asennus tapahtuu helposti Windows-tyylisellä asennusohjelmalla, jossa on selkeät graafiset käyttöliittymät. Mitään erikoisia asennuskikkailuita ei tarvita, kuten SpamAssassinin liittämisessä Windows-koneeseen.

Asennuksessa määritellään, kuinka hallinta tulee tapahtumaan. Tämä on sikäli hankalaa, että muutettaessa hallintametodeja joutuu koko ohjelmiston asentamaan uudestaan, koska muutoin ohjelmiston hallinta ei onnistu lainkaan.

Hallinta

Hallintaa varten ohjelmassa on hallintakonsoli. Ohjelmisto voidaan myös integroida hallittavaksi valmistajan keskitetyllä PolicyManager-hallintapalvelimella. Tällöin hallinta ei työllistä enempää järjestelmäylläpitäjiä kuin muidenkaan F-Securen tuotteiden hallinta ja ylläpito.

Hallinta ja tasojen muutto on helppoa ohjelman avulla. Ohjelmistossa on 10-kohtainen tasonsäädin pisteytykseen, jolla voidaan määrätä kuinka helposti viestejä merkataan roskaposteiksi.

fsspam.gif

Päivitykset

Päitykset tulevat keskitetyn palvelun kautta automaattisen päivitysohjelman avulla. Päivitykset kuuluvat tuotteen hintaan. Päivitykset tulevat automaattisesti samalla tavalla kuin muutoinkin F-Securen ohjelmistoihin.

Ohelmistopäivitykset tulevat myös F-Securen sivuille ladattaviksi ja niistä tulee ilmoitus sähköpostilla, kun ne ovat asennettavissa. Samassa viestissä toimitetaan myös lisenssiavaimet uusiin versioihin.

Tarkkuus roskapostien tunnistamisessa sekä virheellisesti tunnistetut viestit

Tarkkuus vaikuttaa varsin heikoille, vain noin 30% spam-viesteistä tunnistuu roskaposteiksi tasonsäädön ollessa 5. Jos roskapostiksi luokiteltavia viestejä säätää tiukemmaksi, alkaa normaaleita viestejä tunnistua roskapostiksi. Ohjelmiston toiminta ei siten vaikuttanut kovinkaan luotettavalle testiaineistolla mitattuna. F-Securen teknisen tuen mukaan ohjelmisto ei kaiketi sovellu testiaineiston kaltaiseen otantaan.

Ohjelmiston väärin tunnistamat viestit ovat nekin varsin heikosti hoidossa, koska ohjelmisto tunnistaa roskapostiksi paljon viestejä, jotka olisi pitänyt tunnistaa normaaleiksi posteiksi. Tämä aiheuttaa suuren ongelman, koska suuren roskapostimäärän joukosta ei voida millään tavalla saada haettua normaaleita posteja takaisin. Tästä syystä ohjelmiston roskapostisuodatus saattaa jäädä käyttämättä monissa yrityksissä.

Hinta

Tuote maksaa 50 käyttäjän verkkoon vain noin 400 euroa vuosi. Lisäksi tulee tosin olla F-Secure Antivirus for Windows Exchange, joka maksaa noin 1000 euroa. Hintaan sisältyvät kaikki päivitykset.

Testiympäristön kuvaus

Testiympäristönä on 56 postilaatikon Windows 2000 -palvelin SP4-korjauspaketilla, jossa ajetaan Microsoftin Exchange Standard Edition 2000 -palvelinta versio SP3. Palvelimeen asennettiin ensin F-Secure Spam Control, joka oli toiminnassa testijaksona 15 päivän ajan ja sitten CloudMarkin Server Edition 15 päivää.

Vertailuaikana palvelin oli normaalissa tuotantokäytössä siten, että posteja saapui 30 päivän testien aikana noin 18000 kappaletta, joista arviolta 12000 oli roskapostia. Roskapostin suhde yrityksessä oli siten noin 2/3 posteista, jota voi pitää yleisenä keskiarvona tällä hetkellä.

Vertailu

Tuotteet eroavat toisistaan jo teknisellä toteutuksella merkittävästi. Toinen tuotteista on yhteisöllisyyteen perustuva ratkaisu (SpamNet), kun toinen on ennalta määriteltyihin pisteytyssääntöihin perustuva (Spam Control). Tämä luo niiden toimintaan selvän eron, jonka vaikutuksia voi arvioida kyseisellä testimateriaalilla.

Spam Controlista puuttuu palvelinpään toteutus roskapostien siirtoon omaan kansioonsa. Tämä joudutaan toteuttamaan erikseen jokaiselle käyttäjälle Outlookin palvelinpään säännöllä (server side rule), jolloin voidaan siirtää tityllä kirjainsarjalla merkityt viestit omaan kansioonsa. Tämä on kuitenkin hankalaa isoissa ympäristöissä, joissa on useita kymmeniä käyttäjiä, jotka eivät välttämättä itse osaisi tehdä tätä.

Vertailu toteutettiin summittaisena 15 päivän kokeiluaikana, jolloin ohjelmat olivat täysin normaalissa käytössä. Vertailua varten ei ollut mahdollista käsitellä kaikkia postilaatikoita, vaan työn tuloksien arviointi perustui kahden postilaatikon sisällön tarkempaan analysointiin.

Vertailussa tärkeimmät kriteerit olivat roskapostin löytäminen ja väärien hälytysten minimointi. Roskapostien löytymistä tutkittiin käytön yhteydessä laskemalla läpi päässeet roskapostit. Samoin tarkkailemalla roskapostiksi merkattuja viestejä voitiin arvioida roskapostien vääriä hälytyksiä.

Roskapostien suodatuksessa F-Securen tuote tunnisti noin 60 % yrityksen roskaposteista. Tätä tulosta ei voida pitää kovinkaan kehuttavana, vaan se oli verrattain huono saavutus. Ajansäästö on kuitenkin 60 % parannuksellakin huomattava ottaen huomioon yrityksen viestiliikenteen.

CloudMarkin tuote poisti peräti 95 % roskaposteista. Jäljelle jääneistä roskaposteista ei ollut enää kovinkaan suurta haittaa. Myös käyttäjiltä tuli kehuvia kommentteja CloudMarkin asennuksen jälkeen. Työmäärä roskapostien läpiperkaukseen oli tuotteella selvästi F-Securea pienempi.

Spam Control toimi todella huonosti esimerkkiyrityksessä tarkistuksen luotettavuudessa. Virheitä sattui totaalisesti liikaa, jolloin roskapostiksi merkkaantui paljonkin asiakkaiden tilauksia ja muuta kirjeenvaihtoa asiakkaiden kanssa. Tästä syystä kukaan yrityksen käyttäjistä ei ohjannut roskaposteja omaan kansioonsa.

CSE:llä tarkistuksen luotettavuus oli huippuluokkaa esimerkkiaineistolla. Virheitä tapahtui esimerkkiaikana vain kerran, jolloin ongelman aiheutti seminaarikutsu, joka tosin voitaisiin toisissa tilanteissa luokitella myös roskapostiksi. Kaikkien käyttäjien asetukseksi määriteltiinkin roskapostien siirto automaattisesti omaan kansioonsa.

Päätelmät

Testijakson aikana voitiin havaita, että F-Securen Spam Control oli hiomattomampi tuote. Se ei soveltunut CloudMarkin tavoin testiympäristön kaltaisiin roskaposteihin. Toisaalta CloudMarkin tuote ei sisältänyt virusten torjuntaa sähköposteissa, jolloin se jouduttaisiin erikseen hankkimaan yritykseen.

Kuitenkin voidaan selvästi havaita, että CloudMarkin toteutuksen tuomat edut puoltavat sen valintaa esimerkkiorganisaation roskapostinsuodatukseen F-Securen Antivirus for Microsoft Exchange -toteutuksen rinnalle.

Isommissa ympäristöissä, kuten yritysten verkoissa, roskapostisuodatukselta vaaditaan erilaisia keinoja ja toteutustapoja kuin yksittäisten käyttäjien koneissa. Yrityksissä asennus tulee voida hoitaa keskitetysti, samoin kuin ohjelmiston säädöt ja muut osa-alueet. Tästä syystä palvelinpään toteutus on yritysverkkojen käyttämä ratkaisu roskapostin suodatuksessa.

Lähteet

  • [1] CloudMark. http://www.cloudmark.com.
  • [2] F-Securen. http://www.f-secure.com.
  • [3] Open Relay Database. http://www.ordb.org.
  • [4] SpamAssassin project. http://spamassassin.org.
  • [5] J. Levine: DNS Blacklists and Whitelists, RFC 5782, 2010.
  • Print version |  PDF  | History: r4 < r3 < r2 < r1 | 
    Topic revision: r4 - 31 Oct 2012 - 18:59:30 - JukkaKoskinen
     

    TUTWiki

    Copyright © by the contributing authors. All material on this collaboration platform is the property of the contributing authors.
    Ideas, requests, problems regarding TUTWiki? Send feedback