15.09.2006 - 13:50Sulamista
Juha Tiensyrjä - Ei kommentteja
Onpas täällä panOULUn parissa ehtinyt tapahtua paljon tässä noin kolmen viikon lomani aikana. Varmasti eniten työtä aiheuttanut tapahtuma on ollut ns. verkon "sulaminen", joka tapahtui ensimmäistä kertaa tiistaina 22.8. ja toisen kerran keskiviikkona 30.8., kun verkon osia yritettiin saada takaisin toimintaan.
"Sulaminen" oli sinänsä ihan mielenkiintoinen tapahtuma, vaikkakaan kenenkään paikallaolleen mielestä ei erityisen hauska. Homma alkoi, kuin tuona kyseisenä tiistaina yliopistolla huomattiin IGMP-liikenteen lisääntyneen verkossa huomattavasti. Ongelma näytti tutkimisen jälkeen tulevan kaupungin osasta panOULU-verkkoa, mutta kovin pitkään asiaa ei ehditty tutkia - Oulun Tietotekniikka kun joutui ottamaan kaupungin osuuden panOULUsta irti muusta verkosta, jotta liikenne ei olisi häirinnyt kaikkea muutakin toimintaa. Keskiviikkona 23.8. asiaa alettiin tutkia sitten oikein kunnolla, ja tällöin kuultiin että kaupungin asentamat noin 70 uutta Ciscon 1242 -tyyppistä tukiasemaa lähettivät kukin niin paljon liikennettä verkkoon, että kytkimet olivat aivan tukossa. Jotta panOULU-verkosta generoitunut liikenne ei olisi hajottanut koko kaupungin verkkoa, piti OTT:n sulkea kaikki panOULU-portit pois kaikista kytkimistä.
Porukalla lähdimme tutkimaan yhtä vianaiheuttajaksi epäiltyä paikkaa, kaupunginarkistoa, jonne oli juuri tuolloin tiistaina asennettu kaksi tukiasemaa. Mitään erikoista liikennettä ei siellä kuitenkaan näkynyt, joten ymmällämme jatkoimme tutkimista. Samana päivänä kävi ilmi sellainen vika kyseisten pakasta vedettyjen Ciscojen IOS-versiossa, että tukiasemat vastaavat IGMP Snooping -nimisen ominaisuuden ansiosta tietynmuotoisiin IGMP-paketteihin. Tämä IGMP-paketti on toki taas tämän tietyn muotoinen, ja kun jokainen 70 tukiasemasta vastasi ensimmäiseen pakettiin, tuli jokaiselle tukiasemalle 69 uutta pakettia vastattavaksi. Tätä pallottelua jatkui, kunnes liikennettä oli niin paljon, että kaupungin verkko meni täysin tukkoon.
Kaupungin osuutta panOULU-verkosta yritettiin liittää takaisin muuhun verkkoon keskiviikkona 30.8., mutta valitettavasti muutamassa paikassa olleet "tyhmiin" kytkimiin kiinnitetyt tukiasemat jatkoivat IGMP-pakettien pallottelua edestakaisin vielä "fiksujen" kytkimien porttien sulkemisen jälkeenkin. Tämä pakettitulva levisi taas koko verkkoon, ja kaupungin osuus oli pakko toistamiseen sulkea pois muusta verkosta.
Onneksi Cisco oli kuitenkin jo julkaissut korjauspäivityksen 1242-sarjalle. Aluksi firma oli ilmeisesti todennut: "Tuohan on ihan normaalia käytöstä, ei sitä tarvitse korjata", mutta muutaman suuremman verkon sulamisen jälkeen oli asia korjattu. Yksitellen tukiasemia ylös nostellen tukiasemien firmwaret päivitettiinkin, ja nyt on taas suurin osa kaupungin tukiasemista toiminnassa. Eivät kuitenkaan kaikki, sillä joitakin osia verkosta ei nosteta ennen kuin mahdollisesti samaan tapaan haavoittuvat kytkimet päivitetään uudempiin.
Nyt siis pitäisi uusienkin tukiasemien olla turvassa tällaiselta IGMP-myräkältä (vanhathan sitä olivat jo, sillä niistä puuttuu kokonaan IGMP Snooping -ominaisuus), mutta koputanpas puuta. Olisipa kiva, jos verkkoon ei tällaisia vikoja enää tulisi, mutta koskaanhan ei voi näitä asioita tietää etukäteen.
Ei kommentteja: