Zone klienditugi ehk kuidas võimas tosin aitab 200 000 kasutajat

Mina olen Kaarel ja kirjutan seekordses blogiartiklis Zone klienditoest ning sellest, kuidas ka sina saaksid oma ettevõtte kliendituge efektiivsemaks muuta. Taustast nii palju, et olen tegelenud Zone klienditoega varsti juba 11 aastat, sellest enam kui neli aastat klienditoe juhatajana. Selle aja jooksul olen tegelenud kümnete tuhandete klientide pöördumistega, suurklientide haldusega, aktiivse müügiga ja olen ka ise olnud kliendi rollis paljudele projektidele Zone poolt.

Zone klienditugi peaaegu täies koosseisus. Pildilt on puudu vaid Kati 🙂 Postituse autor Kaarel on vasakul üleval nurgas.

Numbrid

Selleks, et Zone tänase klienditoe efektiivsusest ning töömahust mingitki perspektiivi saada, tõstan esile mõned numbrid:

  • 44 000+ virtuaalserverit
  • 125 000+ domeeni
  • 1000+ VPS serverit
  • 200+ privaatserverit
  • 200 000+ e-posti kontot
  • 45 000+ aktiivset veebimeili maili kasutajat

Klientide pöördumisi aastas:

  • 45 000+ kirja
  • 20 000+ telefonikõne (keskmine reageerimiskiirus 10 sekundit, kõne pikkus ca 4 min)
  • 10 000+ live tšätti (keskmine vastuse aeg 1:30 min, kestvus ca 16 minutit)

Palju meid on ja kuidas me sellega hakkama saame?

Zone klienditoe tiimis on täna 12 inimest, kes pakuvad meie klientidele tuge eesti, inglise, vene ja soome keeles. Klienditugi haldab lisaks telefonidele, kirjadele ja tšätile ka veebipõhist abilehekülge help.zone.eu, kus on neljas keeles avaldatud üle 400 erineva artikli. Kindlasti ei saa mainimata jätta klienditoega tihedas koostöös olevat teise taseme tehnilist tuge ja raamatupidamist, kes moodustavad lisaks veel viiest inimesest koosneva lisaväe.

Siinkohal võiks muidugi selle kirjutise lõpetada ja nentida lihtsalt fakti, et Zones on kõige profimad klienditeenindajad, aga tegelikult kirjutan ma sellest ikka veidi põhjalikumalt edasi.

Investeerime inimestesse

Meie poolt pakutavate toodete arv on suur, väga tehniline ja paljuski spetsiifiline just Zonele. Just sel põhjusel on eduka klienditeenindaja karjääri vundamendiks tavapärasest pikem ja põhjalikum ettevalmistusaeg. Uuel klienditeenindajal kulub reeglina kuni aasta, et oma efektiivsusega jõuda järele vanematele olijatele. See on vajalik aeg, mille jooksul investeerime põhjalikult uue inimese ettevalmistusse, toetame tema arengut ning just seetõttu kannab see alati ka vilja.

Kuna meie tööd mõjutab ja suunab suuresti statistika, siis hoiame sellel aktiivselt silma peal ning üritame mõelda vähemalt kaks aastat ette: kui numbrite trendid näitavad, et klienditoe töötajate koormus hakkab suurenema, siis otsime uue inimese oma tiimi pigem varem kui hilja.

Investeerime tootesse ja protsessi

2021. aastal tõusis Zone klientide arv ligi 10 protsenti. Samal ajal langes klienditoe koormus ligi 15 protsenti. Koormuse langemise taga on kindlasti kombinatsioon kolmest olulisest asjast:

1) Tõhus kasutajaliides ja läbimõeldud klienditeekonnad

Siinkohal otsene shout-out Zone arendusmeeskonnale, kes teeb päriselt läbimõeldud ja -testitud otsuseid! Kindlasti tahan suuresti tänada ka kõiki meie kliente, sest me päriselt kuulame teie arvamusi ja konstruktiivne tagasiside läheb alati arvesse! 🙂 Sest mida vähem küsimusi tekib teenuste tellimisel või kasutamisel, seda parem kogemus see kliendile on ja sel põhjusel jääb klienditeenindusele rohkem aega tegeleda sisulisemate küsimustega.

2) Suurem rõhk koormust tekitavate probleemide lahendamisel

Meil on olemas praktiliselt reaalajas ülevaade sellest, milliste küsimustega meie klienditoe poole kõige sagedamini pöördutakse. See võimaldab investeerida meie käsutuses olevat aega kõige optimaalsemalt ja tegeleda näiteks nö low hanging fruit’side korjamisega – need on asjad, mis tekitavad ebaproportsionaalselt palju küsimusi, aga mis tegelikult on kergesti lahendatavad. Mõnikord piisab näiteks kasvõi ühe sõna asendamisest kasutajaliideses või kirjade sisse otselingi lisamisest ja klientide päringud „põletava” teema kohta kaovad.

3) Pidevalt uuenev avalik abikeskkond

Zone avaliku abilehekülje help.zone.eu haldamine on kõikide meie klienditoe liikmete tööülesanne. See tähendab, et enimlevinud artiklid uuenevad pidevalt ja ilmnenud vigade puhul jõuavad parandused üles minutitega. Samuti on võimalik klienditoel kirjutada uusi artikleid valmis nii kiiresti kui sõrmed trükkida jõuavad, nii et üleöö tekkinud populaarsed küsimused saaksid alati HelpZones lahendatud.

Õiged tööriistad

Nii palju, kui mina ajaloost mäletan, siis on Zones alati olnud kasutusel klientide päringute töötlemiseks mingitsorti haldustööriist – olgu see siis kas meie endi arendatud või väljast sisse ostetud. Ilma niiöelda shared inbox lahenduseta ei ole võimalik mitme inimesega tööd teha, eriti arvestades klientide kasvavaid ootuseid meie klienditoele.

2021. aasta lõpus võttis meie klienditugi ette esmapilgul väga hirmutavana tunduva teekonna: vahetada välja kõik (ehk mitte ainult üks vaid 100%!) klienditoe kanalite haldamise tööriistad. Nimelt otsustasime üle minna Zendesk Suite platvormile ning tänu sellele on meil nüüd kasutusel täiesti päris ehtne omnichannel kliendihaldustarkvara. See tähendab, et klienditeenindaja näeb ühes aknas kõiki klienditoe kanaleid: telefoni, kirju, live tšätti, Facebooki, Twitterit ja mida iganes kanalit veel, mida me soovime tulevikus oma kasutajatele pakkuda.

Omnichannel lahenduse suurimaks eeliseks on see, et me näeme alati kliendi ajalugu. Kõnele vastates on silmapilkselt võimalik üles leida klienti puudutavad andmed või nende andmete puudumine, mis tähendab, et tegemist on uue kliendiga :). Samuti on tänu sellele ära kadunud pidev tööjaama akende vahel klõpsimine, mis vähendab olulisel määral potentsiaalseid vigu ning hoiab kokku aega. Zendeskile kolimise ja haldamise teenuse koos litsentsidega tellisime läbi Datafoxi, kelle abita poleks see projekt ilmselt mitte kuhugi jõudnud.

Jah, Zendeski saab ka täitsa ise otse tootja käest tellida & osta, kuid Datafox omab Eestis juba viie aasta pikkust kogemust Zendeski toodete ja nende erinevate integratsioonidega, tänu millele suudavad nad pakkuda ääretult profesionaalset teenust. Nii on võimalik potentsiaalselt kokku hoida kümneid või isegi sadu tunde, mis kuluvad erinevate vigade otsimisele või suhtlemisele Zendeskiga.

Kokkuvõtteks

Võin julgelt öelda, et meie klienditugi on aastatega karastunud väga tõhusalt toimivaks organismiks Zone ökosüsteemis ning me tuleme toime mistahes väljakutsetega, mis meie teenuste kasutamist puudutavad. Areng kui protsess on aga pidev ning selle käigus õpime ja uueneme pidevalt ka meie. Tunnistan, et vahel harva tuleb meilgi ette komistamisi, kuid tänu nendele ja suures osas ka teie tagasisidele, kallid kliendid, saame tänuväärseid ja hindamatuid õppetunde, mis aitavad meil nii kliendi teenindamise protsessi kui ka kogemust veelgi paremaks lihvida.

Eriline .EE: kodumaise domeeni lugu ehk 30 aastat ilu ja valu

3. juuni 1992. Noor Eesti Vabariik astub oma esimesi samme iseseisvuse raskel kuid joovastaval rajal. Poes kehtib viimaseid nädalaid veel rubla ning loetud päevade pärast avab oma väravad tuliste üheksakümnendate anti-sümboliks kujunev metalliekspordifirma. Raadioeetrit on juba paar kuud valitsenud Ivar Vigla palaga „Soome” ning esimest korda üle aastakümnete astub Kadriorus pallimurule taas Eesti jalkakoondis. Ajalooline jalkamäng Sloveeniaga jääb 1-1 viiki…

See, et samal päeval sünnib .EE domeen, jääb kogu selle kireva virr-varri varju, sest ilmselt pole meedias tol hetkel kedagi, kes sellest sündmusest üldse midagi kirjutada taipaks. Ajakirjandus keskendub hoopiski tolleks hetkeks ummikusse jooksnud Eesti-Vene läbirääkimistele, mis siiski mitte väga kauges tulevikus päädib Vene vägede väljaviimisega Eestist.

Sõna „Internet”, mis täna on meie huultele ja näppudesse kulunud iseenesestmõistetavusena, kõlaks tolleaegsetele kõrvadele millegi esoteerilise, kauge ja suisa hirmutavana. Ajal, mil sõnumite saatmine kohmakate mobiiltelefonidega polnud isegi veel teemaks, helistati teineteisele lauatelefonidega, popimad ja jõukamad saatsid omavahel fakse ja vöödel piiksusid esimesed piiparid.

Kõigele vaatamata leidub tehnoloogia- ja teadussektoris entusiastlikke inimesi, kes omades visiooni, panevad veereva lumepallina Eestis tööle esimesed püsiühendused võrgus. Selle taga on Küberneetika Instituut ning Keemilise ja Bioloogilise Füüsika Instituut (KBFI), mida esindavad isa-poja tandem Endel ja Jaak Lippmaa. Just neil õnnestubki Interneti katusorganisatsioonilt Internet Assigned Numbers Authority (IANA) välja võidelda Eesti Vabariigi nimel .EE tippdomeen. Algab uus ajastu, algab Eesti Interneti ajastu.

.EE domeeni juurnimeserver pannakse käima siiski juulis 1992, mil hakkavad tööle ka esimesed domeenid nagu kbfi.ee, postimees.ee, ebc.ee, org.ee jt.

Nagu kõige muuga tol tormilisel ajal, on ka .EE domeeni esimesed sammud piinarikkad. Seda teemat jäävad veel pikkadeks aastateks saatma tulised vaidlused ja vastasseisud, piike lennutatakse karmide reeglite suunas: domeen on küll tasuta, kuid juriidilised isikud said esitada taotluse vaid ühele .EE domeenile, eraisikud pidid sellest aga suu puhtaks pühkima ja leppima PRI.EE kujulise domeeninimega.

Ehkki domeenidega seotud sisulise igapäevatööga tegeleb riigieelarve toel Eesti Hariduse ja Teaduse Andmesidevõrk EENet, on kodumaise tippdomeeni ametlikuks administraatoriks jätkuvalt eraisikuna akadeemik Endel Lippmaa. Netikogukond peab seda liialt autokraatlikuks ja nõuab ühe häälekamalt muutusi. Pööre saabub ajal, mil .EE domeen on saanud 18-aastaseks: 5. juulil 2010 toimub kauaoodatud ja pikalt ette valmistatud domeenireform ning domeeniregistrit hakkab haldama Eesti Interneti Sihtasutus.

Selleks hetkeks on on registreeritud kokku 75 000 .EE domeeni.

Uue korra aluseks võetakse mujal maailmas levinud ja hästitoimiv kahetasemeline mudel, kus registreerijaid hakkavad teenindama registripidajad. Teiste seas ka 1999. aasta detsembris loodud Zone.ee, kes omab ulatuslikku kogemust .EU domeeni käivitamisega ja mille registripidaja ta aastast 2005 on. Uus kord domeenide arvule enam piiranguid ei sea ning .EE domeeni saavad edaspidi registreerida ka eraisikud, lisaks laieneb registreerimise võimalus ka välismaalastele.

Domeenireformile järgnenud esimesed aastad on taaskord konarlikud: vaieldakse sihtasutuse töö juhtimise, tegevuse sihipärasuse ning hinnastuse teemadel. Kodumaisel domeenil on nimelt nüüd hinnasilt, mis leiab nii pooldajaid kui ka vastaseid. Aja jooksul need vaidlused siiski vaibuvad ning asenduvad kogukonna kaasatuse tõttu asjaliku debati ja diskussiooniga. Zonel on olnud siin kaasa rääkida suur roll, tänu millle usaldavad teda tervelt pooled .EE domeeni registreerijad.

Juuni 2022. Meie armas kodumaine domeen saab 30-aastaseks. Võib julgelt öelda, et aastatega on asjad paika loksunud ning nii vanus kui ka läbielatud kogemused on andnud meie domeenile üksjagu tarkust ja stabiilsust. Selle kinnituseks on tema jätkuv populaarsus: nimelt on loenduris täna juba enam kui 151 000 registreeritud .EE domeeni.

Palju õnne, .EE!

P.S. Vahetult peale selle blogiposti avaldamist saabus kirjutaja postkasti igati asjakohane ning .EE domeeni ajalugu veelgi enam avardav kommentaar toonaste protsessidega vahetult seotud spetsialistilt. Avaldame tema nõusolekul selle alljärgnevalt.

“.EE teekond ei olnud sugugi mitte ühesammuline. Esimene samm oli veel ajal, kui Eesti oli Nõukogude Liidu koosseisus, kui tekkisid aadressid lõpuga xxx@yy.ew.su. See oli veel UUCP e-maili ja moodemitega helistamise ajastu.

Kui tekkis püsiühendus, siis kuidagi ilmselt suht automaatselt Jaak Lippmaa pakkus John Postelile, et nüüd oleks aeg registreerida ka Eesti riigile tippdomeen. Et registreeriks siis selle .EW top level domeenina ära. John Postel registreeriski.

Järgmise nädala-paari jooksul, kui veidi rohkem inimesi sellega kokku puutus, tuli neile meelde, et top-level domeenid on ikkagi mingi ISO ALPHA-2 standardi alusel välja mõeldud ning peaks vastama selle standardi järgi maa koodidele. Ja nii umbes kaks nädalat peale esimest Eesti top-level domeeni registreerimist muudetigi see ekslik .EW ära .EE-ks.”

Millele tähelepanu pöörata kui ostad domeeni oksjonilt?

Domeeni ost on nagu investeering. Enne ostmist on oluline läbi viia põhjalik uuring ja kaaluda, kas osta uus või juba olemasolev domeen.

Sageli soovivad inimesed uut domeeninime, millel pole varasemat ajalugu. Siiski on juhtumeid, kus vana domeeni ostmine on kasulikum kui uus, eriti kui domeen on Google’i otsimootoris heal positsioonil. Vana domeen on aja jooksul autoriteeti üles ehitanud ja selle olemasolevad seosed võivad kasuks tulla.

Kuidas domeenid jõuavad oksjonile? 

Domeenioksjonile lähevad kõik .ee registrisüsteemist vabanevad domeenid. Näiteks kui .ee domeen aegub, siis on selle senisel kasutajal võimalik 45 järgmise päeva jooksul oma domeeni registreeringut jätkata. Kui need 45 päeva on möödunud ning senine kasutaja registreeringut jätkanud pole, läheb kustunud domeen 24 tundi vältavale oksjonile, kus kõigil oksjonil osalejatel on võimalik soetada sellele domeenile registreerimise eelisõigus alghinnaga 5 eurot (lisandub käibemaks).

Kuidas osta?

Oksjonitüüp on pimeoksjon, mis tähendab seda, et pakkumiste info pole avalik. Oksjon kestab vahemikus kell 00:00-23:59. Oksjoni võitja saab pärast tasumist oma valdusesse domeeni reserveerimiskoodi, millega saab ta vabalt valitud registripidaja juures vormistada võidetud domeeni registreeringu. .ee domeenide nimekiri uueneb lehel igapäevaselt, seega tasub lehel pilk peal hoida ning kohe kui midagi silma jääb, tegutseda. Oksjonil pakutavate domeenid leiab siit https://www.zone.ee/et/domeeni-registreerimine/ee-domeeni-oksjon/. Domeeni, mis oksjonil kaubaks ei lähe, saab hiljem registripidajate juurest osta tavahinnaga.

Mille järgi otsustada, kas osta aegunud domeen?

  1. Domeeninimi on sinu ettevõtmise jaoks asjakohane.  Vabanevate domeenide seast võib igaüks endale just täpselt tema äri või tegevuse jaoks kõige sobivama leida. Kusjuures pakkumiste seas on teinekord tõelisi pärleid – selgeid, lihtsaid ja eristuvaid eestikeelseid sõnu või mõisteid, mis annavad uuele omanikule eelduse heaks stardiks, olgu tegemist siis e-poe või muud tüüpi lehega. Domeeni taaskasutades saate selle suunata 301 redirectiga enda olemasolevale veebilehele. Mis on 301 redirect? Lihtsustatult ütleb 301 ümbersuunamine brauserile: „See veebileht on jäädavalt kolinud. See on uus asukoht ja me ei kavatse seda tagasi kolida. ” Sellele vastab brauser: „Muidugi! Saadan kasutaja sinna kohe!
  2. Domeeni ajalugu  – kuigi domeen on aegunud, siis alati jäävad maha jäljed, mis võimaldavad selle ajalugu uurida. Kellele on varem domeen kuulunud?  Mis eesmärgil domeeni on kasutatud? Mis tüüpi veebileht sellel domeenil enne eksisteeris? Välja tuleks uurida ega Google ei ole domeeni varem karistanud.
  3. Domeen võib aidata SEO-d tõhustada. Vanematel domeenidel on üldiselt rohkem tagasilinke kui uutel. Neil on ka rohkem indekseeritud lehti, mis tähendab, et need võivad sinu lehe paremusjärjestust otsimootorites mõjutada, kui selle kunagi ostad.
  4. Domeeni ei ole varem kasutatud spämmimiseks  Kui domeeni on varem kasutatud pahatahtlikul eesmärgil, siis on targem see ostmata jätta. See võib tulevikus mõjutada sinu loodavat lehte. Näiteks Google, ei pruugi seda kuvada otsitulemuste hulgas heal positsioonil.
  5. Domeeni vanus – mida kauem domeen on eksisteerinud, seda usaldusväärsem see on Google jaoks.

Tööriistad, millega kontrollida domeene ja nendega seotud teenuste ajalugu

Enne aegunud domeeni ostmist ja kasutamist on abiks erinevad tööriistad, mis võimaldavad sul lisainfot otsida:

  1. Wayback Machine https://archive.org/web/
    Wayback Mahine on digiarhiivi teenus, mis võimaldab veebilehtede arhiveeritud versioone külastada. Wayback Machine’is saad sisestada
    URL-i, valida kuupäevavahemiku ja seejärel huvipakkuvaga tutvuda. 

  2. who.is  – on andmebaas, mille vahendusel edastatakse domeeninime ja registreerija kohta käivat teavet: nimeserverite nimed, DNSKEY kirjed, registripidaja nimi, domeeninime registreerimise aeg, registreeringu andmete viimase muudatuse aeg, domeeninime staatus ning domeeninime aegumise kuupäev. Juriidilisest isikust registreerija puhul ka tema nimi, äriregistrikood, tema haldus- ja tehnilise kontakti nimi ja e-posti aadress. See tagab domeeninimede süsteemi (DNS) läbipaistvuse, toimides justkui aadressiraamat. Domeeninime aegumise kuupäeva möödudes avaldab EIS WHOIS-teenuse vahendusel lisaks eelnevalt loetletud andmetele ka domeeninime peatamise ja kustumise kuupäeva ning keelumärked juhul, kui need on pädeva asutuse poolt määratud (nt kui kohus on keelanud domeeni registreerijal omaniku vahetada).
  3. Afrefs backlink checker https://ahrefs.com/backlink-checker
    Uurida saab mis tahes domeeni ja hinnata domeeni mõõdikuid.
    – Viitavate domeenide arv
    – Tagasilinkide arv (Backlinks)
    – Domeen reiting (Domain Rating) ja URL-i hinnang (URL Rating)
    – Ahrefs Rank
  4. Afrefs website authority https://ahrefs.com/website-authority-checker
    Website authority
     on SEO mõiste, mis viitab domeeni tugevusele. Ahrefsi mõõdik töötab skaalal nullist sajani. Mida kõrgem on domeeni reiting (DR), seda tugevam ja autoriteetsem see on. Ülaltoodud tasuta tööriist võimaldab testida valitud aegunud domeeni URLi tugevust.
  5. Just Google it!
    Kuigi see tehnika ei taga täpsete tulemuste saamist, on tõenäoline, et kui domeenil on varasem ajalugu, ilmub see otsingumootori lehe tulemustes.

Samad tööriistad võivad  sulle kasulikud olla ka aktiivsete domeenide analüüsimisel.

18.01.2021 katkestuse post-mortem

Esmaspäeva, 18. jaanuari õhtul lõpetas töö üks meie võrguseade, täpsemalt kommutaator ehk switch, mille kaudu käib mitmete serverite võrguühendus.

Tegemist oli seadmega, milles riskialtid komponendid dubleeritud, kuid mille riknemisi siiski esineb. Tavapäraselt oleme võrguseadme väljavahetamise ajakuluks arvestanud umbes 1 tunni. Selliste seadmete korralise väljavahetamise tsükkel on meil 5 aastat, uued täielikult dubleeritud seadmed olid seadistamise lõppfaasis.

Katkestus algas kell 17:15 ja mõjutas ca 40% Virtuaalserveritest ning 1/3 tavapärasest veebipäringute arvust. Klientide muud teenused nagu e-post, nimeserverid, ZoneCloud toimisid normaalselt.

Paraku ilmnes võrguseadme vahetamise järel, et tavapärase liiklusmahu korral kahaneb võrgukiirus olematuks.

Järgnes veaotsing, mille käigus prooviti läbi erinevad vea-hüpoteesid, paigaldati järgmine varuseade ja valmistuti ka võrgusegmendi üleviimiseks erinevale tehnoloogiale. Lõpuks tuvastati probleemina kommutaatori tarkvara viga, mis ilmnes reaalse koormuse tekkimisel ning mida ei olnud võimalik testkeskkonnas tuvastada. Probleemi lahendas vanema tarkvaraversiooni kasutuselevõtt, kõigi teenuste töö oli lõplikult taastunud kella 00:50ks.

Mida me teeme teenuste tõrkekindluse parandamiseks?

Kuna kõik Virtuaalservereid teenindavad serverid on meil test-rakenduse tasemel välises monitooringus jälgitavad, siis teame, et nende käideldavusnäitaja, milles sisalduvad ka korralised hooldused, on aasta lõikes 99,96-99,98%. Käesoleva katkestuse järel on mõjutatud serverite aastane näitaja tasemel 99,85%-99,89%. Meie eesmärk on alati olnud hoida oma teenustase koos hooldusakende arvestusega üle 99,9% käideldavusel ja hooldusaknaid välja jättes võimalikult lähedal 100%-le.

Nagu mainitud oli meil ettevalmistamisel võrguseadmete väljavahetamine ja täielik dubleerimine eesmärgiga selliseid riske maandada. Viime selle lõpuni lähinädalatel ja mõistagi öisel ajal, täpsest ajast teavitame kliente e-kirjaga.

Palume vabandust rikke põhjustatud ebamugavuste pärast ja panustame aastal 2021 veelgi enam sellesse, et kõik Zone teenused oleksid võrdselt töökindlad, ajaga kaasas käivad ja turvalised.

Ja kindlasti tänud neile, kes meie tehnikute tegevusele sotsiaalmeedias kaasa elasid – püüame olla oma tegevustes võimalikult läbipaistvad, kuvades nii tõrkeid kui plaanitud hooldusi zone.ee esilehel koos viitega status.zone.eu lehele, kust huvilistel on võimalik tellida ka teavitused e-postile. Samuti võite alati kindlad olla, et Zone süsteemid on 24/7/365 monitooritud ning sõltumata nädalapäevast või kellaajast ning riketega tegeletakse, kuni need on lõplikult lahendatud.

Tehniline taust

Tegemist oli võrgusegmendiga, kus oleme viis aastat kasutanud SDN (Software Defined Networking ehk programmeeritav võrgustus) tehnoloogiat, mis lahutab võrgu riistvara ja tarkvara üksteisest sõltumatumaks. Lihtsustades tähendab see, et kasutame Linuxil põhinevaid võrguseadmeid maailma juhtivatelt tootjatelt, mis on oma iseloomult suhteliselt lihtsad ja robustsed meie spetsialistidele seadistada, hallata jne.

Samuti on meil korraliste riistvarauuenduste käigus võimalik valida parim lahendus, olemata seotud ühe tarnijaga. Nagu eespool mainitud, olime ühte sellist vahetust just ette valmistamas, uued seadmekapid olid ette valmistatud ning lähinädalatel plaanis serverite üleviimine. Tavapäraselt olid nii põhi- kui varuseadmed seadistatud kasutama tarkvara värskeimat stabiilset versiooni ning testitud.

Üks selline varuseade võeti kasutusele ning alglaadimise järel tundus kõik andmekeskuses olevatele tehnikutele toimivat, aga kaughaldust tegeval meeskonnal oli probleeme ligipääsuga serveritele. ping toimis kenasti, aga ssh oli probleemne, staatiline sait HTTP peal toimis aga HTTPS keeldus kätlemast, andmebaasiserveriga ei saadud ühendust jne.

Kogu võrguseadmete konfiguratsioon käidi ridahaaval läbi, et tuvastada erisusi kõrval töötavate seadmetega. Katsetati kõiki võimatuid ja võimalikke riistvaraga seotud teooriaid alates AOC (Active Optical Cable) kaabliriketest, lõpetades võimalike anomaaliateni DDoS kaitses jne.

Vea tuvastamise protsessi käigus toodi meie teisest andmekeskusest kohale kolmas sarnane võrguseade välistamaks võimalust, et esimene asendusseade on vigane. Jällegi, läbiti tavapärane protseduur selle seadistamiseks ja paigaldamiseks, kuid kahjuks jõuti kõikide muudatuste tulemusena täpselt samasse punkti välja. Kõik töötab, aga seadmesse sisenedes kahaneb andmeside olematuks – nagu autol rakenduks puhtal sirgel teel veojõukontoll.

Lõpuks jõudsime tegeliku juurprobleemini. Mis nii kurioosne kui see ei ole, oli seotud selle võrguseadme eesootava asendusega. Nagu öeldud, siis SDN puhul on tihti kasutusel arhitektuur, kus võrgu riistvara on ühelt tootjalt (nö “white box”) ja selle nutikus tuleb Linux operatsioonil põhineva tarkuse kaudu mujalt. Selgus, et meie tehnikud kasutasid rikkis võrguseadmele asenduse paigaldamisel Linuxi versiooni, mida nad olid juba kasutanud uute võrguseadmete ettevalmistamisel. See oli aga mõne väljalaske võrra uuem, kui see mis varasemasse seadmesse oli paigaldatud. Uus tarkvaraversioon sisaldas seni täpselt tuvastamata viga ning probleem lahenes vanema tarkvaraversiooni paigaldamisega.

Järgmisel päeval suutsid tehnikud laboritingimustes probleemi reprodutseerida. Me ei tea veel milline tarkvara “bugi” või ”uus featuur” täpselt seda põhjustas, aga ASIC erikiipidel toimuv superkiire TCP/IP pakettide edastamine lülitati seadmes välja ja nende edastamine läks üle CPU-le ehk protsessorile, mis andmeside kontekstis on võrgu jõudlusele sisuliselt surmahoop. Paraku ei täheldanud me sedapuhku ka CPU koormusnäitajate märkimisväärset tõusu. Nimelt on selles samas tarkvaras ka loogika, mis piirab protsessorile edastatavate pakettide arvu ülekoormust ennetavalt ära.

Takkajärgi sündmuste ahelat läbi vaadates tundub kõik muidugi lihtne, aga reaal-ajas tähendas see paljudele seda, et esmaspäeval tuli tööpäevale teine ja keskmisest stressirohkem otsa. Tegutseme edasi selle nimel, et 24/7/365 käideldavus oleks saavutatav rahulikult 9st 17ni riske maandades :.)

Zone+Voog: põrgulikult hea kombo kodulehekülje valmistamiseks

voog-1Zone ei rahuldu kõigest veebimajutuse või domeenide registreerimise võimaluse pakkumisega. Ettevõtjatel on vaja enamat, et internet enda kasuks tööle panna. Täna tutvustan teile meie uut kaasosalist kogu maa internetiseerimisel. Saage tuttavaks, see on Voog.

Loe edasi “Zone+Voog: põrgulikult hea kombo kodulehekülje valmistamiseks”