[Magic]

Oled jah süüdi ise...vennale ka öeldi
Lubas ka ära kolida kui aega saab. Virtuaal tundus ok.

[Naabrivana]

Vaatame virtuaali, saatsin andmed ja pidid asjad tasuta ümber kolima ja suhtlus/kirjavahetus on super.

[DigeBeni]

... Virtuaaliga kogemust alates 2008, siiamaani 0 negatiivset intsidenti, kirjadele olen vastuseid saanud isegi nädalavahetustel

[provision]

Info jagamises nad ei ole jah kuigi osavad tuleb tunnistada

[meybo]

[Magic]

Peaasi, et virtuaal nüüd hindu tõstma ei hakka

[merku]

Tahavad vist viimastestki klientidest lahti saada...

[summer]

Telefon kenasti tänaseks väljalülitatud ka, ju ei suutnud kõnedele enam vastata Lehed endiselt maas.

[namstoop]

[summer]

WAVECOMI Kodukalt: 29.01.2015 9:33 - Meie riistavara sai 28.01 seisuga töökorda, kuid ei ole veel õnestunud käivitada vana platvormi. Kettasüsteemi info, kus paiknevad algsete serverite seaded on segamini. Tegelvad parimad anmdetaaste partnerid. Lähiajal võib tulla uudiseid. Samal ajal oleme varukoopiatest taastanud üle 50% lehtedest uutele serveritele. Ülejäänud lehtede taastamine käib.


On kellegi domeen reaaselt ka üles saanud või on see info lihtsalt suusoojaks ja rahustuseks pandud ?

[Magic]

Tegutsevad, aga mingid jamad on veel. Üks leht on üleval, teine maas. Mingi DNS jama (valusam laks võib olla sellega, et nad pole .ee domeeni eest maksnud edasi).

[Naabrivana]

Minul on hetkel null, ei ole midagi üleval ja ei saa midagi kätte.

[jnt]

Leht mul üleval ja toimib, kuid cpanel'iga ei saa iseteenindus ühendust ja kuna paroolid kah sassis seal, siis ei õnnestu cpanel'i paroole reset'ida ka.
FTP'ga ka ligi ei saa, serverist welcome message't ei tule.

[summer]

Mailid liiguvad?

[jnt]

Suunatud aadressid töötavad, kohalikku postkasti ei kasuta.

[Magic]

Ei tea, õnneks kasutan vaid reklaamiks ja mingi varasem backup ka kuskil.
Kui cpanel ei tööta siis jama, ei saa ka uut backupi teha.
//
Läks Virtuaali, täis pekkis neil asjad. Kirjadele ei pidavat vastama ja asju kätte ei saa

[Naabrivana]

Wavecom kirjale vastas, aga jutt oli sama ümar nagu poliitikutel praegu. Ühesõnaga

[lorch]

sain ka ümmarguse vastuse. Tundub ka, et peab teenuse pakkujat vahetama.

[kris28]

Kommenteerin väheke toimuvat.

27.01 tööpäeva lõpus juhtus WaveCom süsteemides õnnetus, kus tõsise andmelao riistvara rikke tagajärjel läksid rivist välja hostingu ja VOIP teenused ning sisesed tugisüsteemid.
Kogu meie personal annab endast parima, et teenuste toimimine võimalikult kiiresti taastada.
Algul kulus muidugi aega et saada pilt ette toimuvast.
Me olime öö läbi ca 6h telefoniga jutti ühenduses Usa VMware ja andmelao inseneridega.
Meil olid öö läbi ka abis mitme Eesti operaatori tippspetsialistid.
Samal ajal meie personal alustas kohe sekundaarse plaaniga ja paigaldasid uued serverid uude süsteemi. Sinna hakati taastama kohe nas süsteemides olevaid majutuskontode koopiaid.
28.01 sai riistvara töökorda, kuid ei õnnestunud käivitada vana platvormi. Kettasüsteemi käivitamiseks vajalik info, kus paiknevad seaded, oli riknenud.
Probleemi lahendamisega tegelvad parimad andmetaaste partnerid kes uurivad massiivi. Kuna tegemist oli 12 TB ruumiga siis võtab see aega ca 30h
Seega vana systeemi taastamise võimalus on teada 30.01 hommikul
Samal ajal oleme plaani B raames varukoopiatest taastanud üle 50% lehtedest uutele serveritele. Ülejäänud lehtede taastamine käib. Kuna andmemahud on tohutud võtab see lihtsalt aega.

Põhjustest: Kogu see õnnetus on halbade kokkulangemiste jada.
Me pidime olema selliste asjade vastu 100% kaitstud sest süsteemid painevad dubleeritult ja omame vastavat kompetentsi ja ka vahendeid kuid ca nädal tagasi alustasime sekundaarse klastri uuendust täiesti uuele lahendusele mis pakuks veel paremat kaitset.
Nende 10 päeva jooksul mis tööd käisid toimusid koopiad ainult nas süsteemidesse.
Ja paraku toimus primaarse andmelao tõsine rike just siis. Selliseid õnnetusi on paraku ikka ette tulnud. Nii Emt kui Elion on olnud päevi sama asja pärast maas. Me võtsime nende rikkest just eeskuju ja õppust kuidas seda vältida. Aga kõikide pingutuste kiuste see ei õnnestunud.
Meie inimesed töötavad 24 tundi päevas, et saada teenused kõik üles, magavad kontori põrandal vahetustega ja töötavad edasi.. Samuti on olemas veel reaalne võimalus käivitada vana süsteem. See paraku nagu mainitud on aeganõudev. Värksked uudised pidevalt kodulehel ja faceboogis.

Puudutatud olid ainult veebimajutus ja mõned pilveteenused.
Meie ca 800 vpsil , serverikeskuses majutatud serveritel ning ka privaatserveritel ja muudel sideteenustel probleeme ei olnud
Va ei saa kasutada iseteeninduse kõike funktioone veel määramatu aeg

Kompensatsiooniks veebimajutuseklientidele on kõne all pakett mis sisaldab 3 kuud tasuta teenust või pea 90% klientidele vajaminevat veebiteenuse hooldust 70€ väärtuses mis sisaldab teenusekonto korrastust, kodulehe optimiseerimist / kiirendamist ning turvamist. Kui meil on õnnetuse likvideerimine läbi tegeleme kohe ka sellega.

Ps Et meie voip telefonijaam ei tööta ja kasutame korraga kahe kõne kanalit siis on olnud ülekoormuses mistõttu aegajalt tulevad erinevatel operaatoritel erinevad häireid ja sõnumid
Ja ei toimi ka meie finantssüsteemid mistõttu ei tööta hetkel ka terve osakond ja on tõesti meie käivetega võrreldes naeruväärne maksuvõlg

[mrk123]

See kõik on muidugi kurb, aga eelmise aasta (2014) juunis oli nt Teie hallatavas portfellis sql -i rike ja samuti leh(ed)t maas kui õieti mäletan 2-3 pv, sellest võib järeldada, et raud, mahud ja kompetents pole kahjuks piisavas tasakaalus.

[snakefan]

Mida keerulisemaks ajada infra, seda keerulisem on seda pärast taastada. Üle mõistuse käib aga see, et kõik teenused istusid ühes BLADEis(tundub vägagi nii). Vanasõna ütleb, et kunagi ei tohi hoida mune ühes korvis. Killustatud teenused erinevates kastides on alati töökindlamad ja lihtsam taastada(VMid), kui tervet kasti kus jooksevad kõik teenused ja koos. Pigem ennastki huvitab, mismoodi oli andmemassiiv lahendatud. Täiesti välistatud peab olema nimeserverite töö lakkamine. Nimeserverite ühes kastis hoidmise eest tuleks härradele Darwini auhind anda. Õnneks oli EIS probleemist teadlik ja jagas hädas olijatele transfer keysid, et saaks vähemalt emailid liikuma.

Tegu ikkagi IT sektoriga ja kuna kogu see sektor on üks suur käkk siis paraku selliseid asju ikka tuleb ette. WC tiimile soovin edu ja kannatust (ei tahaks seal ettevõttes küll telefonile vastata).

[kris28]

Keeruline infra on tegelikult lihtne ja tavapäraselt väga töökindel.
Meil on ligi 10 bleidi kasti ja oma infra asus korraga kahes.
Kuna üks sait oli hoolduseks üle installeeritud ja käis uue tarkvara seadistus selline asi sai juhtuda.
Tavaliselt on võimalus millegi sellise juhtumiseks kaduvväike.
Tõsiseid probleeme on paar korda olnud varemgi kuid tänu dubleerimistele need ei ole välja paistnud.

[summer]

Taastamisega on 50% -st edasi jõutud? Praeguseks minul näiteks e-mailid ei ole üle 48 tunni kohale jõudnud. On lootust täna toimima saada?

[Magic]

Et teeme panuseid. Andmeid sealt veel kätte ei saa.
Ei suuda ühendada...bla-bla. Good work

[WipeOut]

Endal ka 3 lehte seal ning täielik vaikus.
Paistab, et nad pole sellest 50% mingi 7 tunniga eriti kaugemale jõudnud, ma nagunii istun enda andmetega seal viimaste seas.
Peab hakkama vaikselt kolimise peale mõtlema.