[Etsike]

Olen nüüd kokku puutumas täiesti uut laadi probleemiga. Nimelt on vaja hakata alles hoidma tohutuid andmekoguseid. Suurusjärguks ütleme, et igas aastas tuleb umbes 300TB mahus andmeid peale (plus selle backup). Neist andmetest oleks vahest harva üht-teist vastavalt vajadusele kätte saada, aga üldiselt koguksid need lihtsalt kuskil kettal/lindil "tolmu". Tehniliste lahendustena oleks kõne all serveri pidamine kontoris või pilveteenuse tarvitamine. Mis kogemusi siinsetel kasutajatel sellise teemaga on? Head-vead-hinnad?

Samuti on päevakorral küsimus, kuidas lahendada näiteks 100TB andmehulga transport välismaalt (üle interneti loomulikult, sest mingi räige kettakastiga füüsiliselt transportida oleks ka üsnagi piin) kohalikku serverisse mõistliku aja ja hinnaga?

[Pailaps]

Kus asub välismaal olev punkt? IP aadress vms oleks abiks.

https://www.delimiter.com/landingpage/objspace/. Koht , kus hoida.

Teine pool võiks omada Telia vms päevapõhise arveldusega fiibrit 500/500 või rohkem.

[Etsike]

Välismaa on Skandinaavia suuremad linnad, kust tuleb koostööpartneri poolt leida mõni jämedam ots ülesse laadimiseks. Siinpoolse otsa 500/500Mbit/s ühendusest pigistaks teisenduste abil läbi kuni 5,4TB ööpäevas. Andmed on õnneks sellise iseloomuga, et neid tuleb igapäevaselt juurde ja sellise 5,4TB/ööpäev kiirusega jõuaks neid jalust ära ajada küll siinsesse serverisse.

[kaabakas]

Kui väga tihti kätte pole vaja saada siis pakuks esimesena magnetlinte, need pole tänapäeval veel kaugeltki minevik ja hind terabaidi kohta pärast esimest investeeringut päris hea. Backupimiseks ideaalne, aga andmete kättesaamiseks on tarvis et keegi õige lindi masinasse laeks ja selle läbi keriks - esialgu ei hakka siinkohal lindirobotitest rääkima.
Kui see jääb liiga aeglaseks, siis kõvaketaste jaoks pole see maht ka tegelikult midagi hullu, 300T jagada 8T ketaste peale on 38 ketast, lisame raidi tarvis ka paar tükki ja saame umbes täpselt 4x2U serverit aasta kohta. Mis tähendab et kontoris ei pea sa mitte serverit vaid racki. Kui on raha välja köhida võib ka spetsiaalraua poole vaadata, saab äkki veidi tihedust tõsta.
Teine võimalus on Backblaze backupteenus, mis teoreetiliselt pakub piiramatut mahtu fikseeritud hinna eest. Nende kasutamist piirab küll üles- ja allalaadimise kiirus, mis võib pudelikaelaks osutuda. Teine hea asi mida neilt saada on nende õpetlik materjal selle kohta, kuidas ise lihtsate vahenditega palju kettaid ühte kasti mahutada.

Mis puudutab 100T andmete liigutamist, siis sellel ongi kaks vastust: üle interneti või ketta/lindikastiga. Et see on sinu jaoks küsimus, mitte vastus, siis pakun, et võibolla oled sa natuke üle pea sees ja ettevõte võiks mõelda abiväge palgata.

[ihvike]

Puhtteoreetiliselt on sellisel andmehulgal mingi viga küljes. Kui praktiliselt tõesti ei ole võimalik seda varundamist vajavat andmemahtu tekkimiskohas kümnetes või sadades kordades vähendada ilma olulisest ilma jäämata, oleks mõistlik salvestada vajalik maht andmete tekkimise kohas või tekkimise kohast pilve.
Ülesandepüstitus mis eeldab igapäevaselt terabaidi andmete teisest riigist transportimist ning säilitamist/varundamist on natuke kosmos sellelt aluselt lähtudes, et selline küsimus foorumis esitada. Sellises mahus vajalikke andmeid ühes kohas hoida tundub ka ebamõistlikult riskantne - loe: haigelt kallis, kui on soov tagada nende säilimine kõrge tõenäosusega. Spetsiaalruumid, generaatorid, tuletõrjesüsteemid, inimesed, koolitused jne. Kui see tundub liiga hull, siis ilmselgelt pole neid andmeid tegelikult säilitada vaja.

[2ndalpha]

Lisan ühe variandi: AWS Glacier: https://aws.amazon.com/glacier/pricing/
Kindlasti on olemas odavamaid lahendusi.
Eks pead ise kõik variandid läbi arvutama, kas ja palju inimesi peaks siis palkama.
Mis on riskid, näiteks kui ehitate ise rackid ja need maha põlevad - kas firma peab siis tegevuse lõpetama jne.

[lauri]

Me otsisime ka lahendust ~300TB andmebaasi backupimiseks. "Kettakast" oleks maksma läinud suurusjärk ~2MUSD, seega loobusime.
Hetkel "backupime" andmeid samadele kettamassiividele, mis on serveris (dump).
Lisaks on andmebaasi sisse ehitatud "mirroring" (mirror tehakse füüsiliselt teise serverisse) ning ka kettad on veel omaette raidis.
Kasutusel on 5,5 räkki.

Pilvelahendus on selliste mahtude juures päris kulukas.

Enne seda lahendust oli vaja transportida andmed ühest riigist teise. Kõige kiirem lahendus oli kaubikuga (kettakastid) alla 24h.

Edit: variant oleks kasutada failover klastrit, teises asukohas. Samad andmed kirjutatakse korraga üle ilma laiali, mitte, et seegi odav lõbu oleks.

[DVDRW]

Kosmilise hinna vältimiseks ongi vast mõistlik teha tavalistele consumer HDD-dele nagu Google seda teeb.
2x odavam kandja oleks veel Bluray aga selleks oleks vaja mingisugust spets plaadirobotit kuhu tuhandeid toorikuid sisse mahuks.

[ihvike]

Etsike, lauri, puhttehnilisest huvist, mis andmeid te salvestate ja kas riik käsib seda infot just sellisel kujul alles hoida? Üks asi on 300 TB, teine asi on 300 TB aastas kumuleeruvalt.

[lauri]

Mingi "andmebaas" on. Täpsemalt datawarehouse. Kusjuures andmed on veel kokkupakitult. Ei asu Eestis.

[Etsike]

Eks see teema meil praegu üle pea tahab kasvada tõesti, andmemahud kasvasid kümneid kordi. Konsulteerime ka spetsialistidega teistest sama valdkonnaga tegelevatest ettevõtetest. Aga nende spetsialistidega on ikka nii nagu lõbunaistega, et igaüks kiidab oma v. Alternatiivsed kogemused kuluvad ikka marjaks ära enne kui hirmsasti palju raha välja köhida ja siis kahetseda. Õige oleks ka need andmed läbi sõeluda ja säilitada nii palju kui vajalik. Kohapeal, kus toorandmed tekivad seda teha ei jõua, aga pärast töötlust ja enne arhiivi talletamist saaks seda teha.

[Pailaps]

kaabakas lindiskeem on päris hea.

6.25tb : http://www.amazon.de/SONY-LTX2500GN-Ultrium-Kassette-25TB/dp/B00APA25W6

Kõigest 48 linti.

HP MSL4048 sinna juurde. Tihendatud kujul 300Tb.

[DVDRW]

Kuda nende lintidega on, kui tahan videosid/jpg sinna panna, siis kompressioon ei tööta?
2,5TB ilma kompressioonita see lint.

[Etz]

DVDRW, kui video just raw pole on enamasti tegu juba pakitud formaadiga...mida eriti rohkem kokku suruda ei anna, kui just ringi ei kodeeri...