Adatmentés, adatbiztonság

Többször írtam már az adatok biztonságos tárolásának fontosságáról, de ahogy a sok sok elvesztett adatról olvasok a közösségi oldalakon, még nem elégszer.

Azt is sokszor írtam már le, hogy az élet a legnagyobb rendező, mely egyben igazolta a korábbi teóriámat és paranoiámat, de a pofon nem abból az irányból érkezett, ahonnan azt vártam.

Az első esküvőimen egy kép még RAW formátumban is kevesebb volt, mint 10MBtye. Bő egy évtized elteltével ez az érték 50MByte képenként. Ennek megfelelően az esküvőnként felhasznált tárterület mértéke nem kicsit szabadult el. Mindent beleszámolva éves szinten 6-8TByte adatot gyártok, aminek nagy részét akár kukázni is lehetne, mondván átadtam a képeket, semmi szükségem a nyersanyagra. A gyakorlat azonban többször is bebizonyította, hogy néha nem baj, ha ezek az adatok még elérhetőek pár évvel később is.

Az adatok tárolásánál három kategóriát használok. Első és legkritikusabb az az adat, ami friss, még nincs feldolgozva, azaz még feldolgozásra vár. Következő blokk azok az adatok, amiket már feldolgoztam, átadtam, de a napi munkában még szükségem lehet rá pl.: album készítéshez, weboldal referencia anyag frissítéshez, blog posztokhoz, stb. A harmadik kategória pedig azok a képek, melyek már nem szükséges, hogy azonnal elérhetők legyenek, de letörölni nem szeretném őket.

Az első komoly gond akkor kezdődött, amikor az első csoportba tartozó képek már nem fértek el a számítógép belső adattároló eszközein (bővítés tervben, de sajnos az iMac nem a könnyen szétszedhető asztali gép kategória). Az alapeset ugyanis az, hogy az adatokról van egy másolat a gépen és egy hálózati adattároló eszközön, egy NAS-on. Viszont ha a gépen nem fér el minden adat, akkor ebben a felállásban van olyan adat, ami csupán egy helyen létezik. Igaz, a NAS RAID5 rendszerben működik, de ez csupán önámítás. Sajnos személyesen kellett megtapasztalnom, amikor egy 15TB méretű RAID5 tömb egyik pillanatról a másikra megszűnik létezni. Nem hibásodott meg egyetlen lemez se, az adatok ott vannak a diskeken, csupán elérhetetlenné váltak, mivel maga az eszköz ment tönkre, ami kezelte a RAID-et. Természetesen nem egy standard linux egy szoftveres raiddel, ami bármelyik másik gépben újra feléleszthető lett volna, hanem egy profi NAS saját rendszerrel. Ott volt 6db 3TB HDD tele adattal és én nem tehettem semmit. Ekkor igazolódott be az a korábbi állításom, hogy az az adat, ami csak egy helyen található meg, az már elveszett, csak még nem tudunk róla.

Hatalmas szerencse a szerencsétlenségben, hogy a NAS-on tárolt adatok jelentős része már a 3. kategóriás adat volt, így azok megvoltak a szekrényben pihenő lemezeken, a maradék pedig részben a munkaállomáson, részben pedig a kis méretű (1.2TB) fusion drive miatt egy USB-s RAID tömbön (9TB) elérhető volt.

Alig, hogy kihevertem az első sokkot, vettem új NAS-t és bele 4db 4TB disket, felmásoltam az adatokat vigyorogtam, milyen jó, hogy ennyi helyre lementettem mindent. Persze a másolás több napig tartott és közben folyamatosan azon izgultam, hogy az az aktuális egyetlen példány ne akkor menjen tönkre. Rendben, öröm és boldogság, adatok megvannak az élet megy tovább. Kb. egy hétig, amikor is egyik este épp lefekvéshez készülődtem és éktelen sípolásra lettem figyelmes. A NAS reklamált, hogy az egyik lemez bibis. Szerencsére RAID5, 1 lemez kiesését elviseli gond nélkül. Másnap irány a bolt, vettem egy új lemezt és kicseréltem a hibásnak jelöltet, amit vissza is vittem a boltba. A NAS gőzerővel szinkronizálta az adatokat amikor újabb sípszó jelezte a következő problémát. Ez sajnos már az a bizonyos hosszú sípszó volt, ami után nem kell üzenetet hagyni… egy újabb disk halt ki, persze nem ugyanaz, így 4-ből 2 már nem fért bele a raid5 tartalékaiba, ismét vissza a rajtvonalhoz. Mielőtt a sok IT-s nekem támadna, nem a legolcsóbb diskeket tettem a gépbe hanem egy ismert nagy márka egyik verzióját, most maradjon névtelen. Viszont ebből a tapasztalatból sajnos le kellett szűrjem, hogy csúnyán belenyúltam egy hibás szériába és hiába veszek belőle akárhányat, csak idő kérdése és mindegyik el fog hasalni. Szóval irány a bolt és újabb 4db 4TB disk, most egy másik gyártó lemezeivel.

Lekopogom, ezek a lemezek azóta is remekül működnek (kb. fél éve), de sokat tanultam ebből az esetből. És az az érdekes, hogy az új irányváltás nem a még kifinomultabb technikák, még drágább eszközök felé történt, hanem a fapad, az egyszerűség irányába történt.

A korábbi csúcskategóriás 6 fiókos NAS helyébe egy tizedannyiba kerülő 4 fiókos lépett, az USB-s RAID tömb helyébe egy egyszerű USB-s dokkoló (azaz mindjárt kettő) és az egész történetre még ráhúztam egy újabb réteget, az elkészült JPG állományokat egy ideje már egy külső felhő szolgáltató cég szervereire is felteszem, így ha nálam minden eltűnik, a JPG képek akkor is megmaradnak.

A hosszú bevezető után nézzük meg, hogy működik ez a gyakorlatban:

Minden fotózás után az elkészült képeket egy Kepek/$téma/$ÉV_HO_NAP_eseménymegnevezése/nyers_RAW mappába másolom, ahonnan egy script segítségével (kihasználva, hogy a iMac BSD alapú, remekül futnak rajta a shell scriptek, így az rsync is indítható scriptből, de az adatok szinkronizálására számtalan alkalmazás létezik, nem kell feltétlenül a fapados verziót használni 🙂 leszinkronizálom a NAS-ra illetve egy, a dokkolóba állított winchesterre. Ennek köszönhetően az elkészült anyag a következő fotózásig, ami előtt a kártyákat letörlöm, az összes adat 5 helyen megvan (2 kártya, iMac, NAS, Disk) Abban az esetben, ha nincs elegendő hely a gépen, akkor a másolás egyből az USB-s diskre történik és onnan szinkronizálom le a NAS-ra. Amint egy anyagot feldolgoztam, annak RAW fájljait a gépről törlöm, azon csak az átadott JPG-k maradnak meg pár hónapig, majd azok is törlésre kerülnek onnan.

Pár havonta a második dokkolóba belekerül egy nagyobb méretű disk és az adott év összes kész anyagát rámásolom. Ennek köszönhetően az utolsó anyag átadását követően a teljes év képanyaga megtalálható egy „offline” mentésen, ami bekerül a szekrénybe. Nem forog, nem kap áramot, így az adatok elméletileg biztonságban vannak rajta. Ezzel párhuzamosan az átadott anyagok JPG anyagát a felhőbe is felmásolom biztos ami biztos alapon.

Évváltást követően a 2 évnél idősebb RAW állományok törlődnek a NAS-ról, a 3 évnél idősebb minden anyag törlődik a NAS-ról, az USB diskről minden RAW fájl illetve az 1 évnél régebbi minden adat törlésre kerül, a számítógépen pedig ures Kepek mappa várja a szezon kezdetét.

A tárolási rendszernek köszönhetően ha egy régi anyagra lenne szükségem, elegendő az évszámot ismerni. Beteszem a dokkolóba azt a disket, ami az adott évhez tartozik és mivel a könyvtárak neve eleve tartalmazza az esemény elnevezését, így nagyon könnyen előkeríthető bármely fotózás anyaga akár több évre visszamenőleg is.

Felmerülhet még a kérdés, miért a winchester mellett döntöttem. Mivel közel 20 évig dolgoztam informatikai szektorban, így az adatmentő és adattároló eszközökre elég jó rálátásom lett. Legismertebb adattárolók a floppy :), cd, dvd, blueray, pendrive, ssd, hdd, dlt, egyéb szalagos egységek. Az első 4-et kapacitása miatt, az utolsó kettőt pedig azért zártam ki, mert nem az a bemegyek a sarki boltba és veszek kettőt belőle kategória. Maradt a pendrive, az ssd és a hdd. Ha az árat nem nézzük, csak szimplán a technológiát, akkor is elvérzik az első kettő, mivel elméletben a nem frissített adatok idővel elvesznek ezekről az eszközökről. Nem volt nehéz tehát az egyetlen maradék opciót kiválasztani, ami ha azt vesszük, hogy jelenleg egy 4TB hdd kb.: 25eFt-ért megvásárolható bármely szaküzletben. Ez hozzávetőleg 30 fillér tárolási költséget jelent egy képre vetítve, ami azt gondolom vállalható, de ezt ki-ki döntse el maga 🙂