Budovanie nízkonákladového DWH systému
V tomto príspevku predstavím fiktívnu firmu, ktorá sa rozhodla vyriešiť problém reportovania dát.
Firemný profil
Naša fiktívna firma, XYZ publishing, vydáva 4 life-style mesačníky , zamerané na mužov, ženy, rodinne ladenný mesačník a publikáciu zameranú na cestovanie a cestovný ruch. Obsah je vytváraný malou skupinou permanentných zamestnancov – autorov a columnistov a o niečo väčšov skupinov autorov-prispievateľov. Vedúci vydaní tiež pravidelne vyhľadávajú a využívajú príspevky od freelancerov a bloggerov. Jeden permanentný manager a niekoľko externých obchodných zástupcov pracujúcich na dohodu zabezpečujú predaj reklamného priestoru. Marketingový manager je zodpovedný za spracovanie mailing listu používaného v kampaniach a koordináciu marketinogvých aktivít. Niekoľko ďalších zamestnancov zabezpečuje tlač a distribúciu periodík a ostanú bežnú administráciu firmy.
Predajcovia reklamy by radi využívali systém kde by si mohli prezerať záznamy o predchádzajúcich inzerciách týkajúcich sa všetkých firemných aktivít pre zákazníkov s ktorými práve pracujú. Veľmi by im v ich práci pomohlo ak by mali k dispozícií prehľad predchádzajúcich článkov a informácie a plánovaných článkoch do budúcnosti. Takýto systém by umožnil adresnejšie oslovenie inzerentov. Manažer inzercie tiež očakáva že systém by umožnil zvýšiť tržby z predaja a celkové vnímanie firmy z pohľadu zákazníkov vďaka lepšej a kvalitnejšej koordinácií externých predajcov inzertného priestoru. Menežer inzercie a predajcovia počuli o data warehouse projektoch a rozhodli sa predložiť návrh majiteľom firmy. Tí plán odsúhlasia.
Úlohou vybudovať data warehouse je poverená IT managerka firmy XYZ publishing. Po zvážení rozsahu projektu je odsúhlasené že IT menežerka môže prijať ďalšieho člena do IT teamu. Náklady projektu sú odhadnuté na 35000 eur. Firma tiež môže využiť služby consultačnej firmy ak to bude potrebné.
IT menežer a jej oddelenie úspešne implementovali email systém s podporou viarerých webových domén, optimalizovali správu firemných dát a súborov s ohľadom na GDPR pravidlá a všeobecné zásady document menežmentu a spravujú niekoľko webových stránok pre každý časopis a korporátnu stránku.Naštastie IT menžerka má skúsenosti s projektami z oblasti spracovania a vyhodnocovania dát a tak vie ako spracovať a vyhodnotiť data warehouse (DWH) projekt pre potreby firmy (feasibility study).
Vykročiť správnou nohou ..
DWH projekt firmy XYZ publishing má z čoho vychádzať. Celý projekt vychádza z reálnych potrieb firmy a marketingového oddelenia. Naviac menežment podporuje túto myšlienku, aspoň zatiaľ. IT oddelenie sa už niekoľko krát pokúsilo budovať rôzne reportovacie systémy ktoré súvisia predovšetkým s potrebami učtovníctva. Tieto systémy, postavené na nástrojoch Excel a MS Access vykazujú sústavné problémy s kvalitou výstupov a vytváranie výstupných zostáv je časovo náročné. Akékoľvek pokusy tieto problémy vyriešiť sú vlastníkmi firmy ignorované. Teraz sa prvý krát naskytla príležitosť koncepčne spracovávať dáta vo firme a predstaviť data warehouse aktivitu s podporou vlastníkov firmy. Vo všeobecnosti je táto aktivita považovaná za vysoko-rizikový projekt. Našťastie, toto nie je situácia vo firme XYZ publishing ale menežer oddelenia má pred sebou stále niekoľko výziev.
IT menežer vie že nebude jednoduché nájsť správnu osobu potrebnú pre úspešnú realizáciu projektu. Tiež veľmi dobre vie že jedna osoba iba ťažko pokryje všetky oblasti ktoré sú potrebné pre úspešné zvládnutie projektu. IT menežer má skúsenosti s projektami v ktorých využila asistenciu externých konzultantov a kontraktorov. Nájsť správnych odobrníkov s pomocou pracovnej agentúry je zvládnuteľná úloha. S podporou menežmentu a vlastníkov firmy bude oddelenie schopné realizovať projekt.
IT menežer tiež vie že bude musieť zvládnuť úlohu data warehouse program manažera a bude potrebovať tréning aby túto úlohu úspešne zvládla. Bez ďalších znalostí z problematiky by mala problém vybrať správnych ľudí do implementačného teamu. Úlohu architekta pravdepodobne zverí externému konzultantovi ale pred tým sa pokúsi sama pochopiť rôzne architektúry a prístupy používané pri v data warehouse projektoch.
Budovanie implementačného teamu
Už na začiatku projektu je jasné že externý programátor bude lepšia voľba ako permanentý zamestnanec. Takýto postup je nesie zo sebou riziká ak interní zamestnanci nebudú schopní správne využiť DWH pre potreby firmy. Vzhľadom k rozsahu projektu bude potrebné eliminovaž počet potrebných špecialistov. Ak celá úloha bude zverená iba jednej osobe, bude dobré ak príslušná osoba bude maž skúsenosti s prácou v administatíve aj technológiách. Táto osoba môže súčastne plniť úlohu koordinátora medzi busiess používateľmi a technickýchm oddelením počas doby trvania projektu. Dobré znalosti z oblasti data warehousingu a skúsenosti zo spracovaním dát pomôžu tejto sobe vytvoriť pridanú hodnotu k projetu a tiež poskytnúť potrebné výstupy (ad hoc queries) pokiaľ interní zamestnaci nebudú schopní využívať vytvorený DWH.
DWH architekti, databázový odborník, ETL developer a potrební školitelia nemusia pochádzať z jedného zdroja. Niektorí môžu byť nezávislí konzultanti, ďalší môžu byť zamestnancami fireim ktoré pôsobia v oblasti IT konzultingu a niektoré služby a aktivity je možné pokryť dodávateľmi a hotovými riešeniami. Program manažer môže získať cenné pripomienky k projektu prostredníctvom rôznych profesných organizácií a technických konferencií. Na internete tiež existuje niekoľko služieb kde je možné najať vhodných kontraktorov.
Program menežer by mal pamätať aj na to že externí zamestnanci budú podstatní pre rast data warehouse. Počiatočné náklady v IT projektoch je možné optimalizovať ak externí spolupracovníci budú spolupracovať s firmou opakovane.
Hardware a softvérové vybavenie
Program manažer vo firme XYZ publishing vie že náklady na úspešné zvládnutie projektu nebudú malé! Tiež vie že majitelia firmy nemajú dobrú predstavu čo všetko je potrebné na zvládnutie takéhoto projektu. Ale PM sa rozhodla že je dôležité dodržať rozpočet 35000 eur stanovený na projekt s tým že dodatočné požiadavky budú riešené v ďalšej fáze projektu.
Firma v súčastnosti využíva technológie Microsoftu pre emailovanie, súborové úložisko a tlač dokumentov. Firma tiež používa klient-server aplikáciu, ktorá beží na SQL serveri. Program menežer súhlasil že je potrebné dokúpiť ďalší server s príslušnými licenciami pre data warehouse. Pri rozhodovaní o použitej platforme implementačný team zvážil aj možnosť využitia Linuxu a free databáz ale po zvážení všetkých kladov a záporov bolo rozhodnuté že zostať pri techonlógiách Microsoftu je cenovo výhodnejšie (TCO - total cost of ownership).
S aktuálnej ponuky dodávateľa bol vybraný dostatočne výkonný server, s RAID 0 systémom, zabezpečujúcim funkčnosť servera aj v prípade zlyhania jedného z diskov. 16 GB pamäte z možnosťou rozšírenia na 32 GB je v súčastnosti vhodná voľba. Firma tiež dokúpila dodatočné zálohovacie zariadenie. (Celkové odhadované náklady na hardware sú približne 3000 eur)
Project menežer mal záujem tiež dokúpiť licencie na dlho požadovanú aplikáciu na tvorbu firemných dokumentov. Položka zostala otvorená, s predpokladanou cenou 1500 eur za jednoúžívatreľksú licenciu.
Prístup k dátam
Základný prístup k vytvoreným výstupom a reportom(published reports), dynamicky generovaných (on-demand) výstupov a k jednoduchým dotazom (simple queries). Na základe analýzy súčasných postupov a nových potrieb bolo rozhodnuté že pre predajcov bude najvhodnejšie vytvoriť sériu reportov dostupných prostredníctvom intuitívneho webového rozhrania ktoré umožnia jednoduché drill-down funkcionalitu. Skutočná hodnota DWH riešenia je ale v tom že bude možné riešiť nové požiadavky používateľov s minimálnym úsilím.
Menežment tiež prejavil záujem o nové možnosti pohľadov na generované tržby. Programová managerka vedela aké výstupy bude mať k dispozícií a tak si mohla naplánovať ako a kedy ponúkne nové možnosti spracovania dát, hlavne tie ktoré boli mimo pôvodne očakávaných. Jeden z týchto výstupov bol tzv. drill-down report. Najkrajšie na tom bolo to že táto funkcionalita nevyžadovala nič okrem niekoľkých nastavení. Toto bol ‘trhák’ ktorý zabezpečil neutíchajúci záujem menežmentu o nový projekt.
Na základe rozhovorov s predajcami, program mamanžer získal ďalšie požiadavky ktoré by umožňovali prístup k niektorým z dát aj niektorým z klientov. Táto požiadavka bola výtaným rozšírením projektu. Menežerka ale správne upozornila že otvorenie prístpuu k dátam mimo firemnej siete predstavuje výrayné bezpečnostné riziko. akéto rozšírenie funkcionality je mimo pôvodného rozsahu a nie je možné jednoducho a lacno takto zmeniť projekt. Samoyrejme, táto požiadavka otvorila dvere k ďalšiemu projektu – prehodnotenie bezpečnosti dát.