spjallid.is

falcon1 skrifaði:Ein forvitnisspurning frá græningja í þessum málum... er eðlilegt að það taki svona langan tíma að koma upp kerfinu aftur? Á ekki að vera backup-kerfi sem hægt er að setja upp frekar fljótt þegar svona gerist?
Ég hef verið hjá ýmsum erlendum hýsingaraðilum og alltaf þegar eitthvað hefur klikkað þá hefur það verið fljótlega komið upp aftur. Var þetta hjá 1984 eitthvað freak dæmi eða galli í uppsetningu hjá þeim?

nei, það er augljóslega ekki eðlilegt.
Hvað sem öllu öðru líður, á að vera til off-site, off-line afrit til að gera disaster recovery!

Hizzman skrifaði:Hvað sem öllu öðru líður, á að vera til off-site, off-line afrit til að gera disaster recovery!

Mig grunar að það sé það kerfi sem er verið að notast við núna, margar af þessum síðum sem eru að poppa upp í gagnið núna eru að koma frá Þýskalandi hef ég heyrt - vefurinn er bara svo flókinn að það er ekki hægt að koma backup í loftið á núlleinni, það þarf að uppfæra allsskonar færslur hér og þar, sem er flókið þegar vefirnir eru þúsundir talsins.

Væntanlega hefur "local backuppið" verið of nátengt aðal kerfinu hjá þeim og því hrundi öll keðjan sem var hugsuð fyrir instant recovery, en cold-storage backup hefur komið til bjargar, sem hefur væntanlega verið hýst erlendis. Persónulega er ég með þónokkra vefi í hýsingu hjá 1984.is og afritin sem eru komin í gagnið eru mjög nýleg, ég hef engu glatað.

Fyrir mitt leiti hefur traust mitt og trú á 1984.is aldrei verið meira - þeir eru búnir að sanna sig í worst-case scenario og verða reynslunni ríkari. Ég veit ekki til þess að nokkur annar íslenskur hýsingaraðili hafi þurft að kljást við annað eins vesen?

Mig grunar að öll sjálfvirkni við uppsetnigu á nýjum þjóni og restora gömlu afriti hafi tapast með því að þurfa að skipta um SAN, hugsanlega önnur tækni sem ekki er samrýmanleg nema með handavinnu.

Það er ljóst að verið er að setja allt upp að nýju frá grunni og ef við pælum bara í að afritið er offsite, hvað það muni taka ógeðslega langan tíma að afrita gögnin onsite áður en hægt er að vinna retsore.

off-site/off-line afrit þarf/á ekki að vera erlendis!

það á að vera á hörðum diskum, sem eru geymdir í öruggu rými, nokkra km frá tækjasalnum. Jafnvel 2 staðir sinn í hvora áttina.
Þeir eiga að innihalda afrit mest 2 vikna gamalt, siðan á að vera daglegt afrit í annari byggingu (heima hjá tæknistjóranum td)

Hizzman skrifaði:off-site/off-line afrit þarf/á ekki að vera erlendis!

það á að vera á hörðum diskum, sem eru geymdir í öruggu rými, nokkra km frá tækjasalnum. Jafnvel 2 staðir sinn í hvora áttina.
Þeir eiga að innihalda afrit mest 2 vikna gamalt, siðan á að vera daglegt afrit í annari byggingu (heima hjá tæknistjóranum td)

Það væri ansi gaman að vita hvað daglegt afrit af öllu 1984 kerfinu er stórt. Held að það sé ansi fjarstæðukennt að fara geyma það magn hjá eins stórum hýsingaraðila eins og 1984 heima hjá starfsmönnum. Mér finndist það í meira lagi ófagmannlegt. Þetta hljómar í lagi kannski fyrir lítil fyrirtæki og annað sem eru ekki beinlínis að vinna við að geyma gögn annara.

steiniofur skrifaði:

Hizzman skrifaði:off-site/off-line afrit þarf/á ekki að vera erlendis!

það á að vera á hörðum diskum, sem eru geymdir í öruggu rými, nokkra km frá tækjasalnum. Jafnvel 2 staðir sinn í hvora áttina.
Þeir eiga að innihalda afrit mest 2 vikna gamalt, siðan á að vera daglegt afrit í annari byggingu (heima hjá tæknistjóranum td)

Það væri ansi gaman að vita hvað daglegt afrit af öllu 1984 kerfinu er stórt. Held að það sé ansi fjarstæðukennt að fara geyma það magn hjá eins stórum hýsingaraðila eins og 1984 heima hjá starfsmönnum. Mér finndist það í meira lagi ófagmannlegt. Þetta hljómar í lagi kannski fyrir lítil fyrirtæki og annað sem eru ekki beinlínis að vinna við að geyma gögn annara.

hvernig á að útfæra þetta, að þínu mati?

Ég er svosem enginn sérfræðingur í gagnaöryggi og afriturn, en er samt sem áður á þeirri skoðun að ekki eigi að útfæra gagnaafritun hjá hýsingaraðila á þann veg að gögn séu geymd heima hjá starfsmönnum.
Mér finndist eflaust best að vera með afrit local, útúr húsi og útúr landi, því fleiri því betra.

en ef tæknistjórinn er með sérstakan öruggan fastboltaðan stálskáp í bílskúrnum og fyrirtækið borgar leigu fyrir skápinn?

Það kemur mér á óvart að onsite backup hafi ekki verið betra eða þá of intvinnað í aðal kerfið þeirra að það hafi farið með niður.

Þetta með að geyma backup heima hjá einhverjum er óábyrgt öryggislega séð útaf mannlegum þætti. Ef að sá einstaklingur byrjar síðan að vinna á móti vinnuveitanda sínum er hann með backup allra kúnna sem er óásættanlegt staðla lega séð.

Afrit og afrit eru ekki það sama. Það eru til heildarafrit af netþjóninum, file level afrit, gagnagrunnsafrit, application specific afrit.

Án þess að vita þá myndi ég gera ráð fyrir að þeir hafi verið með file level & gagnagrunnsafritun í gangi. Það bjargar gegn "fat-finger" áföllum en ekki áföllum eins og þeir lentu í þegar diskarnir undir netþjóninum fara í köku. Undir þeim aðstæðum þarf að setja nýja server-a upp og restore-a afritum á þá.

Síðan þarf líka að hafa í huga að þegar þú ert komin með þúsundu vefja í hýsingu þá getur afritunartími/endurheimtartími verið mjög langur (sérstaklega þegar vefirnir eru harðkóðaðir á ákveðna connection strengi/IP tölur).
Ef maður gerir "back of the envelope" útreikning m.v. 10.000 vefi þá gæti daglegt afrit verið kannski ~500GB (m.v. 50MB/vef) og það er fyrir utan öll pósthólfin / VPS vélarnar.

Hizzman skrifaði:en ef tæknistjórinn er með sérstakan öruggan fastboltaðan stálskáp í bílskúrnum og fyrirtækið borgar leigu fyrir skápinn?

Það væri alveg ótrúlega blöðrulegt. Myndi ekki vera ánægður að vita af slíku kerfi hjá mínum hýsingaraðila.

Aðal atriðið er að eitthvað gerðist sem orsakar að sjálfvirkni við restore er farin og það virðist þurfa að búa til alla þjóna handvirkt eða frá grunni áður en þeim er restorað eða að ekkert mál er að deploya þjónum en restore þarf að vinna handvirkt t.d. tengja diskasvæði sem búið er að restora við þjón.

Kiddi

Siggi og Mörður voru ekki að byrja í rekstri í gær.

Hvað feilaði? Það hafa engin ítarleg svör verið gefin. Ef ég horfi til baka á t.d. þegar að Gitlab straujaði "production" gagnagrunninn sinn þá lá það allt í mjög opnu ferli í Google Docs skjali og svo birtu þeir mjög ítarlegt "post mortem" sjá hérna: (https://about.gitlab.com/2017/02/10/pos ... anuary-31/). Það sem var í Google Docs skjalinu var mjög ítarlegt og gaf til kynna hvað þeir voru að eiga við. Gegnsæið á þessari viku síðan að 1984 fór á hliðina hefur verið ekkert. Tilkynningar hafa verið stopular og ekkert að marka þær.

Tilvitnanir frá viðskiptavinum:

" For example, right now emails are not working. You MUST IMMEDIATELY tell us this might happen, WHY it might happen (or why it is happening) and what are you doing. Seven days into this colossal fuckup at least some of us we're now unable to update the partners and clients. So from bad to worse."

"Well keep working on the problem instead of writing statements. Just I need to renew in 45 days and I will need a long statement as to what happened and why it is taking so long to restore backups.
As well as assurances that you will have better offsite backups that are easier and faster to deploy in the future.

Really if your entire server hall burned to the ground it still shouldnt take this long to get a seconday system running for all sites...."

"And how, pray, you'll do that? By saying you will do better and yet provide NOT A SINGLE BIT OF NEW INFO??? Get freaking serious, you're killing people's livelihoods:
a) where is the COUNTER -- how many sites are being restored. This would give some assurance to those whose sites are not working
b) why is the Control Panel DOWN? Why are we unable to access it (for the purpose of changing DNS so a placeholder sites would be up) and what you are going to DO about it
c) where is the outline of the actions? Storage went down, backups are there and there. Team "A" is doing this, team "B" is doing that.
d) etc.

Damn, people, your behavior is as bad as your failure."

Vefir hafa komið og farið. Vefir sem ég sá í loftinu í gær frá þeim er horfnir í dag s.s. koma upp með villumeldingum.

Ég set spurningarmerki við þessa hjálp sem þeir fengu um liðna helgi frá vinum sínum Helga Hrafni (Helgi er víst verktaki samkvæmt heimildum hér neðar í þræðinum hjá 1984) og Smára. Eitt er að vinir manns hjálpi manni en undir eðlilegum kringumstæðum þyrftirðu að hafa NDA við starfsmann eða verktaka spurning hvernig þetta lítur út frá persónuverndarsjónarmiðum. Í það minnsta væri ég ekki ánægður með að þriðji aðili fengi að komast í gögnin mín án þess að réttir samningar liggi fyrir. Í það minnsta myndi ég ekki auglýsa svona vinnubrögð á samfélagsmiðlum.

Það hefði verið sterkur leikur hjá þeim að útbúa "exit" leið fyrir viðskiptavini og gefa þeim tök á því að sækja afritin sín og koma þeim upp hjá þriðja aðila án þess að þurfa að bíða í viku. Ef ég væri með rekstur væri ég langt í frá að vera kátur.

En ef við skoðum markaðinn hér á landi þá eru þeir einn af fáum aðilum sem hefur boðið upp á þjónustu sem hefur gegnsæi í verði. Veit ekki hvað það eru margir aðilar að bjóða hýsingu sem hægt er að skrá sig fyrir eingöngu í gegnum vefinn hér á landi og það er ótrúlega jákvætt. Ef þú þorir ekki að auglýsa verðin þín á netinu þá ertu of dýr það er klárt mál.

En vika án þess að vera 100% með allt í loftinu aftur er of langur tími. Ég held að þú gætir sagt að 4-6 tímar séu allt að því ásættanlegir. 1-2 dagar og þú horfir upp á eitthvað brottfall viðskiptavina. Allt umfram það og þú ættir að setja upp "Lokað" skilti og/eða að reyna að selja einhverjum stærri aðila reksturinn og bjarga andlitinu meðan þú getur.

kiddi skrifaði:

Hizzman skrifaði:Hvað sem öllu öðru líður, á að vera til off-site, off-line afrit til að gera disaster recovery!

Mig grunar að það sé það kerfi sem er verið að notast við núna, margar af þessum síðum sem eru að poppa upp í gagnið núna eru að koma frá Þýskalandi hef ég heyrt - vefurinn er bara svo flókinn að það er ekki hægt að koma backup í loftið á núlleinni, það þarf að uppfæra allsskonar færslur hér og þar, sem er flókið þegar vefirnir eru þúsundir talsins.

Væntanlega hefur "local backuppið" verið of nátengt aðal kerfinu hjá þeim og því hrundi öll keðjan sem var hugsuð fyrir instant recovery, en cold-storage backup hefur komið til bjargar, sem hefur væntanlega verið hýst erlendis. Persónulega er ég með þónokkra vefi í hýsingu hjá 1984.is og afritin sem eru komin í gagnið eru mjög nýleg, ég hef engu glatað.

Fyrir mitt leiti hefur traust mitt og trú á 1984.is aldrei verið meira - þeir eru búnir að sanna sig í worst-case scenario og verða reynslunni ríkari. Ég veit ekki til þess að nokkur annar íslenskur hýsingaraðili hafi þurft að kljást við annað eins vesen?

Televisionary skrifaði: Ég set spurningarmerki við þessa hjálp sem þeir fengu um liðna helgi frá vinum sínum Helga Hrafni og Smára. Eitt er að vinir manns hjálpi manni en undir eðlilegum kringumstæðum þyrftirðu að hafa NDA við starfsmann eða verktaka spurning hvernig þetta lítur út frá persónuverndarsjónarmiðum.

Helgi Hrafn hefur verið að vinna sem verktaki fyrir 1984 stóran hluta ársins, svo það kæmi mér ekki á óvart að það lægi fyrir NDA þeirra á milli. Þekki hins vegar ekki hvernig það er með Smára

Að öðru leyti er ég sammála, ég kaupi heldur ekki að 80% af vefjum séu komnir í loftið. Veit um aðila sem hafa svo leitað annað, enda er ekki í boði að vefur liggi niðri í viku án greinilegra svara um hvort eða hvenær þeir fari aftur í loftið.

Takk fyrir þetta Klemmi, ég uppfærði hjá mér og sett innan sviga.

Klemmi skrifaði:

Televisionary skrifaði: Ég set spurningarmerki við þessa hjálp sem þeir fengu um liðna helgi frá vinum sínum Helga Hrafni og Smára. Eitt er að vinir manns hjálpi manni en undir eðlilegum kringumstæðum þyrftirðu að hafa NDA við starfsmann eða verktaka spurning hvernig þetta lítur út frá persónuverndarsjónarmiðum.

Helgi Hrafn hefur verið að vinna sem verktaki fyrir 1984 stóran hluta ársins, svo það kæmi mér ekki á óvart að það lægi fyrir NDA þeirra á milli. Þekki hins vegar ekki hvernig það er með Smára

Að öðru leyti er ég sammála, ég kaupi heldur ekki að 80% af vefjum séu komnir í loftið. Veit um aðila sem hafa svo leitað annað, enda er ekki í boði að vefur liggi niðri í viku án greinilegra svara um hvort eða hvenær þeir fari aftur í loftið.

Klemmi skrifaði:Helgi Hrafn hefur verið að vinna sem verktaki fyrir 1984 stóran hluta ársins, s

hmmm

Hizzman skrifaði:hmmm

Hvað?

DR plön hjá þeim hafa einfaldlega ekki gert ráð fyrir worst case scenario eða þeir hafa vanmetið hvað restore tæki langan tíma við svona aðstæður. Svona langur tími án útskýringa hvað hafi raunverulega gerst eða hvað þá grunar er ekki í lagi ef þeir vilja halda í traust. Þeir fá alla mína vorkunn að hafa lent í þessu en þeir verða að fara að viðurkenna hvað klikkaði

raggos skrifaði:DR plön hjá þeim hafa einfaldlega ekki gert ráð fyrir worst case scenario eða þeir hafa vanmetið hvað restore tæki langan tíma við svona aðstæður. Svona langur tími án útskýringa hvað hafi raunverulega gerst eða hvað þá grunar er ekki í lagi ef þeir vilja halda í traust. Þeir fá alla mína vorkunn að hafa lent í þessu en þeir verða að fara að viðurkenna hvað klikkaði

Ekki endilega viðurkenna, það fer ekki framhjá neinum, heldur að segja hreint út hvað gerðist og hvar þeirra kúkur liggur.

Svona tími er sorglega langur, og ég tala nú ekki um ef að undir liggja viðskipti annara, og þeir aðilar vita ekki einu sinni hvort þeir fái sitt til baka.

Á þessari stundu eru þeir að nálgast "closed for business" línuna, ef þeir eru ekki komnir yfir hana.

Er ekki besta vörnin fyrir svona löguðu ágætis skammtur af paranoiu?

Klemmi skrifaði:

Hizzman skrifaði:hmmm

Hvað?

Ætli þeir hafi mikið verið að nota verktaka? Etv erlenda sem kosta ekki mikið?

Hizzman skrifaði:

Klemmi skrifaði:

Hizzman skrifaði:hmmm

Hvað?

Ætli þeir hafi mikið verið að nota verktaka? Etv erlenda sem kosta ekki mikið?

Ha? Hvaða steikar pæling er það? Þú ert að tengja saman punkta sem eru ekki einu sinni þarna.

dori skrifaði:

Hizzman skrifaði:

Klemmi skrifaði:

Hizzman skrifaði:hmmm

Hvað?

Ætli þeir hafi mikið verið að nota verktaka? Etv erlenda sem kosta ekki mikið?

Ha? Hvaða steikar pæling er það? Þú ert að tengja saman punkta sem eru ekki einu sinni þarna.

Hvaða hvaða. Má ekki leyfa manninum að reyna að finna upp á nýjum samsæriskenningum? Aldrei of mikið af þeim

Nú er liðinn töluverður tími frá því að þetta kerfishrun varð, og fyrirtæki sem ég þekki kemst ekki ennþá í tölvupósta frá ágúst-nóvember.

Það + að þeir hafi nú hætt öllum símasamskiptum og svari ekki tölvupóstum er einfaldlega óásættanlegt

Er síðan þeirra líka niðri núna ??
Er allt að fara úrskeiðis hjá þeim ?