1984.is - hvað gerðist?

Allt utan efnis

Hizzman
Tölvutryllir
Póstar: 637
Skráði sig: Fös 22. Apr 2016 18:48
Staða: Ótengdur

Re: 1984.is - hvað gerðist?

Póstur af Hizzman »

falcon1 skrifaði:Ein forvitnisspurning frá græningja í þessum málum... er eðlilegt að það taki svona langan tíma að koma upp kerfinu aftur? Á ekki að vera backup-kerfi sem hægt er að setja upp frekar fljótt þegar svona gerist?
Ég hef verið hjá ýmsum erlendum hýsingaraðilum og alltaf þegar eitthvað hefur klikkað þá hefur það verið fljótlega komið upp aftur. Var þetta hjá 1984 eitthvað freak dæmi eða galli í uppsetningu hjá þeim?
nei, það er augljóslega ekki eðlilegt.
Hvað sem öllu öðru líður, á að vera til off-site, off-line afrit til að gera disaster recovery!
Skjámynd

kiddi
Stjórnandi
Póstar: 1197
Skráði sig: Fim 29. Ágú 2002 03:55
Staðsetning: Reykjavík
Hafðu samband:
Staða: Ótengdur

Re: 1984.is - hvað gerðist?

Póstur af kiddi »

Hizzman skrifaði:Hvað sem öllu öðru líður, á að vera til off-site, off-line afrit til að gera disaster recovery!
Mig grunar að það sé það kerfi sem er verið að notast við núna, margar af þessum síðum sem eru að poppa upp í gagnið núna eru að koma frá Þýskalandi hef ég heyrt - vefurinn er bara svo flókinn að það er ekki hægt að koma backup í loftið á núlleinni, það þarf að uppfæra allsskonar færslur hér og þar, sem er flókið þegar vefirnir eru þúsundir talsins.

Væntanlega hefur "local backuppið" verið of nátengt aðal kerfinu hjá þeim og því hrundi öll keðjan sem var hugsuð fyrir instant recovery, en cold-storage backup hefur komið til bjargar, sem hefur væntanlega verið hýst erlendis. Persónulega er ég með þónokkra vefi í hýsingu hjá 1984.is og afritin sem eru komin í gagnið eru mjög nýleg, ég hef engu glatað.

Fyrir mitt leiti hefur traust mitt og trú á 1984.is aldrei verið meira - þeir eru búnir að sanna sig í worst-case scenario og verða reynslunni ríkari. Ég veit ekki til þess að nokkur annar íslenskur hýsingaraðili hafi þurft að kljást við annað eins vesen?
Skjámynd

rapport
Kóngur
Póstar: 5917
Skráði sig: Mán 27. Apr 2009 13:07
Staðsetning: Reykjavík
Staða: Ótengdur

Re: 1984.is - hvað gerðist?

Póstur af rapport »

Mig grunar að öll sjálfvirkni við uppsetnigu á nýjum þjóni og restora gömlu afriti hafi tapast með því að þurfa að skipta um SAN, hugsanlega önnur tækni sem ekki er samrýmanleg nema með handavinnu.

Það er ljóst að verið er að setja allt upp að nýju frá grunni og ef við pælum bara í að afritið er offsite, hvað það muni taka ógeðslega langan tíma að afrita gögnin onsite áður en hægt er að vinna retsore.

Hizzman
Tölvutryllir
Póstar: 637
Skráði sig: Fös 22. Apr 2016 18:48
Staða: Ótengdur

Re: 1984.is - hvað gerðist?

Póstur af Hizzman »

off-site/off-line afrit þarf/á ekki að vera erlendis!

það á að vera á hörðum diskum, sem eru geymdir í öruggu rými, nokkra km frá tækjasalnum. Jafnvel 2 staðir sinn í hvora áttina.
Þeir eiga að innihalda afrit mest 2 vikna gamalt, siðan á að vera daglegt afrit í annari byggingu (heima hjá tæknistjóranum td)

steiniofur
Fiktari
Póstar: 54
Skráði sig: Mán 12. Jan 2015 18:15
Staða: Ótengdur

Re: 1984.is - hvað gerðist?

Póstur af steiniofur »

Hizzman skrifaði:off-site/off-line afrit þarf/á ekki að vera erlendis!

það á að vera á hörðum diskum, sem eru geymdir í öruggu rými, nokkra km frá tækjasalnum. Jafnvel 2 staðir sinn í hvora áttina.
Þeir eiga að innihalda afrit mest 2 vikna gamalt, siðan á að vera daglegt afrit í annari byggingu (heima hjá tæknistjóranum td)
Það væri ansi gaman að vita hvað daglegt afrit af öllu 1984 kerfinu er stórt. Held að það sé ansi fjarstæðukennt að fara geyma það magn hjá eins stórum hýsingaraðila eins og 1984 heima hjá starfsmönnum. Mér finndist það í meira lagi ófagmannlegt. Þetta hljómar í lagi kannski fyrir lítil fyrirtæki og annað sem eru ekki beinlínis að vinna við að geyma gögn annara.

Hizzman
Tölvutryllir
Póstar: 637
Skráði sig: Fös 22. Apr 2016 18:48
Staða: Ótengdur

Re: 1984.is - hvað gerðist?

Póstur af Hizzman »

steiniofur skrifaði:
Hizzman skrifaði:off-site/off-line afrit þarf/á ekki að vera erlendis!

það á að vera á hörðum diskum, sem eru geymdir í öruggu rými, nokkra km frá tækjasalnum. Jafnvel 2 staðir sinn í hvora áttina.
Þeir eiga að innihalda afrit mest 2 vikna gamalt, siðan á að vera daglegt afrit í annari byggingu (heima hjá tæknistjóranum td)
Það væri ansi gaman að vita hvað daglegt afrit af öllu 1984 kerfinu er stórt. Held að það sé ansi fjarstæðukennt að fara geyma það magn hjá eins stórum hýsingaraðila eins og 1984 heima hjá starfsmönnum. Mér finndist það í meira lagi ófagmannlegt. Þetta hljómar í lagi kannski fyrir lítil fyrirtæki og annað sem eru ekki beinlínis að vinna við að geyma gögn annara.
hvernig á að útfæra þetta, að þínu mati?

steiniofur
Fiktari
Póstar: 54
Skráði sig: Mán 12. Jan 2015 18:15
Staða: Ótengdur

Re: 1984.is - hvað gerðist?

Póstur af steiniofur »

Ég er svosem enginn sérfræðingur í gagnaöryggi og afriturn, en er samt sem áður á þeirri skoðun að ekki eigi að útfæra gagnaafritun hjá hýsingaraðila á þann veg að gögn séu geymd heima hjá starfsmönnum.
Mér finndist eflaust best að vera með afrit local, útúr húsi og útúr landi, því fleiri því betra.

Hizzman
Tölvutryllir
Póstar: 637
Skráði sig: Fös 22. Apr 2016 18:48
Staða: Ótengdur

Re: 1984.is - hvað gerðist?

Póstur af Hizzman »

en ef tæknistjórinn er með sérstakan öruggan fastboltaðan stálskáp í bílskúrnum og fyrirtækið borgar leigu fyrir skápinn?

slapi
Gúrú
Póstar: 509
Skráði sig: Fös 19. Jún 2009 21:47
Staða: Ótengdur

Re: 1984.is - hvað gerðist?

Póstur af slapi »

Það kemur mér á óvart að onsite backup hafi ekki verið betra eða þá of intvinnað í aðal kerfið þeirra að það hafi farið með niður.

Þetta með að geyma backup heima hjá einhverjum er óábyrgt öryggislega séð útaf mannlegum þætti. Ef að sá einstaklingur byrjar síðan að vinna á móti vinnuveitanda sínum er hann með backup allra kúnna sem er óásættanlegt staðla lega séð.
Skjámynd

Revenant
vélbúnaðarpervert
Póstar: 992
Skráði sig: Fim 24. Jún 2004 12:36
Staða: Ótengdur

Re: 1984.is - hvað gerðist?

Póstur af Revenant »

Afrit og afrit eru ekki það sama. Það eru til heildarafrit af netþjóninum, file level afrit, gagnagrunnsafrit, application specific afrit.

Án þess að vita þá myndi ég gera ráð fyrir að þeir hafi verið með file level & gagnagrunnsafritun í gangi. Það bjargar gegn "fat-finger" áföllum en ekki áföllum eins og þeir lentu í þegar diskarnir undir netþjóninum fara í köku. Undir þeim aðstæðum þarf að setja nýja server-a upp og restore-a afritum á þá.

Síðan þarf líka að hafa í huga að þegar þú ert komin með þúsundu vefja í hýsingu þá getur afritunartími/endurheimtartími verið mjög langur (sérstaklega þegar vefirnir eru harðkóðaðir á ákveðna connection strengi/IP tölur).
Ef maður gerir "back of the envelope" útreikning m.v. 10.000 vefi þá gæti daglegt afrit verið kannski ~500GB (m.v. 50MB/vef) og það er fyrir utan öll pósthólfin / VPS vélarnar.
i7-2600K 3.4GHz @ 4.7GHz (103 MHz x 46) 1.416 V | ASUS P8P67 Pro | ASUS GeForce GTX1070 | Mushkin Blackline 8 GB CL9 1600MHz | Antec TruePower 750W | HAF X
Skjámynd

dori
Besserwisser
Póstar: 3567
Skráði sig: Fim 12. Feb 2009 10:46
Staða: Ótengdur

Re: 1984.is - hvað gerðist?

Póstur af dori »

Hizzman skrifaði:en ef tæknistjórinn er með sérstakan öruggan fastboltaðan stálskáp í bílskúrnum og fyrirtækið borgar leigu fyrir skápinn?
Það væri alveg ótrúlega blöðrulegt. Myndi ekki vera ánægður að vita af slíku kerfi hjá mínum hýsingaraðila.
Skjámynd

rapport
Kóngur
Póstar: 5917
Skráði sig: Mán 27. Apr 2009 13:07
Staðsetning: Reykjavík
Staða: Ótengdur

Re: 1984.is - hvað gerðist?

Póstur af rapport »

Aðal atriðið er að eitthvað gerðist sem orsakar að sjálfvirkni við restore er farin og það virðist þurfa að búa til alla þjóna handvirkt eða frá grunni áður en þeim er restorað eða að ekkert mál er að deploya þjónum en restore þarf að vinna handvirkt t.d. tengja diskasvæði sem búið er að restora við þjón.

Televisionary
Gúrú
Póstar: 561
Skráði sig: Þri 17. Feb 2009 15:26
Staða: Ótengdur

Re: 1984.is - hvað gerðist?

Póstur af Televisionary »

Kiddi

Siggi og Mörður voru ekki að byrja í rekstri í gær.

Hvað feilaði? Það hafa engin ítarleg svör verið gefin. Ef ég horfi til baka á t.d. þegar að Gitlab straujaði "production" gagnagrunninn sinn þá lá það allt í mjög opnu ferli í Google Docs skjali og svo birtu þeir mjög ítarlegt "post mortem" sjá hérna: (https://about.gitlab.com/2017/02/10/pos ... anuary-31/). Það sem var í Google Docs skjalinu var mjög ítarlegt og gaf til kynna hvað þeir voru að eiga við. Gegnsæið á þessari viku síðan að 1984 fór á hliðina hefur verið ekkert. Tilkynningar hafa verið stopular og ekkert að marka þær.

Tilvitnanir frá viðskiptavinum:
" For example, right now emails are not working. You MUST IMMEDIATELY tell us this might happen, WHY it might happen (or why it is happening) and what are you doing. Seven days into this colossal fuckup at least some of us we're now unable to update the partners and clients. So from bad to worse."
"Well keep working on the problem instead of writing statements. Just I need to renew in 45 days and I will need a long statement as to what happened and why it is taking so long to restore backups.
As well as assurances that you will have better offsite backups that are easier and faster to deploy in the future.

Really if your entire server hall burned to the ground it still shouldnt take this long to get a seconday system running for all sites...."
"And how, pray, you'll do that? By saying you will do better and yet provide NOT A SINGLE BIT OF NEW INFO??? Get freaking serious, you're killing people's livelihoods:
a) where is the COUNTER -- how many sites are being restored. This would give some assurance to those whose sites are not working
b) why is the Control Panel DOWN? Why are we unable to access it (for the purpose of changing DNS so a placeholder sites would be up) and what you are going to DO about it
c) where is the outline of the actions? Storage went down, backups are there and there. Team "A" is doing this, team "B" is doing that.
d) etc.

Damn, people, your behavior is as bad as your failure."
Vefir hafa komið og farið. Vefir sem ég sá í loftinu í gær frá þeim er horfnir í dag s.s. koma upp með villumeldingum.

Ég set spurningarmerki við þessa hjálp sem þeir fengu um liðna helgi frá vinum sínum Helga Hrafni (Helgi er víst verktaki samkvæmt heimildum hér neðar í þræðinum hjá 1984) og Smára. Eitt er að vinir manns hjálpi manni en undir eðlilegum kringumstæðum þyrftirðu að hafa NDA við starfsmann eða verktaka spurning hvernig þetta lítur út frá persónuverndarsjónarmiðum. Í það minnsta væri ég ekki ánægður með að þriðji aðili fengi að komast í gögnin mín án þess að réttir samningar liggi fyrir. Í það minnsta myndi ég ekki auglýsa svona vinnubrögð á samfélagsmiðlum.

Það hefði verið sterkur leikur hjá þeim að útbúa "exit" leið fyrir viðskiptavini og gefa þeim tök á því að sækja afritin sín og koma þeim upp hjá þriðja aðila án þess að þurfa að bíða í viku. Ef ég væri með rekstur væri ég langt í frá að vera kátur.

En ef við skoðum markaðinn hér á landi þá eru þeir einn af fáum aðilum sem hefur boðið upp á þjónustu sem hefur gegnsæi í verði. Veit ekki hvað það eru margir aðilar að bjóða hýsingu sem hægt er að skrá sig fyrir eingöngu í gegnum vefinn hér á landi og það er ótrúlega jákvætt. Ef þú þorir ekki að auglýsa verðin þín á netinu þá ertu of dýr það er klárt mál.

En vika án þess að vera 100% með allt í loftinu aftur er of langur tími. Ég held að þú gætir sagt að 4-6 tímar séu allt að því ásættanlegir. 1-2 dagar og þú horfir upp á eitthvað brottfall viðskiptavina. Allt umfram það og þú ættir að setja upp "Lokað" skilti og/eða að reyna að selja einhverjum stærri aðila reksturinn og bjarga andlitinu meðan þú getur.
kiddi skrifaði:
Hizzman skrifaði:Hvað sem öllu öðru líður, á að vera til off-site, off-line afrit til að gera disaster recovery!
Mig grunar að það sé það kerfi sem er verið að notast við núna, margar af þessum síðum sem eru að poppa upp í gagnið núna eru að koma frá Þýskalandi hef ég heyrt - vefurinn er bara svo flókinn að það er ekki hægt að koma backup í loftið á núlleinni, það þarf að uppfæra allsskonar færslur hér og þar, sem er flókið þegar vefirnir eru þúsundir talsins.

Væntanlega hefur "local backuppið" verið of nátengt aðal kerfinu hjá þeim og því hrundi öll keðjan sem var hugsuð fyrir instant recovery, en cold-storage backup hefur komið til bjargar, sem hefur væntanlega verið hýst erlendis. Persónulega er ég með þónokkra vefi í hýsingu hjá 1984.is og afritin sem eru komin í gagnið eru mjög nýleg, ég hef engu glatað.

Fyrir mitt leiti hefur traust mitt og trú á 1984.is aldrei verið meira - þeir eru búnir að sanna sig í worst-case scenario og verða reynslunni ríkari. Ég veit ekki til þess að nokkur annar íslenskur hýsingaraðili hafi þurft að kljást við annað eins vesen?
Last edited by Televisionary on Fim 23. Nóv 2017 09:31, edited 1 time in total.
Skjámynd

Klemmi
Stjórnandi
Póstar: 3981
Skráði sig: Fim 10. Apr 2003 12:16
Staða: Ótengdur

Re: 1984.is - hvað gerðist?

Póstur af Klemmi »

Televisionary skrifaði: Ég set spurningarmerki við þessa hjálp sem þeir fengu um liðna helgi frá vinum sínum Helga Hrafni og Smára. Eitt er að vinir manns hjálpi manni en undir eðlilegum kringumstæðum þyrftirðu að hafa NDA við starfsmann eða verktaka spurning hvernig þetta lítur út frá persónuverndarsjónarmiðum.
Helgi Hrafn hefur verið að vinna sem verktaki fyrir 1984 stóran hluta ársins, svo það kæmi mér ekki á óvart að það lægi fyrir NDA þeirra á milli. Þekki hins vegar ekki hvernig það er með Smára :)

Að öðru leyti er ég sammála, ég kaupi heldur ekki að 80% af vefjum séu komnir í loftið. Veit um aðila sem hafa svo leitað annað, enda er ekki í boði að vefur liggi niðri í viku án greinilegra svara um hvort eða hvenær þeir fari aftur í loftið.
www.laptop.is
www.ferdaleit.is

Televisionary
Gúrú
Póstar: 561
Skráði sig: Þri 17. Feb 2009 15:26
Staða: Ótengdur

Re: 1984.is - hvað gerðist?

Póstur af Televisionary »

Takk fyrir þetta Klemmi, ég uppfærði hjá mér og sett innan sviga.
Klemmi skrifaði:
Televisionary skrifaði: Ég set spurningarmerki við þessa hjálp sem þeir fengu um liðna helgi frá vinum sínum Helga Hrafni og Smára. Eitt er að vinir manns hjálpi manni en undir eðlilegum kringumstæðum þyrftirðu að hafa NDA við starfsmann eða verktaka spurning hvernig þetta lítur út frá persónuverndarsjónarmiðum.
Helgi Hrafn hefur verið að vinna sem verktaki fyrir 1984 stóran hluta ársins, svo það kæmi mér ekki á óvart að það lægi fyrir NDA þeirra á milli. Þekki hins vegar ekki hvernig það er með Smára :)

Að öðru leyti er ég sammála, ég kaupi heldur ekki að 80% af vefjum séu komnir í loftið. Veit um aðila sem hafa svo leitað annað, enda er ekki í boði að vefur liggi niðri í viku án greinilegra svara um hvort eða hvenær þeir fari aftur í loftið.

Hizzman
Tölvutryllir
Póstar: 637
Skráði sig: Fös 22. Apr 2016 18:48
Staða: Ótengdur

Re: 1984.is - hvað gerðist?

Póstur af Hizzman »

Klemmi skrifaði:Helgi Hrafn hefur verið að vinna sem verktaki fyrir 1984 stóran hluta ársins, s
hmmm
Skjámynd

Klemmi
Stjórnandi
Póstar: 3981
Skráði sig: Fim 10. Apr 2003 12:16
Staða: Ótengdur

Re: 1984.is - hvað gerðist?

Póstur af Klemmi »

Hizzman skrifaði:hmmm
Hvað?
www.laptop.is
www.ferdaleit.is

raggos
Nörd
Póstar: 120
Skráði sig: Fim 26. Mar 2009 09:03
Staða: Ótengdur

Re: 1984.is - hvað gerðist?

Póstur af raggos »

DR plön hjá þeim hafa einfaldlega ekki gert ráð fyrir worst case scenario eða þeir hafa vanmetið hvað restore tæki langan tíma við svona aðstæður. Svona langur tími án útskýringa hvað hafi raunverulega gerst eða hvað þá grunar er ekki í lagi ef þeir vilja halda í traust. Þeir fá alla mína vorkunn að hafa lent í þessu en þeir verða að fara að viðurkenna hvað klikkaði

ellertj
Fiktari
Póstar: 77
Skráði sig: Mán 27. Des 2004 09:59
Staða: Ótengdur

Re: 1984.is - hvað gerðist?

Póstur af ellertj »

raggos skrifaði:DR plön hjá þeim hafa einfaldlega ekki gert ráð fyrir worst case scenario eða þeir hafa vanmetið hvað restore tæki langan tíma við svona aðstæður. Svona langur tími án útskýringa hvað hafi raunverulega gerst eða hvað þá grunar er ekki í lagi ef þeir vilja halda í traust. Þeir fá alla mína vorkunn að hafa lent í þessu en þeir verða að fara að viðurkenna hvað klikkaði

Ekki endilega viðurkenna, það fer ekki framhjá neinum, heldur að segja hreint út hvað gerðist og hvar þeirra kúkur liggur.

Svona tími er sorglega langur, og ég tala nú ekki um ef að undir liggja viðskipti annara, og þeir aðilar vita ekki einu sinni hvort þeir fái sitt til baka.

Á þessari stundu eru þeir að nálgast "closed for business" línuna, ef þeir eru ekki komnir yfir hana.
Skjámynd

DJOli
Vaktari
Póstar: 2082
Skráði sig: Fim 24. Jún 2010 01:58
Staðsetning: Heima
Staða: Ótengdur

Re: 1984.is - hvað gerðist?

Póstur af DJOli »

Er ekki besta vörnin fyrir svona löguðu ágætis skammtur af paranoiu?
i7-10700KF|64gb(2x32gb)ddr4|1060-6gb|1tb Samsung 980 Pro nvme m.2|1tb Samsung 860 Evo sata ssd|Corsair HX1200|

Hizzman
Tölvutryllir
Póstar: 637
Skráði sig: Fös 22. Apr 2016 18:48
Staða: Ótengdur

Re: 1984.is - hvað gerðist?

Póstur af Hizzman »

Klemmi skrifaði:
Hizzman skrifaði:hmmm
Hvað?
Ætli þeir hafi mikið verið að nota verktaka? Etv erlenda sem kosta ekki mikið?
Skjámynd

dori
Besserwisser
Póstar: 3567
Skráði sig: Fim 12. Feb 2009 10:46
Staða: Ótengdur

Re: 1984.is - hvað gerðist?

Póstur af dori »

Hizzman skrifaði:
Klemmi skrifaði:
Hizzman skrifaði:hmmm
Hvað?
Ætli þeir hafi mikið verið að nota verktaka? Etv erlenda sem kosta ekki mikið?
Ha? Hvaða steikar pæling er það? Þú ert að tengja saman punkta sem eru ekki einu sinni þarna.
Skjámynd

DJOli
Vaktari
Póstar: 2082
Skráði sig: Fim 24. Jún 2010 01:58
Staðsetning: Heima
Staða: Ótengdur

Re: 1984.is - hvað gerðist?

Póstur af DJOli »

dori skrifaði:
Hizzman skrifaði:
Klemmi skrifaði:
Hizzman skrifaði:hmmm
Hvað?
Ætli þeir hafi mikið verið að nota verktaka? Etv erlenda sem kosta ekki mikið?
Ha? Hvaða steikar pæling er það? Þú ert að tengja saman punkta sem eru ekki einu sinni þarna.
Hvaða hvaða. Má ekki leyfa manninum að reyna að finna upp á nýjum samsæriskenningum? Aldrei of mikið af þeim :guy
i7-10700KF|64gb(2x32gb)ddr4|1060-6gb|1tb Samsung 980 Pro nvme m.2|1tb Samsung 860 Evo sata ssd|Corsair HX1200|
Skjámynd

snaeji
Tölvutryllir
Póstar: 610
Skráði sig: Fös 05. Mar 2010 01:39
Staða: Ótengdur

Re: 1984.is - hvað gerðist?

Póstur af snaeji »

Nú er liðinn töluverður tími frá því að þetta kerfishrun varð, og fyrirtæki sem ég þekki kemst ekki ennþá í tölvupósta frá ágúst-nóvember.

Það + að þeir hafi nú hætt öllum símasamskiptum og svari ekki tölvupóstum er einfaldlega óásættanlegt :thumbsd
Skjámynd

Baldurmar
Tölvutryllir
Póstar: 680
Skráði sig: Þri 20. Jún 2006 12:07
Staða: Ótengdur

Re: 1984.is - hvað gerðist?

Póstur af Baldurmar »

Er síðan þeirra líka niðri núna ??
Er allt að fara úrskeiðis hjá þeim ?
Asrock Gaming K4 - Ryzen 1600 @ 3.7ghz - 16GB Ripjaws 3200mhz - GTX 1070 8gb
Svara