Какво се случи на 30.07.2009 г.

[SYNOPTIK]

На 30 юли 2009 г. FREE.BG претърпя най-големия си срив откакто съществува. Бяха унищожени данните на всички потребители - около 30 000 уебсайта, 7 000 форума и 2 000 блога. Загубата на толкова информация е много тежък удар.

Едновременно с това беше и унищожен и софтуера, който се използваше за услугата - комбинация от внимателно оптимизиран и настроен общодостъпен свободен софтуер с редица лични подобрения.
Архитектурата на услугата е такава, че по-горе споменатите данни и програми се съхраняват на два различни твърди диска - първият се използва за ежедневното обслужване на интернет трафика, а втория - за резервно съхраняване. Идеята е, ако първия се повреди (заб.: дисковете не са в RAID масив), да може бързо да се възстанови работата с помощта на втория диск.

Както всяко устройство, така и най-качествените твърди дискове могат да се повредят и това се случва с определена степен на вероятност. Вероятноста едновременно, по едно и също време, да се повредят и двата диска е много малка и затова този подход беше разглеждан от нас като приемлив.

Къде сбъркахме? Не отчетохме човешкия и други фактори.
След няколко часово разследване се установи, че единственото което е записано на основния твърд диск е числото 55. Това би могло да се дължи и на някой много опитен хакер, който по неизвестен начин да е овладял системата и да е изтрил всичко. За съжаление не беше така. Казвам за съжаление, защото, ако това беше дело на хакер, от резервното копие можеше да се възстановят нещата в изходно положение. След още няколко часа се установи, че и на втория твърд диск има записани само петици - от първия до последния сектор...

Уведомих отдела за поддръжка на хостинг провайдъра и на другия ден получих писмо, че
техник по погрешка е изтрил двата твърди диска. Оказва се, че служителят е сбъркал и вместо да изтрие акаунта на друг техен клиент е изтрил този на FREE.BG...

Това писмо го получих сутринта на 31 юли, в т.нар. "ден на системния администратор" и не беше шега, както всеки нормален човек би си помислил.
Наложи се да се започне всичко от нулата...