В начало → Блог → 2015 → 02

Выбираем хостинг, VPS и VDS

DDoS, как это бывает.

3 февраля 2015 года, 21:40

На просторах интернета набрел на душещипательное чтиво. Статья о DDoS атаке в 100 Гбит/с, описанная настолько красочным языком, что я перечитываю её, время от времени, с огромным удовольствием. Публикую её на сайте с разрешения автора, чтобы она всегда была у меня под рукой. Первоисточник статьи — отличный IT-блог Блогератор.

Скажите, Вы когда-нибудь сталкивались со 100 гигабитной атакой на подсеть?

Когда-нибудь, кто-нибудь видел, как лежит yandex? rtcomm? ukrtel? darpa? evoswitch? webazilla? Сеть в мир небольшой европейской страны?

И не дай-бог Вам увидеть подобное. Если кто-то думал, есть ли термоядерное оружие в интернете — оно есть. Хронология уникальной по мощности DDoS-атаки в 100+ Гбит/с глазами её очевидца.

Затишье перед бурей — 25 сентября 2010 г.

18:25

На один IP-адрес в нашей сети начинается атака, стандартный UDP flood случайными пакетами. Просим наш ДЦ закрыть UDP-траффик на IP, никто больше 10 гбит/с не атакуют верно?

18:35

ДЦ в ответ рапортует о нашей блокировке с красивым графиком падения нагрузки на порт.

18:40

Предпоследний вопрос получил ответ — неверно! На наш IP дали 40 гбит/с UDP flood на всю подсеть (512 IP /23). Наш апстрим быстро сообразил что к чему — null-рутнул всю подсеть.

Подсеть не с нашей AS. Сделать ничего невозможно.

27 сентября 2010 г.:

17:30

После объяснительной и многочисленных наших звонков начальству нашу сеть включают, естественно атакованный ресурс сразу попросили уйти, сменить быстро свою А-запись и забыть про наш хостинг еще 25-ого, потому как эта атака уже пару ДЦ положила гуляя (уже лег не выдержав netdirekt и какой-то ещё украинский крупный провайдер).

Doomsday — 7 октября 2010 г.:

10:30

Рассказываю что происходит: на моего клиента-хостера, а точнее на его клиента (далее буду называть его товарищ) в небольшой подсети дали атаку в 10 гбит/с, т.к. мы на «испытательном сроке», с PA-подсетями туго, решили блокировать его IP, попросили нуллрутнуть весь трафик.

Не тут-то было, старый друг вернулся! Венгерские каналы за рубеж для многих сайтов закрылись очень быстро, обратно тоже самое. Атака в 100 гбит/с положила международные каналы проверки EU VAT, банковские каналы, основной канал европейской фондовой биржи, ADSL сети и походу несколько ДЦ на пути.

Для локальных пользователей пол-Европы не было видно. Все матерятся при звонке к ним — все рутят нас в ноль.

13:44

По данным ДЦ, спустя 1 час после дропа целевого IP, атака продолжалась на другие подсети их AS. По данным от клиента они попытались быстро перенести сайт на Leaseweb, IP сменили. При этом хваленный Evoswitch частично лег моментально, пока они также спешно не зануллраутили IP.

При смене A-записи у домена атака начиналась моментально в 10 гбит/с постепенно увеличиваясь до 100 гбит/с. Это настоящий ад и гомора.

19:17

Товарищ сделал 127.0.0.1 у атакуемого домена.

Утро вечера не мудренее — 8 октября 2010 г.:

10:30

Клиент сообщает, что после переноса сайта товарища в один из самых крупных мировых ДЦ — webazilla, — и при возобновлении работы сайта на него опять полилось 60 гбит/с.

11:57

Через час — к черту хостинг, Вебазилла теперь умоляет своего клиента срочно убрать из домена A-запись на себя, т.к. магистральщики умирать начинают — уже льется больше 100 гбит/с!

Весело, ад и гомора продолжаются.

После этого этот упёртый товарищ начал прыгать по хваленным антиддосерам (укртелеком и еще какие-то вроде sharktech и еще кто-то из американских), сайты которых очень быстро валились и все их подсети тоже.

Так, после попытки оказать услугу «анти-ддос» и принятии на себя потока в 130 гбит/сек, Укртелеком стало колбасить так, что в Киеве пропала связь между банками, начала сбоить сотовая связь по всей Украине, часть национальной точки обмена траффиком UA-IX слягло, как и не было.

Как пишет в своем твиттере третий по величине провайдер Украины: «Хорошо хоть мой диапазон не ддосили, мои 5 Гбитов на такой атаке слегли бы моментально».

Второй был rtcomm со своей услугой anti-DDos — входной балансировщик этой «российской системообразующей компании» (как написано на их сайте) вообще сразу сдуло нахрен из интернет-видимости со всей подсетью.

Напомню, каждая смена A-записи моментально давала новый вектор атаки, а нулрут — атаку на под-сеть, мулти-запись А — мулти-атаку! Все хостеры этого проекта, старые—новые-будущие, смешались в кучу с единой мольбой — только не на нас!

Тут увидел, что Яндекс не открывается, как оказалось все довольно просто: когда товарищ уже видимо от безысходности и своей глупости вписывал IP адреса darpa.mil, yandex.ru, Голдентелекома, Google и еще кого-то, атака продолжалась на эти IP, — пока никто не продержался.

Представьте у Вас шланг — в виде A-записи, — с возможностью направить его куда угодно и уничтожить почти всё, что угодно на своем пути. Попросил клиента уговорить этого своего товарища (т.к. не смыслил он, что творил, или смыслил?) прекратить делать окружающим также плохо, как и ему, и прописать 0.0.0.0 или 127.0.0.1.

Чудо случилось к 21:00 — darpa.mil поднялась, а DDoS после этого магически исчез

Встает вопрос: как бороться с этим, без nullрута подсетей? Редиректить такую атаку к американским военным — сразу на Пентагон, там быстро разберутся? Пока у меня других ответов нет.

А что можно поделать, если буквально весь мир со всех сторон ддосит конкретный IP?.. Даже дропать пакеты не успевают. Можно, конечно, логически отключать сегменты сети или просто обесточить оборудование на неопределенное время (но это рубит на корню электронный бизнес).

36 часов непрерывной атаки ровным потоком в 100-130 Гбит/с, кто на такое вообще способен? 
И сколько такое вообще может стоить?

Мои подсети до сих пор не включили, магистральщики суеверно боятся и просят пождать ещё 72 часа, не высовываться пока в сеть, посмотреть что дальше будет…

ДЦ боится вообще прикасаться к ним, оно и ясно, у них SLA 99.9% дважды нарушено, выходит они и нам должны и остальным клиентам, проще им с нами судиться, чем, если что, с тысячами их клиентов.

Остаётся только добавить, что в этом описанном выше случае атака велась на LifeMeet.biz (это крупная партнерская программа конвертации дэйтинг и адалт трафика).

update 1:

Первая надпись в новостях этого ресурса, когда он всё-таки окончательно восстановился: «Лучше бы вы фейсбук такой махиной давили»

update 2:

Ещё из переписки технического работника, занимавшегося непосредственно восстановлением атакуемого ресурса (есть некоторые новые детали):

Официально заявляли в прессе, что будто бы DDOS укртела ияндекса были совершены по отдельности. Но что же было тогда сwebazilla? А cуть в том, что владелец атакуемого ресурса немного «поэкспериментировал» с нагрузкой на свой входной канал:

первоначально грандиозная DDoS-атака в 100 Гбит/с была направлена на один ничем не примечательный русскоязычный «взрослый» сайт…Не имея возможности справиться с огромной нагрузкой, владелец ресурса несколько раз менял A-запись домена, направляя атаку на другие сайты.

Один мой друг в теме заявил, что это все очень похоже на «войну» порносайтов, во что вериться с трудом, хотя я недоумеваю. Но заявленные мощности атаки впечатляют масштабностью.

~

 

Камменты из чата техсуппорта, где первоначально хостился этот «товарищ»

lasthero, Сегодня в 03:29

А чем вы занимаетесь? Как думаете, кому вы дорогу перешли?

equand, Сегодня в 03:33

Это не я, а попались на впс клиенту такие вот клиенты…

А отвечать приходится мне, т.к. эти атакуемые подсети мне выданы. Как назло все случилось именно перед расширением и акквайрингомAS-ки…

То есть своей AS еще не дали, а подсети частично в дауне, по-крайней мере на 10-гбитном канале.

Почти все восстановили на бекапных подсетях на бекапном канале, но BGP не удалось, т.к. ДЦ отказывается делать что-либо со всеми сервисами, которые были на том закатаном в дупель канале… а, да, пару раз что-то о русской мафии упоминали :)

xReaper, Сегодня в 03:35

А поискать плохишей нереально, или это был ботнет?

ofiginuri, Сегодня в 03:38

Да это была целая стая из ботнетов, судя по описанному мочилову.

equand, Сегодня в 03:39

Около миллиона IP, и это то что успели посчитать. Поди поищи их… Весь мир против нас тута воюет…

Вполне может быть, можно по DNS вычислить их папу, но надо как минимум 150 гбит/с канал, чтобы попереключать по подсетям и отловить козла по странным прямым запросам к ДНСу, хотя возможно запрос будет не странным, и с разных серверов мира.

Кстати этот ботнет скорее всего русский, т.к. атака была на русскоязычный сайт, при беглом осмотре, что-то вроде адалт-тематики, нелегала не нашел. Второй адалт уже за неделю — и тот же ботнет. Первый правда ToS нарушал, а к этому даже придраться невозможно было, хорошо что товарищ все-таки убрал IP из нашегоДНСа. Да, подрал этот ботнет тут всех, тут в нашем немецком ДЦ кишки намотаны (чьи-то) буквально на каждом серваке. Сталинградская битва, тока незнамо с кем воюем, ептыть :)

kibizoidus, Сегодня в 03:40

Судя по разрушениям, даже страшно подумать, чем занимаются ваши клиенты, Вова.

equand, Сегодня в 03:43

А то, самому страшно! И я взял этого клиентика на заметку, т.к. уже второй случай такой атаки на его IP-адреса. Но сейчас он ваще творит что-то нереальное, шанса на третий раз я ему не дам точно!!!1! С кем он там таким инферальным мочится на смерть я даже знать не хочу, ну их всех нах, вторые сутки поспать не могу.

3 года спустя, Александр Лямин (HightLoad Labs) говорит:

Про эту атаку знаю/видел… в тот момент я сидел на union square в SF и мне в течение часа позвонило минимум 4 перепуганных хостера, каждый из которых утверждал, что идёт жуткая атака именно на них.

На самом деле бомбили одну порно-партнерку. Порно/фарма/пираты — это самый активный с точки зрения DDoS сегмент. Бомбили, конечно, конкуренты. Давили чистым DNS-Amp, кроме volume — ничего интересного, в сущности, не продемонстрировали. Чисто грубая сила. Это светопреставление закончилось тем, что весь префикс ушел в /dev/null на Tier1…

~

Комментарий от анонимного работника Kaspersky Lab:

Самое смешное, что эта атака-«соточка» переехала на своём пути кучу випов: Укртелеком считает, что хакеры атаковали его, Яндекс — что нападение была не него, Вебазилла также видит в этом козни конкурентов… тысячи пострадавших монстров по всему миру… 
Это специфика атак такой мощности, сравнимой с сетевым ядерным взрывом, ибо транспорт у сети в общем-то один на всех общий — колбасит всех за компанию, поди разберись потом, кто там от кого и что хочет. 
Ну, вот такая вот захватывающая адалт-партнёрка у ребят получилась, бл@ть.

 

Смотрите также:
Акция от iHor хостинг
Ru-Center — хватит!

Ключевые слова: ДДоС, ddos, хостинг | Оставить комментарий

CloudMouse меня огорчил.

9 февраля 2015 года, 15:57

Получил сегодня алерт о падении сервера, а следом такое письмо от администрации CloudMouse:

Уважаемые пользователи, в результате аппаратного сбоя были утеряны все данные виртуальных машин, включая их бекапы. И как следствие, мы вынуждены были удалить все виртуальные машины в облаке.

На данный момент, мы нашли точку сбоя и исправили ее. В дальнейшем подобная ситуация уже не повторится, так как мы нашли источник проблем и приняли меры.

Нашему проекту уже полгода. У нас зарегистрировались более 22 000 пользователей. Мы сами занимаемся разработкой панели управления и облачной инфраструктурой. За это время мы получили колоссальный опыт и постоянно внедряем новые и современные решения.

Да, те кто с нами с самого начала, могут заметить что сначала uptime серверов был низкий, но последние месяцы ситуация изменилась в лучшую сторону и они стали доступны в любое время.

Мы приносим извинения, и понимаем что в результате этого, многие ваши проекты не работали и многие из них потребуется время, чтобы восстановиться. Нам искренне жаль и конечно же мы понимаем весь масштаб трагедии. Мы сделали очень много выводов, и очень многое изменили в работе облака.

Другими словами, с сегодняшнего для доступна версия cloudmouse 2.0, и в ней все ошибки, баги, потери данных — исправлены!

На данный момент все технические работы закончены, мы многое изменили в архитектуре облака для гарантированной стабильности и надежности ваших виртуальных серверов.

Мы так же увеличили скорость работы виртуальных серверов, примерно в 10-40 раз по сравнению с теми, что были раньше. Несмотря на трагедию с потерей данных, мы продолжаем работы над проектом.

Поверьте нам еще раз, то что случилось однажды, у нас уже не повторится, мы исправили ошибки и получили огромный опыт, который в будущем поможет нам избежать любых подобных проблем.

Создавайте новые сервера, если вам нужна помощь в настройке, напишите нам тикет.

Еще раз приносим Вам свои извинения, и уверяем, что это программно-аппаратная ошибка и мы ее исправили.

С уважением,
команда разработчиков CloudMouse

Кругом печалька, вот так фэйл. На вопросы о компенсации — отмалчиваются… Хотя бы бонус какой-нибудь посулили бы, так нет.

Смотрите также:
Кончилась эпопея с CloudMouse

Ключевые слова: cloudmouse, хостинг, backup, бэкап, vps | Оставить комментарий

← сюда туда →


Kopikot
ПнВтСрЧтПтСбВс
1
2345678
9101112131415
16171819202122
232425262728
Записи
Айхор Хостинг