Web, SSH, and FTP services for a subset of VPS, shared, and dedicated machines down (RESOLVED)
We run Debian OS and have used autoupdates to ensure security packages are installed as soon as they are available. We’ve had some breakage in the past from this approach, but nothing major. However last night’s autoupdate went badly wrong, removing essential packages from dedicated, VPS and some shared servers. Our monitoring and support team flagged the issue fast, and we scrambled our admin, dev and NOC teams to reinstall the packages that had been removed by autoupdate, reboot servers, fix package dependencies, and test that individual services were live. Given the number of services affected, this took a long time to complete. Rest assured we had all hands working on the issue, but I know it was still a frustrating experience for customers.
Редактировался computer user (12-02-12 14:53:39)
Неактивен
Вообще-то линукс действительно иногда не обновляют около полу-года, чтобы его не сломать, ибо линукс это как замок из карт, только одно неакуратное движение и все - пиздец.
Неактивен
Придет tRollector, скажет что админы dreamhost эникейщики ниасилляторы.
Придет tRollrschach, скажет, что у него Arch, полная поддержка Intel и такое невозможно принципиально.
Придет msAVA, скажет, что Дебиан везде используется , сам его использует более 100 лет и это лажа.
Придет terminaLtroll, элегантно и швабодно раздает [censored] всем и вся, скажет что обновления Линукс принципиально не надо, только дистрибутив надо менять
не менее чем раз в год, ибо обои уже скучные (иначе все работает, других причин менять нет).
Придет SemyonKozakov, скажет, что нипанимает ничиго.
Придет usual_troll_user, скажет, что Windows Server деньги стоит, а еще и ассиливат его надо. Но за хорошие дела Дебианов он готов деньги заплатить.
Придет ikkunan salvataja, сделает скриншот для невидящих, доказывая, что если исправить невозможно, то попробуем проблему замазать.
И такдалееееееееееееее.
Неактивен
computer user, видимо, устных предупреждений тебе не хватило. /report
http://nolinux.w2c.ru - море баттхерта и деаонимизации
Неактивен
Потому что не надо ставить собственные костыли поверх существующих и работающих систем автообновления. Для того, чтобы автоматом устанавливать обновления для Debian'ов, уже давно существует cron-apt.
Неактивен
Потому что не надо ставить собственные костыли поверх существующих и работающих систем автообновления. Для того, чтобы автоматом устанавливать обновления для Debian'ов, уже давно существует cron-apt.
А откуда вам знать что у них не точно энтот ваш cron-apt?
Неактивен
А откуда вам знать что у них не точно энтот ваш cron-apt?
Потому что cron-apt использует стандартные функции apt-get, и при (маловероятном) возникновении проблем он просто остановит свою работу, уведомив об этом администратора.
Неактивен
Собственно, это как раз то, о чём писал в своём блоге Карманов: обеспечивающие работоспособность программ пакеты удаляются из системы без разрешения пользователя. Хочу - поддерживаю компонент системы, хочу - удаляю и пофиг на то, что на него уже завязаны какие-то программы! Шваааабодка!
SemyonKozakov пишет:computer user, видимо, устных предупреждений тебе не хватило. /report
Ээээ... Мандавойд, ты уже ничего не понимаешь? Дык, рановато вроде твоей скрипке вступать, пусть остальные клоуны отметятся.
Вы верите карманову?
Неактивен
Потому что cron-apt использует стандартные функции apt-get, и при (маловероятном) возникновении проблем он просто остановит свою работу, уведомив об этом администратора.
Логика понятна, как всегда, что и выше - такое на Линуксе принципиально невозможно. Все стандартно и просто, проблемы принципиально невозможны.
Добавлено спустя 01 мин 27 с:
Вы верите карманову?
Я dreamhost не верю, Кармонову буду верит. Все придумали, дабы Дебиана сделать [censored].
Неактивен
usr_share пишет:Потому что cron-apt использует стандартные функции apt-get, и при (маловероятном) возникновении проблем он просто остановит свою работу, уведомив об этом администратора.
Логика понятна, как всегда, что и выше - такое на Линуксе принципиально невозможно. Все стандартно и просто, проблемы принципиально невозможны.
Добавлено спустя 01 мин 27 с:
Saturn пишет:Вы верите карманову?
Я dreamhost не верю, Кармонову буду верит. Все придумали, дабы Дебиана сделать [censored].
![]()
Напишите иконку с него и стучите лбом перед кармановым.
Неактивен
Логика понятна, как всегда, что и выше - такое на Линуксе принципиально невозможно.
Объясню логично.
В Дебиане есть два способа работы с apt -- apt-get и aptitude.
Первый по команде apt-get upgrade только обновляет доступные пакеты. Если какие-то пакеты друг с другом конфликтуют, то он их не обновляет.
Второй же имеет встроенную систему решения проблем. Конфликтующие пакеты могут быть удалены (хотя это лишь один из вариантов), автоматически установленные зависимости, более никому не нужные, удаляются автоматически...
Так вот, первый метод, используемый cron-apt, физически не может удалить пакет, если его удаление не указано отдельно.
Редактировался usr_share (12-02-12 16:38:02)
Неактивен
Напишите иконку с него и стучите лбом перед кармановым.
А вы прежде чем задавали пустые вопросы, которое и ожидали что будет, подумайте над тем что на самом деле спрашиваете. Не то?
Canonical принудительно удаляет Oracle JDK с компьютеров пользователей
Так, у вас сюда получаются две сообщения, лишенные смыслом.
SemyonKozakov, будите его предупреждать?
Редактировался computer user (12-02-12 16:45:20)
Неактивен
Canonical принудительно удаляет Oracle JDK с компьютеров пользователей
Во-первых, вы привели ссылку на новость "Oracle делает Java лицензионно не совместимой с дистрибутивами Linux" (https://stoplinux.org.ru/opensource/ora … linux.html), а не на соответствующую новости ссылку (https://stoplinux.org.ru/none/canonical … telei.html).
Во-вторых, там описан совершенно иной метод "удаления" пакета -- на сервер был закачан пустой пакет с более высоким номером версии.
В-третьих, у Canonical не было другого выбора, так как иначе Oracle JDK оставался бы без обновлений безопасности.
Неактивен
Во-первых, вы привели ссылку на новость "Oracle делает Java лицензионно не совместимой с дистрибутивами Linux" (https://stoplinux.org.ru/opensource/orac … linux.html), а не на соответствующую новости ссылку (https://stoplinux.org.ru/none/canonical_ … telei.html).
Исправил.
Во-вторых, там описан совершенно иной метод "удаления" пакета -- на сервер был закачан пустой пакет с более высоким номером версии.
Результата та же, метод [censored].
В-третьих, у Canonical не было другого выбора, так как иначе Oracle JDK оставался бы без обновлений безопасности.
И у Amazon не был другой выбор, но Столлман начал кукарекать.
Добавлено спустя 01 мин 21 с:
Объясню логично.
В Дебиане есть два способа работы с apt -- apt-get и aptitude.
Первый по команде apt-get upgrade только обновляет доступные пакеты. Если какие-то пакеты друг с другом конфликтуют, то он их не обновляет.
Второй же имеет встроенную систему решения проблем. Конфликтующие пакеты могут быть удалены (хотя это лишь один из вариантов), автоматически установленные зависимости, более никому не нужные, удаляются автоматически...
Так вот, первый метод, используемый cron-apt, физически не может удалить пакет, если его удаление не указано отдельно.
Физически, баги невозможны?
Каким образом слетел mysql-server тогда?
Неактивен
Результата та же, метод [censored].
![]()
Во-первых, результат в таком случае будет -- удаление одного-единственного пакета, а не половины системы. Даже зависимые от Oracle JDK пакеты в таком случае не оказались бы удалены.
Во-вторых, к этому же методу могли бы прийти только разработчики Debian, но никак не администраторы DreamHost.
И у Amazon не был другой выбор, но Столлман начал кукарекать.
![]()
![]()
Amazon вообще не имеет ни малейшего отношения к данной теме.
Добавлено спустя 01 мин 43 с:
Физически, баги невозможны?
Каким образом слетел mysql-server тогда?
Лично моё мнение в том, что причиной удаления пакетов оказалась ошибка на стороне администраторов в самом DreamHost, либо в написанном DreamHost коде для авто-обновления пакетов, т.к. при использовании стандартных средств системы такие глюки крайне маловероятны.
Неактивен
Во-первых, результат в таком случае будет -- удаление одного-единственного пакета, а не половины системы. Даже зависимые от Oracle JDK пакеты в таком случае не оказались бы удалены.
Но не работали, что одно и то же самое.
Во-вторых, к этому же методу могли бы прийти только разработчики Debian, но никак не администраторы DreamHost.
Во вторых, нам то что внутри не особо интересно - ибо метод обновления Windows только один, нет правильных и неправильных велосипедов.
Amazon вообще не имеет ни малейшего отношения к данной теме.
А я и не к данной, но к бубунты.
Неактивен
Каким образом слетел mysql-server тогда?
А вот тут вы уже противоречите самому заявлению от DreamHost.
Please note that this only affects web VPS/dedicated and shared web server FTP services, no other services or servers (MySQL or mail, for example) are affected.
Добавлено спустя 01 мин 22 с:
А я и не к данной, но к бубунты.
![]()
А какое отношение имеет Amazon к бубунте?
Неактивен
Лично моё мнение в том, что причиной удаления пакетов оказалась ошибка на стороне администраторов в самом DreamHost, либо в написанном DreamHost коде для авто-обновления пакетов, т.к. при использовании стандартных средств системы такие глюки крайне маловероятны.
Откуда и начали - маловероятны, невозможно, предполагается.
Добавлено спустя 01 мин:
А вот тут вы уже противоречите самому заявлению от DreamHost.
Just a quick follow up to address some of the problems that appear to be still around: If you’re on a VPS and installed Debian’s mysql-server package on your web VPS, your data is still there, but you will need to re-install that package.
Неактивен
Откуда и начали - маловероятны, невозможно, предполагается.
Вернёмся к заявлению от самих администраторов DreamHost. Сказав
If you installed Debian’s apache instead of ours
, они заявили, что у них используется собственно-собранный пакет Apache.
Our monitoring and support team flagged the issue fast, and we scrambled our admin, dev and NOC teams to reinstall the packages that had been removed by autoupdate, reboot servers, fix package dependencies, and test that individual services were live
Также им пришлось "исправлять зависимости пакетов", из чего можно вывести, что, скорее всего, у них на собранных ими пакетах были неправильно установлены зависимости.
Если бы причиной этой ошибки было что-то, в чём виноваты мейнтейнеры пакетов Debian, то проблема была бы намного страшнее, и распространилась не только на DreamHost.
Неактивен
А какое отношение имеет Amazon к бубунте?
Dear Dr. Stallman: An Open Letter
Если бы причиной этой ошибки было что-то, в чём виноваты мейнтейнеры пакетов Debian, то проблема была бы намного страшнее, и распространилась не только на DreamHost.
Они все же виноваты в тем, что зависимости существую, еще тем что приложения являются части ОС.
Из за собственной сборки апачи Windows хост не упадет.
Добавлено спустя 01 мин 01 с:
Вставлю свои пять копеек. Я удивляюсь каким вообще образом они там обновлялись, как и сказал usr_share стандартный механизм apt-get upgrade не может технически удалить пакеты.
Баги технически невозможны?
Добавлено спустя 02 мин 30 с:
Вдобавок такой продолжительный даунтайм может означать только то, что у них нет вменяемого софта для централизованного управления серверами типа puppet или что-то в этом духе. Бегали небось от стойки к стойке.
Неактивен
280 000 customers
Бегали небось от стойки к стойке.
Добавлено спустя 01 мин 15 с:
P.S. Скорее всего Dreamhost скосил апдейт Debian 6.0.4, который как раз вышел 28 января. Однако апдейт свалил только их, другие пока молчат и реакции на багтреке не видно.
Патамуща другие бальшие Debian и не используют.
Добавлено спустя 03 мин 21 с:
Возможны, но не в таком зрелом софте и с таким подходом к тестированию.
Неактивен