eth1: link down

[Olej]

Глюки стали появляться течении последней недели. До этого было аптайм 2 года.

Может быть самое разное:
- контакты eth1 прохудились, как со стороны PCI, так и со стороны пач-корда...
- сам адаптер начал сдыхать...
- обновления Debiana какие-то apt-get-ом делались в последнюю неделю? или автоматическое обновление?
- но я с наибольшей вероятностью искал бы причину в eth0 ...

Ваш eth1 висит аппаратно:

Код: Выделить всё

Interrupt:30 Base address:0xe000

К сожалению, этого нельзя увидеть у вас по выводу, для этого нужно бы eth0 в UP перевести ... но я почти уверен, что eth0 висит как-то так:

Код: Выделить всё

Interrupt:30 Base address:0xd000

... или что-то похожее.

Т.е. eth0 на той же линии прерывания + он у вас аппаратно не отключен, на нем висит обработчик прерываний...
- а что, нельзя eth0 отключить в BIOS?
- или eth1 отключить в BIOS? ... и тогда eth0 станет нормально работать;
- или как-то развести их по линиям IRQ ...
- на это может сильно влиять установка в BIOS "PnP OS", которая для Windows всегда ставится в Yes, а для Linux в вашем случае... ?
- на это может очень сильно влиять установка (в BIOS) обработчика прерываний на срабатывание по уровню (Level) или по фронту (Edge)... если у вас развитый BIOS.

В любом случае, всё это требует экспериментального разбирательства, и без остановки сервера, продолжая его "горячую" работу, вы не установите причину...

P.S. Почитать много детальной информации о аппаратных конфликтах IRQ однотипного оборудования, о тонких деталях срабатывания контроллеров прерываний и их глюках и др. вы можете вот здесь: Конфликт прерываний PCI-модуля и сетевых адаптеров в QNX4.25.
Это совсем другая ОС - QNX, но пусть вас это не смущает:
- железки то те же, и особенности работы их те же, и глюки те же...
- а публика в QNX на ... головы 3 будет квалифицированнее, чем в Linux, поэтому могут подметить тонкие эффекты.
Вот на таком уровне там обсуждения:

В старых 8259 фронт возникнет, т.к. в нем edge detect logic расположена после
mask logic (ну вот так он внутри устроен). И, если устройством выставлен уровень прерывания
(т.е. фронт уже как бы потерялся) и мы снимаем маскирование, на edge detect logic придет этот
уровень в виде фронта. Фактически, поведение такое же, как при level-sensitive.

Там можно почерпнуть много полезного.

Distributor ID: Debian
Description: Debian GNU/Linux 6.0.5 (squeeze)

А Debian, с точки зрения "понимания" железа, нового или сложно конфигурированного - далеко не самый лучший дистрибутив.
Кондовый он ... на колхозных принципах там его сообщество развивает.

[Olej]

Т.е. eth0 на той же линии прерывания + он у вас аппаратно не отключен, на нем висит обработчик прерываний...
- а что, нельзя eth0 отключить в BIOS?
- или eth1 отключить в BIOS? ... и тогда eth0 станет нормально работать;
- или как-то развести их по линиям IRQ ...
- на это может сильно влиять установка в BIOS "PnP OS", которая для Windows всегда ставится в Yes, а для Linux в вашем случае... ?
- на это может очень сильно влиять установка (в BIOS) обработчика прерываний на срабатывание по уровню (Level) или по фронту (Edge)... если у вас развитый BIOS.

В любом случае, всё это требует экспериментального разбирательства, и без остановки сервера, продолжая его "горячую" работу, вы не установите причину...

Это всё нужно (было) делать и выяснять перед запуском железки в эксплуатацию, и с той тщательностью, как это обсуждают парни на http://qnx.org.ru.

[krvasily]

Большое спасибо за такой развернутый ответ.
Не могу точно вспомнить почему воспользовались eth1, но вроде как с eth0 были проблемы, похожие на те, что сейчас.
Отключить карту через биос есть возможность (с kvm), попробую так сделать. К сожалению, в прерываниях не силен и боюсь дров наломать на рабочем железе (100 тыс. хостов в сутки).
Немного не понял про PnP OS . Лучше бы, чтобы биос управлял распределением ресурсов, а не debian?

[Olej]

Немного не понял про PnP OS . Лучше бы, чтобы биос управлял распределением ресурсов, а не debian?

Это очень тонкое и интересное место... его хорошо QNX-ники понимаюют ... ну и я из их числа

Как вы, должно быть, знаете, платы-адаптеры на шине PCI могут быть настроены (привязаны) на произвольные IRQ и порты I/O.
Это принципиально отличает шину PCI от предыдущих шин ISA, EISA, где такая привязка делалась (по мере развития): механическими джамперочками, конфигурированием в CMOS, попытки PnP устройств EISA.

Ну и ещё отличие: на PCI несколько устройств могут пользовать одну линию IRQ, а на ISA ... не всегда (чаще не могут).
Но несколько устройств на одном IRQ - это всё равно не есть хорошо.

Так вот, привязку (раскидку по...) устройств к IRQ+I/O сначала делает программа BIOS.
Если вы установите в BIOS "PnP OS", то этим разрешите загружаемой позже ОС перетасовать эту привязку как ей (ОС) удобнее...
Но это вовсе не значит, что она перетасует "лучше" - перетасует "как ей привычнее"

Windows всегда норовит перетасовать устройства. Это проще и эффективней для типовых десктопов... там особого разнообразия нет.
Если это сложный "набитый" сервер, со своим, "под себя" BOIS, то его раскидка может быть гораздо умнее.

QNX, например, никогда не тасует раскидку BIOS, и они просят устанавливать "no PnP OS".

Насколько Linux любит тасовать установки устройств, и насколько он умеет это делать - я не знаю.

Это, кстати, сам по себе интересный вопрос!
... насколько интересный, что я, пожалуй, даже тему для обсуждения создам ... вот : PnP OS.

P.S. почитайте, хотя бы бегло, то обсуждение, что я показал на http://qmx.org.ru - там сумбурно, но интересно ... и оттуда можно вынести себе "на заметку" чего не нужно делать

[Olej]

Так вот, привязку (раскидку по...) устройств к IRQ+I/O сначала делает программа BIOS.
Если вы установите в BIOS "PnP OS", то этим разрешите загружаемой позже ОС перетасовать эту привязку как ей (ОС) удобнее...
Но это вовсе не значит, что она перетасует "лучше" - перетасует "как ей привычнее"

Я здесь ошибся, и не совсем точно выразил мысль ... что значит: давно с QNX не боролся

Если в BIOS стоит "no PnP OS", то BIOS:
- настраивает IRQ и каналы DMA для платы...
- переписывает настроенные I/O адреса DMA в конфигурационную область PCI устройства (фиксированные 4Kb)
- другую инициализацию аппаратно устройство;

Если в BIOS стоит "PnP OS", то это означает не только, что ОС будет позволено перетасовать PCI устройства, но и то, что ОС будет это делать, а значит BIOS может пропустить что-то из аппаратной инициализации устройств, или вообще её не делать ("ОС сделает" ).
В случае сложных устройств или не типовых конфигураций, когда BIOS подобран под конфигурацию - отсутствие инициализации со стороны BIOS может вообще не оптимально инициализировать устройства.

[Olej]

Немного не понял про PnP OS . Лучше бы, чтобы биос управлял распределением ресурсов, а не debian?

Это, кстати, сам по себе интересный вопрос!
... насколько интересный, что я, пожалуй, даже тему для обсуждения создам ... вот : PnP OS.

Посмотрите там в теме PnP OS ... там кое-что проясняется:

- большинство мнений сходятся на том, что для установки Linux нужно "PnP OS" ставить в No !

- хотя при описаниях инсталляции Linux практически никто не упоминает об этом.

- а это же принципиально важно!

[krvasily]

Еще раз большое спасибо! Попробую разобраться с этим. Пока жду следующего отваливания сети, чтобы попросить техподдержку поставить kvm. Про PnP OS интересно, буду поглядывать в новую тему.

[krvasily]

Сегодня ночью пропала сеть. Подключили KVM.

ifup eth1 не поднимает сеть. ifdown eth1 && ifup eth1 поднимает. Пока не знаю как сделать проверку, что сеть недоступна, может пытаться скачать что-то wget-ом.

В биосе отключил eth0. Настройки PnP OS, как ни странно, не было.

По поводу обновлений, выяснилось то они действительно делались, через aptitude. Но пока не знаю как посмотреть обновлялись ли драйвера сетевой карты.

[Olej]

В биосе отключил eth0. Настройки PnP OS, как ни странно, не было.

Не во всех BIOS-ах есть.

По поводу обновлений, выяснилось то они действительно делались, через aptitude. Но пока не знаю как посмотреть обновлялись ли драйвера сетевой карты.

Не обязательно драйвер сетевой карты.
Сетевая подсистема многослойная, могли обновляться компоненты в любом слое.
Вплоть до каких-то конфигурация (постинсталляционные скрипты пакета).

[krvasily]

Отключение eth0 в биосе не помогло. Сегодня опять отвалилась сеть.