znaczacy > comp.os.* > comp.os.linux.sieci

Therminus (27.02.2017, 20:58)
Mam serwer (Slackware x64 current) a w nim 2 karty sieciowe Intela. Serwer
laczy sie ze switchem Cisco "SG300-28 28-Port Gigabit Managed Switch".
Pomyslalem, ze zrobie agregacje portów i te dwie karty Intela co je mam w
serwerze, polacze z dwoma portami w switchu, aby uzyskac przepustowosc 2Gb.
Niestety, cos mi nie poszlo.
Oto moja konfiguracja na Linuksie:
Plik rc.bond

#!/bin/sh
# rc.bond
case "$1" in
'start')
echo "start bond0"
modprobe bonding mode=4 miimon=100 lacp_rate=1
modprobe e1000e
ifconfig bond0 up
ifconfig bond0 192.168.0.1 netmask 255.255.255.0
ifenslave bond0 eth0
ifenslave bond0 eth1
#TODO need to be changed
ifconfig bond0 hw ether 00:16:3e:aa:aa:aa
route add default gw 192.168.0.253 metric 1 bond0
;;
'stop')
ifconfig bond0 down
rmmod bonding
rmmod e1000e
;;
*)
echo "Usage: $0 {start|stop}"
;;
esac
#EOF

polecenie
cat /proc/net/bonding/bond0

zwraca
Ethernet Channel Bonding Driver: v3.7.1 (April 27, 2011)

Bonding Mode: IEEE 802.3ad Dynamic link aggregation
Transmit Hash Policy: layer2 (0)
MII Status: up
MII Polling Interval (ms): 100
Up Delay (ms): 200
Down Delay (ms): 200

802.3ad info
LACP rate: fast
Min links: 0
Aggregator selection policy (ad_select): stable
System priority: 65535
System MAC address: 00:15:17:89:eb:14
Active Aggregator Info:
Aggregator ID: 1
Number of ports: 1
Actor Key: 9
Partner Key: 1
Partner Mac Address: 00:00:00:00:00:00

Slave Interface: eth0
MII Status: up
Speed: 1000 Mbps
Duplex: full
Link Failure Count: 0
Permanent HW addr: 00:15:17:89:eb:14
Slave queue ID: 0
Aggregator ID: 1
Actor Churn State: none
Partner Churn State: churned
Actor Churned Count: 0
Partner Churned Count: 1
details actor lacp pdu:
system priority: 65535
system mac address: 00:15:17:89:eb:14
port key: 9
port priority: 255
port number: 1
port state: 79
details partner lacp pdu:
system priority: 65535
system mac address: 00:00:00:00:00:00
oper key: 1
port priority: 255
port number: 1
port state: 1

Slave Interface: eth1
MII Status: up
Speed: 1000 Mbps
Duplex: full
Link Failure Count: 0
Permanent HW addr: 00:15:17:89:eb:15
Slave queue ID: 0
Aggregator ID: 2
Actor Churn State: churned
Partner Churn State: churned
Actor Churned Count: 1
Partner Churned Count: 1
details actor lacp pdu:
system priority: 65535
system mac address: 00:15:17:89:eb:14
port key: 9
port priority: 255
port number: 2
port state: 71
details partner lacp pdu:
system priority: 65535
system mac address: 00:00:00:00:00:00
oper key: 1
port priority: 255
port number: 1
port state: 1

Kilka rzeczy mi nie pasuje:
1) Jak widac liczba portów jest 1, a nie 2.
2) Nie pobiera adresu MAC ze switcha.
3) System MAC address: 00:15:17:89:eb:14 to jest adres karty sieciowej eth0

Oczywiscie polaczenia gigabitowe pomiedzy kartami a switchem sa. Co moze byc
nie tak?
I jeszcze taka ciekawostka: jak ustawie bonding mode=0, to iptraf pokazuje
mi ze obie karty sa obciazone transferem prawie po równo, a na interfejsie
bond0 jest suma transferów z kart. Wynika z tego, ze karty dzialaja
prawidlowo. Ale przeciez nie o taki tryb bonding mi chodzi.

I jeszcze jedno:
ifenslave uzyskalem przetwarzajac pakiet ifenslave-2.6_1.1.0-20_amd64.deb na
TGZ
Moze tu jest problem?
Jacek Peczynski (05.03.2017, 22:46)
Dnia 27.02.2017 Therminus <cysorz_to_ma_klawe_zycie> napisal/a:
> Mam serwer (Slackware x64 current) a w nim 2 karty sieciowe Intela. Serwer
> laczy sie ze switchem Cisco "SG300-28 28-Port Gigabit Managed Switch".


Pokaz konfiguracje tego switcha.

> #!/bin/sh
> # rc.bond
> case "$1" in
> 'start')
> echo "start bond0"
> modprobe bonding mode=4 miimon=100 lacp_rate=1


Spróbuj mode=802.3ad, niby jest to samo, ale kto wie...

> Kilka rzeczy mi nie pasuje:
> 1) Jak widac liczba portów jest 1, a nie 2.
> 2) Nie pobiera adresu MAC ze switcha.
> 3) System MAC address: 00:15:17:89:eb:14 to jest adres karty sieciowej eth0


Wyglada mi na to, ze switch nie negocjuje LACP.

> Oczywiscie polaczenia gigabitowe pomiedzy kartami a switchem sa. Co moze byc
> nie tak?
> I jeszcze taka ciekawostka: jak ustawie bonding mode=0, to iptraf pokazuje
> mi ze obie karty sa obciazone transferem prawie po równo, a na interfejsie
> bond0 jest suma transferów z kart. Wynika z tego, ze karty dzialaja
> prawidlowo. Ale przeciez nie o taki tryb bonding mi chodzi.
> I jeszcze jedno:
> ifenslave uzyskalem przetwarzajac pakiet ifenslave-2.6_1.1.0-20_amd64.deb na
> TGZ
> Moze tu jest problem?


Teoretycznie nie powinno byc z tym problemu. Spróbuj zamiast ifenslave
uzyc "ip link set eth0 master bond0". iproute2 powinno byc w Slackware.

Pozdrawiam.
j.p.
Jan Stozek (06.03.2017, 09:02)
Po glebokim namysle Therminus napisal w Monday 27 of February 2017
19:58:

> 2) Nie pobiera adresu MAC ze switcha.


A port switcha w ogóle ma adres MAC?
Olek (06.03.2017, 23:00)
W dniu 06.03.2017 o 08:02, Jan Stozek pisze:

>> 2) Nie pobiera adresu MAC ze switcha.

> A port switcha w ogóle ma adres MAC?


Jak bys chcial zarzadzac switchem bez adresu MAC?
Jan Stozek (06.03.2017, 23:23)
Po glebokim namysle Olek napisal w Monday 06 of March 2017 22:00:

>>> 2) Nie pobiera adresu MAC ze switcha.

>> A port switcha w ogóle ma adres MAC?

> Jak bys chcial zarzadzac switchem bez adresu MAC?


A po co adres MAC modulu zarzadzajacego switchem softowi do
agregacji laczy? :D

Oczywiscie, do zarzadzania MAC potrzebny jest. Ale do pracy z
tego, co pamietam, to raczej nie bardzo.
Olek (07.03.2017, 00:53)
W dniu 06.03.2017 o 22:23, Jan Stozek pisze:
> A po co adres MAC modulu zarzadzajacego switchem softowi do
> agregacji laczy? :D
> Oczywiscie, do zarzadzania MAC potrzebny jest. Ale do pracy z
> tego, co pamietam, to raczej nie bardzo.


No to przyznaje, ze nie mam pojecia o bondingu i zalozylem, ze to ten
sam MAC ma sie pojawic w danych.
Therminus (09.03.2017, 00:19)
Jan Stozek wrote:

> Po glebokim namysle Therminus napisal w Monday 27 of February 2017
> 19:58:
>> 2) Nie pobiera adresu MAC ze switcha.

> A port switcha w ogóle ma adres MAC?

Port switcha? Który port?
Sam switch jako taki adres posiada.
Therminus (09.03.2017, 00:45)
Jacek Peczynski wrote:

> Pokaz konfiguracje tego switcha.

Nie za bardzo wiem jak to zrobic. Switch jest zarzadzany przez przegladarke
w trybie graficznym. Wlacza sie dla wybranych portów Link Aggregation i
tyle.
Mam dwa takie switche i pomiedzy nimi wlaczylem agregacje dla dwóch portów.
Dziala. LACP pokazuje "Enabled".
Natomist dla kart serwera "Disabled"

Pozostale Twoje sugestie sprawdze we czwartek.
Jan Stozek (09.03.2017, 20:33)
Po glebokim namysle Therminus napisal w Wednesday 08 of March 2017
23:19:

>>> 2) Nie pobiera adresu MAC ze switcha.

>> A port switcha w ogóle ma adres MAC?

> Port switcha? Który port?
> Sam switch jako taki adres posiada.


A jaki adres MAC mialby pobrac rc.bond ze switcha? Bo nie do
konca rozumiem.
Therminus (09.03.2017, 21:23)
Jacek Peczynski wrote:

> Spróbuj mode=802.3ad, niby jest to samo, ale kto wie... Niestety, bez zmian
> Spróbuj zamiast ifenslave uzyc "ip link set eth0 master bond0". Spróbowalem, ale chociaz nie wystapily bledy, to zadnych zmian w skutkach.


Tak w ogóle to okazalo sie, ze moze jest cos nie tak ze switchem.
Podlaczylem do niego jeszcze jednego (taki sam model) i próbowalem spiac je
razem tak jak tego go poprzedniego. Konfiguracja (poza numerami portów)
identyczna. Poczatkowo LACP ustawilo sie na ENABLED, ale pomylilem jeden
port. Tzn inny zdefiniowalem, a w inny wetknalem kabel.
Kiedy to poprawilem i zrestartowalem switcha, mialem co prawda spiete
prawidlowo (Actiwe Member GE12, GE24), ale LCAP DISABLED. Nie moglem
doprowadzic do tego, zeby LACP sie wlaczylo. Wywalalem konfiguracje, i
konfigurowalem na nowo, zmienialem porty w obu switchach. Nic z tego.
Brakuje mi pomyslu.

I jeszcze jedno: to sa switche 28 portowe. Dwa ostatnie porty GE27 i GE28 sa
typu 1000M-ComboC To wlasnie na tych portach LACP dziala.
Pozostale porty sa typu 1000M-copper, ale to chyba nie powinno miec
znaczenia. Tym bardziej, ze te switche moga obslugiwac do 8 Link
Aggregation.
Jacek Peczynski (09.03.2017, 22:21)
Dnia 09.03.2017 Jan Stozek <conus-spm> napisal/a:
> Po glebokim namysle Therminus napisal w Wednesday 08 of March 2017
> 23:19:
> A jaki adres MAC mialby pobrac rc.bond ze switcha? Bo nie do
> konca rozumiem.


Adres MAC partnera LACP.

Pozdrawiam.
j.p.
Jacek Peczynski (09.03.2017, 22:27)
Dnia 08.03.2017 Therminus <cysorz_to_ma_klawe_zycie> napisal/a:
> Jacek Peczynski wrote:
>> Pokaz konfiguracje tego switcha.

> Nie za bardzo wiem jak to zrobic. Switch jest zarzadzany przez przegladarke
> w trybie graficznym.


Zalogowac sie po ssh/telnecie/serialu i wklepac:
show run

Jesli nie masz mozliwosci dostac sie do terminala, to powinienes wyklikac
opcje eksportu konfiguracji. Tak na szybko spojrzalem na ten model i
wydaje mi sie, ze nie powinno byc problemu zarówno z terminalem, jak i
eksportem konfiga do pliku tekstowego.

> Wlacza sie dla wybranych portów Link Aggregation i tyle.
> Mam dwa takie switche i pomiedzy nimi wlaczylem agregacje dla dwóch portów.
> Dziala. LACP pokazuje "Enabled".
> Natomist dla kart serwera "Disabled"


A jakies inne opcje dotyczace agregacji sa?

Pozdrawiam.
j.p.
Jacek Peczynski (09.03.2017, 22:42)
Dnia 09.03.2017 Therminus <cysorz_to_ma_klawe_zycie> napisal/a:
> Jacek Peczynski wrote:
>> Spróbuj mode=802.3ad, niby jest to samo, ale kto wie...

> Niestety, bez zmian
>> Spróbuj zamiast ifenslave uzyc "ip link set eth0 master bond0".

> Spróbowalem, ale chociaz nie wystapily bledy, to zadnych zmian w skutkach.


Spróbuj takze lacp_rate=0. Znowu, teoretycznie nie powinno to robic
róznicy, bo LACP powinno sobie wszystko wynegocjowac, ale moze pomóc.

> Tak w ogóle to okazalo sie, ze moze jest cos nie tak ze switchem.
> Podlaczylem do niego jeszcze jednego (taki sam model) i próbowalem spiac je
> razem tak jak tego go poprzedniego. Konfiguracja (poza numerami portów)
> identyczna. Poczatkowo LACP ustawilo sie na ENABLED, ale pomylilem jeden
> port. Tzn inny zdefiniowalem, a w inny wetknalem kabel.
> Kiedy to poprawilem i zrestartowalem switcha, mialem co prawda spiete
> prawidlowo (Actiwe Member GE12, GE24), ale LCAP DISABLED. Nie moglem
> doprowadzic do tego, zeby LACP sie wlaczylo. Wywalalem konfiguracje, i
> konfigurowalem na nowo, zmienialem porty w obu switchach. Nic z tego.
> Brakuje mi pomyslu.


A próbowales spiac Slacka z tym drugim switchem?
Poza tym w konfiguracji linuksa, w któryms tam momencie, zmieniasz adres
MAC bond0. Po co?

> I jeszcze jedno: to sa switche 28 portowe. Dwa ostatnie porty GE27 i GE28 sa
> typu 1000M-ComboC To wlasnie na tych portach LACP dziala.
> Pozostale porty sa typu 1000M-copper, ale to chyba nie powinno miec
> znaczenia. Tym bardziej, ze te switche moga obslugiwac do 8 Link
> Aggregation.


Porty combo, to takie porty wspóldzielone z SFP, gdzie, albo uzywasz
wbudowanego portu rj45, albo wkladasz modul SFP z np. swiatlowodem. Nie
mozna na takich portach miec jednoczesnie podlaczonej skretki i czegos w
SFP. I tak jak napisales, nie powinno to robic róznicy, na których
portach ustawiasz LACP.

Dopóki nie pokazesz konfiguracji switcha, ciezko bedzie mi powiedziec
cos wiecej. Dodatkowo dostan sie do terminala na tym switchu, bo przez
www to ciezko wyciagnac wszystkie potrzebne informacje z urzadzenia.

Pozdrawiam.
j.p.
Therminus (09.03.2017, 23:14)
Therminus wrote:
No, jest pewien postep.

> Tak w ogóle to okazalo sie, ze moze jest cos nie tak ze switchem.

Ze switchem wszystko w porzadku. Okazalo sie, ze zle podchodzilem do
konfiguracji.
W oknie "Edit LAG Membership" pierwsze co nalezy zrobic, to "zaptaszkowac"
LACP: Enable. Jesli sie tego nie zrobi przed dodaniem portów do LAG Members,
to potem opcja ta jest nieaktywna. Nie pamietalem jak to robilem po raz
pierwszy i potem myslalem, ze to ustawia sie automatycznie, skoro nie moge
tego edytowac.
Wyglada na to, ze agregacja kart w serwerze dziala.
Na switchu LAG Management pokazuje:
LACP: Enabled
Active Member: GE25, GE26

wynik cat /proc/net/bonding/bond0

Ethernet Channel Bonding Driver: v3.7.1 (April 27, 2011)

Bonding Mode: IEEE 802.3ad Dynamic link aggregation
Transmit Hash Policy: layer2 (0)
MII Status: up
MII Polling Interval (ms): 100
Up Delay (ms): 200
Down Delay (ms): 200

802.3ad info
LACP rate: fast
Min links: 0
Aggregator selection policy (ad_select): stable
System priority: 65535
System MAC address: 00:15:17:89:eb:14
Active Aggregator Info:
Aggregator ID: 1
Number of ports: 2
Actor Key: 9
Partner Key: 1001
Partner Mac Address: b0:7d:47:8e:2a:10

Slave Interface: eth0
MII Status: up
Speed: 1000 Mbps
Duplex: full
Link Failure Count: 0
Permanent HW addr: 00:15:17:89:eb:14
Slave queue ID: 0
Aggregator ID: 1
Actor Churn State: none
Partner Churn State: none
Actor Churned Count: 0
Partner Churned Count: 0
details actor lacp pdu:
system priority: 65535
system mac address: 00:15:17:89:eb:14
port key: 9
port priority: 255
port number: 1
port state: 63
details partner lacp pdu:
system priority: 1
system mac address: b0:7d:47:8e:2a:10
oper key: 1001
port priority: 3
port number: 74
port state: 61

Slave Interface: eth1
MII Status: up
Speed: 1000 Mbps
Duplex: full
Link Failure Count: 0
Permanent HW addr: 00:15:17:89:eb:15
Slave queue ID: 0
Aggregator ID: 1
Actor Churn State: none
Partner Churn State: none
Actor Churned Count: 0
Partner Churned Count: 0
details actor lacp pdu:
system priority: 65535
system mac address: 00:15:17:89:eb:14
port key: 9
port priority: 255
port number: 2
port state: 63
details partner lacp pdu:
system priority: 1
system mac address: b0:7d:47:8e:2a:10
oper key: 1001
port priority: 2
port number: 73
port state: 61

Zastanawia mnie tylko jedna rzecz:
Dla obu interfejsów eth0 i eth1 mam te same wartosci
details actor lacp pdu:
system priority: 65535
system mac address: 00:15:17:89:eb:14

Dlaczego dla eth1 pokazuje MAC adres eth0?
Mimo to agregacja wydaje sie dzialac w praktyce.
Sprawdzalem kopiowanie duzych plików z sieci na dyski lokalne na dwóch
stacjach jednoczesnie i iptraf w porywach dla bond0 pokazywal ponad
200MB/sec

Co do drugiego switcha, to niestety stracilem z nim lacznosc i nici ze
zdalnej konfiguracji. :(
Therminus (09.03.2017, 23:17)
Jan Stozek wrote:

> A jaki adres MAC mialby pobrac rc.bond ze switcha? Bo nie do
> konca rozumiem.

Adres MAC switcha. I tak rzeczywiscie robi.
Bonding juz uruchomiony. Patrz nizej

Podobne wątki