znaczacy > comp.os.* > comp.os.linux.sieci

Sebastian Sawicki (22.07.2009, 12:15)
Jest duzo zmiennych ktore wplywaja na sensownosc danego rozwiazania.
Przedstawilem sugerowane rozwiazanie a dywagacje na temat baculi wchodza
juz w off-topic a mialy tylko zasygnalizowac ew. problem.
A Twoje rozwiazanie 'po ludzku' czyli rsync jako backup przyrostowy sie
nie sprawdza. Dopowiedz sobie czemu tar --listed-incremental moze byc
lepszy.

S.
lokoz.info (22.07.2009, 13:04)
Hej. Dzięki za garść cennych niusów!! Nie spodziewałem się, że taka
fajna dyskusja z tego wyniknie. Teraz pozostaje mi tylko czytać,
czytać i ogarniać powoli temat. Projekt jest spory, ale nie bardzo
duży - w grę wchodzi 50-100k PLN.

Mam jeszcze pytanie odnośnie witrualizacji. Zależy nam głównie na
szybkości działania - jak wygląda sprawa z obciążeniem? Ile procentowo
mocy procesora pobiera system wirtualizacji na własne potrzeby? Czy
lepiej jest kupić jeden "wyczesany w kosmos" sprzęt i go podzielić,
czy 2-3 słabsze serwery fizyczne?
Stachu 'Dozzie' K. (22.07.2009, 14:01)
On 22.07.2009, Sebastian Sawicki wrote:
> Jest duzo zmiennych ktore wplywaja na sensownosc danego rozwiazania.
> Przedstawilem sugerowane rozwiazanie a dywagacje na temat baculi wchodza
> juz w off-topic a mialy tylko zasygnalizowac ew. problem.
> A Twoje rozwiazanie 'po ludzku' czyli rsync jako backup przyrostowy sie
> nie sprawdza. Dopowiedz sobie czemu tar --listed-incremental moze byc
> lepszy.


Ze co? A niby dlaczego mialby sie nie sprawdzac?
odk (22.07.2009, 15:24)
lokoz.info pisze:
> Mam jeszcze pytanie odnośnie witrualizacji. Zależy nam głównie na
> szybkości działania - jak wygląda sprawa z obciążeniem? Ile procentowo
> mocy procesora pobiera system wirtualizacji na własne potrzeby? Czy
> lepiej jest kupić jeden "wyczesany w kosmos" sprzęt i go podzielić,
> czy 2-3 słabsze serwery fizyczne?


2-3 słabsze i rozłożyć obciążenie między nimi. Jak Ci się coś popsuje
sprzętowo w tym mega serwerze to wszystko leży, a jak padnie jeden
mniejszy to pozostałe dwa tylko mocniej się nagrzeją. Wirtualizacja to
zazwyczaj narzut od 5 do 10%. W wirtualizacji możesz sobie zazwyczaj
zdefiniować pulę serwerów fizycznych i na nich osadzać wirtualne. Z
czasem sobie kupujesz dodatkową maszynę, dokładasz ją do puli i moc
rośnie. Wygoda jest taka, że nie musisz instalować na nowo serwera,
obraz maszyny wirtualnej się nie zmienia.
Igor Wawrzyniak (22.07.2009, 15:31)
Tako rzecze lokoz.info:
> Mam jeszcze pytanie odnośnie witrualizacji. Zależy nam głównie na
> szybkości działania - jak wygląda sprawa z obciążeniem? Ile procentowo
> mocy procesora pobiera system wirtualizacji na własne potrzeby?


Poszukaj w sieci "proceedings of the linux symposium" z Ottawy w 2008.
Jest tam artykuł o wirtualizacji serwerów z benchmarkiem różnych
rozwiązań (jak się nie znajdzie to mogę gdzieś wystawić). Ogólnie,
problemem jest I/O, dla najszybszych rozwiązań jest to strata do 10-20%
dla zadań, które wymagają dużej przepustowości dysku. Wszystko inne
działa z podobną wydajnością, może kilka % wolniej, a zdarza się, że i
szybciej.

> Czy
> lepiej jest kupić jeden "wyczesany w kosmos" sprzęt i go podzielić, czy
> 2-3 słabsze serwery fizyczne?


Przy kilku serwerach w razie awarii jednego możesz przemigrować maszyny
wirtualne i działać dalej, tyle że z mniejszą wydajnością.
Sebastian Sawicki (22.07.2009, 15:45)
Stachu 'Dozzie' K. said the following on 22.07.2009 14:01:
> On 22.07.2009, Sebastian Sawicki wrote:
> Ze co? A niby dlaczego mialby sie nie sprawdzac?


Pisalem w tym watku, ze czas, jaki spedzala bacula na backupowaniu
skrzynek zawierajacych bardzo duzo malych plikow byl bardzo dlugi.
Duzo, to znaczy ze w skrzynce potrafi byc 30 tys wiadomosci.
Zastosowanie rsync do przeniesienia zmienionych plikow na 'tani zasob
dyskowy' nie daje zadnego zysku, oprocz potencjalnego odciazenia
glownego fs i potencjalnie lepszego transferu. Dla baculi zysk zaden,
dochodzi dodatkowy czas dla rsync.
A rsync w przypadku duzej ilosci plikow jest wolniejszy niz tar over
ssh. I to wolniejszy od 2 do nawet 10 razy. Dodatkowo taka paczka jaka
zrobil mi tar, a lezaca na owym 'tanim systemie dyskowym' jest bardzo
latwo dostepna do ew. szybkiego odzyskania jakiejs skasowanej wiadomoci.
Znacznie szybsze niz oczekiwanie jak sobie bacula zbuduje ten swoj
indeks plikow podczas odzyskiwania.

Wiec zanim znowu napiszesz cos w stylu 'Ze co' albo 'Helo' uzmyslow
sobie, ze probujesz dyskredytowac fakty, nie wiedzac wiele o warunkach
pracy jakiegos systemu ani jego konfiguracji. Nie jest zadnym
argumentem, ze masz/miales gdzies tam system, gdzie bylo 500G skrzynek i
bacula sobie radzila. Bo obok mam inny serwer gdzie jest z 700G i bacula
sobie radzi. Ale to inny serwer, inny format skrzynek, inny charakter
uzytkownikow, inaczej ustawiona bacula i wiele innych czynnikow.
Tak wiec zanim zaczniesz wyglaszac osady, pomysl i przczytaj komentowany
post ze zrozumieniem.

Pozdrawiam
S.
Konrad Kosmowski (22.07.2009, 21:04)
** lokoz.info <biuro> wrote:

> Mamy zamiar wymienić nasz sprzęt w serwerowni na nowy(nowoczesny).
> Wstępny plan jest taki:
> - macierz dyskowa 8xHDD lub 12xHDD jako zewnętrzny system plików z
> danymi Klientów - nie zależy nam na pojemności ale na szybkości i
> bezpieczeństwie


Traktować macierz jako pudełko z dyskami to nieco błąd. Macierz to jest
rozwiązanie pozwalające na zarządzanie dzielonym storage w sposób bardziej
efektywny niż lokalny storage serwera.

Jak się zastanawiasz którą maciorę to generalnie warto NetAppa - może są
droższe, ale za tą cenę dostajesz kilka unikatowych ficzerów.

> - 3 serwery oparte na Xeon Quad(lub 2x Xeon Quad)
> - sprzętowy serwer VPN, z możliwością konfiguracji zaawansowanego
> routingu
> - jakiś zewnętrzny moduł/system do backupu danych


> Jaki jest obecnie najlepszy sposób przyłączania zewnętrznych dysków do
> systemu? Ethernet? Czy w ogóle ma sens robienie zewnętrznego systemu plików?
> Czy lepiej jest utrzymywać dane Klientów na lokalnych dyskach?


Doczytaj do czego służą macierze storage'owe - to nie jest zewnętrzny system
plików, tzn. można tak zrobić ale to się mija z celem. Z macierzy podpinasz
wyeksportowane przez nią logiczny wolumin (urządzenie blokowe).

Dalej - co to jest najlepszy sposób? Najtańszy? Najwydajniejszy? Najbardziej
korzystny biorąc pod uwagę cena/wydajność? Najbardziej niezawodny?

Generalnie to jeżeli chodzi o wydajność to nadal FC, jeżeli chodzi o
ekonomiczność to zastanawiałbym się nad iSCSI.

> Czy rozsądnym rozwiązaniem jest zrobienie zewnętrznego serwera MySQL i
> przekierowywanie na "serwerach właściwych"?


Sorry uważam, że skoro zadajesz tak nieprecyzyjne pytania to moim zdaniem nie
powinieneś decydować o tych zakupach (chyba, że to idzie z Twojej kieszeni) -
narażasz pracodawcę na straty.

> Jako, że w ostatnim czasie zaniedbałem troszeczkę temat najnowszych
> technologii prosiłbym znawców tematu o nakierowanie mnie na odpowiednie tory.
> Chodzi mi o sprzęt i sposoby jego konfiguracji. Każda, nawet najmniejsza
> pomoc, mile widziana.


Czyli generalnie do-my-job-for-me. OK. Ile płacisz?
Konrad Kosmowski (22.07.2009, 21:05)
** Daniel <danielnet> wrote:

> W razie padu fizycznej maszyny odpalenie obrazu serwera na innej maszynie
> fizycznej to kwestia 10-15 min


To kwestia czasu w którym maszyna się wybootuje na innym hoście. Raczej 10-15
min. to jest stosunkowo długi czas bootowania.
Konrad Kosmowski (22.07.2009, 21:07)
** bofh <bofh> wrote:

> W latach 70 ubiegłego wieku trendem były spódniczki mini, jakoś eskimoski się
> nie dostosowały. Po cholerę pakować wszędzie wirtualizację niezależnie czy
> jest potrzebna czy nie? Bo jest trendy?


Nikt nie sugeruje aby pakować ją wszędzie. Chodzi o to, że faktycznie obecnie
warto *rozważyć* wirtualizację szczególnie przy nowych zakupach.
Konrad Kosmowski (22.07.2009, 21:09)
** Sebastian Sawicki <forlist> wrote:

> No to jakies rozwiazanie markowe (czytaj czolowych producentow, a nie jakis
> wynalazek firmy krzak oparty o skrzynke na hdd + linux) IBM, HP itp. Dyski
> SAS (jako kompromis), dwa kontrolery, dwa switche FC


W jakim sensie dyski SAS to kompromis przy nowych zakupach? Przecież lada
chwila wychodzi SAS 2.0.

(...)

>> Jaki jest obecnie najlepszy sposób przyłączania zewnętrznych dysków do
>> systemu? Ethernet? Czy w ogóle ma sens robienie zewnętrznego systemu plików?
>> Czy lepiej jest utrzymywać dane Klientów na lokalnych dyskach?


> IMHO najwygodniej redundancje zrobic na FC. Czy chcesz miec to na centralnej
> macierzy z calym dobrodziejstwem tego rozwiazania czy tez wiele oddzielnych
> maszyn - to zalezy w jakim kierunku pojdziesz. Jezeli ESX to centralna maciez
> bedzie wygodna ale droga. Jezeli w rozwiazanie w stylu 'stawiamy tyle
> virtualek na maszynach ile sie da a pozniej dostawiamy nastepna maszyne' to
> bedzie pewnie taniej,


A dlaczego będzie pewnie taniej? Bo moim zdaniem niekoniecznie, a może być i
drożej.
Konrad Kosmowski (22.07.2009, 21:12)
** lokoz.info <biuro> wrote:

> Mam jeszcze pytanie odnośnie witrualizacji. Zależy nam głównie na szybkości
> działania - jak wygląda sprawa z obciążeniem? Ile procentowo mocy procesora
> pobiera system wirtualizacji na własne potrzeby?


W zasadzie jest to zaniedbywalne w większości przypadków.

> Czy lepiej jest kupić jeden "wyczesany w kosmos" sprzęt i go podzielić, czy
> 2-3 słabsze serwery fizyczne?


Lepiej kupić dwie dobre (dużo RAM, dużo rdzeni procka) maszyny z możliwością
rozbudowy i dobrą maciorę.
Igor Wawrzyniak (22.07.2009, 21:49)
Tako rzecze Konrad Kosmowski:
>> W latach 70 ubiegłego wieku trendem były spódniczki mini, jakoś
>> eskimoski się nie dostosowały. Po cholerę pakować wszędzie
>> wirtualizację niezależnie czy jest potrzebna czy nie? Bo jest trendy?

> Nikt nie sugeruje aby pakować ją wszędzie.


Niezupełnie nikt, są hardkorowcy którzy wirtualizują komputery domowe.
Nie żebym nie widział zalet, ale dla mnie to lekka przesada.

> Chodzi o to, że faktycznie
> obecnie warto *rozważyć* wirtualizację szczególnie przy nowych zakupach.


Zamiast za jakiś czas żałować, że się nie zrobiło tego od razu, jak niżej
podpisany (ale wtedy to jeszcze nie było takie trendy).
Daniel (23.07.2009, 12:46)
bofh pisze:

> W latach 70 ubiegłego wieku trendem były spódniczki mini, jakoś
> eskimoski się nie dostosowały. Po cholerę pakować wszędzie wirtualizację
> niezależnie czy jest potrzebna czy nie? Bo jest trendy?


Bo jest ciekawym i godnym rozważenia sposobem na budowania _nowego_
datacenter? Jasne, że rozwiązanie powinno się rozważać do danego
zastosowania, nie wszędzie wirtualizacja jest ok, ale pod jakieś
platformy hostingowe jestem jak najbardziej za jej stosowaniem.

Pozdrawiam
Daniel
Sebastian Sawicki (23.07.2009, 13:33)
Konrad Kosmowski said the following on 22.07.2009 21:09:
> ** Sebastian Sawicki <forlist> wrote:
>> No to jakies rozwiazanie markowe (czytaj czolowych producentow, a nie jakis
>> wynalazek firmy krzak oparty o skrzynke na hdd + linux) IBM, HP itp. Dyski
>> SAS (jako kompromis), dwa kontrolery, dwa switche FC

> W jakim sensie dyski SAS to kompromis przy nowych zakupach? Przecież lada
> chwila wychodzi SAS 2.0.


Ale dopiero lada chwila. Ale jak tak patrzec na niezawodnosc. To dyski
FC z dwoma interfejsami sa jak na razie nie do pobicia.

> A dlaczego będzie pewnie taniej? Bo moim zdaniem niekoniecznie, a może być i
> drożej.


Oczywiscie, ale dla niektorych jakosc nie ma znaczenia. Wtedy moze byc
bardzo tanio z pozornie takim samym efektem.

S.
lokoz.info (23.07.2009, 21:08)
Chłopaki... wielkie dzięki za garść
NAPRAWDĘ CENNYCH INFORMACJI

Podobne wątki