znaczacy > comp.os.* > comp.os.linux.sprzet

Witold Piskorz (02.06.2004, 12:50)
Witam, :-)

Mam do Was prośbę. Sformułuję ją w formie pytania: czy pomoglibyście mi
wybrać sprzęt do budowy klasteru? Poniżej podam założenia:

1. Ma to służyć do obliczeń kwantowo-chemicznych, czyli numeryka,
2. Nie musi koniecznie być klasterem sensu stricto, właściwie wystarczyłby
zestaw maszyn (dwu-, a może nawet czteroprocesorowych SMP) w miarę luźno
połączonych (+ oprogramowanie dystrubuujące zadania na poszczególne
maszyny), chociaż gdyby dało się skłonić oprogramowanie (używa MPI i PVM),
żeby skleić maszyny w klaster i liczyć jedno zadanie na wszystkich CPU, to
byłoby miło,
3. Musi akceptować i sensownie radzić sobie z kodem IA32 (gdyż mam programy
tylko w wersji binarnej IA32), OS=linux
4. Poszczególne węzły pewnie bezdyskowe, połączone z serwerem zadań oraz
miejsca na dysku ethernetem gigabitowym,
5. Pamięć od 1GB do 4GB na węzeł. Gdyby zadanie potrzebowało więcej miejsca
na całki, to pójdzie po kablu. Ewentualnie jeden węzeł z małą macierzą,
powiedzmy, dwudyskową dla jakichś zadań wymagających >>4GB pamięci.
6. Chłodzenie wodne. Nie stać mnie na klimę o tej wydajności, a wodę mam pod
dostatkiem.
7. Powinien być do niego dobry kompilator (najlepiej darmowy) C i F77/90.
8. Możliwość rozbudowy/wymiany kawałkami byłaby bardzo pożądana,
9. Mam na to 40000zł + w przyszłym roku drugie 40000.

Czytałem dyskusję Pawła D. i Tomka K. z połowy maja i pewnie na opteronach
się skończy, ale moje założenia dot. budowy są nieco inne. Będę wdzięczny
za rady.

Pozdrawiam serdecznie,

W.P.
Jakub Kasica (03.06.2004, 12:05)
Witam
w Gdansku do podobnych celow postawili taka maszynke

sprzecik jest stosunkowo swiezy wiec ludzie ktorzy
sie tym zajmowali sa na bierzaco
podejrzewam ze jak sie z nimi skontaktujesz to beda
w stanie dac Ci kilka rad od praktycznej strony
Tam sa na prawde fajni ludzie wiec uderzaj bez obaw :)
pozdrawiam
JFK
Zygmunt M. Zarzecki (03.06.2004, 12:25)
Witold Piskorz wrote:
> Witam, :-)
> Mam do Was prośbę. Sformułuję ją w formie pytania: czy pomoglibyście mi
> wybrać sprzęt do budowy klasteru? Poniżej podam założenia:
> 1. Ma to służyć do obliczeń kwantowo-chemicznych, czyli numeryka,


zalezy ile masz pieniazkow



zyga
Witold Piskorz (03.06.2004, 14:12)
Zygmunt M. Zarzecki wrote:

> Witold Piskorz wrote:
>> Witam, :-)
>> Mam do Was prośbę. Sformułuję ją w formie pytania: czy pomoglibyście mi
>> wybrać sprzęt do budowy klasteru? Poniżej podam założenia:
>> 1. Ma to służyć do obliczeń kwantowo-chemicznych, czyli numeryka,

> zalezy ile masz pieniazkow


Cytuję siebie: :-)
9. Mam na to 40000zł + w przyszłym roku drugie 40000.

>
> zyga


Dzięki. Zaraz zajrzę.

W.P.
Haloween (03.06.2004, 15:51)
Użytkownik "Jakub Kasica" <www.jfk.okg.gdynia.pl/poczta> napisał w wiadomości news:5237

> Witam
> w Gdansku do podobnych celow postawili taka maszynke
>
> sprzecik jest stosunkowo swiezy wiec ludzie ktorzy
> sie tym zajmowali sa na bierzaco
> podejrzewam ze jak sie z nimi skontaktujesz to beda
> w stanie dac Ci kilka rad od praktycznej strony
> Tam sa na prawde fajni ludzie wiec uderzaj bez obaw :)
> pozdrawiam
> JFK


zajebisty :D
Zygmunt M. Zarzecki (03.06.2004, 17:18)
> Cytuję siebie: :-)
> 9. Mam na to 40000zł + w przyszłym roku drugie 40000.


athlon 3000 550zl
plyta z sieciowka 260zl
pamiec 1GB 700zl
obudowa 80zl
razem 1590zl
20 nodow 31800zl
switch 24x10/100Mb i 2 portami 1Gb 2500zl
razem 34300zl
reszte 5700zl przeznaczasz na serwerek:
2 karty 1Gb, plyta 2 procesorowa, siakies scsi

zyga
Witold Piskorz (04.06.2004, 11:19)
Zygmunt M. Zarzecki wrote:

>> Cytuję siebie: :-)
>> 9. Mam na to 40000zł + w przyszłym roku drugie 40000.

> athlon 3000 550zl

Masz na myśli "stary" athlon, czyli 32 bitowy? A jakie jest Twoje (Wasze,
drodzy Grupowicze) zdanie nt. opteronów? Może kupić płyty dwuprocesorowe z
opteronami? Wydaje mi się, że to byłoby bardziej przyszłościowe, zwłaszcza,
gdyby kupić porządne płyty i jakieś tańsze opterony, to można by z czasem
wymieniać procki.
Ten klaster powinien być w miarę szybki przez najbliższe 4-5 lat, a, obawiam
się, wersja z athlonami 32bit będzie już przestarzała za rok :-(

> plyta z sieciowka 260zl
> pamiec 1GB 700zl
> obudowa 80zl

Dziwne, myślałem, że przyzwoita obudowa z zasilaczem 350-400W to jest kilka
razy więcej...

> razem 1590zl

Ze względu na ciepło (20 węzłów to jest jakieś 2kW z samych procesorów)
raczej wybiorę chłodzenie cieczowe, oraz nie będę brał obudów, tylko
zasilacze z chłodzeniem wodnym.

> 20 nodow 31800zl
> switch 24x10/100Mb i 2 portami 1Gb 2500zl

Czyli proponujesz połączenie węzeł-switch na 100Mb/s, a połączenie
switch-serwer na 1Gb?
A jakie jest Wasze zdanie nt. "latency time" na ethernecie (bo przepustowość
powinna wystarczyć)? Może poszukać czegoś peer-to-peer, np. hippi?

> razem 34300zl
> reszte 5700zl przeznaczasz na serwerek:
> 2 karty 1Gb, plyta 2 procesorowa, siakies scsi Raid stripping, prawda?


> zyga Dzięki za rady :-) Proszę o jeszcze :-)


W.P.
Zygmunt M. Zarzecki (04.06.2004, 12:44)
> Masz na myśli "stary" athlon, czyli 32 bitowy? A jakie jest Twoje (Wasze,

tak
oczywiscie opteronow za te pieniadze bedziesz mial mniej

> Dziwne, myślałem, że przyzwoita obudowa z zasilaczem 350-400W to jest kilka
> razy więcej...


po co?
zdefiniuj przyzwoita
w nodzie bedzie tylko plyta, procek, pamiec i grafika (o zapomnialem o
grafice ~100zl) lub bez
pradu zrec to nie bedzie wiele, nawet "300W" kodegen wystarczy

> Ze względu na ciepło (20 węzłów to jest jakieś 2kW z samych procesorów)


procek (opteron) max 90W, plyta i reszta max 60W

> raczej wybiorę chłodzenie cieczowe, oraz nie będę brał obudów, tylko
> zasilacze z chłodzeniem wodnym. ???


lobosh, czlowieku
ty musisz wyprowadzic to cieplo na zewnatrz a nie starac sie o
odprowadzenie ciepla z procesora
kuler z boxa wystarczy

najtansza klima 3500zl

> Czyli proponujesz połączenie węzeł-switch na 100Mb/s, a połączenie
> switch-serwer na 1Gb?
> A jakie jest Wasze zdanie nt. "latency time" na ethernecie (bo przepustowość
> powinna wystarczyć)? Może poszukać czegoś peer-to-peer, np. hippi?
> Raid stripping, prawda?


raid5, masz bezpieczenstwo i transferek

zyga
Daniel Rychcik (04.06.2004, 13:38)
In article <c9pesg$u3l$1>, Witold Piskorz wrote:
> A jakie jest Wasze zdanie nt. "latency time" na ethernecie (bo przepustowość
> powinna wystarczyć)?


No, kiepsko :( Dla kart 3coma są specjalne natywne sterowniki do MPI,
które są podstrojone pod tym względem, ale i tak baaardzo daleko do
Infinibanba czy choćby Myrineta. Ale to wszystko drogie jak cholera -
może chociaż gigabit ethernet? W większości nodów serwerowych teraz
takie interfejsy są wbudowane...

Nie mam zbyt dużego doświadczenia praktycznego w obliczeniach
równoległych, ale myslę, że jeżeli masz programy, które wymieniają
między sobą sporo danych, to może się okazać, że lepsza będzie
inwestycja w dobry interconnect kosztem procków/ramu/whatever.
Daniel
Adam Sz (04.06.2004, 16:50)
Zygmunt M. Zarzecki <zygmunt>
napisał(a):

> pradu zrec to nie bedzie wiele, nawet "300W" kodegen wystarczy

kodegen? - "odwazny" jestes.
Mialem w tamtym roku do czyonieia z 10 jdostkami klasy p3 i zasilaczami
"codegonopodobnymi" 200W. A scislej dzieki tym zailaczom ze sprawnych niegdys
10 kompow udalo sie zlozyc 3 dzilajace. Z pozostalych zostala sterta spalonych
mobo, dimm, prockow...
Zygmunt M. Zarzecki (04.06.2004, 18:03)
Adam Sz wrote:
> Zygmunt M. Zarzecki <zygmunt>
> napisał(a):
>>pradu zrec to nie bedzie wiele, nawet "300W" kodegen wystarczy

> kodegen? - "odwazny" jestes.


kodegen 300 wystarczy dla sprzetu ciagnacego 150W

> Mialem w tamtym roku do czyonieia z 10 jdostkami klasy p3 i zasilaczami
> "codegonopodobnymi" 200W. A scislej dzieki tym zailaczom ze sprawnych niegdys


bo ty miales 200 a powinienes miec 300, albo mialec pecha

ja w domu mam 235 (abit kt7,athlon 1200,640MB,gf2mx,tuner
tv,sblive5.1,dvd,30GB ibm 7200rpm,scsi,modem pci,3 dodatkowe wiatraki) i
lazi (3.3V, 11.8V, 4.95V)

zyga
Tomasz Kłoczko (05.06.2004, 03:18)
Witold Piskorz <wpiskorz> wrote:
[..]
> Czytałem dyskusję Pawła D. i Tomka K. z połowy maja i pewnie na opteronach
> się skończy, ale moje założenia dot. budowy są nieco inne. Będę wdzięczny
> za rady.


W tej chwili u Suna jerst całkiem ładna cena na V20z dla EDU. Konfiguracja:
2x operon 0248, 4 GB RAM, HDD 36GB, CD+FDD (combo), 2xeth T1000 kosztuje
oficjalnie 20.200 czli w za paniądze jakie masz mógłbyś kupić ~20 sztuk.
Zapewne jak powisz że chcesz kupić 20 sztuk i że drugie tyle (conajmniej ..
bo w przyszłym roku ceny będą na pewno niższe) IMO możesz liczyć na niższe
ceny i to że do tego dostaniesz szafę rack (poproś o szafę z PDSem), a i
zapewne na niższą cenę niż powyższa można też liczyć. Zadzwoń do Suna w
Wawie i skontaktuj się z Bogdanem Frelkiem (handlowiec specjalnie do zakupów
EDU na Polskę). Jako switcha poleciłbym do tego kupić do tego coś s HP/PC
(relatywnie najniższ cena w porównaniu do innych, możliść zrekonfugurowania
specjalnie dfo klastrów tak żeby uzyskać bardzo małe latency, architektóra
non-blocking, a w ilości portów jaką potrzebować będziesz będziaesz miał
gwarację wieczystą). Jeżeli starczy Ci pieniedzy i przewidywać bęziesz
rozwijanie dalej to kip np. HP/PC 5348xl z dwoma modułami 16xT1000 na miedzi
(pozostałe dwa sloty będziesz miał na rozbudowę na przyszły rok). Jak się
dobrze dogadasz co do ceny v20z u Suna to na takiego switcha powinno Ci
wystarczyć w ramach budrzetu jaki masz.

Na v20v gwarację masz trzy lata więc dodatkowe koszta utrzymania wynikajace
z opłat serwisowych w tym okresie będziesz miał zerowe.

Pamiętaj, że teraz na zakupy na całe zestawy komuterowe EDU nie płaci VAT.

kloczek
Tomasz Kłoczko (05.06.2004, 03:24)
Witold Piskorz <wpiskorz> wrote:
[..]
> Czytałem dyskusję Pawła D. i Tomka K. z połowy maja i pewnie na opteronach
> się skończy, ale moje założenia dot. budowy są nieco inne. Będę wdzięczny
> za rady.


W tej chwili u Suna jerst całkiem ładna cena na V20z dla EDU. Konfiguracja:
2 x operon 0248, 4 GB RAM, HDD 36GB, CD+FDD (combo), 2xeth T1000 kosztuje
oficjalnie 20.200zł czli w za paniądze jakie masz mógłbyś kupić ~20 sztuk.
Zapewne jak powiesz że chcesz kupić 20 sztuk i że drugie tyle (conajmniej ..
bo w przyszłym roku ceny będą na pewno niższe) w przyzszłym roku IMO możesz
liczyć na niższe ceny i to że do tego dostaniesz np. szafę rack (poproś o szafę
z PDSem).
Zadzwoń do Suna w Wawie i skontaktuj się z Bogdanem Frelkiem (handlowiec
specjalnie do zakupów EDU na Polskę). Jako switcha poleciłbym do tego kupić
do tego coś z HP/PC (relatywnie najniższ cena w porównaniu do innych,
możliść zrekonfugurowania specjalnie do klastrów tak żeby uzyskać bardzo
małe latency, architektóra non-blocking, a w ilości portów jaką potrzebować
będziesz będziaesz miał gwarację wieczystą). Jeżeli starczy Ci pieniedzy i
przewidywać bęziesz rozwijanie dalej to kup np. HP/PC 5348xl z dwoma
modułami 16xT1000 na miedzi (pozostałe dwa sloty będziesz miał na rozbudowę
na przyszły rok). Jak się dobrze dogadasz co do ceny v20z u Suna to na
takiego switcha powinno Ci wystarczyć w ramach budrzetu jaki masz.

Na v20v gwarację masz trzy lata więc dodatkowe koszta utrzymania wynikajace
z opłat serwisowych w tym okresie będziesz miał zerowe.
Przy założeniu eksploatacji klastra na okreś conajmniej trzyletni, tym że
bierzesz 4GB RAM na węzeł i najszybsze obecnie dostępne opeterony masz duże
szansę że nawet pod koniec tego okresu będzie to jeszcze bardzo "żwawy"
klaster.

Pamiętaj, że teraz na zakupy na całe zestawy komuterowe EDU nie płaci VAT.

kloczek
Witold Piskorz (07.06.2004, 09:55)
Tomasz Kłoczko wrote:

> Witold Piskorz <wpiskorz> wrote:
> [..]
> W tej chwili u Suna jerst całkiem ładna cena na V20z dla EDU.
> Konfiguracja: 2 x operon 0248, 4 GB RAM, HDD 36GB, CD+FDD (combo), 2xeth
> T1000 kosztuje oficjalnie 20.200zł czli w za paniądze jakie masz mógłbyś
> kupić ~20 sztuk. Ups. DWIE sztuki :-) Ja mam 40 000, a nie 400 000 :-(


> Zapewne jak powiesz że chcesz kupić 20 sztuk i że drugie
> tyle (conajmniej .. bo w przyszłym roku ceny będą na pewno niższe) w
> przyzszłym roku IMO możesz liczyć na niższe ceny i to że do tego
> dostaniesz np. szafę rack (poproś o szafę z PDSem). A co to jest PDS?


> Zadzwoń do Suna w Wawie i skontaktuj się z Bogdanem Frelkiem (handlowiec

O, super, wielkie dzięki. Nie ma to, jak uderzyć od razu do konkretnej
osoby.

> specjalnie do zakupów EDU na Polskę). Jako switcha poleciłbym do tego
> kupić do tego coś z HP/PC (relatywnie najniższ cena w porównaniu do
> innych, możliść zrekonfugurowania specjalnie do klastrów tak żeby uzyskać
> bardzo małe latency, architektóra non-blocking, a w ilości portów jaką ^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^ o, to jest to!


> potrzebować będziesz będziaesz miał gwarację wieczystą). Jeżeli starczy Ci
> pieniedzy i przewidywać bęziesz rozwijanie dalej to kup np. HP/PC 5348xl z
> dwoma modułami 16xT1000 na miedzi (pozostałe dwa sloty będziesz miał na
> rozbudowę na przyszły rok). Jak się dobrze dogadasz co do ceny v20z u Suna
> to na takiego switcha powinno Ci wystarczyć w ramach budrzetu jaki masz.
> Na v20v gwarację masz trzy lata więc dodatkowe koszta utrzymania
> wynikajace z opłat serwisowych w tym okresie będziesz miał zerowe. Super!


> Przy założeniu eksploatacji klastra na okreś conajmniej trzyletni, tym że
> bierzesz 4GB RAM na węzeł i najszybsze obecnie dostępne opeterony masz
> duże szansę że nawet pod koniec tego okresu będzie to jeszcze bardzo
> "żwawy" klaster.
> Pamiętaj, że teraz na zakupy na całe zestawy komuterowe EDU nie płaci VAT.
> kloczek


Dzięki serdeczne, takich informacji mi trzeba było :-)

W.P.
Pawel Dziekonski (07.06.2004, 10:50)
Tomasz Kłoczko <kloczek> wrote:
> Witold Piskorz <wpiskorz> wrote:
> [..]
>> Czytałem dyskusję Pawła D. i Tomka K. z połowy maja i pewnie na opteronach
>> się skończy, ale moje założenia dot. budowy są nieco inne. Będę wdzięczny
>> za rady.


podaj jakie aplikacje chcesz uzywac?
gaussian, gamess, nwchem, cpmd?
jak duze zadania? (ram, dysk?)
chcesz liczyc rownolegle?

jesli duzo wezlow, to kup przelacznik gigabitowy, koniecznie wire-speed
i jumbo frames.

vide tez


Podobne wątki