genealodzy.pl

Może najpierw należy zacząć od określenia potrzeb i możliwości.

Czy będzie się tym opiekował admin?

Czy to ma być 60TB w jednym kawałku? Jeśli tak to raczej wyklucza to zwykły RAID (5,6,10 ...) - odbudowa dysku ~ 10T trwać będzie pewnie dwa dni. Można by użyć jakiegoś sieciowego FS ale wtedy konfiguracja z jednym komputerem jest dość egzotyczna (chociaż da się). Jeśli zaś nie w jednym kawałku to będzie zrobionych kilka oddzielnych raidów dla kilku grup dysków. Problem z odbudową dużych dysków jednak pozostaje. No i jak to w takich sytuacjach jest ograniczenie jednego kontrolera sprzętowego - ciężko będzie odczytać dane z RAID5/6 jeśli kontroler zawiedzie (trzeba mieć drugi taki sam albo kompatybilny). Dla tak dużych dysków raczej matedevice nie zda egzaminu (zresztą i tak w grę wchodziłby tylko RAID10).

Przeciwieństwem składania macierzy z RAIDów jest np. CEPH i "erasure code". Ale wtedy potrzeby byłby admin (chociaż dobrze skonfigurowany byłby prawie samoobsługowy). Wspomniany ZFS to jeszcze inna bajka - ale też potrzeby jest admin - na start przynajmniej.

No i tak długo można by wymieniać...

--
Pozdrawiam
Jarosław Młynik

Jeśli chodzi o dyski to teraz b. fajne są dyski z rodziny X300 Toshiba. Dość tanie, wydajne kręcą się na 7200rpm występują na potwierdzonych listach kompatybilności (np. Synology) jedyna wada, że teoretycznie klasy Desktop.

Piszę to nie po to aby zrobić jakaś reklamę ale jeśli całe urządzenie będzie robiło za magazyn to pewno większość czasu będzie "spało" więc wykładanie dodatkowych kilkuset złotych na każdy dysk który będzie bardzo wydajny pod obciążeniem nie ma sensu.

Albo idąc dalej tym tokiem myślenia pójść w dyski klasy "Archive" np z rodziny Seagate Archive i kupować już dyski 8 TB.

Niezależnie od wyboru w dostępnym budżecie wszytko się powinno zmieścić. Zainteresowani/decyzji konkretne modele na pewno sobie już znajdą.

Nasze koszty to jednorazowy zakup + utrzymanie.
Czego moim zdaniem potrzebujemy?
Potrzebujemy serwera plików do archiwizacji dostępnego przez Internet oraz czasem fizycznie utrzymywanego w bezpiecznym miejscu za w miarę niewielkie pieniądze ponieważ rozwiązanie przenośne już mamy. Ideałem byłaby darmowa lub prawie darmowa umowa na kolokację z jakąś instytucją. Być może ktoś mógłby w taki sposób wesprzeć stowarzyszenie non-profit działające pro publico bono. Być może ktoś zna taką instytucję lub ma z taką kontakt. Serwer musi być pojemny ale nie musi obsługiwać setek korzystających osób. Ma służyć tylko do archiwizacji i podglądu przez kilka osób. Mógłby być nawet włączany i wyłączany przez administratora serwerowni na telefon ponieważ większość czasu po prostu nie będzie używany. Nie muszą to być superszybkie dyski z najwyższej półki. Muszą być pewne ale nie do przesady. Nie będą non stop pracować dla dziesiątek internetowych sesji. Może to być NAS który usypia dyski jeśli nie są używane dla zmniejszenia poboru prądu i ilości wydzielanego ciepła. Przy 12-stu dyskach to ma znaczenie. Wynajęcie serwera (-ów) o interesujących nas pojemnościach dysków nie wchodzi w grę z powodu niedostępności takich rozwiązań w przystępnych cenach.
Dyski powinny być duże blisko maksymalnych wartości pojemności obsługiwanych przez serwer ponieważ potrzebujemy rozwiązania na długi czas a koszty utrzymania serwera plików z małymi czy dużymi dyskami są praktycznie takie same. Dwa lata temu postawiliśmy na 6TB Redy WD. Dzisiaj oferta jest szersza więc może to być coś innego.
Koszt utrzymania zależy od wielkości wyrażonej w U, energii potrzebnej do zasilania i przepustowości łącza internetowego.
Optymalną obudową dla serwerów utrzymywanych w serwerowniach, a takiego potrzebujemy, jest 19" rack. Serwer w innej obudowie wymagałby wynajęcia większej części szafy. Być może 5U zamiast 2U. Są co prawda serwery 12 dyskowe 1U ale do wymiany dysku trzeba je rozkręcać bo nie mają kieszeni i wymagają głębszej szafy.
Być może najlepszym rozwiązaniem byłby jakiś 12 zatokowy QNAP z racji że jednego Qnapa już mamy a oprogramowanie systemowe byłoby podobne. Spodziewam się też że ewentualna synchronizacja byłaby wtedy łatwiejsza.

A problemy zwykłych raidów i dużych dysków będą jakoś uwzględnione? A co z rozbudową systemu (wymiany popsutych dysków na nowe i większe)?

Przy rzędach 8-12T to i zwykła statystyka zaczyna mieć znaczenie: http://www.zdnet.com/article/why-raid-6 ... g-in-2019/

Trzeba by składać dyski tak, aby nie były z tej samej serii itp.

--
Pozdrawiam
Jarosław Młynik

W przypadku dysków o dużych pojemnościach zawodność dysków mechnicznych zaczyna odgrywać ogromną rolę w przypadku tradycyjnych systemów RAID-owych.

Polecam do zapoznania się z linkami, które są poniżej:
https://community.spiceworks.com/topic/ ... -the-proof
http://www.zdnet.com/article/why-raid-5 ... g-in-2009/
http://storagegaga.com/4tb-disks-the-end-of-raid/

Systemy typu RAID nigdy nie były projektowane do tak dużych pojemności dyskowych.
Obecnie stosowanym rozwiązaniem jest zastąpienie systemów RAID przez wykorzystanie kodów ażurowych (w wielkim skrócie to rozproszony RAID po sieci na bloku danych nie na całym dysku).

Obecnie przy tak dużych pojemnościach dysków jedynym sensownym, bezpiecznym i stosunkowo tanim sposobem jest wykorzystanie rozproszonych systemów plików jak np. Ceph http://ceph.com/

Ceph jest to kompleksowe rozwiązanie, które w swoich mozliwościach ma funkcję bezpośredniego podawania obiektów po HTTP/HTTPS (funkcjonalność odpowiadająca Amazon S3) czyli po instalacji nie trzeba używać dodatkowego proxy. Obiekty mogą być w bezpięczny sposób (wbudowane wsparcie dla uwierzytelniania oraz autoryzacji) udostępniane zasobów na podstawie zdefniniowanych reguł ACL.

Opis kodów ażurowych:
http://docs.ceph.com/docs/master/rados/ ... sure-code/

Dodatkowy problem, o którym trzeba pamiętać jest potencjalny pad kontrolera RAID-owego. W przypadku padu kontrolera odczytanie danych jest niemalże niemożliwe ze względu na różnice w zapisie danych między producentami a nawet w ramach tego samego producenta. Dlatego najcześciej kupiuję się 2 sztuki kontrolerów aby w najgorszym przypadku tego typu dane mieć nawet jak odczytać.

Oczywiście to co napisałem to temat rzeka. Wybrałem kilka najbardziej palących problemów jakie mają systemy RAID-owe.

Wiekszość instalacji Ceph-a wykonuje się na więcej niż jednym serwerze ale w tym konkretnym przypadku, o którym jest mowa tym wątku można ją uruchomić na początku na jednym fizycznym serwerze. Oczywiście ma to szereg ograniczeń ale w każdy przypadku będzie deklasowało każdą dedykowaną macierze zapewniąć dużo wyższy poziom bezpieczeństwa (kody ażurowe) i większą pojemność RAW. Nie trzeba kupować żadnej dedykowanej macierzy tylko tani serwer (koniecznie z pamięcią ECC) z odpowiednią liczbą dysków. Nie trzeba żadnych kontolerów sprzętowych wystarczą zwykłe kontrolery SATA czyli odpada konieczność kupowania drogich kontrolerów i nie trzeba mieć nic na zapas (kontolery SATA mogą być dowolnego producenta). W przyszłości rozbudowana jest możliwa np o dysk (nie trzeba obsadzać każdego slotu dyskowego w serwrze) można to zrobić potem, można w przyszłości dodać nowy serwer, lub/i wymienić dyski na wieksze. Rekonfiguracja jest możliwa w pełni onlinenowo i nie wymaga żadnej przerwy Konfiguracja jest dowolna w przypadku sprzętowej macierzy takich możliwości po prostu nie ma.

W razie pytań chętnie służę pomocą.

pozdrawiam
j.witkowski

Dzień dobry.

Kolokacja np. w NASK to koszt pomiędzy 320 PLN (2U, 5Mbps, 2x600W, umowa na 24 m-ce) do 450 PLN (2U, 10Mbps, 2x800W, umowa na 24 m-ce) + opłata na start 200PLN. Są to oczywiście ceny "biznesowe".

--
Pozdrawiam
Jarosław Młynik

Na początku października 2017 roku zwróciłem się do p. J. Młynika z propozycją uruchomienia i skonfigurowania dla PTG serwera backupowego dla zabezpieczenia zdjęć które wykonaliśmy w projekcie digitalizacji bądź pozyskaliśmy od innych podmiotów. Było to związane z koniecznością realizacji zadania na które zebraliśmy środki celowe w kwocie ponad 24.000 zł i do czego zobowiązywała nas uchwała WZ. Jednocześnie wróciliśmy do poszukiwania podmiotu, który zapewniłby nam kolokację serwera na korzystnych warunkach.

Propozycje sprzętowe zawarte w wątku o zbiórce na serwer a mianowicie 12 zatokowy NAS Synology RS2414+ lub 12 zatokowy QNAP TVS-1271U-RP już wtedy nie budziły entuzjazmu, jako rozwiązania zamknięte, oparte na dedykowanym do sprzętu oprogramowaniu. Potwierdziły to opinie informatyków datowane dwa lata później na przełomie 2017 i 2018 roku. Topowe modele serwerów NAS (w tym również QNAPa i SYnology) oparte są obecnie na macierzach softwareowych, unikając kontrolerów sprzętowych. Dodatkowo wykorzystywane są coraz nowsze technologie niedostępne dla rozwiązań typu wszystko w komplecie pasujące jedynie do siebie, bez możliwości modyfikacji. Dlatego rozpoczęliśmy poszukiwania innego rozwiązania, które byłoby na czasie i dawałoby możliwość migracji do rozwiązań które pojawią się w przyszłości.

W połowie listopada 2017 otrzymaliśmy wstępną propozycje kolokacji serwera (lub serwerów) w serwerowniach podstawowej i zapasowej CK UZ w Zielonej Górze na promocyjnych warunkach (ok. 200 PLN netto). Do szczegółowych uzgodnień musieliśmy podać konfigurację sprzętową ze względu na oszacowanie kosztu energii elektrycznej, więc sprawa pozostała otwarta i wrócimy do uzgodnień po zakupie serwera.
Na przełomie roku miały miejsce awarie naszego serwera dedykowanego, które uświadomiły nam dobitniej konieczność szybkiego unowocześnienia naszego serwera produkcyjnego, instalacji nowego środowiska i przeniesienia na nie naszych serwisów, które należy mocno odmłodzić, by mogły pracować na aktualnych wersjach PHP i MySQL. Nasze serwisy nie są bezpieczne. Dość łatwo byłoby dokonać na nie skutecznego ataku hackerskiego. Chroni je przede wszystkim nieatrakcyjność treści dla hackerów. Stało się jasne, że nie można dłużej liczyć na to, że wszystko będzie dobrze a generalny pad serwisów jest jedynie kwestią czasu.

Zakupiony serwer uruchomiony skonfigurowany i przetestowany zostanie dostarczony do kolokacji w Centrum Komputerowym. Opierając się na audycie naszych serwerów dedykowanych przez informatyków, którzy na bieżąco wdrażają nowoczesne i bezpieczne rozwiązanie dla firm, wypracowaliśmy bezpieczne, całościowe, skalowalne rozwiązanie (plan działania) budowy infrastruktury IT dla PTG umożliwiające migrację naszych serwisów do nowszego środowiska, jak również zawierającego w sobie przestrzeń do magazynowania naszego zbioru fotografii i skanów akt metrykalnych i innych dokumentów. Założyliśmy, że zbudujemy rozwiązanie oparte o dwa serwery, które najlepiej zabezpieczy nasze dane i umożliwi zastąpienie jednego serwera przez drugi w przypadku awarii jakiegoś komponentu. Zastąpi ono wynajęte dotychczas serwery dedykowane oferując większe możliwości. Zakup drugiej podobnej maszyny zaplanowaliśmy wstępnie na maj-czerwiec 2018.

Wypracowaną, pasującą do naszych potrzeb konfigurację sprzętową opartą o 12 zatokowy serwer Supermicro lub Intel o powierzchni dyskowej 80 TB w formie zapytania ofertowego wysłaliśmy do pięciu firm otrzymując od nich oferty cenowe. W dniu wczorajszym na zebraniu Zarządu przyjęliśmy uchwałę o wyborze najkorzystniejszej oferty i zakupie serwera Supermicro.
Specyfikacja bazowa Supermicro SuperServer 6028R-E1CR12 znajduje się na stronie producenta.
Dodatkowo jest on wyposażony w:

• 1xSSD: INTEL DC SSD S4500 480GB 2,5inch SATA 6Gb/s TLC 2
• 2xHDD: Seagate 3.5" 2TB SAS 12Gb/s 7.2K RPM 128MB Makara BP(512E)
• 8xHDD: Seagate 3.5”, 10TB, SATA 6Gb/s, 7.2K RPM, 256M, 512E, Performance (TATSU)
• Karta Sieciowa AOC-SGP-I2 - 2 porty LAN 1 Gb/s

Koszt serwera w rozszerzonej konfiguracji to 24 910,13 zł + VAT = 30 639,46 zł

W dniu 15 czerwca 2018 roku na ostatnim zebraniu Zarządu IV kadencji przyjęto ofertę firmy BizServer na dostawę drugiego serwera SuperMicro. Tym samym domknęliśmy kolejny etap budowy naszej infrastruktury. Wstrzymaliśmy się natomiast z decyzją o wyborze kolokacji z powodu konieczności dokonania dalszych uzgodnień.

Cieszę się, że dane dzięki Wam są bezpieczniejsze

Jestem tutaj nowy. Czytając informacje na temat przechowywania danych zaczynam odnosić wrażenie że nie macie Państwo problemu technicznego, a raczej problem z finansowaniem. Czy rozważaliście kiedyś wprowadzenie płatności za korzystanie z tego serwisu? Jestem przekonany, że jest ogromna ilość osób zza granicy, która posiadała przodków w Polsce i jest gotowa płacić $10 miesięcznie za korzystanie z tego serwisu.

W chwili obecnej kolokujemy w NASK dwa serwery Supermicro pracujące pod Ubuntu 16.04. W planach na najbliższy rok, w trzecim, ostatnim etapie rozbudowy naszej infrastruktury IT jest dołożenie trzeciego serwera w podobnej do poprzednich konfiguracji.
Oprócz większej pojemności i wyższego poziomu niezawodności i bezpieczeństwa da nam to możliwość zmian i przenosin usług pomiędzy serwerami, czyli jednym słowem normalnej i wygodnej pracy. Docelowa konfiguracja oparta na 3 serwerach zabezpieczy nasze potrzeby na co najmniej kolejne 5 lat. Obecnie, co prawda, miejsca dla dla plików produkcyjnych nam nie brakuje ale nie wystarcza go na roszady. Kolejny problem to upgrade. W kwietniu przyszłego roku wyjdzie najnowsze wydanie Ubuntu które po testach i poprawkach będzie można wdrożyć koło lipca 2022 r. Mając trzeci serwer należy zmigrować się na Ubuntu 20.04 albo od razu na 22.04, przejść na aktualną wersję cepha, zrobić drugi docker i w ten sposób zmigrować serwisy do nowej konfiguracji.

Szacowany koszt rozbudowy to ok.30 tys zł na serwer. Koszty kolokacji obejmujące dodatkową przestrzeń i koszt zasilania wzrosną o ok. 220zł/mc. Dodatkowo w budżecie przedsięwzięcia przewidzieć należy koszty zlecenia robocizny w wysokości ok. 10 tys zł. Być może uda się znaleźć fachowca który zrobi to taniej albo za darmo ale trudno zakładać, że tak się stanie. Poprzednio wszystkie prace konfiguracyjne wykonał dla nas całkiem za darmo Jarosław Młynik za co winniśmy mu dozgonną wdzięczność. Dodatkowo cały czas nieodpłatnie opiekuje się naszymi serwerami zajmując się konserwacją.

Wstępnie trzeci etap należy zaplanować następująco:
- Zebranie części środków w formie darowizn do końca 2021r.
- Rozpisanie konkursu ofert, wybór dostawcy na drodze uchwały, zakup sprzętu na przełomie 2021/2022roku.
- Dostawa i instalacja sprzętu w serwerowni ok 1-2miesiące.
- Wybór dostawcy usługi, instalacja oprogramowania, testy i uruchomienie 3-4 miesiące.
- Zakończenie prac za rok - lipiec 2022.

To wszystko to jedynie plany i możliwości. O ich realizacji będzie można zdecydować pod koniec roku jeśli zyskają one akceptację użytkowników naszych serwisów wyrażoną w dotacjach. Zachęcam więc do promowania akcji i uczestnictwa w zbiórce środków na ten cel.

"Koszty kolokacji obejmujące dodatkową przestrzeń i koszt zasilania wzrośną o ok. 220zł/mc."
z obecnych ok. .... miesięcznie do ok. ..... miesięcznie? tej informacji trochę brakuje, co utrudnia "promowanie i uczestnictwo"

nie chodzi o przewidywania cen energii elektrycznej etc, ale prostą otwartą "ile średniomiesięcznie (2020?) wynoszą w miarę stałe wydatki - wydatki na działanie serwerów

podobnie
"Szacowany koszt rozbudowy to ok.30 tys zł na serwer"
tzn ? w sumie 30 000 zł (bo na ten jeden dodatkowy) czy 30000 x (2+1) (dwa istniejące plus jeden planowany)= ok. 90000zł + 10000 ->ok. 100 000?

Koszty kolokacji 2 serwerów w NASK wynoszą miesięcznie:
INTERNET W DC 100 Mbps - 330PLN
USŁUGA KOLOKACJA (miejsce w szafie) -170PLN
Opłata za zasilanie + klimatyzacja (2 liczniki) - 244PLN
Razem + VAT = 883PLN

Wzrost kosztów obejmie dodatkowe miejsce i zwiększoną opłatę za zasilanie. Łącze internetowe pozostanie bez zmian.