Projekt genealogiczny AP w Toruniu i Bydgoszczy

[Sroczyński_Włodzimierz]

oki, masz rację, się pozmieniało , naprawdę miało być więcej niż 20.. 200/200 intra 100/100 na zewnątrz
w takim razie lejek na poziomie zamówienia skutek jednaki - niezrealizowania założeń
mylę się co do etapu na którym została podjęta decyzja, z załącznika 6 wynika, że błąd został popełniony znacznie wcześniej (decyzyjnie, nie chronologicznie)
więc (przy takich parametrach)( to działać nie miało prawa i nie oczekujmy zmian- w mocy wniosek "jak nie zrobimy my to nie będzie":) i pytanie aktualne

[piotr_nojszewski]

Włodek,
o ile to tylko łącze to koszt naprawienia tego to kwota rzędu max 2 tysięcy złotych miesięcznie.
Za to kupią symetrycznę łacze rzędu 100Mb z sensownym SLA lepszym pewnie niz to co mają teraz.
Oczywiście muszą to jakoś wpiąć do sieci ale duzo lepiej wypiąc 20Mb i zostawić jako backup a podłaczyć np. 100.

Podejrzewam jednak, ze system jest całkowicie niewydajny. Źle zaplanowali a pewnie na testy wydajnościowe kasy nie zostawili sobie.
Wg znanych mi fachowców system bez odpowiedniej wydajności reaguje czasem dziwnie.
Stąd np jesli cache nie wyrabia i zapełnia może wynikac losowe wyswietlanie skanów na co narzekają uzytkownicy.
Ale bez wiedzy co tam jest i testów to zgadywanie.
Oczywiscie samo oprogramowanie też może nie działać prawidłowo albo być niewydajne.

[Sroczyński_Włodzimierz]

pisałem o tym parametrze jako warunku koniecznym, a nie jako o wystarczającym
wystarczający to jak wyżej: przekazanie nam:) (po tym, gdy PTG uzyska przekonanie że da radę:)

[Masia]

A wiadomo kiedy w końcu udostępnią wszystkie zrobione skany?

Pozdrawiam
Masia

[Artur_Nogaj]

Witam
Nazywam się Artur Nogaj i jestem pracownikiem AP w Toruniu. Część z Państwa mogła już mieć ze mną kontakt - w przypadku telefonów do AP związanych z portalem genealogiawarchiwach.pl są Państwo kierowani do mnie.

Obecnie nie posiadam jeszcze uprawnień administratora w portalu - Pan Bolesław który pełnił tą funkcję poważnie zachorował (jak już ktoś wyżej wspomniał) i pewnie jakiś czas go nie będzie. W tym tygodniu wraz z kolegą z Bydgoszczy mamy dostać odpowiednie uprawnienia i postaramy się Państwu pomóc.

Na wstępie chciałbym wyjaśnić tylko parę spraw, bo widzę, że rozpalają tu one głowy tak, ze grożą nam prokuratorami, chociaż podstawy ku temu są raczej liche, bo nikt nic nie ukradł, ba, nawet sam dołożył do tego, bo za nadgodziny służbie cywilnej się nie płaci...

Zdjęcia się wolno ładują - proszę Państwa, one maja po 20 MB... na innych portalach po 500 kb... proszę mi wierzyć, są to duże różnice (ok. 40-krotne)... wybraliśmy format jpg2000 by zachować jak najlepsza jakość (duże powiększenie, zachowane kolory itd...) ale coś za coś... na wolnym łączu może chodzić to kiepsko... Takie osoby zapraszam do pracowni na Rapackiego, nie gryzę, pomogę . Pokój nr 18.

Państwa skrypt do pobierania - owszem to działa, ale szkodzicie Państwo tym sobie i innym. Dlaczego? Bo osoba pobierająca w ten sposób księgę jest widziana jako 200 osób albo i więcej jeśli księga jest gruba. Każda z tych "osób" dostaje swoją moc obliczeniowa serwera i swój kawałek łącza. W ten sposób nagle serwer nie obsługuje setki osób a tysiące... tego nikt nie przewidywał... Inna sprawa, po co komu całe księgi na dysku skoro wszystko i tak jest w internecie? Naprawdę ktoś chce mieć tysiące dysków w domu? Nie wiem czy Państwo wiecie, ale to tysiące TB... sporo dysków potrzeba do tego.... dokładnie 4 szafy ponad 2 metrowe pełne dysków włożonych pionowo by weszło ich jeszcze więcej niż standardowo... uwaga na glazurę na podłodze... pęka pod takim ciężarem...

Co do dalszych problemów. Twórcy oprogramowania twierdzą, ze żadne indeksy nie poginęły. Czy mogę prosić o konkretne namiary co zostało zindeksowane i zniknęło? Czy skan jest, czy znikł razem z indeksem?

Znikające skany - nie wiem czemu coś wypadło z systemu. Podejrzewam, że jakieś błędy w bazie danych. Samych zdjęć skasować się po prostu nie da... nawet producent serwerów tego nie potrafi... celowo tak to producent zrobił, by ewentualne włamania nie powodowały szkód . Proszę o konkretne namiary, postaramy się sprawdzić co się stało.

Wyszukiwanie - tak jak wyżej parę osób pisało - po nazwiskach lub miejscowościach da się wyszukiwać tylko coś zindeksowanego! To nie system OCR (próbowaliśmy, ale technika jest jeszcze zbyt słaba by rozpoznać dobrze te akta). Jeśli czegoś nie da się wyszukiwać trzeba zrobić to ręcznie poprzez kreatora z lewej strony. Po indeksacji wyszukiwarka już to znajdzie.

Wyszukiwanie błędne - mogą się zdarzyć takie przypadki, warto je nam zgłaszać poprzez przycisk - weryfikujemy to dzień w dzień. Bazy danych IZA nigdy nie były bezbłędne, wystarczy że ktoś kiedyś (nawet 10 lat temu) zrobił przecinek lub spację a nie myślnik i już problem gotowy, w nazwach miejscowości też bywają problemy (np zszyte akta 2 różnych USC w jedną księgę, bo komuś tak po wojnie było wygodniej). Niestety nie ma możliwości zrobienia tego z automatu. Ktoś musi sprawdzić, zejść do magazynu, potwierdzić, my to poprawiamy w bazach a bazy wrzucamy na portal.

Brak pobierania - specyfika projektu unijnego - trzeba spełnić mierniki.... miernikiem jest liczba gości... ktoś, kto pobrał całość już nie wróci... czy trzeba wyjaśniać więcej? Funkcjonalność Państwo nam zgłaszali wielokrotnie, wiemy o niej i coś w tej sprawie kiedyś w końcu pewnie zrobimy. Naprawdę to nie jest nasza złośliwość, tylko niestety konieczność.

Izbica Kujawska - jutro postaram się dowiedzieć w czym jest problem.

[Sroczyński_Włodzimierz]

Witam!
Kilka pytań bezpośrednio związanych:
- 20 Mb? dlaczego?
- "mierniki unijne" - jeszcze nie wypełnione? Czy jest jakiś problem w podaniu konkretnych liczb?
- "jeśli ktoś ściągnie - nie wróci" błąd! polecam statystyki serwisów, które umożliwiają pobranie i zapisanie vs "unijne mierniki projektu"

Jak Pan pewnie zauważył - dla nas nie jest istotne wypełnienie mierników a funkcjonalność. Kwestia kosztów - być może także, ale na pewno gdyby działało poprawnie...tu problem leży w "zapraszam do pracowni" czyli założeniu (zmianie założeń?) udostępnienia - przekładającym się na to 20Mb, podziale środków

Najważniejsze: czy przy skorzystaniu z zaproszenia do pracowni( by nie obciążać owych 20Mb) mogę przynieść dyski i zrobić mirror..skoro z unijnego wielomilionowego budżetu nie dało się wykroić łącza umożliwiającego korzystanie to proponuję quasi-mirror (quasi bo nie 20MB pliki a użyteczne dla 99,5% userów wersje 950 kB.) Zapewniam , ze przełoży się to zdecydowanie większą liczbę indeksów

no i .."regulamin" akceptowany przy rejestracji

pozdrawiam, dziękuję za poświęcony czas

[Artur_Nogaj]

Dlaczego 20 MB? By zachować jakość. Pisałem o tym w poprzedniej wiadomości. Dodatkowo w jpg2000 można zawrzeć więcej informacji niż w zwykłym jpg.
Mierniki, trudno mi powiedzieć bez wglądu w dokumenty
Jeżeli ktoś pobiera cały serwis to nie wraca, jeżeli Pan coś pobiera na dysk to nie robi Pan tego przecież powtórnie. Jakie serwisy mam porównywać?

Mirror w takim sensie jak Pan sobie to wyobraża jest nierealny z powodów technicznych. To nie katalogi i pliki jak sobie to Pan wyobraża bazując na doświadczeniach z Windowsem czy nawet jakąś dystrybucją Linuxa. To nie partycje NTFS czy FAT. Tu wszystko opiera się na oprogramowaniu producenta serwera i producenta portalu. Bez baz danych, oprogramowania, chodzącego na serwerach tego typu i tego producenta to tylko zbiór 0 i 1 bez ładu i składu porozrzucanych na czterech serwerach.

Nie wiem o co chodzi z regulaminem? Proszę o wyjaśnienie.

[Sroczyński_Włodzimierz]

Różnica jakości pomiędzy 20 a 1MB jest istotna dla mniej niż 5 na każdy tysiàc userów, pliki zgrać można, o miernikach nie ja wspomniałem.
Regulation ? Proszę się zarejestrować na gwa.
Ponowiam pytanie o możliwość zgrania na Poczatek np 100 000, nie o technikalia pytanie. To kwestia decyzji. Nie przewiduję problemów z wykonaniem. Dysk możemy posłać jutro kurierem, by np nie powodować obciãżeń w pracowni w ciàgu dnia - można zgrać nocà.

[Piotr_Juszczyk]

Inna sprawa, po co komu całe księgi na dysku skoro wszystko i tak jest w internecie?

i myślę że Pan sam odpowiedział na swoje pytanie:

Zdjęcia się wolno ładują - proszę Państwa, one maja po 20 MB... na innych portalach po 500 kb... proszę mi wierzyć, są to duże różnice (ok. 40-krotne)

Wie Pan jak to jest szukać czegoś w dziesiątkach aktów które się wolno ładują?
Zapewne nie. Przeważnie jak ktoś robi coś takiego to sam nie korzysta, bo np. ma bezpośredni dostęp, więc po co się męczyć przez sieć? Albo go to nie interesuje. Gdyby korzystał - zrobiłby inaczej.

Naprawdę ktoś chce mieć tysiące dysków w domu? Nie wiem czy Państwo wiecie, ale to tysiące TB

A ile konkretnie?
3 mln skanów x 20 MB = 60 000 GB? = 60 TB. To nie są tysiące.
Proszę mi wierzyć ale SZWA obsługuje większą ilość skanów i jakoś ... działa dobrze, nikt nie narzeka.

użyteczne dla 99,5% userów wersje 950 kB

Dokładnie. Inna sprawa że te 20 MB nie dało się ściągnąć tym skryptem. Skrypt ściągał 2 do 7 MB. Więc czy to na pewno tyle zajmuje? Być może nie które skany tak.
Czyli raczej 20 TB niż tysiące

[Artur_Nogaj]

Jak nie wspomniał Pan o miernikach skoro sam proponuje mi Pan porównywać jakieś serwisy?
Konto mam zanim Państwo zakładali. Regulaminu wtedy jeszcze nie było. Czy mogę prosić o przybliżenie sprawy?
Z pytaniem o zgrywanie musi Pan się skierować do dyrekcji Archiwów. Ja tylko mogę przybliżyć jak wygląda to od strony technicznej. Jak się Pan domyśla osoba decyzyjną nie jestem .
SZWA - szukajwarchiwach.pl o ile się domyślam? Działa od paru lat, my od niedawna. Początki też mieli trudne...

[Piotr_Juszczyk]

Jedno pytanie:
Macie 3 mln skanów. Nawet licząc po 20 MB to daje 60 TB a nie tysiące TB
A wiele skanów zajmowało tylko 2 MB a nie 20 MB po ściągnięciu.
Więc 10 - 20 TB?

[Artur_Nogaj]

jpg2000 jest na potrzeby portalu, wzorcowe są znacznie większe

[Piotr_Juszczyk]

Ale pisał Pan o ściąganiu. Ściągam z portalu. Nie z wzorców
Proszę - to Pan pisał:

Zdjęcia się wolno ładują - proszę Państwa, one maja po 20 MB... na innych portalach po 500 kb... proszę mi wierzyć, są to duże różnice (ok. 40-krotne)

To w końcu jak?
i tu

Państwa skrypt do pobierania - owszem to działa, ale szkodzicie Państwo tym sobie i innym. Dlaczego? Bo osoba pobierająca w ten sposób księgę jest widziana jako 200 osób albo i więcej jeśli księga jest gruba. Każda z tych "osób" dostaje swoją moc obliczeniowa serwera i swój kawałek łącza. W ten sposób nagle serwer nie obsługuje setki osób a tysiące... tego nikt nie przewidywał... Inna sprawa, po co komu całe księgi na dysku skoro wszystko i tak jest w internecie? Naprawdę ktoś chce mieć tysiące dysków w domu? Nie wiem czy Państwo wiecie, ale to tysiące TB... sporo dysków potrzeba do tego

To w końcu jak? Ściągamy 20 TB ale nam się samo rozmnoży w tysiące?
Zresztą w takim razie pytanie.
To wzorce zajmują po 2 GB? Tyle by musiały zajmować żeby to było tysiące TB te 3 mln skanów.

[Artur_Nogaj]

Ale to Co Pan ściąga to nie jpg2000. To wygenerowany przez skrypt portalu jpg na Pana potrzeby. Proszę się przyjrzeć pobranym plikom - one są już po stratnej kompresji.

[piotr_nojszewski]

To naprawdę duża rzecz, ze odezwał się ktoś kto administruje serwisem.

Z tej rozmowy wynika jednak, że serwis został zwyczajnie źle zaprojektowany albo inaczej zaprojektowany całkowicie bez wzięcia pod uwage realnych potrzeb użytkowanika.

Nie znam serwisu ani polskiego ani zagranicznego, który udostępniałby skany 20MB bo to zwyczajnie ani nikomu nie jest potrzebne ani nie jest sensowne z punktu widzenia kosztów a co za tym idzie realnej dostępności.

Nie przyspiesza tez pracy na komputerach użytkowaników.

Do tego przyjety model pracy (brak zapisu) generuje sztuczny ruch. W efekcie zapotrzebowanie na wielkość łącza jest prawdopodobnie pi razy oko 100 razy (STO RAZY) większe niż podobnego serwisu opartego na zasadzie plik max 1MB + zapis.
Sto licze 20 razy większy plik razy 5 wyświetleń.
A jak wynika z danych dostep jest przez łącze jakie może sobie kupić kilkuosobowa firma której zalezy na jakości.

Stąd w niedzielę nie byłem w stanie nawet zobaczyć strony startowej a dzis w ciagu dnia już sie to udało.
Byłoby bardzo ciekawe wiedzieć jaka zdaniem projektującego jest wydajnośc serwisu t.zn. ilu jednoczesnych użytkowników może z niego realnie korzystać?

Proponuje pominąc dyskusję na temat sensowności architektury bo pewnie nie jest Pan temu winien ale na podstawie innych serwisów widać, że zwyczajnie nie sa potrzebne aż takie - być może bardzo interesujace rozwiązania - by wszystko przy tej skali działało sprawnie.


Ale z praktycznego punktu widzenia jest kilka rozwiązań najprostrze to pewnie:
- zmniejszyć wagę pliku
- kupić sensowne łącze (choć to chyba powinno być sporo )

Nie wiem czy to naprawi sytaucję bo nie wiem czy reszta infrastruktury nadąża... Ale zapewne ją poprawi.

A najłatwiejsze byłoby przekazać pliki a po zaminaie na 1MB a będzie tego raptem 3TB więc jeden większy dysk do publikacji np na genealodzy.pl.

Inaczej poziom frustracji będzie tylko rósł.

Zapewniam Pana, że wasz serwis staje się już powoli nawet tematem rozmów międzynarodowych.
A żeby zaapelowac do zdrowego rozsądku decydentów - nie służy to dobrze obrazowi Polski.

Wydaje mi się, że zwyczajnie powinien Pan przekazać swoim przełozonym, że stan obecny wymaga naprawy.
Inaczej frustracja za chwile przeleje się pewnie najpierw na łamy gazet lokalnych.