Projekt genealogiczny AP w Toruniu i Bydgoszczy

[Sroczyński_Włodzimierz]

a. o miernikach unijnych projektów Pan wspomniał jako pierwszy, ja się mogę wstrzymać z tym tematem dopóki Pan nie sprawdzi. Tyle, ze ja chyba wiem jakie (parametr, wielkość) one są ..i raczej nie używałbym takiego argumentu bez sprawdzenia. Dla tych mierników choć nawet nie do końca określonych

b. mogą być tiff-y no problem i te 100 000 dam radę:) 200MB na tiffa? kilakset tysięcy takich zrobiłem włącznie z kontrolą jakości (i też "po godzinach" nawiązując do narzekań;)

c. regulamin serwisu, o którym jest wątek

d. ad NDAP ... to nie jest NDAP-owski, projekt (vide: "mierniki":) ale jak Pan NDAPem, to skąd zdziwienie, że kilka osób prokuraturą?:)

e. 20Mb zawisło w próżni

może zwalmy na nienajlepszą porę rozpoczęcia dyskusji, bo tak to nie dojdziemy donikąd. Wróćmy do tematu po sprawdzeniu np czy naprawdę "mierniki" (bardzo lekkie chyba one były, "my" osiągamy to w 3-4 dni przy prawie identycznej ilości kopii) nie w "dziesiąt miesięcy" i możliwości (a jeśli braku to z podstawą) równoległej publikacji choćby testowej porcji (na początek proponowałby zespoły ASC będące uzupełnieniem 100 000 kopii klsów z włocławskiego oddziału..które bezproblemowo po 48 godzinach od wykonania były i sa nieprzerwanie dostępne w serwisie PTG..bez wsparcia marketnigowego wynajętej firmy za 200 tysięcy;)
tak wiem -nie 20MB:) za to z kilkudziesiociama tysiącami indeksów osobowych, do pobrania/zgrania i bezproblemowo użyteczne

[Zatoka]

Szanowny Panie Arturze

Odczuwam wielką wdzięczność iż WRESZCIE przedstawiciel AP Toruń zechciał zabrać głos na tym forum i z nami porozmawiać, choć przykro mi że prawdopodobnie „zbierze” Pan niejedną burzę. Najważniejsze. Jestem informatycznym laikiem dlatego nie będę wypowiadał się w tym zakresie. Z uwagą przeczytałem Pański post. Proszę mi wybaczyć te poniższe, krytyczne, słowa ale albo jest Pan totalnie zdezinformowany przez firmę która wyprodukowała tego „knota” albo mydli Pan nam oczy by jakoś uratować honor AP.

W tej całej sprawie zastanawia mnie jedna rzecz. Wracam wspomnieniami do dnia gdy na spotkaniu w Pomorskim Towarzystwie Genealogicznym (Gdańsk) gościliśmy dyrektora AP Gdańsk. Po skończeniu wykładu złożył nam propozycję współpracy w zakresie digitalizacji i indeksacji zasobów AP. Odebraliśmy to jako dowód uznania za dotychczasową pracę przy digitalizacji i indeksacji zasobów AD Pelplin. Szkoda że nie powstał film z tego spotkania. Dość powiedzieć iż w trzy tygodnie później zostało podpisane stosowne porozumienie i prace ruszyły w dniu jego parafowania. Nie było łatwo. Z jednej strony napór indeksujących by jak najszybciej przekazywać materiały do indeksacji. Z drugiej strony wymogi stawiane przez AP, o wiele wyższe niż przez AD. Wszyscy zgrzytali zębami ale trzeba było się do tego dostosować. Dziś indeksowane są już zasoby AP Koszalin. Równolegle Zarząd PolTG nawiązał ścisłą współpracę z NDAP torując drogę do rozwoju procesu digitalizacji i indeksacji zasobów w kolejnych AP.

Chcąc z nami rozmawiać musi mieć Pan świadomość, że w bazie „Metryki” mamy ponad 4 mln zdjęć. Indeksów w Genetece ponad 17 mln. Nikt się nie skarży na funkcjonowanie obu baz w stopniu choćby minimalnie porównywalnym z GwA. To wszystko jest dziełem amatorów, bez udziału środków publicznych. Jako środowisko genealogów-amatorów swoim dotychczasowym zaangażowaniem udowodniliśmy, iż zasługujemy na poważne traktowanie. Blisko rok temu, gdy Wasza baza była na etapie testowania, nasze koleżanki i nasi koledzy już zaangażowali się w proces indeksacji. To dużo mówi. Lepiej żeby nikt z pracowników AP nie usłyszał tych „wiązanek” jakie „lecą” pod Waszym adresem (a może przeciwnie – może by to wreszcie coś dało). Chciałbym by przekazał Pan do dyrekcji AP Toruń wyraźny sygnał iż sytuacja grozi wybuchem. Te sygnały o prasie czy prokuraturze mogą się sprawdzić. Ponadto proszę nie zapominać iż my mamy świadomość tego, że NDAP nadal uważnie nas obserwuje i czyta tematy z tego forum. Myślę że ten temat jest przez nich wnikliwie obserwowany.

Osobiście cieszę się z „wpadki” jaką obecnie zaliczacie. Przystępując do realizacji projektu zlekceważyliście potencjał i doświadczenie naszego środowiska. Przykład AD Toruń będzie na przyszłość koronnym argumentem na niewydawanie milionów złotych na kolejne tego typu „projekty”, realizowane przez firmy informatyczne nie znające specyfiki tej pracy. Zamiast tego należy skierować do poszczególnych AP „zastrzyk” finansowy na zakup potrzebnego sprzętu gdyż jego koszt jest bardzo poważnym obciążeniem dla poszczególnych Towarzystw regionalnych. Wśród nas są tacy którzy doskonale wiedzą jaki sprzęt jest potrzebny by spełnić oczekiwania AP.

Na koniec jeszcze raz proszę o wybaczenie za te gorzkie słowa. Chociaż sam nie indeksuję (gdyż nie mam predyspozycji w tym kierunku) współczuję koleżankom i kolegom, którzy dostają „białej gorączki” marnując swój czas przy indeksacji Waszych zasobów gdy mogliby o wiele więcej zrobić dla innych baz.

Z poważaniem

Janusz Wegner

[bielecki]

Szanowny Panie Arturze,

Ponieważ Włodek Sroczyński Pana tylko "naprowadza" na kwestię regulaminu, więc żeby sprawa była jasna, napiszę wołami:

Proszę się spróbować zarejestrować w serwisie (przycisk "ZAREJESTRUJ" w prawym górnym rogu głównej strony) - tak jakby to robił zwykły, pierwszorazowy użytkownik. Jeśli ma Pan ustawione jakeiś automatyczne logowanie, proszę się najpierw wylogować.

Teraz proszę pohamować pokusę wpisania swoich danych bez przeczytania regulaminu (niezalecane przez większość serwisów radzących użytkownikom internetu, jak z niego bezpiecznie korzystać), przescrollować w dół i kliknąć na "Regulamin"

i voila !

Od siebie powiem tylko, że zostawienie "lorem ipsum" w produkcie finalnym to chyba kwintesencja informatycznego lamerstwa.

Oczywiście można się uśmiać i zarejestrować mimo wszystko, choć ja swój podpis szanuję, głupot nie podpisuję i się do tej pory nie zarejestrowalem.

Pozdrawiam,
Łukasz

[JarekK]

Państwa skrypt do pobierania - owszem to działa, ale szkodzicie Państwo tym sobie i innym. Dlaczego? Bo osoba pobierająca w ten sposób księgę jest widziana jako 200 osób albo i więcej jeśli księga jest gruba. Każda z tych "osób" dostaje swoją moc obliczeniowa serwera i swój kawałek łącza. W ten sposób nagle serwer nie obsługuje setki osób a tysiące... tego nikt nie przewidywał... Inna sprawa, po co komu całe księgi na dysku skoro wszystko i tak jest w internecie? Naprawdę ktoś chce mieć tysiące dysków w domu? Nie wiem czy Państwo wiecie, ale to tysiące TB... sporo dysków potrzeba do tego.... dokładnie 4 szafy ponad 2 metrowe pełne dysków włożonych pionowo by weszło ich jeszcze więcej niż standardowo... uwaga na glazurę na podłodze... pęka pod takim ciężarem...

ale większość nie zamierza pobierać całych ksiąg a tylko pojedyncze skany i naprawę w 99,9% nie są im potrzebne 20 megowe pliki. Może na początek niech Pan odpowie dla kogo jest ten portal bo, jak na razie, nie dla genealogów. Jeśli Pan jeszcze nie widział to proszę zobaczyć tutaj: http://kulwickifamily.org/?pobieranie-s ... rchiwachpl to jest instrukcja, która umożliwia pobranie 1 skanu (w rozsądnej wielkości) - inaczej się nie da - więc pytam jeszcze raz - Dla kogo jest ten portal???

[T0masz_0]

Inna sprawa, po co komu całe księgi na dysku skoro wszystko i tak jest w internecie?

A po to że przejrzenie całej księgi w portalu trwa bardzo długo nawet przy dobrym łączu i przypomina drogę przez mękę.
Znacznie prościej jest zapuścić ściąganie całej księgi, zająć się w tym czasie czymś przyjemniejszym i potem przejrzeć cały zbiór lokalnie z komputera.
Na końcu oczywiście zostawić sobie interesujące skany a resztę usunąć bo rzeczywiście "po co komu całe księgi na dysku".

Może rozwiązaniem byłoby generowanie mniejszych plików? Na przykład skany na szwa są mniej więcej o połowe mniejsze, widać na nich wszystko tak samo dobrze i pewnie zabierają o połowe mniej łącza.

pozdrawiam
Tomek

[bielecki]

To prawda, większości użytkowników wystarczy pobranie "na pamiątkę" skanu, na którym znajduje się poszukiwany akt, to mogą być nawet dziesiątki zapisów na usera, ale przecież nie tysiące. Natomiast zdrożna myśl o pobieraniu całych ksiąg pojawia się wtedy, gdy przejrzenie księgi zawierającej np. 300 zapisów zabiera pół dnia, na skutek kombinacji niefunkcjonalnych rozwiązań serwisu. Wtedy user woli ściągnąć księgę w tle np. w nocy, a potem lokalnie przejrzeć te 300 wpisów np. w kwadrans albo w godzinę, zależnie od umiejętności i czytelności dokumentu.

Być może cała koncepcja serwisu byłaby do uratowania, gdyby niepowiększone miniaturki ładowały się bez opóźnienia spowodowanego jak rozumiem tym, że są one na bieżąco produkowane z 20-MB wersji oryginalnej. Gdyby zarówno miniaturki z przeglądu księgi (w panelu po lewej stronie), jak i strony "preview" (przed uruchomieniem powiększania) były już fizycznie dostępne na Państwa serwerze i ładowały się na bieżąco, wówczas można by każdą księgę przeglądać szybko, wyszukując wyłącznie interesujące użytkownika strony, które wówczas użytkownik ewentualnie powiększałby. Mniejszy byłby i trasfer i bieżące obciążenie serwera, a jeśli chodzi o zasoby pamięci konieczne do magazynowania kompletu thumbnails i preview, to nie byłoby to znacząco więcej niż obecnie, bo skoro dziś każdy obrazek ma w Państwa zasobach 20 MB, to na jego preview potrzeba by najwyżej 1 MB, a na thumbnail w ogóle jakąś symboliczną wartość.

Łukasz

PS. widzę że w czasie gdy pisałem, inny użytkownik napisał to samo krócej i jaśniej

[Nagórski_Bogusław]

Witam z Krakowa !
Szanowny Panie Arturze,
proszę tego nie brać do siebie ale powstał "nos dla tabakiery" ((

Jako genealog-amator jestem zainteresowany jedynie paroma skanami odnoszącymi się do mojej rodziny. Dziś mogę sobie skopiować jedynie kawałek skanu bo propozycja Jarka jest dla mnie zbyt skomplikowana.
Spędziłem wiele godzin, pijąc namiętnie NERVOSOL, próbując "przeglądać" skany z rodzinnej parafii. To katorga !
Gdybym mieszkał bliżej Inowrocławia i nie miał 70. na karku to w tym czasie przeglądnąłbym księgi z kilku parafii bez specjalnego wysiłku.

COŚ trzeba z tym zrobić aby "wścieklica" nie ogarnęła tych, dla których rzekomo ten projekt powstał.
Bogusław

[jandalf]

Zgadzam się z wszystkimi uwagami użytkowników tej bazy.
Powtarzać ich nie będę za wyjątkiem jednej i najważniejszej:
Waga plików. To jest jakieś nieporozumienie. 20MB
Robiłem wiele zdjęć dokumentów metrykalnych USC, używałem przeciętnej lustrzanki.
Zdjęcia 300dpi spakowane do wielkości 900kb są rewelacyjnej jakości, widać wszystkie kolory i strukturę papieru. Po co więcej?
Jak kogos będzie interesowała lepsza jakość to zamówi w AP skan i za niego zapłaci.

Pozdrowienia dla administratora (co to jeszcze nie ma pełnego dostępu) czytającego forum

też admin
janus

PS. Naprawdę pełne prawa do tej bazy ma tylko jeden człowiek? A gdyby poważnie zachorował albo spotkało go cos jeszcze gorszego? Az nie mogę uwierzyć. Macie tam jakieś audyty bezpieczęństwa?

[Sroczyński_Włodzimierz]

ja bym nie generalizował z tym "Państwa program" (do ściągania)
o ile alexa
http://www.alexa.com/siteinfo/www.genea ... chiwach.pl
się nie myli to zdecydowana większość ruchu (wczorajszy odczyt to 90%, bieżący >60% i to (60-70%) się chyba utrzymuje przez cały czas) jest z RFN, więc ad masowe ściąganie - nie to forum, nie ten język:)
my tu jesteśmy bardzo powściągliwi, cierpliwi i konstruktywni w propozycjach

komu całe księgi?
indeksującym
a dla oprawnego odczytu i w miarę pełnej kwerendy tez warto kilka stron plus protokół zamknięcia, uwagi przeczytać
nawet jeśłi w wyniku jest jeden akt

[bielecki]

No chyba że jest jakiś nieoficjalny lejek na PL

[Artur_Nogaj]

Witam
Zbieram burze, trudno, ktoś musi... sam sobie jestem winien, mogłem się nie odzywać .

Waga skanów - podałem rozmiar podany mi w zeszły piątek na spotkaniu z przedstawicielem wykonawcy - jak zaznaczałem nie mam jeszcze dostępu do administracji portalem. Wg mojej wiedzy na dyskach mamy wielkie pliki wzorcowe (ok 80MB jeden), które są nieruszane i przy portalu nie biorą udziału. Dodatkowo portal przechowuje pliki w formie jpg2000 (mające mieć właśnie ok 20MB), które po drodze są konwertowane do jpg. Czyli jak rozumiem klikacie powiększenie, generowany jest plik jpg, klikacie kolejne powiększenie - generowany jest kolejny jpg.
Dodatkowo Wszystkie dane są zduplikowane - nawet uszkodzenie całej jednej maszyny jest niezauważalne dla systemu.

Mierniki - z tego co udało mi się dowiedzieć, zostały już wypełnione - problem więc uważam za zamknięty o czym za chwilę.

Co do indeksacji - również nie indeksuje, czy ktoś z Państwa mógłby wypisać uwagi do tego procesu? Bym mógł to w zwięzłej formie przedstawić dalej? Prosiłbym osoby walczące z systemem o jakiś zwięzły spis.

Co do działania portalu jako takiego, cały czas trwają nad nim prace. Sprawy, które jak widzę są palące i do natychmiastowego rozwiązania:

zmieszczanienie wagi plików w portalu - zwykły jpg jak i w Państwa serwisie. Sprawa jest już praktycznie przesądzona, kwestia wdrożenia. Wydaje mi się, że pomysł zaprezentowany przez Pana Bieckiego jest najlepszy.
pobieranie skanów - jak dla mnie sprawa jest też już do zrobienia, będziemy w tej sprawie jutro dyskutować.
regulamin - postaram się dowiedzieć czemu go nie ma do tej pory.
indeksacja - tu potrzebuje pomocy o której pisałem wyżej.

Czy mają Państwo jeszcze jakieś uwagi bym mógł przekazać je do wykonawcy? Postaram się wieczorem zrobić jeszcze takie podsumowanie

[Sroczyński_Włodzimierz]

zwiększenie przepustowości łącza (znaczne :)

możliwość pozyskania (80MB jeśli problem ze zmniejszeniem) plików do publikacji w jakiejś sporej (100 000? 500 000?) paczce, uporządkowanych wg zespołu, jednostki, kolejnego skanu (nazwy wg NINowej specyfikacji lub inne)

indeksacja off-line czyli z materiałów ściągniętych (punkt wyżej załatwia Państwu tę sprawę)

[bielecki]

Dziękuję za rzeczowe podejście. Na szybko to zwróciłbym uwagę na jedną dużą niedoróbkę w odniesieniu do akt pruskich USC. Najwyraźniej ktoś wpadł na pomysł, żeby łączyć strony parami, tam gdzie prawa strona karty zawiera pierwszą część dwustronnego aktu ślubu, a lewa strona kolejnej karty - drugą. Przy jednostkach, gdzie to zrobiono dobrze, działa to fajnie z korzyścią dla usera.

Niestety w wielu księgach zaaplikowano ten pomysł zupełnie niepotrzebnie w błędny sposób, co dodatkowo utrudnia przeszukiwanie.

Po pierwsze, czasem łączone są pary na odwrót - tj. końcówka poprzedniego ślubu z początkiem następnego. Na preview użytkownik dostaje wtedy podpisy pod ślubem, którego nie szuka i i tak nie wiem póki nie włączy "powiększania", co napradę jest na ślubie właściwym. Marnowanie czasu i transferu.

Po drugie, od roku 1898 księgi ślubów zmieniły format i odtąd cały ślub mieści się na jednej karcie i wystarcza jeden skan na ślub. Stosowanie tego tricku przestaje mieć uzasadnienie, ale uparcie jest on stosowany nadal, tyle że w efekcie użytkonik widzi, przeglądając księgę, tylko co drugi ślub. Ten kolejny jest ukryty, pojawia się tylko przy włączeniu powiększenia. Wiedza o tym szczególe jest nabywana przez bardzo doświadczonych użytkowników w trakcie eksperymentów z portalem, na podobieństwo zgłębiania niegdyś tajników alchemii.

Po trzecie, zupełnie niepotrzebnie trick bywa stosowany w niektórych jednostkach z urodzeniami i zgonami, gdiz ejest i tak jeden skan na jeden akt, przez co też ładuje się tylko co drugi skan, a brakujący dopiero w powiększeniu.

I tak całkiem na marginesie, na sadyzm wobec użytkowników zakrawa fakt, że skanując kilka milionów stron akt metrykalnych, nikt nie pomyslał o włączeniu do projektu skorowidzy alfabetycznych dla tychże akt, które (gdyby były dostępne w projekcie) umożliwiłyby dotarcie do konkretnych jednostek znacznie szybciej. Objętość tychże skorowidzy to drobny ułąmek teog, co wskanowano w projekcie. Jeśli na skanowanie poświęcono kilka miesięcy, to na skorowidze starczyłby pewnie najwyżej jeszcze tydzień.

Jeśli szukam zgonu w ciągu 10 lat w Bydgoszczy, to na przejrzenie 10 roczników po kilkaset zgonów muszę wziąć tydzień urlopu, zważywszy jak działa serwis. W skorowidzu znalażłbym ten zgon w kwadrans, a potem załądował właściwy rocznik i akt. Ciekawe jak tę niedoróbkę wytłumaczyć, jedyne co mi przychodzi do głowy to wymuszenie generowania ruchu do owych mierników.

Pozdrawiam,
Łukasz

[Sroczyński_Włodzimierz]

nie na sadyzm.."zindeksujcie sobie/nam - to znajdziecie"...a bez skorowidza - więcej pobrań, większa szansa na szybsze wypełnienie miar sukcesu (pobrania, ilość użytkowników;)
sadyzm to dla przyjemności, tortury zaś czasem bez radości ale celowe:)

[JarekK]

Łukaszu - chcesz powiedzieć, że większość tych ksiąg ma skorowidze, które nie zostały zeskanowane??? Jeśli tak to nervosol Bogusława chyba zostanie numerem 1 sprzedaży w aptekach w całej Polsce a Pan Artur zbyt pochopnie podał numer pokoju