Porozumienie WZI-APW

[grabowscy.net.pl]

zapraszam do prac (sprawdzenie kompletności, wykrycie błędów, przygotowanie do publikacji) nad:
http://genbaza.pl/warszawa/0072APW/0185 ... 03Cyrkul_/

Z calym szacunkiem do ogromu wykonanej pracy, wydaje mi sie, ze tak szczegolowe opisywanie plikow w przypadku rozwleklych kodeksowych aktow tylko utrudnia poruszania sie po jednostkach...

Czy nie lepiej byloby pozostac przy foliacji/paginacji w tego typu przypadkach...


Pozdrawiam
FJG

[Sroczyński_Włodzimierz]

Na konkretną uwagę w miłej formie zawsze warto odpowiedzieć:) a może dojdziemy do czegoś nowego/konstruktywnego?


Więc, w zasadzie to jest tak:
foliacja/paginacja tam, gdzie
akty są nienumerowane (jak w niektórych opublikowanych),
aneksach i tego typu, szczególnie gdzie indeksu nie ma
to co piszesz nt rozbudowanych tj długich, wielostronnych ma sens (ślub na 6 stron? myślałem, że coś mi przed oczami z powodu zbyt długiego przesiadywania porobiło:) ale większość jednak 1-2 strony maks

Przy czym (to wiesz, ale dla postronnych piszę) nazwa powiązana z numerem strony/karty nie oznacza "to numer po kolei" - trzeba sprawdzić czy nie ma wklejek, etc


Uwaga istotna, o czym było wyżej, ale warto jeszcze raz - nie wymagam nazw związanych z numerami aktów - do sprawdzenia czy jest wszystko wystarczy "s002-003.jpg albo str002-003.jpg albo k002.jpg albo karta002.jpg), ważniejsza jest struktura (szczegóły wyjaśni Łukasz po kontakcie mailowym), którą należałoby przygotować przed innymi pracami.

Zmianę nazw jpgów zrobię lub znajdę kogoś kto zrobi -bo jest potrzebna - przy braku indeksów to zmniejszenia:
ilości czasu przy wstawieniu nazw jpgów do tabel indeksów (gdy indeksy będą robione),
obciążenia serwera docelowego (ilością nietrafionych pobrań),
czasu użytkowników przy wyszukiwaniu dopóki nie ma indeksów (nie tylko czasu przed komputerem w domu, zajętości stanowiska w pracowni również)

Do publikacji idą kompletne jednostki, i to jest priorytet - podział i sprawdzenie czy są kompletne. Zmiana nazw na związane z numeracją aktów jest potrzebna (w większości wypadków) do publikacji w metryki.genealodzy.pl, ale ponieważ to nie jest jedyna możliwość (publikacji), to na pewno nie będę wstrzymywał powszechnej dostępności innymi kanałami z uwagi na wymogi dla jednego z kanałów. Ważnego i mi bliskiego, najlepszego, ale nie jedynego:)
Tj
1. chce ktoś robić to co jest warunkiem wystarczającym , żeby się pojawiło - zapraszam, pomogę.
2. Chce ktoś robić, żeby było gotowe do wejścia w pełny system -zachęcam, też pomogę.
ale nie uzależniam osiągnięcia celu z (1) warunkami z (2)


A opisy jednostek ("nie ma księgi" "nie wiadomo kiedy będą kopie") to już temat do dyskusji. Wolę tak niż odpowiedzi na indywidualne naście/dziesiąt maili i PW. A informacja co dalej i kiedy - się należy:)
Ja bym się tego trzymał, nie jest bardzo czasochłonne, a pomaga.


P.S. umknęło mi..konieczna/aniezbędna jest także zmiana
wielkości (rozmiaru w pikselach)
wielkości do 1MB (kompresji)
ale to jest automatem prawie pełnym, prawie bez pracy (kwestia obciążenia komputera) i są osoby, które wspierają i pomogą także tym razem.

[Sroczyński_Włodzimierz]

Dokończyliśmy fotografowanie aneksów USC gminy Wilanów.
Są dostępne w:
genbaza.pl/warszawa

podobnie jak m.in. nowe aneksy ze Św. Krzyża (rok 1867)

Zostaną przesłane do metryki.genealodzy.pl


foto
Małgosia Maciopa
Mirek Sawczuk
i niżej podpisany

[grabowscy.net.pl]

ważniejsza jest struktura (szczegóły wyjaśni Łukasz po kontakcie mailowym), którą należałoby przygotować przed innymi pracami.

Struktura katalogow?

Jezeli tak, to przeciez 5 minut zabawy z kopiuj wklej i jest:

1808-1809M_s01
1808-1809Aneksy_s53
1808-1809Z_s02
1809-1810Aneksy_s54
1809-1810M_s04
1809-1810U_s03
1809-1810Z_s05
1809-1812Rozw_s13
1810-1810Aneksy_s55
1810-1810M_s07
1810-1810U_s06
1810-1810Z_s08
1810-1811Aneksy_s56
1811-1811Aneksy_s57
1811-1811Aneksy_s58
1811-1811M_s09
1811-1811Z_s10
1812-1812Aneksy_s59
1812-1812M_s12
1812-1812U_s11
1812-1812Z_s14
1813-1813Aneksy_s60
1813-1813M_s16
1813-1813U_s15
1813-1813Z_s17
1814-1814Aneksy_s61
1814-1814Aneksy_s62
1814-1814M_s19
1814-1814U_s18
1814-1814Z_s20
1815-1815Aneksy_s63
1815-1815Aneksy_s64
1815-1815M_s22
1815-1815U_s21
1815-1815Z_s23
1815-1815Zapowiedzi_s77
1816-1816Aneksy_s65
1816-1816Aneksy_s66
1816-1816MiRozw_s25
1816-1816U_s24
1816-1816Z_s26
1816-1816Zapowiedzi_s78
1817-1817Aneksy_s67
1817-1817MiRozw_s28
1817-1817U_s27
1817-1817Z_s29
1818-1818Aneksy_s68
1818-1818MiRozw_s31
1818-1818U_s30
1818-1818Z_s32
1819-1819MiRozw_s34
1819-1819U_s33
1819-1819Z_s35
1820-1820Aneksy_s69
1820-1820MiRozw_s37
1820-1820U_s36
1820-1820Z_s38
1821-1821Aneksy_s70
1821-1821Aneksy_s71
1821-1821MiRozw_s40
1821-1821U_s39
1821-1821Z_s41
1822-1822Aneksy_s72
1822-1822MiRozw_s43
1822-1822U_s42
1822-1822Z_s44
1823-1823Aneksy_s73
1823-1823MiRozw_s46
1823-1823U_s45
1824-1824Aneksy_s74
1824-1824M_s48
1824-1824U_s47
1824-1824Z_s49
1825-1825Aneksy_s75
1825-1825Aneksy_s76
1825-1825M_s51
1825-1825U_s50
1825-1825Z_s52

Zmianę nazw jpgów zrobię lub znajdę kogoś kto zrobi -bo jest potrzebna - przy braku indeksów to zmniejszenia:
ilości czasu przy wstawieniu nazw jpgów do tabel indeksów (gdy indeksy będą robione),
obciążenia serwera docelowego (ilością nietrafionych pobrań),
czasu użytkowników przy wyszukiwaniu dopóki nie ma indeksów (nie tylko czasu przed komputerem w domu, zajętości stanowiska w pracowni również)

Rownie dobrze, moze zwiekszac liczbe zlych trafien, gdy link prowadzi do konkretnego obrazka, na ktorym jest "Dzialo sie roku", a reszta na kolejnej stronie.

Kto wtedy zgadnie, czy po 42 jest 43, czy 42b, czy 43-44.

Wtedy droga na okolo, przez archiwum, zespol, do jednostki etc...

Juz nie mowiac o takim cacku:
Akt 325
http://genbaza.pl/warszawa/0072APW/0184 ... 4/k142.jpg

P.S. umknęło mi..konieczna/aniezbędna jest także zmiana
wielkości (rozmiaru w pikselach)
wielkości do 1MB (kompresji)
ale to jest automatem prawie pełnym, prawie bez pracy (kwestia obciążenia komputera) i są osoby, które wspierają i pomogą także tym razem.

Tego problemu calkiem nie rozumiem.

Imagemagick i expresowo jest zrobione.

Pozdrawiam
FJG

ps. Z powodu braku czasu nie pisze sie na weryfikacje, ale moze dzieki podbijaniu watku znajdzie ten temat wlasciwe zainteresowanie.

[Sroczyński_Włodzimierz]

a.
nie
nie katalogów tak jak widać
tak jak pisałem - kontakt z Łukaszem na metryki - @ - gmail.com
gdyby to jak wyżej było tobym nie pisał przecież:)
a na forum nie podejmuję się wszystkiego zawsze wyjaśniać. Podaje natomiast co zrobić, żeby się dowiedzieć - napisać do Łukasza.

To i tak nie całość, bo inaczej jest
dla użytkownika w pracowni, inaczej na ftp, inaczej do metryki, inaczej do szwa
każde struktura inna:( elementy wspólne jakoś tam są wydzielone i przynajmniej można z części skorzystać dla kilku celów (i dalej obrabiać)

b. Tu się nie zgodzimy, ale nie musimy:) nie przymuszam do przyjęcia odpowiedzialności za ten zakres.
ale oki, możemy wymienić się argumentami
Co do potrzeby "pokaż następne zdjęcie" -zgoda. Wiem o niej, wiedzę swoją przekazałem. Zdecydowanie ułatwiłoby i co ważne - zmniejszyło obciążenie. Nie ma sporu. Jest dylemat "trzeba zrobić, ale kim, kiedy i co ważniejsze". Moim zdaniem powinno mieć to zadanie wyższy priorytet niż ma obecnie. Argumentem, żeby było szybciej - byłaby większa liczba przenumerowanych zdjęć. Ja więcej niż robię teraz - nie zrobię. Raczej będzie tendencja spadkowa.

c. kompresja..nie szukam rady "jak to zrobić":) szukam wolnych mocy, żeby ktoś zrobił. Uwaga! nie chodzi o stały stopień kompresji, a o stałą (w miarę) wielkość pliku wynikowego, co implikuje zmienną kompresję. Ma być jak najlepsze, ale nie przekraczające 1MB, Czyli czasem będzie to np 20% czasem 28% czasem 35%. Nie stała kompresja Xkrotna, a ..ja z uwagi na konieczność jednoczesnej zmiany "ilości pikseli" używam wtyczki RIOT do irfanview. Można samego RIOTa gdy nie zmieniasz rozmiaru.
A zmieniać (zmniejszać) trzeba - skany są za duże, przy założeniu <1MB (ale jak największe) lepszy efekt przy mniejszym zdjęciu i mniejszej kompresji, przy pozostawieniu oryginalnego rozmiaru i trzymaniu się (z powodów tez budzetowych) 1MB kompresja jest za duża, plik "rozległy" ale pikseloza straszna i w sumie mniej czytelne.

Ja naprawdę nie teoretyzuję:) a opieram i na tym co widzę, i co inni widzą, na analizie, danych do niej i troszku praktyki
A i odpisywanie też zajmuje czas i opisywanie procesu też. W tym przypadku mam wrażenie, że nie jest stracony to nie jęczę za bardzo..ale to nie zawsze tak wygląda. Krótko - to mi się czasem nie chce pisać dlaczego coś trzeba zrobić.
Narzędzia są, tylko ludzi i procesora nie starcza:)
Wiem -mogę kupić szybszy;)))) ale nie o taką pomoc mi chodzi:)

Przy czym - weryfikacja jest naprawdę niezbędna. Wszystko powyżej to jest "co dalej" i psu na budę, gdy nie wiadomo co jest do obrobienia.

[grabowscy.net.pl]

a.
nie
nie katalogów tak jak widać
tak jak pisałem - kontakt z Łukaszem na metryki - @ - gmail.com
gdyby to jak wyżej było tobym nie pisał przecież:)
a na forum nie podejmuję się wszystkiego zawsze wyjaśniać. Podaje natomiast co zrobić, żeby się dowiedzieć - napisać do Łukasza.

Skoro to tak okropnie skomplikowane, to moze p. Lukasz raczy napisac na forum o co chodzi.

Przeciez tego typu komunikat odstrasza potencjalnych chetnych.

Argumentem, żeby było szybciej - byłaby większa liczba przenumerowanych zdjęć. Ja więcej niż robię teraz - nie zrobię. Raczej będzie tendencja spadkowa.

Po zindeksowaniu i wstawieniu linka zmiany nazw staja sie niepotrzebne (z punktu widzenia metryk)... Z punktu widzenia pracowni lepiej pacjenta odeslac do domu z informacja o dostepnosci. Mozna w nieskonczonosc - szkoda czasu.

c. kompresja..nie szukam rady "jak to zrobić":) szukam wolnych mocy, żeby ktoś zrobił. Uwaga! nie chodzi o stały stopień kompresji, a o stałą (w miarę) wielkość pliku wynikowego, co implikuje zmienną kompresję.

Przesylanie plikow w celu ich kompresji jest nieco szatanskie, ale nie bede sie wtracal.

Przy czym - weryfikacja jest naprawdę niezbędna. Wszystko powyżej to jest "co dalej" i psu na budę, gdy nie wiadomo co jest do obrobienia.

Nikt nie podwaza koniecznosci weryfikacji (choc w teorii powinna sie ona odbyc z oryginalem...).


Pozdrawiam
FJG

[Sroczyński_Włodzimierz]

"może niech ktoś coś zrobi":)
to poza mną - sam siebie nie przeskoczę
ani Łukaszem się nie stanę ani dobrotliwych wąsów nie dostanę

w nieskończoność?
można-:)
wstaw linki do niedookreślonych nazw jpgów
kilkaset ich tysięcy , milion, dwa, dziesięć
nie seryjnie do jednostki, a do danego pliku
ta sama zabawa co ze zmianą nazw, tylko krok dalej wykonana
jeśli ma linkować do zdjęcia nie do jednostki , to przyporządkować trzeba
na którym etapie?

jeśli na wcześniejszym (zmiana nazwy) to działa dłużej (przy niezindeksowanym zespole także), a wstawienie do tabel takich nazw - automat (potrzebne sekundy na dziesiątki, setki czy czasem parę tysięcy rekordów)

jeśli na późniejszym - działa krócej i nie dla całego zasobu (opublikowane to nie znaczy zindeksowane)

a praca ta sama do wykonania (lub prawie ta sama)

Mi tez już szkoda czasu
a szkoda

PS w przypadkach wątpliwych - gdy będzie konieczne - będzie z oryginałem....ale to nie ja użyłem pojęcia "kopie zabezpieczające mikrofilmy":)))

[Rzeszotek_Łukasz]

Temat ten był już poruszany przez Jacka i Sebastiana w różnych wątkach.

Kwestia numeracji - wydaje się to zbędne dla potencjalnego użytkownika, który widzi interfejs i listę plików do obejrzenia. Nie zastanawia się jednak jak to wygląda od strony serwera i bazy danych. Sprawdzanie aktów na chybił trafił skutkuje jedynie wzmożonym ruchem na serwerach. Grozi to jedynie utrudnieniu w dostępie do danych dla dużej liczby użytkowników, którzy w nadziei, że szybko dostaną się do swojej metryki będą czekali na dostęp do zdjęcia, które będzie się ładowało niezwykle długo, gdyż ktoś w tym samym czasie ogląda 10tą metrykę, bo nie trafił na swojego. Nie mówiąc, że główny bohater tej opowieści też nie trafił i będzie przeglądał kolejne zdjęcie i też zwiększał ruch ergo "ograniczał" dostęp dla innych.
Oczywiście nie musimy numerować, bo przecież będą indeksy i zawsze trafimy w ten nasz wymarzony akt. Co jednak w przypadkach gdy nie mamy indeksów i czas ich pojawienia wydłuża się w bliżej nieokreśloną przyszłość? Powtarza się sytuacja - zwiększony ruch, wolniejsze wyszukiwarki, wolniejszy dostęp do zdjęć.
Fakt jest taki, że materiałów będzie jedynie więcej, a zatem problem nie zniknie, a będzie się wręcz pogłębiał.

Kwestia kompresji - nie możemy korzystać z reguły - pierwszy plik przy kompresji 30% dał nam dobry wynik, to w kolejnych będzie dobrze. Każde zdjęcie inaczej się zachowuje stąd też należy wykorzystać algorytmy, które pozwolą na zapewnienie, że każdy plik będzie miał te 950kB+-20kB. Tak jak napisał Włodek, sposób mamy - RIOT, czy to jako wtyczka, czy jako program stand alone. Niemniej - brakuje czasu nawet jeśli jeden plik to 3 sek., to jednak trzeba go najpierw przygotować. Zatem przy liczbie milionów zdjęć jakie teraz mamy dochodzimy to kilku dni ciągłego kompresowania.

Kwestia struktury katalogów - To nie takie proste jakby się wydawało. Jakby ponazywać tak jak zostało wspomniane, to Sebastian lub Jacek siedzieliby ładnych parę godzin tworząc całą strukturę w bazie danych. Na przeciw naszym oczekiwaniom (to takie egoistyczne, ale czasem trzeba ) została stworzona struktura katalogów, która z automatu generuje katalogi w bazie. Dzięki temu już nie doba, a 15min. wystarczy na wrzucenie zdjęć. Jednakże zanim to, to trzeba przeprowadzić - numerację i kompresję.

Także problem udostępniania nie jest taki trywialny. I tak zrobiliśmy wielki skok i posuwamy się dalej naprzód.

Robimy tyle ile jesteśmy w stanie zrobić przy ograniczonych możliwościach czasowych

[Sroczyński_Włodzimierz]

Jutro powinny być dostępne ostatnie z pełnych jednostek 2. cyrkułu.
Nazwy jpgów bez związku z numerami aktów.

Reszta - dla chętnych.

[grabowscy.net.pl]

Kwestia struktury katalogów

ważniejsza jest struktura (szczegóły wyjaśni Łukasz po kontakcie mailowym), którą należałoby przygotować przed innymi pracami.

Prosba byla o wytlumaczenie publiczne tego.

wstaw linki do niedookreślonych nazw jpgów
kilkaset ich tysięcy , milion, dwa, dziesięć
nie seryjnie do jednostki, a do danego pliku
ta sama zabawa co ze zmianą nazw, tylko krok dalej wykonana

Znam kogos, kto wstawil...

Pozdrawiam
FJG

[Sroczyński_Włodzimierz]

Łukasz: a ja mam prośbę o nietłumaczenie publicznie - w tym wątku przynajmniej

FJG:
ad "znam" gratuluję znajomości (nam, nie Tobie, tyś się napracował, efekty dla wszystkich:), ale wydaje mi się, że mówimy jednak o czym innym
nie o linkowaniu wybranego /dowolnego jednego np rozpoczynającego dany typ aktów
a konkretny numer i przyporządkowanie jpg-a

ja nie widzę żadnej znaczącej różnicy pomiędzy nadaniem nazwy związanej z numerem aktu, a przyporządkowaniem każdemu aktowi jakiegoś linku
funkcja prawie odwrotna, tak samo czasochłonna
tyle, że nazw w szwa nie zmienisz...a tu możesz
i większy pożytek i większa oszczędność (czasu, pieniędzy)

mechanizm ten sam, cel podobny (i jak widać - nieobcy Ci, chyba że robiłeś nie pochwalając celu..też się zdarza:)
pozdrawiam

[grabowscy.net.pl]

Łukasz: a ja mam prośbę o nietłumaczenie publicznie - w tym wątku przynajmniej

To moze watek o opracowaniu cyrkulow?

Mam nadzieje, ze jestem w stanie cos pomoc przy strukturach (skoro ma to byc oparte o IZA), a to by moze zaowocowalo znalezieniem chetnych do weryfikacji.

a konkretny numer i przyporządkowanie jpg-a

Jak najbardziej chodzi o konkretny obrazek.

ja nie widzę żadnej znaczącej różnicy pomiędzy nadaniem nazwy związanej z numerem aktu, a przyporządkowaniem każdemu aktowi jakiegoś linku

No wlasnie roznica jest duza, ale to nie jest chyba miejsce na dyskusje o rozwoju metryk...

i jak widać - nieobcy Ci, chyba że robiłeś

Naprawde nie wiem skad wniosek, ze to ja!

Pozdrawiam
FJG

[Sroczyński_Włodzimierz]

może niekoniecznie tylko cyrkułów?
i chyba lepiej jednak przez maila, a ew. wersja końcowa ogłoszeniem, gdy wątpliwości rozwiane (co do formy prezentacji)

a skąd wniosek, że o IZA:)? nie twierdzę, że nie ale
nie bezpośrednio o IZĘ, nie sztywno
dlaczego? bo:

mamy kopie również niezinwentaryzowane, bez sygnatur APowych chyba
http://genbaza.pl/warszawa/0072APW/0160 ... yFRAGMENT/

jak coś znajdą później to wychodzą takie kwiatki jak 7a/92 (1811 U 2. cyrkuł jak w temacie jesteśmy) lub jak wyżej - bez

mamy kopie spoza IZY (np kancelarie parafialne)


ad "konkretny obrazek"
nie wszystkie geneteczne linki prowadzą do aktów z indeksów. Zaryzykowałbym, że większości nie do aktów
ja nie widzę w tym nic złego (jak serwer zewnętrzny), chodzi o fakt

ad "wiedza skąd kto"
to pozostawmy na boku:)

najważniejsze dla mnie:
jeśli jesteś w stanie masowo przyporządkować dowolnemu rekordowi link - to ja się zajmę funkcją odwrotną
w pewnej skali
może być na początek dla cyrkułów albo jenego - drugiego
daj tabelę
rok, numer aktu, link

to szybko przerzucę (lub "ktoś przerzuci")
ten fragment linku, który ma nazwę "kNNN.jpg" a będzie do każdego kNNN.jpg numer aktu ...to się automatem zmieni kNNN.jpg w nazwę z numer - już określonym;)
chwila moment
vo to jest to samo prawie:)

[grabowscy.net.pl]

może niekoniecznie tylko cyrkułów?
i chyba lepiej jednak przez maila, a ew. wersja końcowa ogłoszeniem, gdy wątpliwości rozwiane (co do formy prezentacji)

Na razie nie wiadomo o co chodzi, wiec tym bardziej nie przez maila.


Jezeli jest to taki problem, napisac jak przygotowac strukture, to moze jest blad w zalozeniu?

a skąd wniosek, że o IZA:)

Bo taka informacja pojawila sie...

ad "wiedza skąd kto"
to pozostawmy na boku:)

Jest to o tyle ciekawe, ze nie jest prawda...

może być na początek dla cyrkułów albo jenego - drugiego
daj tabelę
rok, numer aktu, link

to szybko przerzucę (lub "ktoś przerzuci")
ten fragment linku, który ma nazwę "kNNN.jpg" a będzie do każdego kNNN.jpg numer aktu ...to się automatem zmieni kNNN.jpg w nazwę z numer - już określonym;)
chwila moment
vo to jest to samo prawie:)

To nie jest prawie to samo, tylko zupelnie bezsensowne marnowanie czasu... A tego nie mam.


Pozdrawiam
FJG

[Sroczyński_Włodzimierz]

to może innym razem uda nam się porozumieć w jakiejś kwestii


poza niektórymi rzeczami, które chyba wspólnie przez jakiś czas będziemy określać jako marnowanie czasu:)
choć to jakaś podstawa na bliżej nieokreśloną przyszłość jest tak optymistycznie patrząc

pozdrawiam