Geneteka - nasze wspólne dzieło

Michał_Zieliński · Post autor: **Michał_Zieliński** » wt 26 mar 2013, 10:01

Włodku, taki program byłby bardzo pomocny, ale uważam, że nie powinno się wymagać od indeksujących by przepuszczali przez niego indeks przed wysyłką (mogą ale nie muszą) - dla części indeksujących sama obsługa excela jest wyzwaniem - jeśli będą musieli przechodzić przez dodatkowe procedury techniczne mogą się zwyczajnie zrazić.

Poza tym, jak rozumiem, taki programik wyłapie tylko błędy ale zapewne ich nie poprawi - trzeba to zrobić ręcznie - i to właśnie zajmuje najwięcej czasu (sama weryfikacja poprzez filtry założone na kolumnach jest dosyć szybka).

Pozdrawiam,
Michał

Sroczyński_Włodzimierz

Ależ tego się wymaga:)
Tzn indeks wysłany powinien być zgodny -tyle, ze teraz (mimo upływu czasu) wysyłający - m.in. z uwagi na wspomniane trudności z obsługą - nie ma narzędzia, którym może sprawdzić. A jeśli ma to - jest to zazwyczaj bardzo czasochłonne. Prste, tryb wsadowy, bezobsługowe prawie - typu odpal i zobacz jaki efekt.
Tak - poprawić trzeba "ręcznie".
Mi swego czasu bardzo by życie ułatwiło, nie raz zdarzyło się wysłać z jakimś zapomnianym średnikiem, który dostałem i umknął przy sprawdzaniu. Zamienione kolumny do dziś się zdarzają (jak wynika z lektury wątku) i tego typu rzeczy, brak którejś lub nadmiarowe też

ziolek70 · Post autor: **ziolek70** » wt 26 mar 2013, 11:56

Witam.

Hmm lokalnie .... z całym szacunkiem .. ale

1)
musiałby ktoś napisac makro, aby sprawdzał takie rzeczy.
Czy makro musiałoby działac pod officem, libre ......??

2) user instaluje sobie xampa, (php/serwer wwww/ baza )
to moze dalej nie będę pisał ...

3)
A może zdalnie .... ot tak:

Na serwerze macie PHP =>5.3??

Można użyć bibliotek w php do odczytu excella.
np:
http://phpexcel.codeplex.com/
PHPExcel - OpenXML - Read, Write and Create Excel documents in PHP - Spreadsheet engine

Są oczywiscie inne ale chyba nie rozwijane .. jak ktoś zna to moze podrzucic..

Robimy spr.genealodzy.pl
Tworzymy pustą bazę taką jak jest w genetece.

User loguje się do naszego portalu. Robi upload pliku xls.
System sprawdza jakie sa karty/sheets.
User wybiera z dynamicznie generowanej listy te karty które chce sprawdzić.
Przy każdej karcie jest wybór urodzenia/zgony........

Sprawdzamy czy są odpowiednie kolumny i w odpowiedniej kolejności.
Nie zgadza się z naszymi to info dla usera i takiej karty nie przetwarzamy!!!

Następuje import do tymczasowej bazy.
Wyswietlamy tak pobrana kartę userowi, kolorami informująć o naszych problemach.
user widzi czy wszystko mu się pobrało, czy nie ma jakiś "krzaków".

Jak stwierdzi, że jest dobrze to wysyła do admina plik xls.

W przyszłości mogło by to czekac na decyzję admina,
i z tej pozycji być przenoszone do właściwej bazy.

Rozwinięciem tego było by zachowywanie rekordów w bazie tymczasowej
i sprawdzanie w nocy/nad ranem czy nie ma takich samych rekordów u innych userów.

Jeśli są powtórzenia i się zgadzają to do geneteki.
Jeśli sa róznice to mail do twórców aby sprawdzili rekordy stanowiące różnice.

Oczywiscie nakładamy na każdego usera limit sprawdzań w ciągu dnia!!!

Sroczyński_Włodzimierz

jeśli lokalnie to
1. niekoniecznie makro
2. niekoniecznie (można skompilować i dać gotowy produkt dedykowany)
3. a może..ale to obciąży, może być też na innym serwerze -pliki nie są duże, sprawdzenie nie wymaga bógwiejakich zasobów. Lokalnie ma tę przewagę, że nie uzależnia od dostępu w danym momencie
cd wynika z 3 - tzn dlaczego postulowałem lokalnie - bo nie ma argumentu zwiększenia pracy bazy/administratorów etc.
plik nie musi byc xls, wręcz wskazany csv, txt, co powinno rozwiać największy blok problemów

limity, sprawdzanie , update automatyczny, zatwierdzanie to jest zmiana koncepcji całej bazy i tego nie sugerowałem, nie wchodzę w te buty
chodzi(ło mi) tylko o pomoc indeksującym w sprawdzeniu poprawności formatu, nie dowalenie pracy bazie i administratorom, ale ułatwienie uzyskania oczekiwanego efektu -tj, aby przesłane pliki był w miarę "czyste"
ot taki wydawałoby się niezbędny i podstawowy moduł w każdej bazie - sprawdzanie zgodności rekordów;)

pawel.dyda · Post autor: **pawel.dyda** » wt 26 mar 2013, 12:27

Można popełnić program do weryfikacji (np. w Javie, co by było wieloplatformowo). Naprawdę nie jest to takie trudne.

Zastanawia mnie tylko dlaczego upieracie się przy indeksowaniu przez Excela czy innego Calca, ale to temat na oddzielną dyskusję. Myślę że wkrótce do niej wrócimy

ziolek70 · Post autor: **ziolek70** » wt 26 mar 2013, 12:37

2. Musiałby ktoś podjąc się napsiac w c/ visual/java .... programu.
Fajnie ale to jest CAŁKIEM INNE NARZEDZIE niż geneteka, co jak ulegną zmianie wymagania co do iportu??
3. Jeśli nie pójdzie dzisiaj to będzie jutro

i tak aby wysłać maila do admina trzeba internetu.
3a) jeśli chodzi o bazę ... to bedzie pusta baza (przynajmniej na początku-pierwszy etap), user wysyła kilkaset/ tysiecy rekordów na raz.
Jeśli to plik csv/txt to odpada programowanie odczytu xls. Po wyświetleniu usesrowi wyniku i zapisie raportu z importu na komputerze rekordy są usuwane z bazy tymczasowej!!! (przynajmniej na początku - pierwszy etap)

3b)Administratorzy .. noo tu ma Pan rację, dojdzie im stworzenie takiego importu .....IMHO większość kodu jest przecież napisane w genetece Ale później to się robi automagicznie.
Limity najprościej cookies, ale user moze zablokowac na kompie .....
inne rozwiązanie to stworzyć tabelę w bazie i zapisywać ilośc i dzien sprawdzań. Przy próbie wysłania pliku user jest sprawdzany (musi być zalogowany) jeśłi przekroczył X logowan/sprawdzań w dniu to dziękujemu mu.
Cron po północy (~5) czyści tabele, znów mało zajmuje.
Update automatyczny i sprawdzanie powtórzeń to etapy póżniejsze ....

Sroczyński_Włodzimierz

Pawle:
A kto się przy tym ("upieracie się") upiera?
Dane wprowadzasz jak chcesz, przesłać masz pliki csv, txt, ods, xls wg formatu
W czym to wprowadzone -nie ma żadnego znaczenia. Wybór osoby, która indeksuje czego używa, byle przesyłała (docelowo do admina czy też wewnątrz grupy, jeśli praca w zespołach) w określonym formacie.
Skąd takie informacje, że akurat Excel czy Calc jest narzucony?
Dyskusja raczej nie o tym, że wytworzenie "sprawdzacza" przekracza możliwości intelektualne:) I na ile to trudne zadanie. Nawet najłatwiejsze ktoś jednak musi zrobić;)

ziolek:
wszystko to co pisałeś jest prawdą, ale troszku w bok idzie:) W bok od tego co zgłaszałem i widzę nadal potrzebę. Nie chodzi o "zapłodnienie pomysłem" Sebastiana co on ma robić i jak. Ale o narzędzie pomocne i używane przez indeksujących.
Faktycznie - gdy się zmieni format (metry/geneteki) przestanie być przydatne
i faktycznie zastosowanie ograniczone do niektórych typów błędów.
Ale plus taki -nie wymaga specjlanych ustaleń, wyznaczania zadań, reorganizacji
ot pomocnik służący temy, aby pliki przychodziły "formalnie lepsze" odciążające adminów z irytującej części pracy (ile razy można?:)))

ziolek70 · Post autor: **ziolek70** » wt 26 mar 2013, 12:42

[quote="pawel.dyda"]Można popełnić program do weryfikacji (np. w Javie, co by było wieloplatformowo). Naprawdę nie jest to takie trudne.
[/quote]
Tylko kto się tego podejmie??

[quote="pawel.dyda"]
Zastanawia mnie tylko dlaczego upieracie się przy indeksowaniu przez Excela czy innego Calca, ale to temat na oddzielną dyskusję. Myślę że wkrótce do niej wrócimy

[/quote]
Być moze dlatego, że ludzie znają excela.. spotkali się z nim w parcy.
W sumie to jest to proste narzędzie .. wpisać ciąg znaków <enter> itd ..
Ładnie widać rekordy na ekranie, nic nie trzeba instalowac .. i kiedys tylko to było dostępne LOKALNIE.

kotik7 · Post autor: **kotik7** » wt 26 mar 2013, 12:46

ziolek70 pisze:
pawel.dyda pisze:Można popełnić program do weryfikacji (np. w Javie, co by było wieloplatformowo). Naprawdę nie jest to takie trudne.
Tylko kto się tego podejmie??
.

To pytanie jest nietrudne. Na tej stronie przeważająca większość to altruiści. Więc jeśli tylko wśród nich jest osoba uświadomiona o potrzebie takiego programu i jednocześnie posiadająca kwalifikacje, to właśnie ona będzie chciała się tego podjąć.

Kuba

pawel.dyda · Post autor: **pawel.dyda** » wt 26 mar 2013, 13:32

ziolek70 pisze: Tylko kto się tego podejmie??

Wątek się zrobił mocno aktywny, ale na poprzedniej stronie oferowałem pomoc. Zrobię to, tylko potrzebuję przykładowych plików z niezjadliwym formatowaniem.

Piotr_Juszczyk · Post autor: **Piotr_Juszczyk** » wt 26 mar 2013, 15:58

Można zrobić taki program, może nawet dałbym radę, ale najpierw trzeba by aby panowała powszechna zgoda co do formatu danych.
Ja np. uważam że kolejności, kolumny nie do końca są przemyślane. Osobiście robię w innym formacie i przed wysłaniem trochę się bawię żeby to doprowadzić do zgodności.

Sroczyński_Włodzimierz

ja też robiłem i pewnie jeszcze będę robił nie w tej kolejności;)
ale powszechnej zgody, a tym bardziej zmian w już wprowadzonych bym nie oczekiwał
przy okazji, ponownie przypominam - format został uzgodniony (jeszcze za czasów porozumienia dot ASC.genealodzy.pl) z NDAP-em i nie jest jedynie formatem metryk czy geneteki.
Co wpisywać, a czego nie - jedna sprawa, inna - zmiany. "Rozwiązanie Piotra" jest stosowane przez wiele osób, zarówno używających "arkuszy" jak i swoich "programów" do wprowadzania. I działa:)

Zajrzałem jednak z innej okazji, się mi przypomniało:)
Przy wstępnej ocenie poprawności przydałoby się widzieć nie tylko "tak jak widać w genetece/metryki".
Przykładowo: przed wysyłką/wstawieniem automatycznie usuwałem zbędne spacje. Trudno je zauważyć przy wyświetlaniu wyników wyszukiwania (geneteka/metryki). Przy "podglądzie przed wysyłką" warto może spacje na jakiś wyraźniejszy znak podmienić - tj przy oglądzie podmiankę.
No i uwagi też nie tak jak widać ("po najechaniu kursorem");)

Słomińska_Dominika

To może ja z innej strony. Jakie najczęściej pojawiają się błędy w arkuszach?

OlaH · Post autor: **OlaH** » wt 26 mar 2013, 18:04

Sroczyński_Włodzimierz pisze: Metryki - nic mi nie wiadomo, aby zmieniła się zasada: "Rekordy w metryki.genealodzy.pl to rekordy zweryfikowane". Geneteka -nie

A ja od jakiegoś czasu właśnie zastanawiam się jak to właściwie jest z weryfikacją, bo dość często ostatnio na forum pojawiają się wpisy "Do Metryk i Geneteki dodaliśmy indeksy parafii XXX. Indeksował Iksiński" a o osobie weryfikującej ani słowa.

Miałam wrażenie, że wszystkie indeksy, ukazujące się w Metrykach mają być zweryfikowane (nawet najlepszym zdarzają się błędy), a widząc takie wpisy, jak zacytowałam powyżej, trochę mnie zastanawia, czy tak rzeczywiście jest. Może nie wszyscy wiedzą o tej zasadzie a w instrukcjach "Jak indeksować" nie jest nic wspomniane. Jeśli zasada się nie zmieniła, może warto przypomnieć.

To co prawda wątek dotyczący Geneteki, nie Metryk, ale przy okazji, nawiązując do wypowiedzi Włodka....

Pozdrawiam,
Ola

Sroczyński_Włodzimierz

Z tego co śledziłem, to wpisy (chyba!) były "do metryk i geneteki przesłaliśmy" (i dalej jak piszesz, czy to przez pomyłkę czy świadomie - bez weryfikacji) nie "wstawiliśmy"
Zacząłem zwracać baczniejszą uwagę po przesłanych zastrzeżeniach podobnych do Twoich powyżej.
Co nie znaczy, że wszystko wyłapałem
Rzuć przykładem, będę mógł - sprawdzę.