Jak szukać lokalnie IA/AI nazwisk w księgach metrykalnych

[poz_marecki]

Dzień dobry,
to będzie z mojej strony pytanie a nie rozwiązanie.
Chciałbym przeskanować lokalnie na dedykowanym małym komputerze (i7,18 GB ram,Linux) na początek ponad 800 skanów z gminy Buk (Wlkp). Próbowałem przez Ollama/Kraken,potem Easyocr i Tesseract z modelami lat i script lat.
Wszystko do bani.Mielił po parę godzin za każdym razem a efekty bardzo kiepskie, praktycznie żadne.Szukalem tylko konkretnego nazwiska i jego odmian wśród tekstu metryk.Potem planowałem oddzielną analizę wyników.
Czy ktoś ma pomysł oparty na doświadczeniu czy pozostaje mi trenowanie modelu ręcznie?

[jan2024]

Zakładam, że masz dostęp do Gogle wyszukiwarka.
tam jest krzyżyk i po prawej AI. od kilku miesięcy podsyłam AI zdjęcia w różnych językach[ łacina niemiecki rosyjski, polski]. Fakt należy mieć dość dobre skany. Tutaj należy użyć polecenia
,, Odczytaj linia po linii. Przetłumacz na polski."
Czytam , że masz Linuksa nie znam tego sytemu i dedykowanego mu oprogramowania.
........................
Kolejny fakt 800 stron to w sumie sporo.
Oczywiście należy AI douczać czytania nazwisk ale jak masz zdjęcie to możesz go poprawiać.

[poz_marecki]

Oczywiście,dla pojedynczego aktu to tak robię,na przykład gdy leżę w łóżku z telefonem w ręku.
Sprawa jest bardziej skomplikowana,gdy chodzi o duża liczbę aktów a mój projekt to szukanie pojedynczego nazwiska i jego odmian.
Pozdrawiam
Marek

[semux]

Trzeba użyć AI do OCR'a - proponuję Gemini 3 Flash Preview - trzeba płacić, ale nie są to wielkie kwoty - ja np. płacę za rozpoznanie informacji na jednym akcie od 0,001 do 0,004 centa (ale to jeden akt, nie skan!)
Koszt zależy od 2 czynników:
- gęstości zapisu na skanie (czyli ile tekstu jest na skanie) - tu koszt to tokeny wejściowe, zwykle tańsze
- ilości informacji zwrotnej - tu koszt to tokeny wyjściowe

W AI Google Studio możesz sobie potestować prompt, skuteczność i sprawdzić koszty.
Natomiast jak się zdecydujesz na takie rozwiązanie to zlecasz AI napisanie programu w (np. python), który dla każdego pliku skanu w katalogu (skany musisz mieć na dysku) wywoła API AI z promptem, odbierze wynik i zapisze.

Jeżeli prompt byłby w rodzaju:
https://zapodaj.net/plik-6p9QU0fYwK

to koszt Google pokazuje $0.000594 (no trzeba doliczyć VAT).
Ja korzystam z openrouter.ai - bo od razu pokazuje koszty i działa na zasadzie pre-paid.

Oczywiście to AI i nie ma pewności, że każdy skan prawidłowo przetworzy, ale z moich doświadczeń wynika, że możesz liczyć na skuteczność ok. 90%

Nie jest to rozwiązanie lokalne w pełni, jeżeli ma być w pełni lokalne to musisz mieć kartę graficzną NVIDIA tak z 12-24GB VRAM i użyć modelu Qwen3.6 jak największego - ja użyłem qwen3.6-27b-nvfp4 i zadziałał poprawnie dla takego samego przypadku jak na zdjęciu.
Ja mam kartę graficzną, ale i tak używam API Gemini - bo wyniki są zdecydowanie lepsze i szybsze odpowiedzi, a koszt akceptowalny.

pozdrawiam
Sergiusz

[GrabowskiF]

Coś takiego robiłem na Ubuntu (choć system w przypadku użycia SI nie musi mieć znaczenia) na początku roku. Wszystkie skany na dysku. AI (wtedy to było Gemini) samo napisało sobie skrypt w pythonie i przez API skanowało. Najpierw na kilku aktach "ręcznie" w wersji w przeglądarce razem z SI dopracowalismy prompt. Wynikiem był plik - arkusz kalkulacyjny, który oczywiście zawierał błędy, ale wtedy masz już jeden plik, który łatwo się przegląda (ja w ten sposób indeksowałem, bo miałem już do zrobienia tylko porównanie ze źródłem, a w moim przypadku i w przypadku moich akt SI miała problem głównie z datami, więc pracowało się szybko). Do tego samo SI może go sprawdzić. W ten sposób uważam, że bez problemu znajdziesz to, co chcesz.
Na początku roku API do google oferowało darmowe API do kwoty 1200 zł. To bardzo dużo i do tej pracy wystarczyło chyba kilkadziesiąt złotych. SI wciąż jest na pozomie, na którym wiele zależy od jakości materiału źródłowego. Jeśli księgi były pisane wyraźnie i skany są zrobione poprawnie, to wyniki mogą być świetne, ale wciąż jest to narzędzie niedoskonałe. Na początku roku Gemini było super, teraz korzystam z Claude Code i sobie chwalę.

Powodzenia!