Doprinos 1 → Usporedba

Usporedba: koliko su točni regex i LLM

Završni korak Doprinosa 1 — mjerimo oba pristupa na istom „gold setu" i vidimo tko, gdje i zašto pobjeđuje. Ovdje je objašnjeno kako mjerimo i kako kod radi.

1. Cilj

Imamo tri stvari: točne odgovore (gold set), predikcije regexa i predikcije LLM-a. Uspoređujemo predikcije s točnim odgovorima i dobivamo brojke koje pokazuju koji je pristup bolji — i tablicu konkretnih grešaka za analizu.

2. Kako mjerimo — jednostavno

Za svaki tekst gledamo mjesto koje je pristup predvidio i uspoređujemo ga s točnim. Svaki slučaj padne u jednu od četiri kategorije:

Iz tih brojeva računamo tri mjere:

3. Kod objašnjen

Sav kod je u doprinos1_geolokacija/usporedba.py 📄 Otvori kod

Kategorizacija jedne predikcije

def oznaci_mjesto(pred, gold):
    p, g = norm(pred), norm(gold)      # oboje na mala slova, bez viška razmaka
    if g and p:  return "TP" if p == g else "FP"   # predvidio: točno ili krivo
    if g and not p:  return "FN"       # postoji mjesto, nije pronađeno
    if not g and p:  return "FP"       # nema mjesta, a nešto je rekao
    return "TN"                        # nema mjesta i ništa nije rekao

Iz oznaka u preciznost / odziv / F1

def metrike(oznake):
    tp = oznake.count("TP"); fp = oznake.count("FP"); fn = oznake.count("FN")
    preciznost = tp / (tp + fp)
    odziv      = tp / (tp + fn)
    F1         = 2 * preciznost * odziv / (preciznost + odziv)
    return preciznost, odziv, F1

LLM se pamti da ne plaćamo dvaput

LLM pozivi koštaju, pa se rezultati spremaju u rezultati/llm_predikcije.csv. Sljedeći put se učitaju iz te datoteke umjesto ponovnog poziva:

if LLM_CACHE.exists():
    # učitaj gotove LLM predikcije iz datoteke (bez novih poziva/troška)
    ...
# pozovi LLM samo za tekstove kojih još nema u predmemoriji

Graf

Na kraju se crta stupčasti graf koji uspoređuje regex i LLM po preciznosti, odzivu i F1 (rezultati/graf_mjesto.png).

4. Pokretanje u fazama

Skripta je namjerno tako složena da se može pokrenuti u koracima:

1. Samo regex (ne treba API ključ) — čim je gold set označen. Preskoči LLM:

   $env:BEZ_LLM=1 ; python usporedba.py

2. Puna usporedba (regex + LLM) — kad je .env ključ postavljen:

   python usporedba.py

5. Što izlazi (u mapi rezultati/)

Uz brojke, skripta ispiše i primjere grešaka te koliko je puta LLM bio točan gdje regex nije (i obrnuto) — to je najvrednija građa za pisanje rada.