Korak E — pokretanje bulk fetch-a

Status: pokrenuto u pozadini

PID nije zabeležen (snap docker container nema ps), ali job se vidi kao Python proces u crypto_scanner-web-1 containeru i log raste live.

• Start: 2026-05-20T12:45Z
• Comand: python tools/history_cache/build_klines_cache.py --all-eligible --intervals 15m,1h,4h,1d --days 1825 --sleep-ms 250 --progress-every 25
• Log: /home/kimi/crypto_scanner/reports/analysis/klines_cache_bulk_2026-05-20.log (bind-mountovan iz /app/reports/analysis/)
• DB target: /home/kimi/crypto_scanner/database/klines_cache.db (sad bind-mountovan, persistira između container restart-ova)
• Symbol count: 68 USDT+BTC eligible perpetuali (strict intersection)
• Intervals: 15m, 1h, 4h, 1d (svi koji generatori koriste)
• Window: 1825 dana = 5y

Šta je pre-fetch infrastrukture odrađeno

1. Proširena tools/history_cache/build_klines_cache.py

• Novi flag --days N (alternativa za --start)
• Novi flag --intervals 15m,1h,4h,1d (multi-interval u jednom run-u)
• Novi --progress-every za log progress freq
• Refactor: izdvojena run_one_interval funkcija — svaki interval ima svoj cache_runs red u DB
• WAL mode default (PRAGMA journal_mode=WAL)
• Po-simbolski fetch error catch — ako jedan simbol pukne, ne ruši ceo job

2. docker-compose.yml dopuna

web:
  volumes:
    - ./reports:/app/reports
    - ./database:/app/database  # NEW
celery_worker:
  volumes:
    - ./reports:/app/reports
    - ./database:/app/database  # NEW

• Backup: docker-compose.yml.bak.2026-05-20
• Razlog: bez bind mounta, klines_cache.db postoji samo u container overlay layer-u i gubi se na restart. Sad opstaje.
• Oba kontejnera (web + celery) recreated da pokupe novi mount

3. Smoke test pre full fetch-a

• BTCUSDT, 1d, 7 dana → 35 redova inserted, fajl vidljiv iz hosta
• Potvrdjuje da bind mount radi i pisanje iz containera dolazi do hosta

Procena vremena

Per simbol per interval batch-evi (limit=1000 po fetch-u):

• 15m: ~176 fetches/symbol (5y × 96 candle/day / 1000)
• 1h: ~44 fetches/symbol
• 4h: ~11 fetches/symbol
• 1d: ~2 fetches/symbol

Ukupno za 68 simbola: ~16,000 fetches × 350ms = ~95 minuta (1.5-2h, ne 7h kako plan kaže — manje simbola).

Bottleneck je 15m interval (~70 min, 75% ukupnog vremena).

Monitoring komande

Tail log iz lokalnog hosta (preko ssh):

ssh kimi@192.168.2.88 "tail -f ~/crypto_scanner/reports/analysis/klines_cache_bulk_2026-05-20.log"

DB veličina i row counts (za sanity check tokom run-a):

ssh kimi@192.168.2.88 "ls -lh ~/crypto_scanner/database/klines_cache.db && sudo docker exec crypto_scanner-web-1 sqlite3 /app/database/klines_cache.db 'SELECT interval, COUNT(DISTINCT symbol), COUNT(*) FROM klines GROUP BY interval'"

Sledeći koraci (post-fetch)

Faza 2 (invasive — promena _build_context):

1. Novi src/klines_provider.py — cache-first read sa Binance fallback za rupe
2. Hook u generator_manager._build_context() da puni context['klines'] iz cache-a
3. Validacija: pre/posle compare jedan generator backfill — broj signala mora biti identičan

Faza 3 (low risk):

• Daily catchup cron u scheduler-u
• Symbol churn detection nedeljno

Faza 4 (opciono, najveći speedup):

• klines_features tabela sa precomputed indikatorima
• Generator code update da čita iz cache-a umesto da računa svaki put

Provenance

• Plan: docs/plans/PLAN_2026-05-20_klines_cache_primary.md
• Skripta: tools/history_cache/build_klines_cache.py (proširen)
• Live log: reports/analysis/klines_cache_bulk_2026-05-20.log
• DB: database/klines_cache.db (na .88, bind-mounted)
• Pre-flight check ✅: 22GB free na .88, smoke test prošao