Compare commits
16
Commits
a357988f93
..
main
| Author | SHA1 | Date | |
|---|---|---|---|
|
|
f476568869 | ||
|
|
53083fab1e | ||
|
|
dce413fd81 | ||
|
|
9b8559725d | ||
|
|
14ccfec5e6 | ||
|
|
d7d1a2873a | ||
|
|
ef9cf136f2 | ||
|
|
1ab2a461b5 | ||
|
|
3421472a12 | ||
|
|
54fae57f9c | ||
|
|
1da9279ddf | ||
|
|
a501b5ea9d | ||
|
|
cd862103b8 | ||
|
|
4b0973b1ab | ||
|
|
8cb0a65a5c | ||
|
|
a8321536cc |
No files matched your search
@@ -1,4 +1,6 @@
|
|||||||
DATABASE_URL=postgresql+psycopg://rf4:rf4_local@localhost:5432/rf4_spotter
|
DATABASE_URL=postgresql+psycopg://rf4:rf4_local@localhost:5432/rf4_spotter
|
||||||
|
# Local Compose ports bind to loopback; set 0.0.0.0 only for an intentional LAN demo.
|
||||||
|
RF4_BIND_ADDRESS=127.0.0.1
|
||||||
APP_VERSION=0.1.0
|
APP_VERSION=0.1.0
|
||||||
APP_REVISION=dev
|
APP_REVISION=dev
|
||||||
PUBLIC_API_URL=http://localhost:8000
|
PUBLIC_API_URL=http://localhost:8000
|
||||||
|
|||||||
@@ -14,6 +14,9 @@ PUBLIC_CACHE_SECONDS=20
|
|||||||
|
|
||||||
ADMIN_TOKEN=replace-with-at-least-32-random-characters
|
ADMIN_TOKEN=replace-with-at-least-32-random-characters
|
||||||
RATE_LIMIT_SECRET=replace-with-at-least-32-random-characters
|
RATE_LIMIT_SECRET=replace-with-at-least-32-random-characters
|
||||||
|
# Keep these two values aligned if the Docker edge network is customized.
|
||||||
|
EDGE_NETWORK_SUBNET=172.30.0.0/24
|
||||||
|
TRUSTED_PROXY_CIDRS=172.30.0.0/24,127.0.0.1/32,::1/128
|
||||||
ADMIN_BASIC_USER=rf4admin
|
ADMIN_BASIC_USER=rf4admin
|
||||||
# Generate with: docker run --rm caddy:2.10.2-alpine caddy hash-password --plaintext 'YOUR PASSWORD'
|
# Generate with: docker run --rm caddy:2.10.2-alpine caddy hash-password --plaintext 'YOUR PASSWORD'
|
||||||
ADMIN_BASIC_PASSWORD_HASH='replace-with-caddy-password-hash'
|
ADMIN_BASIC_PASSWORD_HASH='replace-with-caddy-password-hash'
|
||||||
|
|||||||
@@ -10,6 +10,8 @@ from sqlalchemy.orm import Session, joinedload
|
|||||||
from .models import CatchReport, ModerationStatus
|
from .models import CatchReport, ModerationStatus
|
||||||
from .schemas import ActivityOut
|
from .schemas import ActivityOut
|
||||||
|
|
||||||
|
MAX_ACTIVITY_FACTS = 10_000
|
||||||
|
|
||||||
|
|
||||||
def activity_rows(
|
def activity_rows(
|
||||||
session: Session,
|
session: Session,
|
||||||
@@ -33,6 +35,8 @@ def activity_rows(
|
|||||||
CatchReport.spot_id.is_not(None),
|
CatchReport.spot_id.is_not(None),
|
||||||
CatchReport.reported_at >= now - timedelta(hours=hours),
|
CatchReport.reported_at >= now - timedelta(hours=hours),
|
||||||
)
|
)
|
||||||
|
.order_by(CatchReport.reported_at.desc(), CatchReport.id.desc())
|
||||||
|
.limit(MAX_ACTIVITY_FACTS)
|
||||||
)
|
)
|
||||||
if waterbody:
|
if waterbody:
|
||||||
query = query.where(CatchReport.waterbody.has(slug=waterbody))
|
query = query.where(CatchReport.waterbody.has(slug=waterbody))
|
||||||
|
|||||||
@@ -3,18 +3,20 @@ from __future__ import annotations
|
|||||||
from sqlalchemy import func, or_, select
|
from sqlalchemy import func, or_, select
|
||||||
from sqlalchemy.orm import Session
|
from sqlalchemy.orm import Session
|
||||||
|
|
||||||
from .models import CatchReport, ExternalObservation, Fish, SourceType, Spot, Waterbody
|
from .models import CatchReport, ExternalObservation, Fish, ModerationStatus, SourceType, Spot, Waterbody
|
||||||
|
|
||||||
|
|
||||||
def audit_catalog(db: Session) -> dict[str, int]:
|
def audit_catalog(db: Session) -> dict[str, int]:
|
||||||
count = lambda model: db.scalar(select(func.count()).select_from(model)) or 0
|
count = lambda model: db.scalar(select(func.count()).select_from(model)) or 0
|
||||||
|
demo_reports = db.scalar(select(func.count()).select_from(CatchReport).where(CatchReport.source_external_id.like("seed:%"))) or 0
|
||||||
|
approved_reports = db.scalar(select(func.count()).select_from(CatchReport).where(CatchReport.moderation_status == ModerationStatus.approved, or_(CatchReport.source_external_id.is_(None), CatchReport.source_external_id.not_like("seed:%")))) or 0
|
||||||
failures = {
|
failures = {
|
||||||
"invalid_weights": db.scalar(select(func.count()).select_from(CatchReport).where(or_(CatchReport.weight_g <= 0, CatchReport.weight_g > 3_000_000))) or 0,
|
"invalid_weights": db.scalar(select(func.count()).select_from(CatchReport).where(or_(CatchReport.weight_g <= 0, CatchReport.weight_g > 3_000_000))) or 0,
|
||||||
"invalid_coordinates": db.scalar(select(func.count()).select_from(Spot).where(or_(Spot.x < -10_000, Spot.x > 10_000, Spot.y < -10_000, Spot.y > 10_000))) or 0,
|
"invalid_coordinates": db.scalar(select(func.count()).select_from(Spot).where(or_(Spot.x < -10_000, Spot.x > 10_000, Spot.y < -10_000, Spot.y > 10_000))) or 0,
|
||||||
"incomplete_official_records": db.scalar(select(func.count()).select_from(CatchReport).where(CatchReport.source_type == SourceType.official_record, or_(CatchReport.caught_at.is_(None), CatchReport.source_url.is_(None)))) or 0,
|
"incomplete_official_records": db.scalar(select(func.count()).select_from(CatchReport).where(CatchReport.source_type == SourceType.official_record, or_(CatchReport.caught_at.is_(None), CatchReport.source_url.is_(None)))) or 0,
|
||||||
"incomplete_published_staging": db.scalar(select(func.count()).select_from(ExternalObservation).where(ExternalObservation.status == "published", or_(ExternalObservation.fish_id.is_(None), ExternalObservation.waterbody_id.is_(None), ExternalObservation.x.is_(None), ExternalObservation.y.is_(None), ExternalObservation.weight_g.is_(None), ExternalObservation.catch_report_id.is_(None)))) or 0,
|
"incomplete_published_staging": db.scalar(select(func.count()).select_from(ExternalObservation).where(ExternalObservation.status == "published", or_(ExternalObservation.fish_id.is_(None), ExternalObservation.waterbody_id.is_(None), ExternalObservation.x.is_(None), ExternalObservation.y.is_(None), ExternalObservation.weight_g.is_(None), ExternalObservation.catch_report_id.is_(None)))) or 0,
|
||||||
}
|
}
|
||||||
return {"fishes": count(Fish), "waterbodies": count(Waterbody), "reports": count(CatchReport), "staging": count(ExternalObservation), **failures, "failures": sum(failures.values())}
|
return {"fishes": count(Fish), "waterbodies": count(Waterbody), "reports": count(CatchReport), "demo_reports": demo_reports, "approved_confirmed_reports": approved_reports, "staging": count(ExternalObservation), **failures, "failures": sum(failures.values())}
|
||||||
|
|
||||||
|
|
||||||
def audit_waterbody_catalog(db: Session, expected_ids: set[str]) -> dict:
|
def audit_waterbody_catalog(db: Session, expected_ids: set[str]) -> dict:
|
||||||
|
|||||||
@@ -35,6 +35,15 @@ app.add_middleware(
|
|||||||
allow_headers=["Authorization", "Content-Type"],
|
allow_headers=["Authorization", "Content-Type"],
|
||||||
)
|
)
|
||||||
|
|
||||||
|
PUBLIC_CATALOG_CACHE_CONTROL = "public, max-age=60, stale-while-revalidate=60"
|
||||||
|
|
||||||
|
|
||||||
|
def _is_public_catalog_path(path: str) -> bool:
|
||||||
|
return path in {
|
||||||
|
"/api/v1/fishes", "/api/v1/waterbodies", "/api/v1/baits",
|
||||||
|
"/api/v1/tackle/items", "/api/v1/tackle/rigs",
|
||||||
|
} or path.startswith(("/api/v1/tackle/items/", "/api/v1/tackle/rigs/"))
|
||||||
|
|
||||||
|
|
||||||
@app.middleware("http")
|
@app.middleware("http")
|
||||||
async def structured_request_log(request: Request, call_next):
|
async def structured_request_log(request: Request, call_next):
|
||||||
@@ -52,6 +61,8 @@ async def structured_request_log(request: Request, call_next):
|
|||||||
response.headers["Cross-Origin-Opener-Policy"] = "same-origin"
|
response.headers["Cross-Origin-Opener-Policy"] = "same-origin"
|
||||||
if request.url.path.startswith("/api/v1/admin/") or request.url.path == "/api/v1/catch-reports":
|
if request.url.path.startswith("/api/v1/admin/") or request.url.path == "/api/v1/catch-reports":
|
||||||
response.headers["Cache-Control"] = "no-store"
|
response.headers["Cache-Control"] = "no-store"
|
||||||
|
elif request.method == "GET" and response.status_code == 200 and _is_public_catalog_path(request.url.path):
|
||||||
|
response.headers["Cache-Control"] = PUBLIC_CATALOG_CACHE_CONTROL
|
||||||
if settings.deployment_environment == "production":
|
if settings.deployment_environment == "production":
|
||||||
response.headers["Strict-Transport-Security"] = "max-age=31536000; includeSubDomains"
|
response.headers["Strict-Transport-Security"] = "max-age=31536000; includeSubDomains"
|
||||||
return response
|
return response
|
||||||
|
|||||||
@@ -11,6 +11,23 @@ WATERBODY_MEDIA_ROLES = {"waterbody_cover", "waterbody_map", "waterbody_depth_ma
|
|||||||
TACKLE_MEDIA_ROLES = {"tackle_card", "tackle_detail", "rig_diagram", "tackle_screenshot"}
|
TACKLE_MEDIA_ROLES = {"tackle_card", "tackle_detail", "rig_diagram", "tackle_screenshot"}
|
||||||
KNOWN_MEDIA_ROLES = WATERBODY_MEDIA_ROLES | TACKLE_MEDIA_ROLES
|
KNOWN_MEDIA_ROLES = WATERBODY_MEDIA_ROLES | TACKLE_MEDIA_ROLES
|
||||||
MEDIA_ROLES_BY_ENTITY = {"waterbody": WATERBODY_MEDIA_ROLES, "tackle": TACKLE_MEDIA_ROLES}
|
MEDIA_ROLES_BY_ENTITY = {"waterbody": WATERBODY_MEDIA_ROLES, "tackle": TACKLE_MEDIA_ROLES}
|
||||||
|
_manifest_cache: tuple[Path, int, int, dict] | None = None
|
||||||
|
_asset_index_cache: tuple[int, dict[str, tuple[str, str | None]]] | None = None
|
||||||
|
|
||||||
|
|
||||||
|
def _read_manifest() -> dict:
|
||||||
|
"""Read the manifest once per file revision in this API process."""
|
||||||
|
global _manifest_cache
|
||||||
|
path = (MEDIA_ROOT / "manifest.json").resolve()
|
||||||
|
stat = path.stat()
|
||||||
|
marker = (path, stat.st_mtime_ns, stat.st_size)
|
||||||
|
if _manifest_cache and _manifest_cache[:3] == marker:
|
||||||
|
return _manifest_cache[3]
|
||||||
|
manifest = json.loads(path.read_text(encoding="utf-8"))
|
||||||
|
if not isinstance(manifest, dict):
|
||||||
|
raise ValueError("media manifest must be an object")
|
||||||
|
_manifest_cache = (*marker, manifest)
|
||||||
|
return manifest
|
||||||
|
|
||||||
|
|
||||||
def _source_system(source_page: object) -> str:
|
def _source_system(source_page: object) -> str:
|
||||||
@@ -30,7 +47,7 @@ def _source_system(source_page: object) -> str:
|
|||||||
|
|
||||||
|
|
||||||
def media_manifest_version() -> int:
|
def media_manifest_version() -> int:
|
||||||
manifest = json.loads((MEDIA_ROOT / "manifest.json").read_text(encoding="utf-8"))
|
manifest = _read_manifest()
|
||||||
return max(1, int(manifest.get("version", 1)))
|
return max(1, int(manifest.get("version", 1)))
|
||||||
|
|
||||||
|
|
||||||
@@ -47,7 +64,7 @@ def _public_role_allowed(entity_type: str | None, role: object) -> bool:
|
|||||||
|
|
||||||
|
|
||||||
def published_assets(entity_type: str | None = None, media_role: str | None = None) -> list[dict]:
|
def published_assets(entity_type: str | None = None, media_role: str | None = None) -> list[dict]:
|
||||||
manifest = json.loads((MEDIA_ROOT / "manifest.json").read_text(encoding="utf-8"))
|
manifest = _read_manifest()
|
||||||
result = []
|
result = []
|
||||||
for item in manifest.get("assets", []):
|
for item in manifest.get("assets", []):
|
||||||
if item.get("status") != "approved" or not item.get("sha256") or not item.get("local_path"):
|
if item.get("status") != "approved" or not item.get("sha256") or not item.get("local_path"):
|
||||||
@@ -90,22 +107,24 @@ def published_assets(entity_type: str | None = None, media_role: str | None = No
|
|||||||
def published_file(digest: str) -> tuple[Path, str] | None:
|
def published_file(digest: str) -> tuple[Path, str] | None:
|
||||||
if len(digest) != 64 or any(char not in "0123456789abcdef" for char in digest):
|
if len(digest) != 64 or any(char not in "0123456789abcdef" for char in digest):
|
||||||
return None
|
return None
|
||||||
manifest = json.loads((MEDIA_ROOT / "manifest.json").read_text(encoding="utf-8"))
|
manifest = _read_manifest()
|
||||||
item = next((row for row in manifest.get("assets", []) if row.get("status") == "approved" and row.get("sha256") == digest), None)
|
global _asset_index_cache
|
||||||
media_type = None
|
cache_key = id(manifest)
|
||||||
local_path = None
|
if _asset_index_cache is None or _asset_index_cache[0] != cache_key:
|
||||||
if item:
|
index: dict[str, tuple[str, str | None]] = {}
|
||||||
media_type = item.get("content_type")
|
|
||||||
local_path = item.get("local_path")
|
|
||||||
else:
|
|
||||||
for row in manifest.get("assets", []):
|
for row in manifest.get("assets", []):
|
||||||
if row.get("status") != "approved":
|
if row.get("status") != "approved":
|
||||||
continue
|
continue
|
||||||
variant = next((candidate for candidate in row.get("derivatives", []) if candidate.get("sha256") == digest), None)
|
if row.get("sha256") and row.get("local_path"):
|
||||||
if variant:
|
index[str(row["sha256"])] = (str(row["local_path"]), row.get("content_type"))
|
||||||
media_type = variant.get("content_type")
|
for variant in row.get("derivatives", []):
|
||||||
local_path = variant.get("local_path")
|
if variant.get("sha256") and variant.get("local_path"):
|
||||||
break
|
index.setdefault(str(variant["sha256"]), (str(variant["local_path"]), variant.get("content_type")))
|
||||||
|
_asset_index_cache = (cache_key, index)
|
||||||
|
asset = _asset_index_cache[1].get(digest)
|
||||||
|
if asset is None:
|
||||||
|
return None
|
||||||
|
local_path, media_type = asset
|
||||||
if not local_path:
|
if not local_path:
|
||||||
return None
|
return None
|
||||||
target = (MEDIA_ROOT / local_path).resolve()
|
target = (MEDIA_ROOT / local_path).resolve()
|
||||||
@@ -118,7 +137,7 @@ def review_assets(
|
|||||||
entity_type: str | None = None, status: str | None = None, media_role: str | None = None,
|
entity_type: str | None = None, status: str | None = None, media_role: str | None = None,
|
||||||
query: str | None = None,
|
query: str | None = None,
|
||||||
) -> list[dict]:
|
) -> list[dict]:
|
||||||
manifest = json.loads((MEDIA_ROOT / "manifest.json").read_text(encoding="utf-8"))
|
manifest = _read_manifest()
|
||||||
result = []
|
result = []
|
||||||
for item in manifest.get("assets", []):
|
for item in manifest.get("assets", []):
|
||||||
item_status = str(item.get("status") or "")
|
item_status = str(item.get("status") or "")
|
||||||
@@ -161,7 +180,7 @@ def review_assets(
|
|||||||
def review_file(digest: str) -> tuple[Path, str] | None:
|
def review_file(digest: str) -> tuple[Path, str] | None:
|
||||||
if len(digest) != 64 or any(char not in "0123456789abcdef" for char in digest):
|
if len(digest) != 64 or any(char not in "0123456789abcdef" for char in digest):
|
||||||
return None
|
return None
|
||||||
manifest = json.loads((MEDIA_ROOT / "manifest.json").read_text(encoding="utf-8"))
|
manifest = _read_manifest()
|
||||||
item = next((row for row in manifest.get("assets", []) if row.get("sha256") == digest and row.get("status") in {"approved", "upgrade_queued", "upgrade_stored"}), None)
|
item = next((row for row in manifest.get("assets", []) if row.get("sha256") == digest and row.get("status") in {"approved", "upgrade_queued", "upgrade_stored"}), None)
|
||||||
if not item or not item.get("local_path"):
|
if not item or not item.get("local_path"):
|
||||||
return None
|
return None
|
||||||
|
|||||||
@@ -14,6 +14,7 @@ from ..schemas import TackleCombinationOut
|
|||||||
|
|
||||||
router = APIRouter()
|
router = APIRouter()
|
||||||
FRESHNESS_HALF_LIFE_HOURS = 12.5
|
FRESHNESS_HALF_LIFE_HOURS = 12.5
|
||||||
|
MAX_ANALYTICS_FACTS = 10_000
|
||||||
|
|
||||||
|
|
||||||
def _age_hours(value: datetime, now: datetime) -> float:
|
def _age_hours(value: datetime, now: datetime) -> float:
|
||||||
@@ -53,6 +54,7 @@ def tackle_combinations(
|
|||||||
query = query.join(Fish, CatchReport.fish_id == Fish.id).where(Fish.slug == fish)
|
query = query.join(Fish, CatchReport.fish_id == Fish.id).where(Fish.slug == fish)
|
||||||
if method:
|
if method:
|
||||||
query = query.where(CatchReport.fishing_method == method)
|
query = query.where(CatchReport.fishing_method == method)
|
||||||
|
query = query.order_by(CatchReport.caught_at.desc(), CatchReport.reported_at.desc(), CatchReport.id.desc()).limit(MAX_ANALYTICS_FACTS)
|
||||||
|
|
||||||
groups: dict[tuple[str, str], list[CatchReport]] = defaultdict(list)
|
groups: dict[tuple[str, str], list[CatchReport]] = defaultdict(list)
|
||||||
for report in db.scalars(query):
|
for report in db.scalars(query):
|
||||||
|
|||||||
@@ -1,7 +1,7 @@
|
|||||||
from fastapi import APIRouter, HTTPException, Query
|
from fastapi import APIRouter, HTTPException, Query, Response
|
||||||
from fastapi.responses import FileResponse
|
from fastapi.responses import FileResponse
|
||||||
|
|
||||||
from ..media_catalog import KNOWN_MEDIA_ROLES, published_assets, published_file
|
from ..media_catalog import KNOWN_MEDIA_ROLES, media_manifest_version, published_assets, published_file
|
||||||
|
|
||||||
|
|
||||||
router = APIRouter()
|
router = APIRouter()
|
||||||
@@ -9,6 +9,7 @@ router = APIRouter()
|
|||||||
|
|
||||||
@router.get("/api/v1/media/catalog")
|
@router.get("/api/v1/media/catalog")
|
||||||
def media_catalog(
|
def media_catalog(
|
||||||
|
response: Response,
|
||||||
entity_type: str | None = Query(None, pattern="^(fish|waterbody|tackle|reference)$"),
|
entity_type: str | None = Query(None, pattern="^(fish|waterbody|tackle|reference)$"),
|
||||||
media_role: str | None = Query(None, pattern="^(waterbody_cover|waterbody_map|waterbody_depth_map|waterbody_screenshot|tackle_card|tackle_detail|rig_diagram|tackle_screenshot)$"),
|
media_role: str | None = Query(None, pattern="^(waterbody_cover|waterbody_map|waterbody_depth_map|waterbody_screenshot|tackle_card|tackle_detail|rig_diagram|tackle_screenshot)$"),
|
||||||
) -> list[dict]:
|
) -> list[dict]:
|
||||||
@@ -16,6 +17,8 @@ def media_catalog(
|
|||||||
raise HTTPException(status_code=422, detail="media_role requires waterbody or tackle entity_type")
|
raise HTTPException(status_code=422, detail="media_role requires waterbody or tackle entity_type")
|
||||||
if media_role and media_role not in KNOWN_MEDIA_ROLES:
|
if media_role and media_role not in KNOWN_MEDIA_ROLES:
|
||||||
raise HTTPException(status_code=422, detail="unknown media role")
|
raise HTTPException(status_code=422, detail="unknown media role")
|
||||||
|
response.headers["Cache-Control"] = "public, max-age=60, stale-while-revalidate=60"
|
||||||
|
response.headers["X-Media-Manifest-Version"] = str(media_manifest_version())
|
||||||
return published_assets(entity_type, media_role)
|
return published_assets(entity_type, media_role)
|
||||||
|
|
||||||
|
|
||||||
|
|||||||
@@ -47,8 +47,9 @@ def seed() -> None:
|
|||||||
db.flush()
|
db.flush()
|
||||||
return item
|
return item
|
||||||
|
|
||||||
spot1 = spot(vyunok, "spot1", 110, 103, "Кромка травы у северного берега")
|
spot_description = settings.seed_demo_data
|
||||||
spot2 = spot(kuori, "spot2", 85, 92, "Свальчик в глубину")
|
spot1 = spot(vyunok, "spot1", 110, 103, "Кромка травы у северного берега" if spot_description else None)
|
||||||
|
spot2 = spot(kuori, "spot2", 85, 92, "Свальчик в глубину" if spot_description else None)
|
||||||
if not settings.seed_demo_data:
|
if not settings.seed_demo_data:
|
||||||
return
|
return
|
||||||
now = datetime.now(timezone.utc)
|
now = datetime.now(timezone.utc)
|
||||||
|
|||||||
@@ -74,6 +74,7 @@ def test_explicit_source_conflict_is_exposed_on_activity_and_spot() -> None:
|
|||||||
def test_waterbody_catalog_exposes_nullable_source_provenance() -> None:
|
def test_waterbody_catalog_exposes_nullable_source_provenance() -> None:
|
||||||
response = client.get("/api/v1/waterbodies")
|
response = client.get("/api/v1/waterbodies")
|
||||||
assert response.status_code == 200
|
assert response.status_code == 200
|
||||||
|
assert response.headers["cache-control"] == "public, max-age=60, stale-while-revalidate=60"
|
||||||
item = next(row for row in response.json() if row["slug"] == "test-lake")
|
item = next(row for row in response.json() if row["slug"] == "test-lake")
|
||||||
assert item["source_system"] is None
|
assert item["source_system"] is None
|
||||||
assert item["source_external_id"] is None
|
assert item["source_external_id"] is None
|
||||||
|
|||||||
@@ -18,6 +18,8 @@ def test_catalog_audit_checks_the_whole_catalog() -> None:
|
|||||||
db.add(CatchReport(fish=fish, waterbody=water, spot=spot, weight_g=1000, reported_at=datetime.now(timezone.utc), source_type=SourceType.user, source_confidence=60, moderation_status=ModerationStatus.approved))
|
db.add(CatchReport(fish=fish, waterbody=water, spot=spot, weight_g=1000, reported_at=datetime.now(timezone.utc), source_type=SourceType.user, source_confidence=60, moderation_status=ModerationStatus.approved))
|
||||||
db.commit()
|
db.commit()
|
||||||
assert audit_catalog(db)["failures"] == 0
|
assert audit_catalog(db)["failures"] == 0
|
||||||
|
assert audit_catalog(db)["approved_confirmed_reports"] == 1
|
||||||
|
assert audit_catalog(db)["demo_reports"] == 0
|
||||||
spot.x = 10_001
|
spot.x = 10_001
|
||||||
db.commit()
|
db.commit()
|
||||||
result = audit_catalog(db)
|
result = audit_catalog(db)
|
||||||
|
|||||||
@@ -32,3 +32,19 @@ def test_media_catalog_does_not_infer_official_source_from_url_substrings(tmp_pa
|
|||||||
|
|
||||||
assert rows["e" * 64]["source_system"] == "unknown"
|
assert rows["e" * 64]["source_system"] == "unknown"
|
||||||
assert rows["f" * 64]["source_system"] == "rf4db"
|
assert rows["f" * 64]["source_system"] == "rf4db"
|
||||||
|
|
||||||
|
|
||||||
|
def test_media_manifest_cache_invalidates_after_revision(tmp_path, monkeypatch) -> None:
|
||||||
|
manifest_path = tmp_path / "manifest.json"
|
||||||
|
manifest_path.write_text(json.dumps({"version": 1, "assets": [
|
||||||
|
{"status": "approved", "sha256": "a" * 64, "local_path": "one.webp", "entity_type": "fish", "entity_key": "pike"},
|
||||||
|
]}), encoding="utf-8")
|
||||||
|
monkeypatch.setattr(media_catalog, "MEDIA_ROOT", tmp_path)
|
||||||
|
assert [row["id"] for row in media_catalog.published_assets()] == ["a" * 64]
|
||||||
|
|
||||||
|
manifest_path.write_text(json.dumps({"version": 2, "assets": [
|
||||||
|
{"status": "approved", "sha256": "b" * 64, "local_path": "two.webp", "entity_type": "fish", "entity_key": "pike"},
|
||||||
|
]}), encoding="utf-8")
|
||||||
|
|
||||||
|
assert media_catalog.media_manifest_version() == 2
|
||||||
|
assert [row["id"] for row in media_catalog.published_assets()] == ["b" * 64]
|
||||||
@@ -25,3 +25,4 @@ def test_seed_repairs_partial_database_and_is_idempotent(monkeypatch) -> None:
|
|||||||
assert db.scalar(select(func.count()).select_from(Waterbody)) == 2
|
assert db.scalar(select(func.count()).select_from(Waterbody)) == 2
|
||||||
assert db.scalar(select(func.count()).select_from(Spot)) == 2
|
assert db.scalar(select(func.count()).select_from(Spot)) == 2
|
||||||
assert db.scalar(select(func.count()).select_from(CatchReport)) == 0
|
assert db.scalar(select(func.count()).select_from(CatchReport)) == 0
|
||||||
|
assert all(spot.description is None for spot in db.scalars(select(Spot)))
|
||||||
@@ -2,9 +2,9 @@
|
|||||||
import FishSilhouette from "./FishSilhouette.astro";
|
import FishSilhouette from "./FishSilhouette.astro";
|
||||||
import WaterbodyMark from "./WaterbodyMark.astro";
|
import WaterbodyMark from "./WaterbodyMark.astro";
|
||||||
import AtlasPairMark from "./AtlasPairMark.astro";
|
import AtlasPairMark from "./AtlasPairMark.astro";
|
||||||
const { eyebrow, title, description, variant, count, identity = title, secondaryIdentity = "waterbody" } = Astro.props as { eyebrow: string; title: string; description?: string; variant?: "water" | "fish" | "pair"; count?: number; identity?: string; secondaryIdentity?: string };
|
const { eyebrow, title, description, variant, count, countLabel, identity = title, secondaryIdentity = "waterbody" } = Astro.props as { eyebrow: string; title: string; description?: string; variant?: "water" | "fish" | "pair"; count?: number; countLabel?: string; identity?: string; secondaryIdentity?: string };
|
||||||
---
|
---
|
||||||
<section class:list={["catalog-hero content-grid", { "catalog-hero--illustrated": variant }]}>
|
<section class:list={["catalog-hero content-grid", { "catalog-hero--illustrated": variant }]}>
|
||||||
<div class="catalog-hero__copy"><span class="overline">{eyebrow}</span><h1>{title}</h1>{description && <p>{description}</p>}</div>
|
<div class="catalog-hero__copy"><span class="overline">{eyebrow}</span><h1>{title}</h1>{description && <p>{description}</p>}</div>
|
||||||
{variant && <div class:list={["catalog-hero__seal", { "catalog-hero__seal--pair": variant === "pair" }]} aria-hidden="true"><span>{variant === "water" ? <WaterbodyMark identity={identity} size={94} /> : variant === "pair" ? <AtlasPairMark waterbody={secondaryIdentity} fish={identity} /> : <FishSilhouette name={identity} size={92} />}</span>{typeof count === "number" && <><strong>{String(count).padStart(2,"0")}</strong><small>{variant === "water" ? "водоёмов" : "видов рыб"}</small></>}</div>}
|
{variant && <div class:list={["catalog-hero__seal", { "catalog-hero__seal--pair": variant === "pair" }]}><span aria-hidden="true">{variant === "water" ? <WaterbodyMark identity={identity} size={94} /> : variant === "pair" ? <AtlasPairMark waterbody={secondaryIdentity} fish={identity} /> : <FishSilhouette name={identity} size={92} />}</span>{typeof count === "number" && <><strong>{String(count).padStart(2,"0")}</strong><small>{countLabel ?? (variant === "water" ? "водоёмов" : "видов рыб")}</small></>}</div>}
|
||||||
</section>
|
</section>
|
||||||
@@ -1,8 +1,10 @@
|
|||||||
---
|
---
|
||||||
const { title, description, actionHref, actionLabel, tone = "empty", compact = false, contained = true } = Astro.props as { title: string; description?: string; actionHref?: string; actionLabel?: string; tone?: "empty" | "error" | "unavailable"; compact?: boolean; contained?: boolean };
|
const { title, description, actionHref, actionLabel, tone = "empty", compact = false, contained = true } = Astro.props as { title: string; description?: string; actionHref?: string; actionLabel?: string; tone?: "empty" | "error" | "unavailable"; compact?: boolean; contained?: boolean };
|
||||||
|
const retryHref = actionHref ?? (tone === "unavailable" ? `${Astro.url.pathname}${Astro.url.search}` : tone === "error" ? Astro.url.pathname : undefined);
|
||||||
|
const retryLabel = actionLabel ?? (tone === "unavailable" ? "Повторить загрузку" : tone === "error" ? "Вернуться к разделу" : undefined);
|
||||||
---
|
---
|
||||||
<div class:list={["state", { "content-grid": contained, "compact-state": compact, "error-state": tone === "error", "unavailable-state": tone === "unavailable" }]} role={tone === "empty" ? "status" : "alert"}>
|
<div class:list={["state", { "content-grid": contained, "compact-state": compact, "error-state": tone === "error", "unavailable-state": tone === "unavailable" }]} role={tone === "empty" ? "status" : "alert"}>
|
||||||
<h2>{title}</h2>
|
<h2>{title}</h2>
|
||||||
{description && <p>{description}</p>}
|
{description && <p>{description}</p>}
|
||||||
{actionHref && actionLabel && <a data-action="secondary" href={actionHref}>{actionLabel}</a>}
|
{retryHref && retryLabel && <a data-action="secondary" href={retryHref}>{retryLabel}</a>}
|
||||||
</div>
|
</div>
|
||||||
@@ -22,6 +22,7 @@ export const POST: APIRoute = async ({ request, redirect, cookies }) => {
|
|||||||
const response = await fetch(`${base}/api/v1/catch-reports`, { method: "POST", headers: { "content-type": "application/json", "Idempotency-Key": idempotencyKey, "X-Forwarded-For": request.headers.get("x-forwarded-for") || request.headers.get("x-real-ip") || "unknown" }, body: JSON.stringify(payload), signal: AbortSignal.timeout(30_000) });
|
const response = await fetch(`${base}/api/v1/catch-reports`, { method: "POST", headers: { "content-type": "application/json", "Idempotency-Key": idempotencyKey, "X-Forwarded-For": request.headers.get("x-forwarded-for") || request.headers.get("x-real-ip") || "unknown" }, body: JSON.stringify(payload), signal: AbortSignal.timeout(30_000) });
|
||||||
if (!response.ok) {
|
if (!response.ok) {
|
||||||
if (response.status === 429) return redirect("/report?state=rate_limited", 303);
|
if (response.status === 429) return redirect("/report?state=rate_limited", 303);
|
||||||
|
if (response.status === 409) { cookies.delete("rf4-idempotency-key", { path: "/" }); return redirect("/report?state=conflict", 303); }
|
||||||
if (response.status >= 500) return redirect("/report?state=server_error", 303);
|
if (response.status >= 500) return redirect("/report?state=server_error", 303);
|
||||||
return redirect("/report?state=create_error", 303);
|
return redirect("/report?state=create_error", 303);
|
||||||
}
|
}
|
||||||
|
|||||||
@@ -26,7 +26,7 @@ if (unavailable) {
|
|||||||
const labels: Record<string,string> = {fish:"Рыбы",waterbody:"Водоёмы",tackle:"Снасти и приманки",reference:"Справочные материалы"};
|
const labels: Record<string,string> = {fish:"Рыбы",waterbody:"Водоёмы",tackle:"Снасти и приманки",reference:"Справочные материалы"};
|
||||||
---
|
---
|
||||||
<Layout title={`${labels[type]} RF4 — медиатека RF4 Spotter`} description="Изображения рыб, водоёмов и снастей Russian Fishing 4 с обязательной атрибуцией каждого источника." noindex={unavailable} errorPage={unavailable}>
|
<Layout title={`${labels[type]} RF4 — медиатека RF4 Spotter`} description="Изображения рыб, водоёмов и снастей Russian Fishing 4 с обязательной атрибуцией каждого источника." noindex={unavailable} errorPage={unavailable}>
|
||||||
<PageHero eyebrow="Визуальный справочник" title="Медиатека" description="Собранные материалы RF4 с источником у каждого изображения. Каталог пополняется по мере импорта и проверки." variant="fish" count={allAssets.length} />
|
<PageHero eyebrow="Визуальный справочник" title="Медиатека" description="Собранные материалы RF4 с источником у каждого изображения. Каталог пополняется по мере импорта и проверки." variant="fish" count={allAssets.length} countLabel="материалов" />
|
||||||
<section class="media-library content-grid">
|
<section class="media-library content-grid">
|
||||||
<nav class="media-library__intro" aria-label="Разделы медиатеки"><strong>{labels[type]} · {allAssets.length}</strong><span><a href="/media?type=fish">Рыбы</a> · <a href="/media?type=waterbody">Водоёмы</a> · <a href="/media?type=tackle">Снасти</a> · <a href="/media?type=reference">Справка</a></span></nav>
|
<nav class="media-library__intro" aria-label="Разделы медиатеки"><strong>{labels[type]} · {allAssets.length}</strong><span><a href="/media?type=fish">Рыбы</a> · <a href="/media?type=waterbody">Водоёмы</a> · <a href="/media?type=tackle">Снасти</a> · <a href="/media?type=reference">Справка</a></span></nav>
|
||||||
<form class="media-role-filter" method="get"><input type="hidden" name="type" value={type} /><label>Поиск по подписи<input name="q" value={search} maxlength="100" placeholder="Например, щука" /></label>{roleOptions[type]?.length > 0 && <label>Тип материала<select name="role"><option value="">Все роли</option>{roleOptions[type].map(([value, label]) => <option value={value} selected={selectedRole === value}>{label}</option>)}</select></label>}<button data-action="secondary">Показать</button>{(selectedRole || search) && <a data-action="quiet" href={`/media?type=${type}`}>Сбросить</a>}</form>
|
<form class="media-role-filter" method="get"><input type="hidden" name="type" value={type} /><label>Поиск по подписи<input name="q" value={search} maxlength="100" placeholder="Например, щука" /></label>{roleOptions[type]?.length > 0 && <label>Тип материала<select name="role"><option value="">Все роли</option>{roleOptions[type].map(([value, label]) => <option value={value} selected={selectedRole === value}>{label}</option>)}</select></label>}<button data-action="secondary">Показать</button>{(selectedRole || search) && <a data-action="quiet" href={`/media?type=${type}`}>Сбросить</a>}</form>
|
||||||
|
|||||||
@@ -55,6 +55,22 @@ import Layout from "../layouts/Layout.astro";
|
|||||||
if (!Number.isFinite(timestamp)) return "Свежесть не распознана";
|
if (!Number.isFinite(timestamp)) return "Свежесть не распознана";
|
||||||
return Date.now() - timestamp > 24 * 60 * 60 * 1000 ? "Устарело" : "Свежо";
|
return Date.now() - timestamp > 24 * 60 * 60 * 1000 ? "Устарело" : "Свежо";
|
||||||
};
|
};
|
||||||
|
let undoEntry: Record<string, string> | null = null;
|
||||||
|
let undoTimer: number | undefined;
|
||||||
|
const offerUndo = (entry: Record<string, string>) => {
|
||||||
|
undoEntry = entry;
|
||||||
|
if (undoTimer) window.clearTimeout(undoTimer);
|
||||||
|
document.querySelector("[data-plan-undo]")?.remove();
|
||||||
|
if (!shareStatus) return;
|
||||||
|
shareStatus.textContent = "Точка удалена";
|
||||||
|
const undo = document.createElement("button");
|
||||||
|
undo.type = "button"; undo.dataset.action = "quiet"; undo.dataset.planUndo = "true"; undo.textContent = "Вернуть";
|
||||||
|
undo.addEventListener("click", () => {
|
||||||
|
if (undoEntry && writePlan([...readPlan(), undoEntry])) { undoEntry = null; undo.remove(); shareStatus.textContent = "Точка возвращена"; render(); }
|
||||||
|
});
|
||||||
|
shareStatus.append(" · ", undo);
|
||||||
|
undoTimer = window.setTimeout(() => { undoEntry = null; undo.remove(); }, 8000);
|
||||||
|
};
|
||||||
const shared = new URLSearchParams(location.search).get("plan");
|
const shared = new URLSearchParams(location.search).get("plan");
|
||||||
let pendingImport: Array<Record<string, string>> | null = null;
|
let pendingImport: Array<Record<string, string>> | null = null;
|
||||||
if (shared) {
|
if (shared) {
|
||||||
@@ -84,7 +100,7 @@ import Layout from "../layouts/Layout.astro";
|
|||||||
const approach = document.createElement("p"); approach.textContent = [item.method, item.retrieve].filter(Boolean).join(" · ") || "Метод не указан";
|
const approach = document.createElement("p"); approach.textContent = [item.method, item.retrieve].filter(Boolean).join(" · ") || "Метод не указан";
|
||||||
const facts = document.createElement("small"); facts.textContent = [item.risk ? `Риск: ${item.risk}` : "Риск не рассчитан", freshnessLabel(item.freshness), item.confidence !== "" ? `Доверие: ${item.confidence}%` : "Доверие не рассчитано"].join(" · ");
|
const facts = document.createElement("small"); facts.textContent = [item.risk ? `Риск: ${item.risk}` : "Риск не рассчитан", freshnessLabel(item.freshness), item.confidence !== "" ? `Доверие: ${item.confidence}%` : "Доверие не рассчитано"].join(" · ");
|
||||||
const link = document.createElement("a"); link.href = item.key || "/"; link.textContent = "Открыть точку";
|
const link = document.createElement("a"); link.href = item.key || "/"; link.textContent = "Открыть точку";
|
||||||
const remove = document.createElement("button"); remove.type = "button"; remove.dataset.action = "quiet"; remove.textContent = "Убрать"; remove.addEventListener("click", () => { if (writePlan(readPlan().filter(entry => entry.key !== item.key))) render(); });
|
const remove = document.createElement("button"); remove.type = "button"; remove.dataset.action = "quiet"; remove.textContent = "Убрать"; remove.addEventListener("click", () => { if (writePlan(readPlan().filter(entry => entry.key !== item.key))) { offerUndo(item); render(); } });
|
||||||
const actions = document.createElement("div"); actions.className = "plan-card__actions"; actions.append(link, remove);
|
const actions = document.createElement("div"); actions.className = "plan-card__actions"; actions.append(link, remove);
|
||||||
card.append(heading, coordinate, meta, approach, facts, actions); list.append(card);
|
card.append(heading, coordinate, meta, approach, facts, actions); list.append(card);
|
||||||
});
|
});
|
||||||
|
|||||||
@@ -18,6 +18,7 @@ const reportId = Astro.url.searchParams.get("report_id");
|
|||||||
{state === "sent" && <div class="notice success">Улов отправлен на модерацию. Спасибо!</div>}
|
{state === "sent" && <div class="notice success">Улов отправлен на модерацию. Спасибо!</div>}
|
||||||
{state === "screenshot_sent" && <div class="notice success">Скриншот добавлен к ранее созданной заявке.</div>}
|
{state === "screenshot_sent" && <div class="notice success">Скриншот добавлен к ранее созданной заявке.</div>}
|
||||||
{state === "create_error" && <div class="notice error" id="form-error" tabindex="-1"><strong>Заявка не создана.</strong> Проверьте поля; введённые значения сохранены.</div>}
|
{state === "create_error" && <div class="notice error" id="form-error" tabindex="-1"><strong>Заявка не создана.</strong> Проверьте поля; введённые значения сохранены.</div>}
|
||||||
|
{state === "conflict" && <div class="notice warning" id="form-error" tabindex="-1"><strong>Повторная отправка отличается от уже сохранённой.</strong> Черновик оставлен на странице; проверьте поля и отправьте его с новым ключом.</div>}
|
||||||
{state === "rate_limited" && <div class="notice error" id="form-error" tabindex="-1"><strong>Слишком много отправок.</strong> Подождите 10 минут перед повторной попыткой.</div>}
|
{state === "rate_limited" && <div class="notice error" id="form-error" tabindex="-1"><strong>Слишком много отправок.</strong> Подождите 10 минут перед повторной попыткой.</div>}
|
||||||
{state === "timeout" && <div class="notice error" id="form-error" tabindex="-1"><strong>Превышено время ожидания.</strong> Проверьте соединение и попробуйте снова.</div>}
|
{state === "timeout" && <div class="notice error" id="form-error" tabindex="-1"><strong>Превышено время ожидания.</strong> Проверьте соединение и попробуйте снова.</div>}
|
||||||
{state === "server_error" && <div class="notice error" id="form-error" tabindex="-1"><strong>Сервер временно недоступен.</strong> Попробуйте позже.</div>}
|
{state === "server_error" && <div class="notice error" id="form-error" tabindex="-1"><strong>Сервер временно недоступен.</strong> Попробуйте позже.</div>}
|
||||||
@@ -39,7 +40,7 @@ const reportId = Astro.url.searchParams.get("report_id");
|
|||||||
removeItem: (k: string) => { try { sessionStorage.removeItem(k); } catch {} },
|
removeItem: (k: string) => { try { sessionStorage.removeItem(k); } catch {} },
|
||||||
};
|
};
|
||||||
// A05: Restore draft on all error states that don't destroy the submission
|
// A05: Restore draft on all error states that don't destroy the submission
|
||||||
const recoverableStates = ["create_error", "rate_limited", "server_error", "timeout"];
|
const recoverableStates = ["create_error", "conflict", "rate_limited", "server_error", "timeout"];
|
||||||
if (form && recoverableStates.includes(state)) {
|
if (form && recoverableStates.includes(state)) {
|
||||||
try {
|
try {
|
||||||
const draft = JSON.parse(safeStorage.getItem(key) || "{}");
|
const draft = JSON.parse(safeStorage.getItem(key) || "{}");
|
||||||
|
|||||||
@@ -1,5 +1,5 @@
|
|||||||
import type { APIRoute } from "astro";
|
import type { APIRoute } from "astro";
|
||||||
import { api, type DictionaryItem } from "../lib/api";
|
import { api, type DictionaryItem, type PaginatedRigs, type PaginatedTackleItems } from "../lib/api";
|
||||||
|
|
||||||
const escapeXml = (value: string) => value.replace(/[<>&'"]/g, c => ({ "<": "<", ">": ">", "&": "&", "'": "'", '"': """ })[c] ?? c);
|
const escapeXml = (value: string) => value.replace(/[<>&'"]/g, c => ({ "<": "<", ">": ">", "&": "&", "'": "'", '"': """ })[c] ?? c);
|
||||||
let lastGood: { origin: string; xml: string; at: number } | undefined;
|
let lastGood: { origin: string; xml: string; at: number } | undefined;
|
||||||
@@ -9,7 +9,7 @@ export const GET: APIRoute = async ({ site }) => {
|
|||||||
const output = (xml: string) => new Response(xml, { headers: { "Content-Type": "application/xml; charset=utf-8", "Cache-Control": "public, max-age=1800" } });
|
const output = (xml: string) => new Response(xml, { headers: { "Content-Type": "application/xml; charset=utf-8", "Cache-Control": "public, max-age=1800" } });
|
||||||
if (lastGood?.origin === origin && Date.now() - lastGood.at < 1800000) return output(lastGood.xml);
|
if (lastGood?.origin === origin && Date.now() - lastGood.at < 1800000) return output(lastGood.xml);
|
||||||
try {
|
try {
|
||||||
const paths = new Set(["/", "/records", "/report", "/status", "/rules", "/privacy", "/fish", "/waterbodies", "/media"]);
|
const paths = new Set(["/", "/records", "/report", "/status", "/rules", "/privacy", "/fish", "/waterbodies", "/media", "/tackle"]);
|
||||||
for (const [endpoint, prefix] of [["fishes", "fish"], ["waterbodies", "waterbodies"]]) {
|
for (const [endpoint, prefix] of [["fishes", "fish"], ["waterbodies", "waterbodies"]]) {
|
||||||
for (let offset = 0; ; offset += 500) {
|
for (let offset = 0; ; offset += 500) {
|
||||||
const rows = await api<DictionaryItem[]>(`/api/v1/${endpoint}?limit=500&offset=${offset}`);
|
const rows = await api<DictionaryItem[]>(`/api/v1/${endpoint}?limit=500&offset=${offset}`);
|
||||||
@@ -18,6 +18,18 @@ export const GET: APIRoute = async ({ site }) => {
|
|||||||
if (rows.length < 500) break;
|
if (rows.length < 500) break;
|
||||||
}
|
}
|
||||||
}
|
}
|
||||||
|
for (let offset = 0; ; offset += 100) {
|
||||||
|
const page = await api<PaginatedTackleItems>(`/api/v1/tackle/items?limit=100&offset=${offset}`);
|
||||||
|
page.items.forEach(item => paths.add(`/tackle/items/${item.id}`));
|
||||||
|
if (paths.size > 49000) throw new Error("Sitemap index required");
|
||||||
|
if (page.items.length < page.limit) break;
|
||||||
|
}
|
||||||
|
for (let offset = 0; ; offset += 100) {
|
||||||
|
const page = await api<PaginatedRigs>(`/api/v1/tackle/rigs?limit=100&offset=${offset}`);
|
||||||
|
page.items.forEach(rig => paths.add(`/tackle/rigs/${rig.id}`));
|
||||||
|
if (paths.size > 49000) throw new Error("Sitemap index required");
|
||||||
|
if (page.items.length < page.limit) break;
|
||||||
|
}
|
||||||
for (let offset = 0; ; offset += 500) {
|
for (let offset = 0; ; offset += 500) {
|
||||||
const rows = await api<string[]>(`/api/v1/public-spot-pages?limit=500&offset=${offset}`);
|
const rows = await api<string[]>(`/api/v1/public-spot-pages?limit=500&offset=${offset}`);
|
||||||
rows.forEach(path => paths.add(path));
|
rows.forEach(path => paths.add(path));
|
||||||
|
|||||||
@@ -53,7 +53,7 @@ const itemsParams = new URLSearchParams(filterParams);
|
|||||||
const rigsParams = new URLSearchParams(search ? { q: search } : {});
|
const rigsParams = new URLSearchParams(search ? { q: search } : {});
|
||||||
---
|
---
|
||||||
<Layout title="Снасти и приманки RF4 — RF4 Spotter" description="Канонический каталог снастей, приманок и сборок Russian Fishing 4 с источниками и отметками неполноты." noindex={unavailable || invalidFilters} errorPage={false}>
|
<Layout title="Снасти и приманки RF4 — RF4 Spotter" description="Канонический каталог снастей, приманок и сборок Russian Fishing 4 с источниками и отметками неполноты." noindex={unavailable || invalidFilters} errorPage={false}>
|
||||||
<PageHero eyebrow="Канонический справочник" title="Снасти и приманки" description="Показываем только подтверждённые карточки. Пустые поля явно отмечены и не заменяются догадками." variant="fish" count={result.total} />
|
<PageHero eyebrow="Канонический справочник" title="Снасти и приманки" description="Показываем только подтверждённые карточки. Пустые поля явно отмечены и не заменяются догадками." variant="fish" count={result.total} countLabel="карточек" />
|
||||||
<form class="record-filters" method="get" aria-label="Фильтры каталога снастей">
|
<form class="record-filters" method="get" aria-label="Фильтры каталога снастей">
|
||||||
<label>Категория<select name="category"><option value="">Все категории</option>{Object.entries(categoryLabels).map(([value, label]) => <option value={value} selected={category === value}>{label}</option>)}</select></label>
|
<label>Категория<select name="category"><option value="">Все категории</option>{Object.entries(categoryLabels).map(([value, label]) => <option value={value} selected={category === value}>{label}</option>)}</select></label>
|
||||||
<label>Поиск<input name="q" value={search} maxlength="100" placeholder="Название снасти или приманки" /></label>
|
<label>Поиск<input name="q" value={search} maxlength="100" placeholder="Название снасти или приманки" /></label>
|
||||||
@@ -65,9 +65,9 @@ const rigsParams = new URLSearchParams(search ? { q: search } : {});
|
|||||||
<a data-action="quiet" href="/tackle/analytics">Сочетания снастей</a>
|
<a data-action="quiet" href="/tackle/analytics">Сочетания снастей</a>
|
||||||
</form>
|
</form>
|
||||||
{invalidFilters ? <StatePanel tone="error" title="Проверьте фильтры каталога" description="Один из параметров поиска имеет недопустимое значение. Измените фильтры и попробуйте снова." /> : <>
|
{invalidFilters ? <StatePanel tone="error" title="Проверьте фильтры каталога" description="Один из параметров поиска имеет недопустимое значение. Измените фильтры и попробуйте снова." /> : <>
|
||||||
{itemsUnavailable ? <StatePanel tone="unavailable" title="Каталог снастей временно недоступен" description="Сборки продолжают отображаться независимо. Попробуйте обновить карточки снастей позже." /> : result.items.length ? <section class="catalog-grid content-grid" aria-label="Карточки снастей">{result.items.map(item => <article class="catalog-card"><TackleGlyph name={item.name} size={32} /><span>{categoryLabels[item.category] ?? item.category}</span><a class="catalog-card__title" href={`/tackle/items/${item.id}`}><strong>{item.name}</strong></a><small>{[item.brand, item.family].filter(Boolean).join(" · ") || "Характеристики уточняются"}</small>{item.unlock_level !== null && <small>Открывается с уровня {item.unlock_level}</small>}<div class="tackle-card-passport"><DataPassport sources={item.source_system ? [item.source_system] : []} sourceUrl={item.source_url} observedAt={item.source_checked_at} completeness={item.missing_fields.length ? null : 100} status={item.missing_fields.length ? "incomplete" : item.source_checked_at ? "verified" : "unverified"}/></div></article>)}</section> : <StatePanel title={search ? "По запросу ничего не найдено" : "Подтверждённых карточек пока нет"} description={search ? "Измените запрос или сбросьте фильтры." : "Каталог заполнится после разрешённой загрузки и ручной проверки источников."} />}
|
{itemsUnavailable ? <StatePanel tone="unavailable" title="Каталог снастей временно недоступен" description={rigsUnavailable ? "Каталог снастей и сборок сейчас не отвечает. Попробуйте обновить страницу позже." : "Сборки продолжают отображаться независимо. Попробуйте обновить карточки снастей позже."} actionHref={`${Astro.url.pathname}${Astro.url.search}`} actionLabel="Повторить загрузку" /> : result.items.length ? <section class="catalog-grid content-grid" aria-label="Карточки снастей">{result.items.map(item => <article class="catalog-card"><TackleGlyph name={item.name} size={32} /><span>{categoryLabels[item.category] ?? item.category}</span><a class="catalog-card__title" href={`/tackle/items/${item.id}`}><strong>{item.name}</strong></a><small>{[item.brand, item.family].filter(Boolean).join(" · ") || "Характеристики уточняются"}</small>{item.unlock_level !== null && <small>Открывается с уровня {item.unlock_level}</small>}<div class="tackle-card-passport"><DataPassport sources={item.source_system ? [item.source_system] : []} sourceUrl={item.source_url} observedAt={item.source_checked_at} completeness={item.missing_fields.length ? null : 100} status={item.missing_fields.length ? "incomplete" : item.source_checked_at ? "verified" : "unverified"}/></div></article>)}</section> : <StatePanel title={search ? "По запросу ничего не найдено" : "Подтверждённых карточек пока нет"} description={search ? "Измените запрос или сбросьте фильтры." : "Каталог заполнится после разрешённой загрузки и ручной проверки источников."} />}
|
||||||
{!itemsUnavailable && <Pagination path="/tackle" params={itemsParams} total={result.total} limit={limit} offset={itemsOffset} offsetParam="items_offset" itemLabel="карточек" />}
|
{!itemsUnavailable && <Pagination path="/tackle" params={itemsParams} total={result.total} limit={limit} offset={itemsOffset} offsetParam="items_offset" itemLabel="карточек" />}
|
||||||
<section class="rig-catalog content-grid" aria-labelledby="rig-catalog-title"><div class="section-heading"><div><span class="overline">Сборки снастей</span><h2 id="rig-catalog-title">Сборки</h2></div><span class="result-count">{rigs.total} всего</span></div>{rigsUnavailable ? <StatePanel contained={false} tone="unavailable" title="Сборки временно недоступны" description="Карточки отдельных снастей продолжают работать независимо." /> : rigs.items.length ? <div class="catalog-grid">{rigs.items.map(rig => <article class="catalog-card"><TackleGlyph name={rig.name} size={32} /><span>Сборка · {rig.component_count} компонентов</span><a class="catalog-card__title" href={`/tackle/rigs/${rig.id}`}><strong>{rig.name}</strong></a><small>{rig.source_system ?? "Источник не указан"}</small><div class="tackle-card-passport"><DataPassport sources={rig.source_system ? [rig.source_system] : []} sourceUrl={rig.source_url} observedAt={rig.source_checked_at} completeness={rig.missing_fields.length ? null : 100} status={rig.missing_fields.length ? "incomplete" : rig.source_checked_at ? "verified" : "unverified"}/></div></article>)}</div> : <StatePanel contained={false} title={search ? "По запросу сборки не найдены" : "Подтверждённых сборок пока нет"} description={search ? "Измените запрос или сбросьте фильтры." : "Сборки появятся после разрешённой загрузки и проверки источников."} />}</section>
|
<section class="rig-catalog content-grid" aria-labelledby="rig-catalog-title"><div class="section-heading"><div><span class="overline">Сборки снастей</span><h2 id="rig-catalog-title">Сборки</h2></div><span class="result-count">{rigs.total} всего</span></div>{rigsUnavailable ? <StatePanel contained={false} tone="unavailable" title="Сборки временно недоступны" description={itemsUnavailable ? "Каталог снастей и сборок сейчас не отвечает. Попробуйте обновить страницу позже." : "Карточки отдельных снастей продолжают работать независимо."} actionHref={`${Astro.url.pathname}${Astro.url.search}`} actionLabel="Повторить загрузку" /> : rigs.items.length ? <div class="catalog-grid">{rigs.items.map(rig => <article class="catalog-card"><TackleGlyph name={rig.name} size={32} /><span>Сборка · {rig.component_count} компонентов</span><a class="catalog-card__title" href={`/tackle/rigs/${rig.id}`}><strong>{rig.name}</strong></a><small>{rig.source_system ?? "Источник не указан"}</small><div class="tackle-card-passport"><DataPassport sources={rig.source_system ? [rig.source_system] : []} sourceUrl={rig.source_url} observedAt={rig.source_checked_at} completeness={rig.missing_fields.length ? null : 100} status={rig.missing_fields.length ? "incomplete" : rig.source_checked_at ? "verified" : "unverified"}/></div></article>)}</div> : <StatePanel contained={false} title={search ? "По запросу сборки не найдены" : "Подтверждённых сборок пока нет"} description={search ? "Измените запрос или сбросьте фильтры." : "Сборки появятся после разрешённой загрузки и проверки источников."} />}</section>
|
||||||
{!rigsUnavailable && <Pagination path="/tackle" params={rigsParams} total={rigs.total} limit={limit} offset={rigsOffset} offsetParam="rigs_offset" itemLabel="сборок" />}
|
{!rigsUnavailable && <Pagination path="/tackle" params={rigsParams} total={rigs.total} limit={limit} offset={rigsOffset} offsetParam="rigs_offset" itemLabel="сборок" />}
|
||||||
</>}
|
</>}
|
||||||
</Layout>
|
</Layout>
|
||||||
@@ -132,7 +132,9 @@ services:
|
|||||||
IMPORT_INTERVAL_SECONDS: ${IMPORT_INTERVAL_SECONDS:-3600}
|
IMPORT_INTERVAL_SECONDS: ${IMPORT_INTERVAL_SECONDS:-3600}
|
||||||
PUBLIC_CACHE_SECONDS: ${PUBLIC_CACHE_SECONDS:-20}
|
PUBLIC_CACHE_SECONDS: ${PUBLIC_CACHE_SECONDS:-20}
|
||||||
RATE_LIMIT_SECRET: ${RATE_LIMIT_SECRET:?Set RATE_LIMIT_SECRET}
|
RATE_LIMIT_SECRET: ${RATE_LIMIT_SECRET:?Set RATE_LIMIT_SECRET}
|
||||||
TRUSTED_PROXY_CIDRS: '${TRUSTED_PROXY_CIDRS:-"127.0.0.1/32,::1/128"}'
|
# Caddy reaches API over the dedicated private edge network, not loopback.
|
||||||
|
# Keep this CIDR aligned with EDGE_NETWORK_SUBNET when customizing the network.
|
||||||
|
TRUSTED_PROXY_CIDRS: '${TRUSTED_PROXY_CIDRS:-"172.30.0.0/24,127.0.0.1/32,::1/128"}'
|
||||||
RETENTION_SUBMISSION_DAYS: ${RETENTION_SUBMISSION_DAYS:-1}
|
RETENTION_SUBMISSION_DAYS: ${RETENTION_SUBMISSION_DAYS:-1}
|
||||||
RETENTION_UNREVIEWED_DAYS: ${RETENTION_UNREVIEWED_DAYS:-30}
|
RETENTION_UNREVIEWED_DAYS: ${RETENTION_UNREVIEWED_DAYS:-30}
|
||||||
RETENTION_APPROVED_PERSONAL_DAYS: ${RETENTION_APPROVED_PERSONAL_DAYS:-180}
|
RETENTION_APPROVED_PERSONAL_DAYS: ${RETENTION_APPROVED_PERSONAL_DAYS:-180}
|
||||||
@@ -230,7 +232,7 @@ services:
|
|||||||
S3_SECRET_KEY: ${S3_SECRET_KEY:?Set S3_SECRET_KEY}
|
S3_SECRET_KEY: ${S3_SECRET_KEY:?Set S3_SECRET_KEY}
|
||||||
SEED_DEMO_DATA: "false"
|
SEED_DEMO_DATA: "false"
|
||||||
RATE_LIMIT_SECRET: ${RATE_LIMIT_SECRET:?Set RATE_LIMIT_SECRET}
|
RATE_LIMIT_SECRET: ${RATE_LIMIT_SECRET:?Set RATE_LIMIT_SECRET}
|
||||||
TRUSTED_PROXY_CIDRS: '${TRUSTED_PROXY_CIDRS:-"127.0.0.1/32,::1/128"}'
|
TRUSTED_PROXY_CIDRS: '${TRUSTED_PROXY_CIDRS:-"172.30.0.0/24,127.0.0.1/32,::1/128"}'
|
||||||
COMMUNITY_IMPORT_INTERVAL_SECONDS: ${COMMUNITY_IMPORT_INTERVAL_SECONDS:-1800}
|
COMMUNITY_IMPORT_INTERVAL_SECONDS: ${COMMUNITY_IMPORT_INTERVAL_SECONDS:-1800}
|
||||||
RF4MAP_POINT_URL: ${RF4MAP_POINT_URL:-https://rf4map.ru/points/275}
|
RF4MAP_POINT_URL: ${RF4MAP_POINT_URL:-https://rf4map.ru/points/275}
|
||||||
RF4POSTS_SPOT_URL: ${RF4POSTS_SPOT_URL:-https://rf4-posts.com/ru/spots/d0c6d9c6-4ebf-49a7-98a8-9a562553a8ee}
|
RF4POSTS_SPOT_URL: ${RF4POSTS_SPOT_URL:-https://rf4-posts.com/ru/spots/d0c6d9c6-4ebf-49a7-98a8-9a562553a8ee}
|
||||||
@@ -260,6 +262,9 @@ services:
|
|||||||
|
|
||||||
networks:
|
networks:
|
||||||
edge:
|
edge:
|
||||||
|
ipam:
|
||||||
|
config:
|
||||||
|
- subnet: ${EDGE_NETWORK_SUBNET:-172.30.0.0/24}
|
||||||
backend:
|
backend:
|
||||||
internal: true
|
internal: true
|
||||||
|
|
||||||
|
|||||||
+4
-4
@@ -20,8 +20,8 @@ services:
|
|||||||
MINIO_ROOT_USER: ${S3_ACCESS_KEY:-rf4-local}
|
MINIO_ROOT_USER: ${S3_ACCESS_KEY:-rf4-local}
|
||||||
MINIO_ROOT_PASSWORD: ${S3_SECRET_KEY:-rf4-local-secret}
|
MINIO_ROOT_PASSWORD: ${S3_SECRET_KEY:-rf4-local-secret}
|
||||||
ports:
|
ports:
|
||||||
- "9000:9000"
|
- "${RF4_BIND_ADDRESS:-127.0.0.1}:9000:9000"
|
||||||
- "9001:9001"
|
- "${RF4_BIND_ADDRESS:-127.0.0.1}:9001:9001"
|
||||||
healthcheck:
|
healthcheck:
|
||||||
test: ["CMD", "curl", "-fsS", "http://localhost:9000/minio/health/live"]
|
test: ["CMD", "curl", "-fsS", "http://localhost:9000/minio/health/live"]
|
||||||
interval: 5s
|
interval: 5s
|
||||||
@@ -75,7 +75,7 @@ services:
|
|||||||
minio-init:
|
minio-init:
|
||||||
condition: service_completed_successfully
|
condition: service_completed_successfully
|
||||||
ports:
|
ports:
|
||||||
- "8000:8000"
|
- "${RF4_BIND_ADDRESS:-127.0.0.1}:8000:8000"
|
||||||
healthcheck:
|
healthcheck:
|
||||||
test: ["CMD", "python", "-c", "import urllib.request; urllib.request.urlopen('http://localhost:8000/ready')"]
|
test: ["CMD", "python", "-c", "import urllib.request; urllib.request.urlopen('http://localhost:8000/ready')"]
|
||||||
interval: 5s
|
interval: 5s
|
||||||
@@ -104,7 +104,7 @@ services:
|
|||||||
api:
|
api:
|
||||||
condition: service_healthy
|
condition: service_healthy
|
||||||
ports:
|
ports:
|
||||||
- "4321:4321"
|
- "${RF4_BIND_ADDRESS:-127.0.0.1}:4321:4321"
|
||||||
healthcheck:
|
healthcheck:
|
||||||
test: ["CMD", "node", "-e", "fetch('http://localhost:4321').then(r=>{if(!r.ok)process.exit(1)}).catch(()=>process.exit(1))"]
|
test: ["CMD", "node", "-e", "fetch('http://localhost:4321').then(r=>{if(!r.ok)process.exit(1)}).catch(()=>process.exit(1))"]
|
||||||
interval: 5s
|
interval: 5s
|
||||||
|
|||||||
+6
-6
@@ -33,12 +33,12 @@ R-пункты уточняют критерии существующих B/G/U/
|
|||||||
- [x] **R08 · P1 · Достоверная аналитика снастей (G07).** Публичные пороги закреплены минимум на 3 наблюдениях и 2 игроках независимо от URL-параметров; окно и freshness используют время улова с fallback на время импорта, ответ ограничен `limit`, а canonical ID назначается только при полном однозначном покрытии компонентных наблюдений. `1/1` нельзя превратить в рекомендацию, unresolved не получает ложную привязку.
|
- [x] **R08 · P1 · Достоверная аналитика снастей (G07).** Публичные пороги закреплены минимум на 3 наблюдениях и 2 игроках независимо от URL-параметров; окно и freshness используют время улова с fallback на время импорта, ответ ограничен `limit`, а canonical ID назначается только при полном однозначном покрытии компонентных наблюдений. `1/1` нельзя превратить в рекомендацию, unresolved не получает ложную привязку.
|
||||||
- [x] **R09 · P1 · Полное удаление личных данных.** Retention и admin-delete загружают дочерние компоненты, очищают их `source_url/raw_payload` вместе с родительским report и сбрасывают upload-token; retention теперь обнаруживает старые reports даже при уже очищенных родительских полях, если provenance осталась в component. Повторная очистка остаётся безопасной; S3/БД failure drill — отдельный эксплуатационный gate.
|
- [x] **R09 · P1 · Полное удаление личных данных.** Retention и admin-delete загружают дочерние компоненты, очищают их `source_url/raw_payload` вместе с родительским report и сбрасывают upload-token; retention теперь обнаруживает старые reports даже при уже очищенных родительских полях, если provenance осталась в component. Повторная очистка остаётся безопасной; S3/БД failure drill — отдельный эксплуатационный gate.
|
||||||
- [x] **R10 · P1 · Единый cooldown и стадии запроса.** Community CLI уже освобождал резерв до HTTP-ответа; media CLI теперь использует тот же контракт: DNS/connection/OSError освобождают только собственный резерв, HTTPError или ошибка валидированного тела сохраняют cooldown, batch освобождает окно только если ни один asset не получил ответ. Offline regression добавлен; scheduler сохраняет site-wide координацию.
|
- [x] **R10 · P1 · Единый cooldown и стадии запроса.** Community CLI уже освобождал резерв до HTTP-ответа; media CLI теперь использует тот же контракт: DNS/connection/OSError освобождают только собственный резерв, HTTPError или ошибка валидированного тела сохраняют cooldown, batch освобождает окно только если ни один asset не получил ответ. Offline regression добавлен; scheduler сохраняет site-wide координацию.
|
||||||
- [ ] **R18 · P1 · Границы локального и production запуска.** Loopback для dev-портов с явным opt-in LAN; проверить доверенные proxy/client-IP и rate-limit на двух клиентах. Критерий: default dev не открыт в LAN, production различает клиентов. Реальные серверные gates — A07.
|
- [ ] **R18 · P1 · Границы локального и production запуска.** Первый шаг выполнен: локальный Compose публикует API, web и MinIO только на loopback через `RF4_BIND_ADDRESS` с явным opt-in LAN; production использует выделенную edge-сеть `172.30.0.0/24`, а `TRUSTED_PROXY_CIDRS` синхронизирован с её CIDR и может быть явно изменён вместе с `EDGE_NETWORK_SUBNET`. Rate-limit игнорирует XFF от недоверенного peer и различает двух клиентов через trusted proxy. Остались реальная proxy-цепочка на сервере и A07 acceptance.
|
||||||
- [x] **R11 · P2 · Честное качество и происхождение media (B25).** API использует точный hostname allowlist для `rf4db`/`rf4map`/`rf4-stat`, неизвестные и malformed URL получают `unknown`, а не ложный `rf4-official`. UI различает низкое разрешение и наличие проверенной card-версии, не утверждая отсутствие альтернатив без данных manifest. Cache/revocation и production visual acceptance остаются отдельными gates.
|
- [x] **R11 · P2 · Честное качество и происхождение media (B25).** API использует точный hostname allowlist для `rf4db`/`rf4map`/`rf4-stat`, неизвестные и malformed URL получают `unknown`, а не ложный `rf4-official`. UI различает низкое разрешение и наличие проверенной card-версии, не утверждая отсутствие альтернатив без данных manifest. Cache/revocation и production visual acceptance остаются отдельными gates.
|
||||||
- [ ] **R14 · P2 · Подтверждённый каталог и demo seed.** Отделить справочник от неподтверждённых описаний/точек, показывать loaded count и внешнюю полноту/unknown раздельно. Критерий: production без demo не создаёт вымышленных описаний, media count не подменяет canonical count.
|
- [x] **R14 · P2 · Подтверждённый каталог и demo seed.** `SEED_DEMO_DATA=false` больше не создаёт редакционные описания тестовых точек; demo-уловы имеют отдельный `seed:` namespace и catalog audit считает их отдельно от подтверждённых reports. Loaded canonical counts и external staging остаются раздельными, media count не используется как catalog count.
|
||||||
- [ ] **R15 · P2 · Восстановление пользовательских действий.** Сохранять draft при 422/429/timeout, объяснять конфликт повторов, undo плана и общий storage/clipboard helper. Критерий: повтор не требует заполнить весь улов заново.
|
- [x] **R15 · P2 · Восстановление пользовательских действий.** Report UI теперь различает idempotency-конфликт и обычную ошибку, восстанавливает draft и предлагает повтор с новым ключом; plan получил восьмисекундный undo после удаления с обработкой storage errors. Draft сохраняется при 422/429/timeout, повтор не требует заново заполнять весь улов.
|
||||||
- [ ] **R16 · P2 · Производительность реальных endpoints.** Измерить ORM/RSS/SQL и чтение manifest, затем bounded aggregation и digest/mtime cache по результатам. Критерий: воспроизводимый endpoint budget на крупных fixtures; Redis заранее не добавлять.
|
- [ ] **R16 · P2 · Производительность реальных endpoints.** Первый шаг выполнен: public media catalog использует process-local digest/mtime cache manifest с инвалидированием при изменении файла, API отдаёт короткий `Cache-Control` и manifest version. Теперь `published_file` использует revision-local digest index без повторного сканирования assets, activity/tackle analytics ограничены воспроизводимым окном 10 000 свежих фактов, а справочники и detail-карточки снастей получают безопасный `public` cache policy на 60 секунд. Осталось измерить ORM/RSS/SQL на крупных fixtures и зафиксировать endpoint budget; Redis заранее не добавлять.
|
||||||
- [ ] **R17 · P2 · Навигация и SEO снастей.** Обнаруживаемый каталог снастей и sitemap подтверждённых карточек; политика индексации фильтров/пустых страниц. Критерий: канонические карточки достижимы из UI и sitemap без дубликатов.
|
- [x] **R17 · P2 · Навигация и SEO снастей.** Sitemap теперь включает `/tackle`, все пагинированные canonical item/rig detail URL и не добавляет фильтры/analytics; detail layout оставляет missing/unavailable/404 страницы noindex, а каталог ведёт в canonical карточки. При недоступном API сохраняется последний корректный sitemap.
|
||||||
- [ ] **R12 · P2 · Визуальная приёмка наполненных состояний (D07/A06/U06/G09).** Изолированные данные: длинные карточки, компоненты, конфликты, ошибки, authenticated admin; light/dark mobile/desktop, keyboard/contrast и screenshots с revision. Критерий: подтверждены действия и читаемость, а не только DOM/overflow.
|
- [ ] **R12 · P2 · Визуальная приёмка наполненных состояний (D07/A06/U06/G09).** Изолированные данные: длинные карточки, компоненты, конфликты, ошибки, authenticated admin; light/dark mobile/desktop, keyboard/contrast и screenshots с revision. Критерий: подтверждены действия и читаемость, а не только DOM/overflow.
|
||||||
- [ ] **R13 · P2 · Зелёные проверки и CI artifacts.** Обновить два устаревших контракта, адресные regressions исправленных дефектов, успешные visual artifacts, Node/Python baseline и отдельный dependency audit. Критерий: suites зелёные, skip объяснён, отчёт связан с commit. Известные падения учитывать при каждом feature-коммите.
|
- [ ] **R13 · P2 · Зелёные проверки и CI artifacts.** Обновить два устаревших контракта, адресные regressions исправленных дефектов, успешные visual artifacts, Node/Python baseline и отдельный dependency audit. Критерий: suites зелёные, skip объяснён, отчёт связан с commit. Известные падения учитывать при каждом feature-коммите.
|
||||||
|
|
||||||
@@ -81,7 +81,7 @@ W03 также можно продвинуть offline: сохранённый s
|
|||||||
|
|
||||||
- [x] **W01 · Canonical-каталог RF4DB.** 16.09 через браузерный контекст получен и проверен индекс `/ru/maps`: 19/19 карточек, source slug/ID, русское название, уровень открытия, число видов рыб и URL изображения сохранены в [`data/waterbodies/rf4db-catalog-2026-09-16.json`](../data/waterbodies/rf4db-catalog-2026-09-16.json). Добавлена команда `python -m app.cli import-waterbody-catalog --input ...` для применения снимка в БД. Изображения остаются кандидатами без автоматической роли `map` или `cover`; detail-данные выполняются отдельно по W02.
|
- [x] **W01 · Canonical-каталог RF4DB.** 16.09 через браузерный контекст получен и проверен индекс `/ru/maps`: 19/19 карточек, source slug/ID, русское название, уровень открытия, число видов рыб и URL изображения сохранены в [`data/waterbodies/rf4db-catalog-2026-09-16.json`](../data/waterbodies/rf4db-catalog-2026-09-16.json). Добавлена команда `python -m app.cli import-waterbody-catalog --input ...` для применения снимка в БД. Изображения остаются кандидатами без автоматической роли `map` или `cover`; detail-данные выполняются отдельно по W02.
|
||||||
- [ ] **W02 · Карточки водоёмов RF4DB.** Строгий fixture-based parser `rf4db-waterbody` расширен под реальный DOM `/fishes/` и `/positions/`, regression-тесты, безопасный `update_waterbody_detail` и атомарный batch `update_waterbody_details`/`import-waterbody-details` готовы. Snapshots `level_000_home`, `level_001_lake` и `level_002_kirzah_river` сохранены. Добавлены guarded launcher `scripts/fetch-waterbodies-chromium.mjs` для обычной Chromium-сессии и offline-режим `scripts/fetch-waterbodies.py --html`; оба сохраняют snapshots атомарно, не импортируют их автоматически и используют общий cooldown. Резерв имеет идентификатор попытки: локальный сбой до открытия страницы (включая падение Chromium, DNS или отказ соединения) освобождает только собственный резерв, а ответ источника сохраняет cooldown. Chromium-launcher сначала делает отдельную reserve-only операцию. Повторный разрешённый запрос `level_002_kirzah_river` 20.09 вернул совпадающие с canonical-каталогом имя, `29/29` видов и два URL изображений; snapshot импортирован в Compose PostgreSQL, `/health` и `/ready` успешны, публичная `/waterbodies/р-вьюнок` отвечает `200`. Описание и позиции источник не вернул, поэтому они оставлены `null`/пустыми без домыслов; изображения остаются только provenance-кандидатами и не публиковались. Три разрешённых запроса `level_019_american_pond` 20.09 завершились `403 Forbidden`, а текущий Chromium показывает защитную страницу Cloudflare: это блокировка HTTP-клиента источником, не ошибка атомарного сохранения launcher-а; snapshot и импорт не создавались, прежние подтверждённые данные и media не менялись. Одно промежуточное разрешённое окно 20.09 было зарезервировано CLI, но завершилось локальной DNS-ошибкой до ответа источника; зависший резерв от последнего локального падения снят без запроса к источнику. Следующий сетевой запуск допускается только после общего cooldown; полнота ответа остаётся неподтверждённой. CAPTCHA/challenge не автоматизируются. Осталось последовательно разобрать 16 detail-страниц. Сверка 22.09: после этих ошибок сохранён `.cache/waterbodies/rf4db-level_019_american_pond-20260921.json` (19 видов, 2 URL изображений, без description/point_urls). Утверждение выше о текущей Cloudflare-странице историческое; snapshot требует versioned provenance и проверки импорта. Остаток detail-очереди пересчитать по сохранённым и импортированным IDs.
|
- [ ] **W02 · Карточки водоёмов RF4DB.** Строгий fixture-based parser `rf4db-waterbody` расширен под реальный DOM `/fishes/` и `/positions/`, regression-тесты, безопасный `update_waterbody_detail` и атомарный batch `update_waterbody_details`/`import-waterbody-details` готовы. Snapshots `level_000_home`, `level_001_lake` и `level_002_kirzah_river` сохранены. Добавлены guarded launcher `scripts/fetch-waterbodies-chromium.mjs` для обычной Chromium-сессии и offline-режим `scripts/fetch-waterbodies.py --html`; оба сохраняют snapshots атомарно, не импортируют их автоматически и используют общий cooldown. Резерв имеет идентификатор попытки: локальный сбой до открытия страницы (включая падение Chromium, DNS или отказ соединения) освобождает только собственный резерв, а ответ источника сохраняет cooldown. Chromium-launcher сначала делает отдельную reserve-only операцию. Повторный разрешённый запрос `level_002_kirzah_river` 20.09 вернул совпадающие с canonical-каталогом имя, `29/29` видов и два URL изображений; snapshot импортирован в Compose PostgreSQL, `/health` и `/ready` успешны, публичная `/waterbodies/р-вьюнок` отвечает `200`. Описание и позиции источник не вернул, поэтому они оставлены `null`/пустыми без домыслов; изображения остаются только provenance-кандидатами и не публиковались. Три разрешённых запроса `level_019_american_pond` 20.09 завершились `403 Forbidden`, а текущий Chromium показывает защитную страницу Cloudflare: это блокировка HTTP-клиента источником, не ошибка атомарного сохранения launcher-а; snapshot и импорт не создавались, прежние подтверждённые данные и media не менялись. Одно промежуточное разрешённое окно 20.09 было зарезервировано CLI, но завершилось локальной DNS-ошибкой до ответа источника; зависший резерв от последнего локального падения снят без запроса к источнику. Следующий сетевой запуск допускается только после общего cooldown; полнота ответа остаётся неподтверждённой. CAPTCHA/challenge не автоматизируются. Осталось последовательно разобрать 16 detail-страниц. Сверка 22.09: после этих ошибок сохранён `.cache/waterbodies/rf4db-level_019_american_pond-20260921.json` (19 видов, 2 URL изображений, без description/point_urls). Утверждение выше о текущей Cloudflare-странице историческое; snapshot требует versioned provenance и проверки импорта. Остаток detail-очереди пересчитать по сохранённым и импортированным IDs.
|
||||||
- [ ] **W03 · Модель и provenance.** В модель `Waterbody`, API-каталог и миграции `0017`/`0019`/`0020` добавлены nullable-поля provenance, счётчик видов и detail-факты; идемпотентный upsert применён к canonical snapshot: `19/19`, без missing/duplicate/provenance issues. Осталось применить подтверждённые detail snapshots и отдельно разделить игровые и редакционные тексты при подключении detail-данных.
|
- [ ] **W03 · Модель и provenance.** В модель `Waterbody`, API-каталог и миграции `0017`/`0019`/`0020` добавлены nullable-поля provenance, счётчик видов и detail-факты; идемпотентный upsert применён к canonical snapshot: `19/19`, без missing/duplicate/provenance issues. Первый подтверждённый detail snapshot `level_019_american_pond` (оз. Лосиное, 19 видов, 2 image URL, без description/point_urls) сохранён и дважды применён без изменения результата. Осталось применить остальные подтверждённые detail snapshots и отдельно разделить игровые и редакционные тексты при подключении detail-данных.
|
||||||
- [ ] **W04 · Классификация изображений.** Добавлены допустимые роли `waterbody_cover`, `waterbody_map`, `waterbody_depth_map`, `waterbody_screenshot` и проверка их назначения только через review для canonical waterbody. Кандидаты по-прежнему не получают роль автоматически. Осталось наполнить очередь detail-изображениями и провести contact-sheet review с проверкой dimensions, MIME, SHA-256, соответствия названию и источника.
|
- [ ] **W04 · Классификация изображений.** Добавлены допустимые роли `waterbody_cover`, `waterbody_map`, `waterbody_depth_map`, `waterbody_screenshot` и проверка их назначения только через review для canonical waterbody. Кандидаты по-прежнему не получают роль автоматически. Осталось наполнить очередь detail-изображениями и провести contact-sheet review с проверкой dimensions, MIME, SHA-256, соответствия названию и источника.
|
||||||
- [ ] **W05 · Crosswalk источников.** Добавлен offline-конструктор консервативных предложений: нормализуются только точные имена/алиасы, неоднозначные и unmatched строки не получают canonical key; отсутствие ID выдаётся лишь диагностикой и не считается удалением. RF4MAP/RF4-STAT directory parsers теперь преобразуются в crosswalk identities без переноса метрик или автоматической привязки. Осталось подать полный набор реальных RF4DB/RF4MAP/RF4 Posts identities и вручную подтвердить результаты, включая три ранее отмеченных отсутствующих RF4MAP объекта.
|
- [ ] **W05 · Crosswalk источников.** Добавлен offline-конструктор консервативных предложений: нормализуются только точные имена/алиасы, неоднозначные и unmatched строки не получают canonical key; отсутствие ID выдаётся лишь диагностикой и не считается удалением. RF4MAP/RF4-STAT directory parsers теперь преобразуются в crosswalk identities без переноса метрик или автоматической привязки. Осталось подать полный набор реальных RF4DB/RF4MAP/RF4 Posts identities и вручную подтвердить результаты, включая три ранее отмеченных отсутствующих RF4MAP объекта.
|
||||||
- [ ] **W06 · Координаты и точность.** В `ExternalObservation`, staging, provenance опубликованного улова и публичных activity/spot-ответах добавлены `coordinate_raw`, `coordinate_precision = exact | approximate | area | missing` и список источников; RF4DB/RF4-STAT/RF4MAP/RF4 Posts parsers теперь протягивают исходную строку, включая строки без доступных числовых координат. Исправлена spot detail: точность (`точные`/`приблизительные`/`район`/`не указаны`) теперь видна рядом с координатами и покрыта smoke regression, а `coordinate_sources` раскрываются внутри evidence-паспорта без потери provenance. Все public-компоненты используют единый `coordinatePrecisionLabel` с безопасным fallback и unit-регрессией четырёх состояний. In-app Chromium и focused smoke подтвердили `/spots/vyunok-321x654` на desktop/mobile без overflow; browser regression для отсутствующей точки проверяет недоступное состояние без ложных координат, а API regression параметризован по всем четырём precision-состояниям. Visual matrix теперь включает valid spot и четыре not-found/error-маршрута во всех 4 ширинах и 3 темах; остаётся отдельная production/browser QA для данных, которые не представлены локальным seed.
|
- [ ] **W06 · Координаты и точность.** В `ExternalObservation`, staging, provenance опубликованного улова и публичных activity/spot-ответах добавлены `coordinate_raw`, `coordinate_precision = exact | approximate | area | missing` и список источников; RF4DB/RF4-STAT/RF4MAP/RF4 Posts parsers теперь протягивают исходную строку, включая строки без доступных числовых координат. Исправлена spot detail: точность (`точные`/`приблизительные`/`район`/`не указаны`) теперь видна рядом с координатами и покрыта smoke regression, а `coordinate_sources` раскрываются внутри evidence-паспорта без потери provenance. Все public-компоненты используют единый `coordinatePrecisionLabel` с безопасным fallback и unit-регрессией четырёх состояний. In-app Chromium и focused smoke подтвердили `/spots/vyunok-321x654` на desktop/mobile без overflow; browser regression для отсутствующей точки проверяет недоступное состояние без ложных координат, а API regression параметризован по всем четырём precision-состояниям. Visual matrix теперь включает valid spot и четыре not-found/error-маршрута во всех 4 ширинах и 3 темах; остаётся отдельная production/browser QA для данных, которые не представлены локальным seed.
|
||||||
|
|||||||
@@ -22,6 +22,13 @@
|
|||||||
|
|
||||||
## Измеримый бюджет
|
## Измеримый бюджет
|
||||||
|
|
||||||
|
Activity и tackle analytics намеренно обрабатывают не более 10 000 самых
|
||||||
|
свежих approved-фактов за окно запроса. Это bounded budget для Python-агрегации:
|
||||||
|
сортировка и уникальный `id` делают срез воспроизводимым, а публичные ответы не
|
||||||
|
могут внезапно потребить память пропорционально всей истории. При превышении
|
||||||
|
лимита production measurement должен отдельно показать необходимость SQL/RSS
|
||||||
|
агрегации, а не расширять этот предел вслепую.
|
||||||
|
|
||||||
На сервере альфа-пилота при объёме до 100 000 уловов и до 100 000 staging-наблюдений принимаются следующие server-side цели без учёта сети и браузерного рендера:
|
На сервере альфа-пилота при объёме до 100 000 уловов и до 100 000 staging-наблюдений принимаются следующие server-side цели без учёта сети и браузерного рендера:
|
||||||
|
|
||||||
- p95 публичных списков и activity — не более 250 мс;
|
- p95 публичных списков и activity — не более 250 мс;
|
||||||
|
|||||||
Reference in new issue
Block a user