Compare commits
27
Commits
b1d6d8d122
..
main
| Author | SHA1 | Date | |
|---|---|---|---|
|
|
f476568869 | ||
|
|
53083fab1e | ||
|
|
dce413fd81 | ||
|
|
9b8559725d | ||
|
|
14ccfec5e6 | ||
|
|
d7d1a2873a | ||
|
|
ef9cf136f2 | ||
|
|
1ab2a461b5 | ||
|
|
3421472a12 | ||
|
|
54fae57f9c | ||
|
|
1da9279ddf | ||
|
|
a501b5ea9d | ||
|
|
cd862103b8 | ||
|
|
4b0973b1ab | ||
|
|
8cb0a65a5c | ||
|
|
a8321536cc | ||
|
|
a357988f93 | ||
|
|
1920475580 | ||
|
|
96c29ab9d9 | ||
|
|
274c8e7000 | ||
|
|
d4ccc93894 | ||
|
|
c46b28d1bc | ||
|
|
b0c1a05754 | ||
|
|
089b9cc11d | ||
|
|
a8288b2dd3 | ||
|
|
4a6c0aa906 | ||
|
|
89dcf5f48e |
No files matched your search
@@ -1,4 +1,6 @@
|
||||
DATABASE_URL=postgresql+psycopg://rf4:rf4_local@localhost:5432/rf4_spotter
|
||||
# Local Compose ports bind to loopback; set 0.0.0.0 only for an intentional LAN demo.
|
||||
RF4_BIND_ADDRESS=127.0.0.1
|
||||
APP_VERSION=0.1.0
|
||||
APP_REVISION=dev
|
||||
PUBLIC_API_URL=http://localhost:8000
|
||||
|
||||
@@ -14,6 +14,9 @@ PUBLIC_CACHE_SECONDS=20
|
||||
|
||||
ADMIN_TOKEN=replace-with-at-least-32-random-characters
|
||||
RATE_LIMIT_SECRET=replace-with-at-least-32-random-characters
|
||||
# Keep these two values aligned if the Docker edge network is customized.
|
||||
EDGE_NETWORK_SUBNET=172.30.0.0/24
|
||||
TRUSTED_PROXY_CIDRS=172.30.0.0/24,127.0.0.1/32,::1/128
|
||||
ADMIN_BASIC_USER=rf4admin
|
||||
# Generate with: docker run --rm caddy:2.10.2-alpine caddy hash-password --plaintext 'YOUR PASSWORD'
|
||||
ADMIN_BASIC_PASSWORD_HASH='replace-with-caddy-password-hash'
|
||||
|
||||
@@ -10,6 +10,8 @@ from sqlalchemy.orm import Session, joinedload
|
||||
from .models import CatchReport, ModerationStatus
|
||||
from .schemas import ActivityOut
|
||||
|
||||
MAX_ACTIVITY_FACTS = 10_000
|
||||
|
||||
|
||||
def activity_rows(
|
||||
session: Session,
|
||||
@@ -33,6 +35,8 @@ def activity_rows(
|
||||
CatchReport.spot_id.is_not(None),
|
||||
CatchReport.reported_at >= now - timedelta(hours=hours),
|
||||
)
|
||||
.order_by(CatchReport.reported_at.desc(), CatchReport.id.desc())
|
||||
.limit(MAX_ACTIVITY_FACTS)
|
||||
)
|
||||
if waterbody:
|
||||
query = query.where(CatchReport.waterbody.has(slug=waterbody))
|
||||
|
||||
@@ -3,18 +3,20 @@ from __future__ import annotations
|
||||
from sqlalchemy import func, or_, select
|
||||
from sqlalchemy.orm import Session
|
||||
|
||||
from .models import CatchReport, ExternalObservation, Fish, SourceType, Spot, Waterbody
|
||||
from .models import CatchReport, ExternalObservation, Fish, ModerationStatus, SourceType, Spot, Waterbody
|
||||
|
||||
|
||||
def audit_catalog(db: Session) -> dict[str, int]:
|
||||
count = lambda model: db.scalar(select(func.count()).select_from(model)) or 0
|
||||
demo_reports = db.scalar(select(func.count()).select_from(CatchReport).where(CatchReport.source_external_id.like("seed:%"))) or 0
|
||||
approved_reports = db.scalar(select(func.count()).select_from(CatchReport).where(CatchReport.moderation_status == ModerationStatus.approved, or_(CatchReport.source_external_id.is_(None), CatchReport.source_external_id.not_like("seed:%")))) or 0
|
||||
failures = {
|
||||
"invalid_weights": db.scalar(select(func.count()).select_from(CatchReport).where(or_(CatchReport.weight_g <= 0, CatchReport.weight_g > 3_000_000))) or 0,
|
||||
"invalid_coordinates": db.scalar(select(func.count()).select_from(Spot).where(or_(Spot.x < -10_000, Spot.x > 10_000, Spot.y < -10_000, Spot.y > 10_000))) or 0,
|
||||
"incomplete_official_records": db.scalar(select(func.count()).select_from(CatchReport).where(CatchReport.source_type == SourceType.official_record, or_(CatchReport.caught_at.is_(None), CatchReport.source_url.is_(None)))) or 0,
|
||||
"incomplete_published_staging": db.scalar(select(func.count()).select_from(ExternalObservation).where(ExternalObservation.status == "published", or_(ExternalObservation.fish_id.is_(None), ExternalObservation.waterbody_id.is_(None), ExternalObservation.x.is_(None), ExternalObservation.y.is_(None), ExternalObservation.weight_g.is_(None), ExternalObservation.catch_report_id.is_(None)))) or 0,
|
||||
}
|
||||
return {"fishes": count(Fish), "waterbodies": count(Waterbody), "reports": count(CatchReport), "staging": count(ExternalObservation), **failures, "failures": sum(failures.values())}
|
||||
return {"fishes": count(Fish), "waterbodies": count(Waterbody), "reports": count(CatchReport), "demo_reports": demo_reports, "approved_confirmed_reports": approved_reports, "staging": count(ExternalObservation), **failures, "failures": sum(failures.values())}
|
||||
|
||||
|
||||
def audit_waterbody_catalog(db: Session, expected_ids: set[str]) -> dict:
|
||||
|
||||
@@ -35,6 +35,15 @@ app.add_middleware(
|
||||
allow_headers=["Authorization", "Content-Type"],
|
||||
)
|
||||
|
||||
PUBLIC_CATALOG_CACHE_CONTROL = "public, max-age=60, stale-while-revalidate=60"
|
||||
|
||||
|
||||
def _is_public_catalog_path(path: str) -> bool:
|
||||
return path in {
|
||||
"/api/v1/fishes", "/api/v1/waterbodies", "/api/v1/baits",
|
||||
"/api/v1/tackle/items", "/api/v1/tackle/rigs",
|
||||
} or path.startswith(("/api/v1/tackle/items/", "/api/v1/tackle/rigs/"))
|
||||
|
||||
|
||||
@app.middleware("http")
|
||||
async def structured_request_log(request: Request, call_next):
|
||||
@@ -52,6 +61,8 @@ async def structured_request_log(request: Request, call_next):
|
||||
response.headers["Cross-Origin-Opener-Policy"] = "same-origin"
|
||||
if request.url.path.startswith("/api/v1/admin/") or request.url.path == "/api/v1/catch-reports":
|
||||
response.headers["Cache-Control"] = "no-store"
|
||||
elif request.method == "GET" and response.status_code == 200 and _is_public_catalog_path(request.url.path):
|
||||
response.headers["Cache-Control"] = PUBLIC_CATALOG_CACHE_CONTROL
|
||||
if settings.deployment_environment == "production":
|
||||
response.headers["Strict-Transport-Security"] = "max-age=31536000; includeSubDomains"
|
||||
return response
|
||||
|
||||
@@ -3,6 +3,7 @@ from __future__ import annotations
|
||||
import json
|
||||
import os
|
||||
from pathlib import Path
|
||||
from urllib.parse import urlsplit
|
||||
|
||||
|
||||
MEDIA_ROOT = Path(os.environ.get("MEDIA_ROOT", "data/media")).resolve()
|
||||
@@ -10,10 +11,43 @@ WATERBODY_MEDIA_ROLES = {"waterbody_cover", "waterbody_map", "waterbody_depth_ma
|
||||
TACKLE_MEDIA_ROLES = {"tackle_card", "tackle_detail", "rig_diagram", "tackle_screenshot"}
|
||||
KNOWN_MEDIA_ROLES = WATERBODY_MEDIA_ROLES | TACKLE_MEDIA_ROLES
|
||||
MEDIA_ROLES_BY_ENTITY = {"waterbody": WATERBODY_MEDIA_ROLES, "tackle": TACKLE_MEDIA_ROLES}
|
||||
_manifest_cache: tuple[Path, int, int, dict] | None = None
|
||||
_asset_index_cache: tuple[int, dict[str, tuple[str, str | None]]] | None = None
|
||||
|
||||
|
||||
def _read_manifest() -> dict:
|
||||
"""Read the manifest once per file revision in this API process."""
|
||||
global _manifest_cache
|
||||
path = (MEDIA_ROOT / "manifest.json").resolve()
|
||||
stat = path.stat()
|
||||
marker = (path, stat.st_mtime_ns, stat.st_size)
|
||||
if _manifest_cache and _manifest_cache[:3] == marker:
|
||||
return _manifest_cache[3]
|
||||
manifest = json.loads(path.read_text(encoding="utf-8"))
|
||||
if not isinstance(manifest, dict):
|
||||
raise ValueError("media manifest must be an object")
|
||||
_manifest_cache = (*marker, manifest)
|
||||
return manifest
|
||||
|
||||
|
||||
def _source_system(source_page: object) -> str:
|
||||
"""Map only allowlisted hostnames; never promote an unknown URL to official."""
|
||||
try:
|
||||
parsed = urlsplit(str(source_page or ""))
|
||||
except ValueError:
|
||||
return "unknown"
|
||||
hostname = (parsed.hostname or "").lower().rstrip(".")
|
||||
if hostname == "rf4db.com" or hostname.endswith(".rf4db.com"):
|
||||
return "rf4db"
|
||||
if hostname == "rf4map.ru" or hostname.endswith(".rf4map.ru"):
|
||||
return "rf4map"
|
||||
if hostname == "rf4-stat.ru" or hostname.endswith(".rf4-stat.ru"):
|
||||
return "rf4stat"
|
||||
return "unknown"
|
||||
|
||||
|
||||
def media_manifest_version() -> int:
|
||||
manifest = json.loads((MEDIA_ROOT / "manifest.json").read_text(encoding="utf-8"))
|
||||
manifest = _read_manifest()
|
||||
return max(1, int(manifest.get("version", 1)))
|
||||
|
||||
|
||||
@@ -30,7 +64,7 @@ def _public_role_allowed(entity_type: str | None, role: object) -> bool:
|
||||
|
||||
|
||||
def published_assets(entity_type: str | None = None, media_role: str | None = None) -> list[dict]:
|
||||
manifest = json.loads((MEDIA_ROOT / "manifest.json").read_text(encoding="utf-8"))
|
||||
manifest = _read_manifest()
|
||||
result = []
|
||||
for item in manifest.get("assets", []):
|
||||
if item.get("status") != "approved" or not item.get("sha256") or not item.get("local_path"):
|
||||
@@ -42,7 +76,7 @@ def published_assets(entity_type: str | None = None, media_role: str | None = No
|
||||
if not _public_role_allowed(item.get("entity_type"), item.get("media_role")):
|
||||
continue
|
||||
source_page = str(item.get("source_page") or "")
|
||||
source = "rf4db" if "rf4db.com" in source_page else "rf4map" if "rf4map.ru" in source_page else "rf4-official"
|
||||
source = _source_system(source_page)
|
||||
result.append({
|
||||
"id": item["sha256"],
|
||||
"entity_type": item.get("entity_type"),
|
||||
@@ -73,22 +107,24 @@ def published_assets(entity_type: str | None = None, media_role: str | None = No
|
||||
def published_file(digest: str) -> tuple[Path, str] | None:
|
||||
if len(digest) != 64 or any(char not in "0123456789abcdef" for char in digest):
|
||||
return None
|
||||
manifest = json.loads((MEDIA_ROOT / "manifest.json").read_text(encoding="utf-8"))
|
||||
item = next((row for row in manifest.get("assets", []) if row.get("status") == "approved" and row.get("sha256") == digest), None)
|
||||
media_type = None
|
||||
local_path = None
|
||||
if item:
|
||||
media_type = item.get("content_type")
|
||||
local_path = item.get("local_path")
|
||||
else:
|
||||
manifest = _read_manifest()
|
||||
global _asset_index_cache
|
||||
cache_key = id(manifest)
|
||||
if _asset_index_cache is None or _asset_index_cache[0] != cache_key:
|
||||
index: dict[str, tuple[str, str | None]] = {}
|
||||
for row in manifest.get("assets", []):
|
||||
if row.get("status") != "approved":
|
||||
continue
|
||||
variant = next((candidate for candidate in row.get("derivatives", []) if candidate.get("sha256") == digest), None)
|
||||
if variant:
|
||||
media_type = variant.get("content_type")
|
||||
local_path = variant.get("local_path")
|
||||
break
|
||||
if row.get("sha256") and row.get("local_path"):
|
||||
index[str(row["sha256"])] = (str(row["local_path"]), row.get("content_type"))
|
||||
for variant in row.get("derivatives", []):
|
||||
if variant.get("sha256") and variant.get("local_path"):
|
||||
index.setdefault(str(variant["sha256"]), (str(variant["local_path"]), variant.get("content_type")))
|
||||
_asset_index_cache = (cache_key, index)
|
||||
asset = _asset_index_cache[1].get(digest)
|
||||
if asset is None:
|
||||
return None
|
||||
local_path, media_type = asset
|
||||
if not local_path:
|
||||
return None
|
||||
target = (MEDIA_ROOT / local_path).resolve()
|
||||
@@ -101,7 +137,7 @@ def review_assets(
|
||||
entity_type: str | None = None, status: str | None = None, media_role: str | None = None,
|
||||
query: str | None = None,
|
||||
) -> list[dict]:
|
||||
manifest = json.loads((MEDIA_ROOT / "manifest.json").read_text(encoding="utf-8"))
|
||||
manifest = _read_manifest()
|
||||
result = []
|
||||
for item in manifest.get("assets", []):
|
||||
item_status = str(item.get("status") or "")
|
||||
@@ -117,7 +153,7 @@ def review_assets(
|
||||
if len(digest) != 64 or not item.get("local_path"):
|
||||
continue
|
||||
source_page = str(item.get("source_page") or "")
|
||||
source = "rf4db" if "rf4db.com" in source_page else "rf4map" if "rf4map.ru" in source_page else "rf4-official"
|
||||
source = _source_system(source_page)
|
||||
result.append({
|
||||
"id": digest,
|
||||
"status": item_status,
|
||||
@@ -144,7 +180,7 @@ def review_assets(
|
||||
def review_file(digest: str) -> tuple[Path, str] | None:
|
||||
if len(digest) != 64 or any(char not in "0123456789abcdef" for char in digest):
|
||||
return None
|
||||
manifest = json.loads((MEDIA_ROOT / "manifest.json").read_text(encoding="utf-8"))
|
||||
manifest = _read_manifest()
|
||||
item = next((row for row in manifest.get("assets", []) if row.get("sha256") == digest and row.get("status") in {"approved", "upgrade_queued", "upgrade_stored"}), None)
|
||||
if not item or not item.get("local_path"):
|
||||
return None
|
||||
|
||||
@@ -4,8 +4,8 @@ from dataclasses import dataclass
|
||||
from datetime import datetime, timedelta, timezone
|
||||
from typing import Callable
|
||||
|
||||
from sqlalchemy import delete, or_, select
|
||||
from sqlalchemy.orm import Session
|
||||
from sqlalchemy import delete, select
|
||||
from sqlalchemy.orm import Session, selectinload
|
||||
|
||||
from .models import CatchReport, ExternalObservation, ModerationEvent, ModerationStatus, SourceType, SubmissionAttempt
|
||||
|
||||
@@ -42,15 +42,15 @@ def apply_retention(
|
||||
counts["submission_attempts"] = len(attempts)
|
||||
|
||||
candidate_cutoff = current - timedelta(days=min(policy.unreviewed_days, policy.approved_personal_days))
|
||||
candidates = list(session.scalars(select(CatchReport).where(
|
||||
candidate_rows = list(session.scalars(select(CatchReport).options(selectinload(CatchReport.tackle_components)).where(
|
||||
CatchReport.source_type == SourceType.user,
|
||||
CatchReport.reported_at < candidate_cutoff,
|
||||
or_(
|
||||
CatchReport.player_name.is_not(None), CatchReport.source_url.is_not(None),
|
||||
CatchReport.raw_payload.is_not(None), CatchReport.screenshot_key.is_not(None),
|
||||
CatchReport.screenshot_upload_token_hash.is_not(None),
|
||||
),
|
||||
)))
|
||||
candidates = [item for item in candidate_rows if (
|
||||
item.player_name is not None or item.source_url is not None or item.raw_payload is not None
|
||||
or item.screenshot_key is not None or item.screenshot_upload_token_hash is not None
|
||||
or any(component.source_url is not None or component.raw_payload is not None for component in item.tackle_components)
|
||||
)]
|
||||
reports = [item for item in candidates if item.reported_at.replace(tzinfo=item.reported_at.tzinfo or timezone.utc) < current - timedelta(
|
||||
days=policy.approved_personal_days if item.moderation_status == ModerationStatus.approved else policy.unreviewed_days,
|
||||
)]
|
||||
@@ -96,6 +96,9 @@ def apply_retention(
|
||||
report.raw_payload = None
|
||||
report.screenshot_key = None
|
||||
report.screenshot_upload_token_hash = None
|
||||
for component in report.tackle_components:
|
||||
component.source_url = None
|
||||
component.raw_payload = None
|
||||
for observation in stale:
|
||||
session.delete(observation)
|
||||
for observation in published:
|
||||
|
||||
@@ -8,7 +8,7 @@ import httpx
|
||||
from fastapi import APIRouter, Depends, Header, HTTPException, Query, Request, Response
|
||||
from fastapi.responses import FileResponse, JSONResponse
|
||||
from sqlalchemy import case, func, or_, select
|
||||
from sqlalchemy.orm import joinedload
|
||||
from sqlalchemy.orm import joinedload, selectinload
|
||||
|
||||
from ..admin_security import verify_admin
|
||||
from ..community_review import ExternalReviewError, map_observation, publish_observation, reject_observation, suggest_aliases
|
||||
@@ -479,7 +479,7 @@ def admin_reports(db: Db, _: Annotated[str, Depends(_admin)], status: Moderation
|
||||
|
||||
@router.patch("/api/v1/admin/catch-reports/{report_id}", response_model=CatchReportCreated)
|
||||
def moderate_report(report_id: UUID, payload: ModerationUpdate, db: Db, moderator: Annotated[str, Depends(_admin)]) -> CatchReportCreated:
|
||||
report = db.scalar(select(CatchReport).where(CatchReport.id == report_id).with_for_update())
|
||||
report = db.scalar(select(CatchReport).options(selectinload(CatchReport.tackle_components)).where(CatchReport.id == report_id).with_for_update())
|
||||
if report is None or report.source_type != SourceType.user or report.deleted_at is not None:
|
||||
raise HTTPException(status_code=404, detail="catch report not found")
|
||||
if report.moderation_version != payload.expected_version:
|
||||
@@ -534,6 +534,10 @@ def delete_report(report_id: UUID, db: Db, moderator: Annotated[str, Depends(_ad
|
||||
report.source_url = None
|
||||
report.screenshot_key = None
|
||||
report.raw_payload = None
|
||||
report.screenshot_upload_token_hash = None
|
||||
for component in report.tackle_components:
|
||||
component.source_url = None
|
||||
component.raw_payload = None
|
||||
db.add(ModerationEvent(catch_report=report, created_at=report.deleted_at, previous_status=previous, new_status=ModerationStatus.rejected, moderator=moderator, reason="user report deleted and anonymized"))
|
||||
db.commit()
|
||||
public_cache.invalidate()
|
||||
|
||||
@@ -5,7 +5,7 @@ from datetime import datetime, timedelta, timezone
|
||||
from math import exp, log
|
||||
|
||||
from fastapi import APIRouter, HTTPException, Query
|
||||
from sqlalchemy import select
|
||||
from sqlalchemy import and_, or_, select
|
||||
from sqlalchemy.orm import Session, joinedload, selectinload
|
||||
|
||||
from ..dependencies import Db
|
||||
@@ -14,6 +14,7 @@ from ..schemas import TackleCombinationOut
|
||||
|
||||
router = APIRouter()
|
||||
FRESHNESS_HALF_LIFE_HOURS = 12.5
|
||||
MAX_ANALYTICS_FACTS = 10_000
|
||||
|
||||
|
||||
def _age_hours(value: datetime, now: datetime) -> float:
|
||||
@@ -29,8 +30,9 @@ def tackle_combinations(
|
||||
method: str | None = None,
|
||||
role: str | None = None,
|
||||
hours: int = Query(72, ge=24, le=168),
|
||||
min_samples: int = Query(3, ge=1, le=100),
|
||||
min_players: int = Query(2, ge=1, le=100),
|
||||
min_samples: int = Query(3, ge=3, le=100),
|
||||
min_players: int = Query(2, ge=2, le=100),
|
||||
limit: int = Query(100, ge=1, le=500),
|
||||
) -> list[TackleCombinationOut]:
|
||||
if role is not None and role not in {"lure", "bait", "rig", "rod", "reel", "line", "hook", "float", "sinker"}:
|
||||
raise HTTPException(status_code=422, detail="invalid tackle role")
|
||||
@@ -41,7 +43,10 @@ def tackle_combinations(
|
||||
).where(
|
||||
CatchReport.moderation_status == ModerationStatus.approved,
|
||||
CatchReport.deleted_at.is_(None),
|
||||
CatchReport.reported_at >= now - timedelta(hours=hours),
|
||||
or_(
|
||||
and_(CatchReport.caught_at.is_not(None), CatchReport.caught_at >= now - timedelta(hours=hours)),
|
||||
and_(CatchReport.caught_at.is_(None), CatchReport.reported_at >= now - timedelta(hours=hours)),
|
||||
),
|
||||
)
|
||||
if waterbody:
|
||||
query = query.join(Waterbody, CatchReport.waterbody_id == Waterbody.id).where(Waterbody.slug == waterbody)
|
||||
@@ -49,6 +54,7 @@ def tackle_combinations(
|
||||
query = query.join(Fish, CatchReport.fish_id == Fish.id).where(Fish.slug == fish)
|
||||
if method:
|
||||
query = query.where(CatchReport.fishing_method == method)
|
||||
query = query.order_by(CatchReport.caught_at.desc(), CatchReport.reported_at.desc(), CatchReport.id.desc()).limit(MAX_ANALYTICS_FACTS)
|
||||
|
||||
groups: dict[tuple[str, str], list[CatchReport]] = defaultdict(list)
|
||||
for report in db.scalars(query):
|
||||
@@ -61,26 +67,24 @@ def tackle_combinations(
|
||||
result = []
|
||||
for (component_role, value), reports in groups.items():
|
||||
unique_reports = {report.id: report for report in reports}
|
||||
item_ids = {
|
||||
component.tackle_item_id
|
||||
matching_components = [
|
||||
component
|
||||
for report in unique_reports.values()
|
||||
for component in report.tackle_components
|
||||
if component.role == component_role and component.raw_value.strip() == value and component.tackle_item_id is not None
|
||||
}
|
||||
rig_ids = {
|
||||
component.rig_id
|
||||
for report in unique_reports.values()
|
||||
for component in report.tackle_components
|
||||
if component.role == component_role and component.raw_value.strip() == value and component.rig_id is not None
|
||||
}
|
||||
canonical_item_id = next(iter(item_ids)) if len(item_ids) == 1 and not rig_ids else None
|
||||
canonical_rig_id = next(iter(rig_ids)) if len(rig_ids) == 1 and not item_ids else None
|
||||
if component.role == component_role and component.raw_value.strip() == value
|
||||
]
|
||||
item_ids = {component.tackle_item_id for component in matching_components if component.tackle_item_id is not None}
|
||||
rig_ids = {component.rig_id for component in matching_components if component.rig_id is not None}
|
||||
has_unresolved = any(component.tackle_item_id is None and component.rig_id is None for component in matching_components)
|
||||
canonical_item_id = next(iter(item_ids)) if len(item_ids) == 1 and not rig_ids and not has_unresolved else None
|
||||
canonical_rig_id = next(iter(rig_ids)) if len(rig_ids) == 1 and not item_ids and not has_unresolved else None
|
||||
players = {report.player_name.strip().casefold() for report in unique_reports.values() if report.player_name and report.player_name.strip()}
|
||||
catches = len(unique_reports)
|
||||
unique_players = len(players)
|
||||
last_seen = max(report.reported_at for report in unique_reports.values())
|
||||
observed_times = [report.caught_at or report.reported_at for report in unique_reports.values()]
|
||||
last_seen = max(observed_times)
|
||||
freshness_score = round(sum(
|
||||
exp(-_age_hours(report.reported_at, now) * log(2) / FRESHNESS_HALF_LIFE_HOURS)
|
||||
exp(-_age_hours(report.caught_at or report.reported_at, now) * log(2) / FRESHNESS_HALF_LIFE_HOURS)
|
||||
for report in unique_reports.values()
|
||||
) / catches * 100)
|
||||
enough = catches >= min_samples and unique_players >= min_players
|
||||
@@ -95,4 +99,6 @@ def tackle_combinations(
|
||||
f"Данных мало: нужно минимум {min_samples} наблюдения и {min_players} независимых игрока."
|
||||
),
|
||||
))
|
||||
return sorted(result, key=lambda item: (item.status != "recommendation", -item.freshness_score, -item.catches, -item.unique_players, item.role, item.value))
|
||||
ranked = sorted(result, key=lambda item: (item.status != "recommendation", -item.freshness_score, -item.catches, -item.unique_players, item.role, item.value))
|
||||
effective_limit = limit if isinstance(limit, int) else 100
|
||||
return ranked[:effective_limit]
|
||||
@@ -1,7 +1,7 @@
|
||||
from fastapi import APIRouter, HTTPException, Query
|
||||
from fastapi import APIRouter, HTTPException, Query, Response
|
||||
from fastapi.responses import FileResponse
|
||||
|
||||
from ..media_catalog import KNOWN_MEDIA_ROLES, published_assets, published_file
|
||||
from ..media_catalog import KNOWN_MEDIA_ROLES, media_manifest_version, published_assets, published_file
|
||||
|
||||
|
||||
router = APIRouter()
|
||||
@@ -9,6 +9,7 @@ router = APIRouter()
|
||||
|
||||
@router.get("/api/v1/media/catalog")
|
||||
def media_catalog(
|
||||
response: Response,
|
||||
entity_type: str | None = Query(None, pattern="^(fish|waterbody|tackle|reference)$"),
|
||||
media_role: str | None = Query(None, pattern="^(waterbody_cover|waterbody_map|waterbody_depth_map|waterbody_screenshot|tackle_card|tackle_detail|rig_diagram|tackle_screenshot)$"),
|
||||
) -> list[dict]:
|
||||
@@ -16,6 +17,8 @@ def media_catalog(
|
||||
raise HTTPException(status_code=422, detail="media_role requires waterbody or tackle entity_type")
|
||||
if media_role and media_role not in KNOWN_MEDIA_ROLES:
|
||||
raise HTTPException(status_code=422, detail="unknown media role")
|
||||
response.headers["Cache-Control"] = "public, max-age=60, stale-while-revalidate=60"
|
||||
response.headers["X-Media-Manifest-Version"] = str(media_manifest_version())
|
||||
return published_assets(entity_type, media_role)
|
||||
|
||||
|
||||
|
||||
@@ -19,7 +19,7 @@ from ..dependencies import Db
|
||||
from ..importer import normalize
|
||||
from ..models import Bait, BaitKind, CatchReport, Fish, ModerationStatus, SourceType, Spot, SubmissionAttempt, Waterbody
|
||||
from ..schemas import CatchReportAccepted, CatchReportCreate
|
||||
from ..storage import ScreenshotError, upload_screenshot
|
||||
from ..storage import ScreenshotError, delete_screenshot, upload_screenshot
|
||||
from ..submission_security import check_rate_limit
|
||||
from ..tackle_components import replace_tackle_components
|
||||
from rf4_research.gear_components import from_catch_fields
|
||||
@@ -77,21 +77,31 @@ def create_catch_report(payload: CatchReportCreate, request: Request, db: Db, id
|
||||
|
||||
@router.post("/api/v1/catch-reports/{report_id}/screenshot", status_code=204, response_class=Response)
|
||||
def add_screenshot(report_id: UUID, db: Db, screenshot: UploadFile = File(), upload_token: Annotated[str | None, Header(alias="X-Upload-Token")] = None) -> Response:
|
||||
report = db.get(CatchReport, report_id)
|
||||
report_query = select(CatchReport).where(CatchReport.id == report_id)
|
||||
if db.bind is not None and db.bind.dialect.name == "postgresql":
|
||||
report_query = report_query.with_for_update()
|
||||
report = db.scalar(report_query)
|
||||
if report is None or report.source_type != SourceType.user or report.moderation_status != ModerationStatus.pending:
|
||||
raise HTTPException(status_code=404, detail="pending catch report not found")
|
||||
supplied_hash = hashlib.sha256((upload_token or "").encode()).hexdigest()
|
||||
if not report.screenshot_upload_token_hash or not hmac.compare_digest(report.screenshot_upload_token_hash, supplied_hash):
|
||||
raise HTTPException(status_code=401, detail="invalid screenshot upload token")
|
||||
if report.screenshot_key:
|
||||
raise HTTPException(status_code=409, detail="screenshot already uploaded")
|
||||
return Response(status_code=204)
|
||||
raw = screenshot.file.read(settings.screenshot_max_bytes + 1)
|
||||
try:
|
||||
report.screenshot_key = upload_screenshot(raw, filename=screenshot.filename, content_type=screenshot.content_type)
|
||||
except ScreenshotError as exc:
|
||||
raise HTTPException(status_code=422, detail=str(exc)) from exc
|
||||
report.screenshot_upload_token_hash = None
|
||||
try:
|
||||
db.commit()
|
||||
except Exception as exc:
|
||||
db.rollback()
|
||||
try:
|
||||
delete_screenshot(report.screenshot_key)
|
||||
except Exception:
|
||||
logger.exception("failed to remove orphaned screenshot", extra={"screenshot_key": report.screenshot_key})
|
||||
raise HTTPException(status_code=503, detail="screenshot could not be saved; please retry") from exc
|
||||
return Response(status_code=204)
|
||||
|
||||
|
||||
|
||||
@@ -47,8 +47,9 @@ def seed() -> None:
|
||||
db.flush()
|
||||
return item
|
||||
|
||||
spot1 = spot(vyunok, "spot1", 110, 103, "Кромка травы у северного берега")
|
||||
spot2 = spot(kuori, "spot2", 85, 92, "Свальчик в глубину")
|
||||
spot_description = settings.seed_demo_data
|
||||
spot1 = spot(vyunok, "spot1", 110, 103, "Кромка травы у северного берега" if spot_description else None)
|
||||
spot2 = spot(kuori, "spot2", 85, 92, "Свальчик в глубину" if spot_description else None)
|
||||
if not settings.seed_demo_data:
|
||||
return
|
||||
now = datetime.now(timezone.utc)
|
||||
|
||||
@@ -74,6 +74,7 @@ def test_explicit_source_conflict_is_exposed_on_activity_and_spot() -> None:
|
||||
def test_waterbody_catalog_exposes_nullable_source_provenance() -> None:
|
||||
response = client.get("/api/v1/waterbodies")
|
||||
assert response.status_code == 200
|
||||
assert response.headers["cache-control"] == "public, max-age=60, stale-while-revalidate=60"
|
||||
item = next(row for row in response.json() if row["slug"] == "test-lake")
|
||||
assert item["source_system"] is None
|
||||
assert item["source_external_id"] is None
|
||||
@@ -528,14 +529,21 @@ def test_admin_can_start_and_list_official_import(monkeypatch) -> None:
|
||||
|
||||
def test_pending_report_accepts_one_validated_screenshot(monkeypatch) -> None:
|
||||
created = client.post("/api/v1/catch-reports", json={"fish_slug": "pike", "waterbody_slug": "test-lake", "x": 91, "y": 92, "weight_g": 4200}).json()
|
||||
monkeypatch.setattr("app.routers.submissions.upload_screenshot", lambda raw, **metadata: "reports/test.jpg" if raw == b"image-bytes" and metadata == {"filename": "catch.jpg", "content_type": "image/jpeg"} else "unexpected")
|
||||
uploaded: list[bytes] = []
|
||||
def fake_upload(raw, **metadata):
|
||||
if raw == b"image-bytes" and metadata == {"filename": "catch.jpg", "content_type": "image/jpeg"}:
|
||||
uploaded.append(raw)
|
||||
return "reports/test.jpg"
|
||||
return "unexpected"
|
||||
monkeypatch.setattr("app.routers.submissions.upload_screenshot", fake_upload)
|
||||
upload_url = f"/api/v1/catch-reports/{created['id']}/screenshot"
|
||||
assert client.post(upload_url, files={"screenshot": ("catch.jpg", b"image-bytes", "image/jpeg")}).status_code == 401
|
||||
assert client.post(upload_url, headers={"X-Upload-Token": "wrong"}, files={"screenshot": ("catch.jpg", b"image-bytes", "image/jpeg")}).status_code == 401
|
||||
response = client.post(upload_url, headers={"X-Upload-Token": created["screenshot_upload_token"]}, files={"screenshot": ("catch.jpg", b"image-bytes", "image/jpeg")})
|
||||
assert response.status_code == 204
|
||||
reused = client.post(upload_url, headers={"X-Upload-Token": created["screenshot_upload_token"]}, files={"screenshot": ("catch.jpg", b"image-bytes", "image/jpeg")})
|
||||
assert reused.status_code == 401
|
||||
assert reused.status_code == 204
|
||||
assert uploaded == [b"image-bytes"]
|
||||
|
||||
|
||||
def test_idempotency_replay_survives_completed_screenshot(monkeypatch) -> None:
|
||||
|
||||
@@ -18,6 +18,8 @@ def test_catalog_audit_checks_the_whole_catalog() -> None:
|
||||
db.add(CatchReport(fish=fish, waterbody=water, spot=spot, weight_g=1000, reported_at=datetime.now(timezone.utc), source_type=SourceType.user, source_confidence=60, moderation_status=ModerationStatus.approved))
|
||||
db.commit()
|
||||
assert audit_catalog(db)["failures"] == 0
|
||||
assert audit_catalog(db)["approved_confirmed_reports"] == 1
|
||||
assert audit_catalog(db)["demo_reports"] == 0
|
||||
spot.x = 10_001
|
||||
db.commit()
|
||||
result = audit_catalog(db)
|
||||
|
||||
@@ -18,3 +18,33 @@ def test_public_media_catalog_rejects_unknown_and_cross_entity_roles(tmp_path, m
|
||||
rows = media_catalog.published_assets()
|
||||
|
||||
assert [row["id"] for row in rows] == ["d" * 64, "a" * 64]
|
||||
|
||||
|
||||
def test_media_catalog_does_not_infer_official_source_from_url_substrings(tmp_path, monkeypatch) -> None:
|
||||
manifest = {"assets": [
|
||||
{"status": "approved", "sha256": "e" * 64, "local_path": "asset.webp", "entity_type": "fish", "entity_key": "pike", "source_page": "https://rf4db.com.attacker.test/pike"},
|
||||
{"status": "approved", "sha256": "f" * 64, "local_path": "asset2.webp", "entity_type": "fish", "entity_key": "pike", "source_page": "https://rf4db.com/ru/fish/pike"},
|
||||
]}
|
||||
(tmp_path / "manifest.json").write_text(json.dumps(manifest), encoding="utf-8")
|
||||
monkeypatch.setattr(media_catalog, "MEDIA_ROOT", tmp_path)
|
||||
|
||||
rows = {row["id"]: row for row in media_catalog.published_assets()}
|
||||
|
||||
assert rows["e" * 64]["source_system"] == "unknown"
|
||||
assert rows["f" * 64]["source_system"] == "rf4db"
|
||||
|
||||
|
||||
def test_media_manifest_cache_invalidates_after_revision(tmp_path, monkeypatch) -> None:
|
||||
manifest_path = tmp_path / "manifest.json"
|
||||
manifest_path.write_text(json.dumps({"version": 1, "assets": [
|
||||
{"status": "approved", "sha256": "a" * 64, "local_path": "one.webp", "entity_type": "fish", "entity_key": "pike"},
|
||||
]}), encoding="utf-8")
|
||||
monkeypatch.setattr(media_catalog, "MEDIA_ROOT", tmp_path)
|
||||
assert [row["id"] for row in media_catalog.published_assets()] == ["a" * 64]
|
||||
|
||||
manifest_path.write_text(json.dumps({"version": 2, "assets": [
|
||||
{"status": "approved", "sha256": "b" * 64, "local_path": "two.webp", "entity_type": "fish", "entity_key": "pike"},
|
||||
]}), encoding="utf-8")
|
||||
|
||||
assert media_catalog.media_manifest_version() == 2
|
||||
assert [row["id"] for row in media_catalog.published_assets()] == ["b" * 64]
|
||||
@@ -25,3 +25,4 @@ def test_seed_repairs_partial_database_and_is_idempotent(monkeypatch) -> None:
|
||||
assert db.scalar(select(func.count()).select_from(Waterbody)) == 2
|
||||
assert db.scalar(select(func.count()).select_from(Spot)) == 2
|
||||
assert db.scalar(select(func.count()).select_from(CatchReport)) == 0
|
||||
assert all(spot.description is None for spot in db.scalars(select(Spot)))
|
||||
@@ -2,27 +2,47 @@
|
||||
import { spotPath, type Activity } from "../lib/api";
|
||||
|
||||
const { items } = Astro.props as { items: Activity[] };
|
||||
const xValues = items.map((item) => item.x);
|
||||
const yValues = items.map((item) => item.y);
|
||||
const minX = Math.min(...xValues, 0);
|
||||
const maxX = Math.max(...xValues, 1);
|
||||
const minY = Math.min(...yValues, 0);
|
||||
const maxY = Math.max(...yValues, 1);
|
||||
const xRange = Math.max(1, maxX - minX);
|
||||
const yRange = Math.max(1, maxY - minY);
|
||||
const column = (value: number) => Math.min(20, Math.max(1, Math.round(((value - minX) / xRange) * 18) + 1));
|
||||
const row = (value: number) => Math.min(20, Math.max(1, Math.round((1 - (value - minY) / yRange) * 18) + 1));
|
||||
const groups = [...items.reduce((result, item) => {
|
||||
const group = result.get(item.waterbody_slug) ?? [];
|
||||
group.push(item);
|
||||
result.set(item.waterbody_slug, group);
|
||||
return result;
|
||||
}, new Map<string, Activity[]>()).values()];
|
||||
const plotPoints = (group: Activity[]) => {
|
||||
const minX = Math.min(...group.map(item => item.x), 0);
|
||||
const maxX = Math.max(...group.map(item => item.x), 1);
|
||||
const minY = Math.min(...group.map(item => item.y), 0);
|
||||
const maxY = Math.max(...group.map(item => item.y), 1);
|
||||
const xRange = Math.max(1, maxX - minX);
|
||||
const yRange = Math.max(1, maxY - minY);
|
||||
const occupied = new Set<string>();
|
||||
return group.map(item => {
|
||||
const targetColumn = Math.min(19, Math.max(2, Math.round(((item.x - minX) / xRange) * 16) + 2));
|
||||
const targetRow = Math.min(19, Math.max(2, Math.round((1 - (item.y - minY) / yRange) * 16) + 2));
|
||||
let column = targetColumn;
|
||||
let row = targetRow;
|
||||
for (let distance = 0; occupied.has(`${column}:${row}`) && distance < 20; distance += 1) {
|
||||
column = ((targetColumn - 2 + distance + 1) % 18) + 2;
|
||||
row = ((targetRow - 2 + Math.floor((distance + 1) / 18)) % 18) + 2;
|
||||
}
|
||||
occupied.add(`${column}:${row}`);
|
||||
return { item, column, row };
|
||||
});
|
||||
};
|
||||
---
|
||||
<section class="activity-map" aria-label="Схема координат горячих точек">
|
||||
<header class="activity-map__header">
|
||||
<div><span class="overline">Режим схемы</span><h3>Горячие точки на координатной сетке</h3></div>
|
||||
<p>Показаны подтверждённые координаты текущей выборки. Это схема `x:y`, а не географическая карта водоёма.</p>
|
||||
<div><span class="overline">Режим схемы</span><h3>Горячие точки по водоёмам</h3></div>
|
||||
<p>Для каждого водоёма своя координатная сетка `x:y`. Совпадающие точки разнесены, чтобы каждая оставалась доступной.</p>
|
||||
</header>
|
||||
<div class="activity-map__plot" role="group" aria-label={`Координатная схема, точек: ${items.length}`}>
|
||||
{groups.map(group => <section class="activity-map__group" aria-labelledby={`activity-map-${group[0].waterbody_slug}`}>
|
||||
<h4 id={`activity-map-${group[0].waterbody_slug}`}>{group[0].waterbody} <small>{group.length} {group.length === 1 ? "точка" : "точки"}</small></h4>
|
||||
<div class="activity-map__plot" role="group" aria-label={`Координатная схема водоёма ${group[0].waterbody}, точек: ${group.length}`}>
|
||||
<span class="activity-map__axis activity-map__axis--x" aria-hidden="true">x →</span>
|
||||
<span class="activity-map__axis activity-map__axis--y" aria-hidden="true">y ↑</span>
|
||||
{items.map((item) => <a class:list={["activity-map__point", `activity-map__point--col-${column(item.x)}`, `activity-map__point--row-${row(item.y)}`]} href={spotPath(item)} aria-label={`${item.waterbody}, ${item.x}:${item.y}, ${item.fish}`}><span>{item.x}:{item.y}</span><strong>{item.fish}</strong></a>)}
|
||||
{plotPoints(group).map(({ item, column, row }) => <a class:list={["activity-map__point", `activity-map__point--col-${column}`, `activity-map__point--row-${row}`]} href={spotPath(item)} aria-label={`${item.waterbody}, ${item.x}:${item.y}, ${item.fish}`} title={`${item.waterbody} · ${item.x}:${item.y} · ${item.fish}`}><span>{item.x}:{item.y}</span><strong>{item.fish}</strong></a>)}
|
||||
</div>
|
||||
</section>)}
|
||||
</section>
|
||||
|
||||
<style>
|
||||
@@ -30,6 +50,9 @@ const row = (value: number) => Math.min(20, Math.max(1, Math.round((1 - (value -
|
||||
.activity-map__header { display: flex; justify-content: space-between; gap: 22px; align-items: end; }
|
||||
.activity-map__header h3 { margin: 6px 0 0; font: 400 27px Georgia, serif; letter-spacing: -.03em; }
|
||||
.activity-map__header p { max-width: 330px; margin: 0; color: var(--text-muted); font-size: 12px; line-height: 1.5; }
|
||||
.activity-map__group { display: grid; gap: 10px; }
|
||||
.activity-map__group h4 { margin: 0; font: 400 21px Georgia, serif; }
|
||||
.activity-map__group h4 small { margin-left: 8px; color: var(--text-muted); font: 700 10px Inter, sans-serif; text-transform: uppercase; letter-spacing: .08em; }
|
||||
.activity-map__plot { position: relative; display: grid; grid-template-columns: repeat(20, minmax(0, 1fr)); grid-template-rows: repeat(20, minmax(0, 1fr)); min-height: 470px; overflow: hidden; border: 1px solid var(--border); border-radius: 20px; background: linear-gradient(90deg, color-mix(in srgb, var(--accent-muted) 8%, transparent) 1px, transparent 1px), linear-gradient(color-mix(in srgb, var(--accent-muted) 8%, transparent) 1px, transparent 1px), var(--surface-soft); background-size: 10% 10%; }
|
||||
.activity-map__plot::after { content: ""; position: absolute; inset: 8%; border: 1px dashed color-mix(in srgb, var(--accent-muted) 40%, transparent); border-radius: 12px; pointer-events: none; }
|
||||
.activity-map__axis { position: absolute; z-index: 1; color: var(--text-subtle); font-size: 10px; font-weight: 750; letter-spacing: .08em; text-transform: uppercase; }
|
||||
@@ -39,7 +62,7 @@ const row = (value: number) => Math.min(20, Math.max(1, Math.round((1 - (value -
|
||||
.activity-map__point::before { content: ""; position: absolute; left: 50%; bottom: -6px; width: 10px; height: 10px; border-right: 1px solid color-mix(in srgb, var(--accent-muted) 45%, var(--border)); border-bottom: 1px solid color-mix(in srgb, var(--accent-muted) 45%, var(--border)); background: var(--surface); transform: translateX(-50%) rotate(45deg); }
|
||||
.activity-map__point:hover, .activity-map__point:focus-visible { border-color: var(--focus); transform: scale(1.03); }
|
||||
.activity-map__point span { color: var(--text-muted); font-size: 10px; font-weight: 750; }
|
||||
.activity-map__point strong { max-width: 130px; overflow: hidden; font-size: 12px; text-overflow: ellipsis; white-space: nowrap; }
|
||||
.activity-map__point strong { max-width: 180px; overflow-wrap: anywhere; font-size: 12px; line-height: 1.2; }
|
||||
:global(.activity-map__point--col-1) { grid-column: 1; } :global(.activity-map__point--col-2) { grid-column: 2; } :global(.activity-map__point--col-3) { grid-column: 3; } :global(.activity-map__point--col-4) { grid-column: 4; } :global(.activity-map__point--col-5) { grid-column: 5; } :global(.activity-map__point--col-6) { grid-column: 6; } :global(.activity-map__point--col-7) { grid-column: 7; } :global(.activity-map__point--col-8) { grid-column: 8; } :global(.activity-map__point--col-9) { grid-column: 9; } :global(.activity-map__point--col-10) { grid-column: 10; } :global(.activity-map__point--col-11) { grid-column: 11; } :global(.activity-map__point--col-12) { grid-column: 12; } :global(.activity-map__point--col-13) { grid-column: 13; } :global(.activity-map__point--col-14) { grid-column: 14; } :global(.activity-map__point--col-15) { grid-column: 15; } :global(.activity-map__point--col-16) { grid-column: 16; } :global(.activity-map__point--col-17) { grid-column: 17; } :global(.activity-map__point--col-18) { grid-column: 18; } :global(.activity-map__point--col-19) { grid-column: 19; } :global(.activity-map__point--col-20) { grid-column: 20; }
|
||||
:global(.activity-map__point--row-1) { grid-row: 1; } :global(.activity-map__point--row-2) { grid-row: 2; } :global(.activity-map__point--row-3) { grid-row: 3; } :global(.activity-map__point--row-4) { grid-row: 4; } :global(.activity-map__point--row-5) { grid-row: 5; } :global(.activity-map__point--row-6) { grid-row: 6; } :global(.activity-map__point--row-7) { grid-row: 7; } :global(.activity-map__point--row-8) { grid-row: 8; } :global(.activity-map__point--row-9) { grid-row: 9; } :global(.activity-map__point--row-10) { grid-row: 10; } :global(.activity-map__point--row-11) { grid-row: 11; } :global(.activity-map__point--row-12) { grid-row: 12; } :global(.activity-map__point--row-13) { grid-row: 13; } :global(.activity-map__point--row-14) { grid-row: 14; } :global(.activity-map__point--row-15) { grid-row: 15; } :global(.activity-map__point--row-16) { grid-row: 16; } :global(.activity-map__point--row-17) { grid-row: 17; } :global(.activity-map__point--row-18) { grid-row: 18; } :global(.activity-map__point--row-19) { grid-row: 19; } :global(.activity-map__point--row-20) { grid-row: 20; }
|
||||
@media (max-width: 720px) { .activity-map__header { display: grid; gap: 8px; align-items: start; } .activity-map__plot { min-height: 390px; } .activity-map__point { min-width: 62px; padding: 7px 8px; } .activity-map__point strong { max-width: 90px; } }
|
||||
|
||||
@@ -4,6 +4,7 @@ import type { MediaAsset } from "../lib/api";
|
||||
import { mediaRoleLabel } from "../lib/media";
|
||||
const { asset, compact = false, sourceLink = false } = Astro.props as { asset: MediaAsset; compact?: boolean; sourceLink?: boolean };
|
||||
const isLowResolution = Math.min(asset.width, asset.height) < 256;
|
||||
const hasCardVariant = (asset.variants ?? []).some(item => item.role === "card" && Math.min(item.width, item.height) >= 256);
|
||||
---
|
||||
<figure class:list={["entity-media", { "entity-media--compact": compact }]}>
|
||||
<span class="entity-media__frame"><picture>
|
||||
@@ -13,5 +14,5 @@ const isLowResolution = Math.min(asset.width, asset.height) < 256;
|
||||
})}
|
||||
<img src={asset.image_url} alt={asset.label ?? "Иллюстрация RF4"} width={asset.width} height={asset.height} loading="lazy" decoding="async" />
|
||||
</picture></span>
|
||||
<figcaption><SourceBadge source={asset.source_system} href={sourceLink ? asset.source_url : undefined} /><span>{asset.label ?? "Справочный материал"}</span>{asset.media_role && <small data-media-role={asset.media_role}>{mediaRoleLabel(asset.media_role)}</small>}{isLowResolution && <small class="entity-media__quality" title="Источник не содержит более крупной проверенной версии">Низкое разрешение · {asset.width}×{asset.height}</small>}</figcaption>
|
||||
<figcaption><SourceBadge source={asset.source_system} href={sourceLink ? asset.source_url : undefined} /><span>{asset.label ?? "Справочный материал"}</span>{asset.media_role && <small data-media-role={asset.media_role}>{mediaRoleLabel(asset.media_role)}</small>}{isLowResolution && <small class="entity-media__quality" title={hasCardVariant ? "Доступна более крупная проверенная версия" : "В опубликованном наборе нет более крупной проверенной версии"}>{hasCardVariant ? "Миниатюра · доступна версия крупнее" : "Низкое разрешение · проверенная альтернатива не найдена"} · {asset.width}×{asset.height}</small>}</figcaption>
|
||||
</figure>
|
||||
@@ -2,9 +2,9 @@
|
||||
import FishSilhouette from "./FishSilhouette.astro";
|
||||
import WaterbodyMark from "./WaterbodyMark.astro";
|
||||
import AtlasPairMark from "./AtlasPairMark.astro";
|
||||
const { eyebrow, title, description, variant, count, identity = title, secondaryIdentity = "waterbody" } = Astro.props as { eyebrow: string; title: string; description?: string; variant?: "water" | "fish" | "pair"; count?: number; identity?: string; secondaryIdentity?: string };
|
||||
const { eyebrow, title, description, variant, count, countLabel, identity = title, secondaryIdentity = "waterbody" } = Astro.props as { eyebrow: string; title: string; description?: string; variant?: "water" | "fish" | "pair"; count?: number; countLabel?: string; identity?: string; secondaryIdentity?: string };
|
||||
---
|
||||
<section class:list={["catalog-hero content-grid", { "catalog-hero--illustrated": variant }]}>
|
||||
<div class="catalog-hero__copy"><span class="overline">{eyebrow}</span><h1>{title}</h1>{description && <p>{description}</p>}</div>
|
||||
{variant && <div class:list={["catalog-hero__seal", { "catalog-hero__seal--pair": variant === "pair" }]} aria-hidden="true"><span>{variant === "water" ? <WaterbodyMark identity={identity} size={94} /> : variant === "pair" ? <AtlasPairMark waterbody={secondaryIdentity} fish={identity} /> : <FishSilhouette name={identity} size={92} />}</span>{typeof count === "number" && <><strong>{String(count).padStart(2,"0")}</strong><small>{variant === "water" ? "водоёмов" : "видов рыб"}</small></>}</div>}
|
||||
{variant && <div class:list={["catalog-hero__seal", { "catalog-hero__seal--pair": variant === "pair" }]}><span aria-hidden="true">{variant === "water" ? <WaterbodyMark identity={identity} size={94} /> : variant === "pair" ? <AtlasPairMark waterbody={secondaryIdentity} fish={identity} /> : <FishSilhouette name={identity} size={92} />}</span>{typeof count === "number" && <><strong>{String(count).padStart(2,"0")}</strong><small>{countLabel ?? (variant === "water" ? "водоёмов" : "видов рыб")}</small></>}</div>}
|
||||
</section>
|
||||
@@ -7,21 +7,22 @@ interface Props {
|
||||
total: number;
|
||||
limit: number;
|
||||
offset: number;
|
||||
offsetParam?: string;
|
||||
anchor?: string;
|
||||
itemLabel?: string;
|
||||
}
|
||||
|
||||
const { path, params, total, limit, offset, anchor = "", itemLabel = "записей" } = Astro.props;
|
||||
const { path, params, total, limit, offset, offsetParam = "offset", anchor = "", itemLabel = "записей" } = Astro.props;
|
||||
const state = pageWindow(total, limit, offset);
|
||||
---
|
||||
{total > limit && <nav class="pagination" aria-label="Пагинация">
|
||||
<span>{state.start}–{state.end} из {total} {itemLabel} · страница {state.page} из {state.pages}</span>
|
||||
<div>
|
||||
{state.previousOffset !== null
|
||||
? <a data-action="secondary" rel="prev" href={pageHref(path, params, state.previousOffset, anchor)}>← Предыдущая</a>
|
||||
? <a data-action="secondary" rel="prev" href={pageHref(path, params, state.previousOffset, anchor, offsetParam)}>← Предыдущая</a>
|
||||
: <span class="pagination__disabled" aria-disabled="true">← Предыдущая</span>}
|
||||
{state.nextOffset !== null
|
||||
? <a data-action="secondary" rel="next" href={pageHref(path, params, state.nextOffset, anchor)}>Следующая →</a>
|
||||
? <a data-action="secondary" rel="next" href={pageHref(path, params, state.nextOffset, anchor, offsetParam)}>Следующая →</a>
|
||||
: <span class="pagination__disabled" aria-disabled="true">Следующая →</span>}
|
||||
</div>
|
||||
</nav>}
|
||||
@@ -1,8 +1,10 @@
|
||||
---
|
||||
const { title, description, actionHref, actionLabel, tone = "empty", compact = false, contained = true } = Astro.props as { title: string; description?: string; actionHref?: string; actionLabel?: string; tone?: "empty" | "error" | "unavailable"; compact?: boolean; contained?: boolean };
|
||||
const retryHref = actionHref ?? (tone === "unavailable" ? `${Astro.url.pathname}${Astro.url.search}` : tone === "error" ? Astro.url.pathname : undefined);
|
||||
const retryLabel = actionLabel ?? (tone === "unavailable" ? "Повторить загрузку" : tone === "error" ? "Вернуться к разделу" : undefined);
|
||||
---
|
||||
<div class:list={["state", { "content-grid": contained, "compact-state": compact, "error-state": tone === "error", "unavailable-state": tone === "unavailable" }]} role={tone === "empty" ? "status" : "alert"}>
|
||||
<h2>{title}</h2>
|
||||
{description && <p>{description}</p>}
|
||||
{actionHref && actionLabel && <a data-action="secondary" href={actionHref}>{actionLabel}</a>}
|
||||
{retryHref && retryLabel && <a data-action="secondary" href={retryHref}>{retryLabel}</a>}
|
||||
</div>
|
||||
@@ -22,10 +22,10 @@ export const pageWindow = (total: number, limit: number, offset: number): PageWi
|
||||
};
|
||||
};
|
||||
|
||||
export const pageHref = (path: string, search: URLSearchParams, offset: number, anchor = "") => {
|
||||
export const pageHref = (path: string, search: URLSearchParams, offset: number, anchor = "", offsetParam = "offset") => {
|
||||
const params = new URLSearchParams(search);
|
||||
if (offset > 0) params.set("offset", String(offset));
|
||||
else params.delete("offset");
|
||||
if (offset > 0) params.set(offsetParam, String(offset));
|
||||
else params.delete(offsetParam);
|
||||
const query = params.toString();
|
||||
return `${path}${query ? `?${query}` : ""}${anchor}`;
|
||||
};
|
||||
@@ -12,12 +12,14 @@ export const POST: APIRoute = async ({ request, redirect, cookies }) => {
|
||||
try {
|
||||
const upload = new FormData(); upload.set("screenshot", screenshot);
|
||||
const response = await fetch(`${base}/api/v1/catch-reports/${reportId}/screenshot`, { method: "POST", headers:{"X-Upload-Token":uploadToken}, body: upload, signal: AbortSignal.timeout(60_000) });
|
||||
if (response.ok) cookies.delete(cookieName, {path:"/"});
|
||||
if (response.ok) {
|
||||
cookies.delete(cookieName, {path:"/"});
|
||||
cookies.delete("rf4-idempotency-key", {path:"/"});
|
||||
}
|
||||
return redirect(response.ok ? "/report?state=screenshot_sent" : `/report?state=screenshot_error&report_id=${encodeURIComponent(reportId)}`, 303);
|
||||
} catch (err) {
|
||||
const isTimeout = err instanceof DOMException && err.name === "TimeoutError" ||
|
||||
err instanceof TypeError && err.message.toLowerCase().includes("fetch") ||
|
||||
err instanceof Error && err.message.toLowerCase().includes("abort");
|
||||
return redirect(isTimeout ? `/report?state=timeout&report_id=${encodeURIComponent(reportId)}` : `/report?state=screenshot_error&report_id=${encodeURIComponent(reportId)}`, 303);
|
||||
} catch {
|
||||
// The report already exists and the upload can have reached the API before
|
||||
// the timeout. Keep the recovery form visible; the API makes a retry safe.
|
||||
return redirect(`/report?state=screenshot_error&report_id=${encodeURIComponent(reportId)}`, 303);
|
||||
}
|
||||
};
|
||||
@@ -22,6 +22,7 @@ export const POST: APIRoute = async ({ request, redirect, cookies }) => {
|
||||
const response = await fetch(`${base}/api/v1/catch-reports`, { method: "POST", headers: { "content-type": "application/json", "Idempotency-Key": idempotencyKey, "X-Forwarded-For": request.headers.get("x-forwarded-for") || request.headers.get("x-real-ip") || "unknown" }, body: JSON.stringify(payload), signal: AbortSignal.timeout(30_000) });
|
||||
if (!response.ok) {
|
||||
if (response.status === 429) return redirect("/report?state=rate_limited", 303);
|
||||
if (response.status === 409) { cookies.delete("rf4-idempotency-key", { path: "/" }); return redirect("/report?state=conflict", 303); }
|
||||
if (response.status >= 500) return redirect("/report?state=server_error", 303);
|
||||
return redirect("/report?state=create_error", 303);
|
||||
}
|
||||
|
||||
@@ -26,7 +26,7 @@ if (unavailable) {
|
||||
const labels: Record<string,string> = {fish:"Рыбы",waterbody:"Водоёмы",tackle:"Снасти и приманки",reference:"Справочные материалы"};
|
||||
---
|
||||
<Layout title={`${labels[type]} RF4 — медиатека RF4 Spotter`} description="Изображения рыб, водоёмов и снастей Russian Fishing 4 с обязательной атрибуцией каждого источника." noindex={unavailable} errorPage={unavailable}>
|
||||
<PageHero eyebrow="Визуальный справочник" title="Медиатека" description="Собранные материалы RF4 с источником у каждого изображения. Каталог пополняется по мере импорта и проверки." variant="fish" count={allAssets.length} />
|
||||
<PageHero eyebrow="Визуальный справочник" title="Медиатека" description="Собранные материалы RF4 с источником у каждого изображения. Каталог пополняется по мере импорта и проверки." variant="fish" count={allAssets.length} countLabel="материалов" />
|
||||
<section class="media-library content-grid">
|
||||
<nav class="media-library__intro" aria-label="Разделы медиатеки"><strong>{labels[type]} · {allAssets.length}</strong><span><a href="/media?type=fish">Рыбы</a> · <a href="/media?type=waterbody">Водоёмы</a> · <a href="/media?type=tackle">Снасти</a> · <a href="/media?type=reference">Справка</a></span></nav>
|
||||
<form class="media-role-filter" method="get"><input type="hidden" name="type" value={type} /><label>Поиск по подписи<input name="q" value={search} maxlength="100" placeholder="Например, щука" /></label>{roleOptions[type]?.length > 0 && <label>Тип материала<select name="role"><option value="">Все роли</option>{roleOptions[type].map(([value, label]) => <option value={value} selected={selectedRole === value}>{label}</option>)}</select></label>}<button data-action="secondary">Показать</button>{(selectedRole || search) && <a data-action="quiet" href={`/media?type=${type}`}>Сбросить</a>}</form>
|
||||
|
||||
@@ -2,9 +2,10 @@
|
||||
import Layout from "../layouts/Layout.astro";
|
||||
---
|
||||
<Layout title="Мой план рыбалки — RF4 Spotter" description="Сохранённые точки рыбалки RF4 без аккаунта: координаты, наживки, свежесть и доверие." noindex>
|
||||
<section class="plan-hero content-grid"><div><span class="eyebrow">Локально на этом устройстве</span><h1>Мой план<br/><em>рыбалки.</em></h1><p>Соберите до пяти точек, сравните их перед выездом и распечатайте список. Данные не отправляются на сервер.</p></div><div class="plan-hero__mark" aria-hidden="true">♢</div></section>
|
||||
<section class="plan-hero content-grid"><div><span class="eyebrow">Локально на этом устройстве</span><h1>Мой план<br/><em>рыбалки.</em></h1><p>Соберите до пяти точек, сравните их перед выездом и распечатайте список. План хранится на устройстве; ссылка содержит только snapshot для передачи.</p></div><div class="plan-hero__mark" aria-hidden="true">♢</div></section>
|
||||
<section class="plan-toolbar content-grid" aria-label="Действия с планом"><span data-plan-count>0 из 5 точек</span><div><button data-action="secondary" type="button" data-plan-share>Поделиться планом</button><button data-action="secondary" type="button" data-plan-copy>Скопировать ссылку</button><button data-action="secondary" type="button" data-plan-print>Печать / PDF</button><button data-action="quiet" type="button" data-plan-clear>Очистить план</button><small data-plan-share-status aria-live="polite"></small></div></section>
|
||||
<section class="plan-content content-grid" data-plan-page aria-live="polite"><div class="plan-grid" data-plan-list></div><div class="state" data-plan-empty><h2>План пока пуст</h2><p>Сохраните точку на её detail-странице — она появится здесь.</p><a data-action="secondary" href="/">Посмотреть горячие точки</a></div></section>
|
||||
<dialog data-plan-import aria-labelledby="plan-import-title"><form method="dialog"><h2 id="plan-import-title">Импортировать план?</h2><p data-plan-import-summary></p><div class="plan-import-actions"><button data-action="secondary" value="cancel">Отмена</button><button data-action="secondary" value="merge">Добавить к текущему</button><button data-action="primary" value="replace">Заменить текущий</button></div></form></dialog>
|
||||
</Layout>
|
||||
<script>
|
||||
const planStorageKey = "rf4spotter:fishing-plan";
|
||||
@@ -16,6 +17,8 @@ import Layout from "../layouts/Layout.astro";
|
||||
const copyButton = document.querySelector<HTMLButtonElement>("[data-plan-copy]");
|
||||
const printButton = document.querySelector<HTMLButtonElement>("[data-plan-print]");
|
||||
const clearButton = document.querySelector<HTMLButtonElement>("[data-plan-clear]");
|
||||
const importDialog = document.querySelector<HTMLDialogElement>("[data-plan-import]");
|
||||
const importSummary = document.querySelector<HTMLElement>("[data-plan-import-summary]");
|
||||
const planFieldLimits: Record<string, number> = { key: 512, waterbody: 160, coordinates: 80, baits: 1000, method: 120, retrieve: 160, risk: 160, freshness: 40, confidence: 8 };
|
||||
const planText = (key: string, value: unknown) => typeof value === "string" ? value.slice(0, planFieldLimits[key] ?? 240) : "";
|
||||
const normalisePlan = (value: unknown): Array<Record<string, string>> => {
|
||||
@@ -37,16 +40,48 @@ import Layout from "../layouts/Layout.astro";
|
||||
const raw = localStorage.getItem(planStorageKey) || "[]";
|
||||
const normalised = normalisePlan(JSON.parse(raw));
|
||||
const serialised = JSON.stringify(normalised);
|
||||
if (serialised !== raw) localStorage.setItem(planStorageKey, serialised);
|
||||
if (serialised !== raw) { try { localStorage.setItem(planStorageKey, serialised); } catch { if (shareStatus) shareStatus.textContent = "Хранилище браузера недоступно"; } }
|
||||
return normalised;
|
||||
}
|
||||
catch { return []; }
|
||||
};
|
||||
const writePlan = (value: Array<Record<string, string>>) => {
|
||||
try { localStorage.setItem(planStorageKey, JSON.stringify(normalisePlan(value))); return true; }
|
||||
catch { if (shareStatus) shareStatus.textContent = "Не удалось сохранить план в браузере"; return false; }
|
||||
};
|
||||
const freshnessLabel = (value: string) => {
|
||||
if (!value) return "Свежесть не указана";
|
||||
const timestamp = Date.parse(value);
|
||||
if (!Number.isFinite(timestamp)) return "Свежесть не распознана";
|
||||
return Date.now() - timestamp > 24 * 60 * 60 * 1000 ? "Устарело" : "Свежо";
|
||||
};
|
||||
let undoEntry: Record<string, string> | null = null;
|
||||
let undoTimer: number | undefined;
|
||||
const offerUndo = (entry: Record<string, string>) => {
|
||||
undoEntry = entry;
|
||||
if (undoTimer) window.clearTimeout(undoTimer);
|
||||
document.querySelector("[data-plan-undo]")?.remove();
|
||||
if (!shareStatus) return;
|
||||
shareStatus.textContent = "Точка удалена";
|
||||
const undo = document.createElement("button");
|
||||
undo.type = "button"; undo.dataset.action = "quiet"; undo.dataset.planUndo = "true"; undo.textContent = "Вернуть";
|
||||
undo.addEventListener("click", () => {
|
||||
if (undoEntry && writePlan([...readPlan(), undoEntry])) { undoEntry = null; undo.remove(); shareStatus.textContent = "Точка возвращена"; render(); }
|
||||
});
|
||||
shareStatus.append(" · ", undo);
|
||||
undoTimer = window.setTimeout(() => { undoEntry = null; undo.remove(); }, 8000);
|
||||
};
|
||||
const shared = new URLSearchParams(location.search).get("plan");
|
||||
let pendingImport: Array<Record<string, string>> | null = null;
|
||||
if (shared) {
|
||||
history.replaceState(null, "", `${location.pathname}${location.hash}`);
|
||||
try {
|
||||
const imported = normalisePlan(JSON.parse(shared));
|
||||
if (imported.length) localStorage.setItem(planStorageKey, JSON.stringify(imported));
|
||||
if (imported.length) {
|
||||
pendingImport = imported;
|
||||
if (importSummary) importSummary.textContent = `В ссылке ${imported.length} ${imported.length === 1 ? "точка" : "точки"}. Текущий план не изменён.`;
|
||||
if (importDialog?.showModal) importDialog.showModal();
|
||||
}
|
||||
else if (shareStatus) shareStatus.textContent = "В ссылке нет сохранённых точек";
|
||||
} catch { if (shareStatus) shareStatus.textContent = "Ссылка плана не распознана"; }
|
||||
}
|
||||
@@ -63,9 +98,9 @@ import Layout from "../layouts/Layout.astro";
|
||||
const coordinate = document.createElement("strong"); coordinate.textContent = item.coordinates || "Координаты не указаны";
|
||||
const meta = document.createElement("p"); meta.textContent = item.baits ? `Наживка: ${item.baits.split("|").join(", ")}` : "Наживка не указана";
|
||||
const approach = document.createElement("p"); approach.textContent = [item.method, item.retrieve].filter(Boolean).join(" · ") || "Метод не указан";
|
||||
const facts = document.createElement("small"); facts.textContent = [item.risk ? `Риск: ${item.risk}` : "Риск не рассчитан", item.freshness ? "Свежесть сохранена" : "Свежесть не указана", item.confidence !== "" ? `Доверие: ${item.confidence}%` : "Доверие не рассчитано"].join(" · ");
|
||||
const facts = document.createElement("small"); facts.textContent = [item.risk ? `Риск: ${item.risk}` : "Риск не рассчитан", freshnessLabel(item.freshness), item.confidence !== "" ? `Доверие: ${item.confidence}%` : "Доверие не рассчитано"].join(" · ");
|
||||
const link = document.createElement("a"); link.href = item.key || "/"; link.textContent = "Открыть точку";
|
||||
const remove = document.createElement("button"); remove.type = "button"; remove.dataset.action = "quiet"; remove.textContent = "Убрать"; remove.addEventListener("click", () => { localStorage.setItem(planStorageKey, JSON.stringify(readPlan().filter(entry => entry.key !== item.key))); render(); });
|
||||
const remove = document.createElement("button"); remove.type = "button"; remove.dataset.action = "quiet"; remove.textContent = "Убрать"; remove.addEventListener("click", () => { if (writePlan(readPlan().filter(entry => entry.key !== item.key))) { offerUndo(item); render(); } });
|
||||
const actions = document.createElement("div"); actions.className = "plan-card__actions"; actions.append(link, remove);
|
||||
card.append(heading, coordinate, meta, approach, facts, actions); list.append(card);
|
||||
});
|
||||
@@ -103,6 +138,13 @@ import Layout from "../layouts/Layout.astro";
|
||||
});
|
||||
copyButton?.addEventListener("click", async () => { try { await copyPlanLink(); } catch { if (shareStatus) shareStatus.textContent = "Не удалось скопировать ссылку"; } });
|
||||
printButton?.addEventListener("click", () => window.print());
|
||||
clearButton?.addEventListener("click", () => { localStorage.removeItem(planStorageKey); if (shareStatus) shareStatus.textContent = "План очищен"; render(); });
|
||||
clearButton?.addEventListener("click", () => { try { localStorage.removeItem(planStorageKey); if (shareStatus) shareStatus.textContent = "План очищен"; render(); } catch { if (shareStatus) shareStatus.textContent = "Не удалось очистить план в браузере"; } });
|
||||
importDialog?.addEventListener("close", () => {
|
||||
const choice = importDialog.returnValue;
|
||||
if (!pendingImport || choice === "cancel") { pendingImport = null; return; }
|
||||
const current = readPlan();
|
||||
const merged = choice === "replace" ? pendingImport : normalisePlan([...current, ...pendingImport]);
|
||||
if (writePlan(merged)) { pendingImport = null; if (shareStatus) shareStatus.textContent = choice === "replace" ? "План заменён" : "Точки добавлены в план"; render(); }
|
||||
});
|
||||
render();
|
||||
</script>
|
||||
@@ -18,11 +18,13 @@ const reportId = Astro.url.searchParams.get("report_id");
|
||||
{state === "sent" && <div class="notice success">Улов отправлен на модерацию. Спасибо!</div>}
|
||||
{state === "screenshot_sent" && <div class="notice success">Скриншот добавлен к ранее созданной заявке.</div>}
|
||||
{state === "create_error" && <div class="notice error" id="form-error" tabindex="-1"><strong>Заявка не создана.</strong> Проверьте поля; введённые значения сохранены.</div>}
|
||||
{state === "conflict" && <div class="notice warning" id="form-error" tabindex="-1"><strong>Повторная отправка отличается от уже сохранённой.</strong> Черновик оставлен на странице; проверьте поля и отправьте его с новым ключом.</div>}
|
||||
{state === "rate_limited" && <div class="notice error" id="form-error" tabindex="-1"><strong>Слишком много отправок.</strong> Подождите 10 минут перед повторной попыткой.</div>}
|
||||
{state === "timeout" && <div class="notice error" id="form-error" tabindex="-1"><strong>Превышено время ожидания.</strong> Проверьте соединение и попробуйте снова.</div>}
|
||||
{state === "server_error" && <div class="notice error" id="form-error" tabindex="-1"><strong>Сервер временно недоступен.</strong> Попробуйте позже.</div>}
|
||||
{state === "screenshot_error" && <div class="notice warning"><strong>Заявка сохранена без скриншота.</strong> Изображение не загрузилось; можно повторить отдельно, не отправляя улов заново.</div>}
|
||||
{state === "screenshot_error" && reportId && <form class="screenshot-retry" method="post" action="/api/report-screenshot" enctype="multipart/form-data"><input type="hidden" name="report_id" value={reportId} /><label>Повторная загрузка скриншота<input name="screenshot" type="file" accept="image/jpeg,image/png,image/webp" required /></label><button data-action="inverse" type="submit">Загрузить скриншот</button></form>}
|
||||
{state === "timeout" && reportId && <div class="notice warning"><strong>Заявка уже сохранена.</strong> Ответ загрузки не успел прийти; повтор безопасен и не создаст новый улов.</div>}
|
||||
{(state === "screenshot_error" || (state === "timeout" && reportId)) && reportId && <form class="screenshot-retry" method="post" action="/api/report-screenshot" enctype="multipart/form-data"><input type="hidden" name="report_id" value={reportId} /><label>Повторная загрузка скриншота<input name="screenshot" type="file" accept="image/jpeg,image/png,image/webp" required /></label><button data-action="inverse" type="submit">Загрузить скриншот</button></form>}
|
||||
{unavailable ? <div class="state" role="alert"><h2>Форма временно недоступна</h2></div> : <form class="report-form" method="post" action="/api/report" enctype="multipart/form-data">
|
||||
<fieldset><legend>Главное <span>обязательно</span></legend><div class="form-grid"><label>Рыба *<select name="fish_slug" required>{fishes.map(x => <option value={x.slug}>{x.name_ru}</option>)}</select></label><label>Водоём *<select name="waterbody_slug" required>{waterbodies.map(x => <option value={x.slug}>{x.name_ru}</option>)}</select></label><label>Координата X *<input name="x" type="number" min="-10000" max="10000" placeholder="Например, 72" required /></label><label>Координата Y *<input name="y" type="number" min="-10000" max="10000" placeholder="Например, 84" required /></label><label>Вес, граммы *<input name="weight_g" type="number" min="1" max="3000000" placeholder="1250" required /></label><label>Приманка<input name="bait_name" maxlength="200" placeholder="Название в игре" /></label></div><p class="field-help">Координаты — два целых числа с карты. Вес: 1,25 кг = 1250 г.</p></fieldset>
|
||||
<details class="optional-fields"><summary>Дополнительные сведения <span>необязательно</span></summary><div class="form-grid"><label>Способ ловли<select name="fishing_method"><option value="">Не указан</option><option value="spinning">Спиннинг</option><option value="bottom">Донная</option><option value="float">Поплавочная</option></select></label><label>Проводка<input name="retrieve_method" maxlength="100" /></label><label>Скорость проводки<input name="retrieve_speed" type="number" min="0" max="100" /></label><label>Ник игрока<input name="player_name" maxlength="100" /></label></div><label class="wide">Комментарий<textarea name="comment" maxlength="1000" rows="4"></textarea></label><label class="wide">Скриншот, JPEG/PNG/WebP до 8 МБ<input name="screenshot" type="file" accept="image/jpeg,image/png,image/webp" /></label></details><label class="honeypot" aria-hidden="true">Сайт<input name="website" tabindex="-1" autocomplete="off" /></label><p class="privacy">Ник и скриншот необязательны. Из изображения удаляются EXIF и прочие метаданные.</p><label class="consent"><input name="consent" type="checkbox" required /> <span>Я отправляю собственное наблюдение и принимаю <a href="/rules" target="_blank">правила</a> и <a href="/privacy" target="_blank">политику конфиденциальности</a>.</span></label><button data-action="primary" type="submit">Отправить на проверку</button>
|
||||
@@ -38,7 +40,7 @@ const reportId = Astro.url.searchParams.get("report_id");
|
||||
removeItem: (k: string) => { try { sessionStorage.removeItem(k); } catch {} },
|
||||
};
|
||||
// A05: Restore draft on all error states that don't destroy the submission
|
||||
const recoverableStates = ["create_error", "rate_limited", "server_error", "timeout"];
|
||||
const recoverableStates = ["create_error", "conflict", "rate_limited", "server_error", "timeout"];
|
||||
if (form && recoverableStates.includes(state)) {
|
||||
try {
|
||||
const draft = JSON.parse(safeStorage.getItem(key) || "{}");
|
||||
|
||||
@@ -1,5 +1,5 @@
|
||||
import type { APIRoute } from "astro";
|
||||
import { api, type DictionaryItem } from "../lib/api";
|
||||
import { api, type DictionaryItem, type PaginatedRigs, type PaginatedTackleItems } from "../lib/api";
|
||||
|
||||
const escapeXml = (value: string) => value.replace(/[<>&'"]/g, c => ({ "<": "<", ">": ">", "&": "&", "'": "'", '"': """ })[c] ?? c);
|
||||
let lastGood: { origin: string; xml: string; at: number } | undefined;
|
||||
@@ -9,7 +9,7 @@ export const GET: APIRoute = async ({ site }) => {
|
||||
const output = (xml: string) => new Response(xml, { headers: { "Content-Type": "application/xml; charset=utf-8", "Cache-Control": "public, max-age=1800" } });
|
||||
if (lastGood?.origin === origin && Date.now() - lastGood.at < 1800000) return output(lastGood.xml);
|
||||
try {
|
||||
const paths = new Set(["/", "/records", "/report", "/status", "/rules", "/privacy", "/fish", "/waterbodies", "/media"]);
|
||||
const paths = new Set(["/", "/records", "/report", "/status", "/rules", "/privacy", "/fish", "/waterbodies", "/media", "/tackle"]);
|
||||
for (const [endpoint, prefix] of [["fishes", "fish"], ["waterbodies", "waterbodies"]]) {
|
||||
for (let offset = 0; ; offset += 500) {
|
||||
const rows = await api<DictionaryItem[]>(`/api/v1/${endpoint}?limit=500&offset=${offset}`);
|
||||
@@ -18,6 +18,18 @@ export const GET: APIRoute = async ({ site }) => {
|
||||
if (rows.length < 500) break;
|
||||
}
|
||||
}
|
||||
for (let offset = 0; ; offset += 100) {
|
||||
const page = await api<PaginatedTackleItems>(`/api/v1/tackle/items?limit=100&offset=${offset}`);
|
||||
page.items.forEach(item => paths.add(`/tackle/items/${item.id}`));
|
||||
if (paths.size > 49000) throw new Error("Sitemap index required");
|
||||
if (page.items.length < page.limit) break;
|
||||
}
|
||||
for (let offset = 0; ; offset += 100) {
|
||||
const page = await api<PaginatedRigs>(`/api/v1/tackle/rigs?limit=100&offset=${offset}`);
|
||||
page.items.forEach(rig => paths.add(`/tackle/rigs/${rig.id}`));
|
||||
if (paths.size > 49000) throw new Error("Sitemap index required");
|
||||
if (page.items.length < page.limit) break;
|
||||
}
|
||||
for (let offset = 0; ; offset += 500) {
|
||||
const rows = await api<string[]>(`/api/v1/public-spot-pages?limit=500&offset=${offset}`);
|
||||
rows.forEach(path => paths.add(path));
|
||||
|
||||
@@ -10,7 +10,7 @@ const fish = params.get("fish") ?? "";
|
||||
const method = params.get("method") ?? "";
|
||||
const role = params.get("role") ?? "";
|
||||
const hours = [24, 72, 168].includes(Number(params.get("hours"))) ? Number(params.get("hours")) : 72;
|
||||
const query = new URLSearchParams({ hours: String(hours), min_samples: "3", min_players: "2" });
|
||||
const query = new URLSearchParams({ hours: String(hours), min_samples: "3", min_players: "2", limit: "100" });
|
||||
if (waterbody) query.set("waterbody", waterbody);
|
||||
if (fish) query.set("fish", fish);
|
||||
if (method) query.set("method", method);
|
||||
|
||||
@@ -5,7 +5,7 @@ import StatePanel from "../../components/StatePanel.astro";
|
||||
import Pagination from "../../components/Pagination.astro";
|
||||
import TackleGlyph from "../../components/TackleGlyph.astro";
|
||||
import DataPassport from "../../components/DataPassport.astro";
|
||||
import { api, type PaginatedRigs, type PaginatedTackleItems } from "../../lib/api";
|
||||
import { api, ApiError, type PaginatedRigs, type PaginatedTackleItems } from "../../lib/api";
|
||||
|
||||
const params = Astro.url.searchParams;
|
||||
const category = params.get("category") ?? "";
|
||||
@@ -14,23 +14,34 @@ const brand = params.get("brand") ?? "";
|
||||
const family = params.get("family") ?? "";
|
||||
const unlockLevelParam = params.get("unlock_level") ?? "";
|
||||
const unlockLevel = /^\d+$/.test(unlockLevelParam) ? unlockLevelParam : "";
|
||||
const requestedOffset = Number(params.get("offset") ?? 0);
|
||||
const requestedItemsOffset = Number(params.get("items_offset") ?? 0);
|
||||
const requestedRigsOffset = Number(params.get("rigs_offset") ?? 0);
|
||||
const limit = 48;
|
||||
const offset = Number.isInteger(requestedOffset) && requestedOffset >= 0 ? requestedOffset : 0;
|
||||
const query = new URLSearchParams({ limit: String(limit), offset: String(offset) });
|
||||
const itemsOffset = Number.isInteger(requestedItemsOffset) && requestedItemsOffset >= 0 ? requestedItemsOffset : 0;
|
||||
const rigsOffset = Number.isInteger(requestedRigsOffset) && requestedRigsOffset >= 0 ? requestedRigsOffset : 0;
|
||||
const query = new URLSearchParams({ limit: String(limit), offset: String(itemsOffset) });
|
||||
if (category) query.set("category", category);
|
||||
if (search) query.set("q", search);
|
||||
if (brand) query.set("brand", brand);
|
||||
if (family) query.set("family", family);
|
||||
if (unlockLevel) query.set("unlock_level", unlockLevel);
|
||||
let result: PaginatedTackleItems = { items: [], total: 0, limit, offset }, rigs: PaginatedRigs = { items: [], total: 0, limit, offset }, unavailable = false, rigsUnavailable = false;
|
||||
let result: PaginatedTackleItems = { items: [], total: 0, limit, offset: itemsOffset }, rigs: PaginatedRigs = { items: [], total: 0, limit, offset: rigsOffset };
|
||||
const [itemsResult, rigsResult] = await Promise.allSettled([
|
||||
api<PaginatedTackleItems>(`/api/v1/tackle/items?${query}`),
|
||||
api<PaginatedRigs>(`/api/v1/tackle/rigs?limit=${limit}&offset=${offset}${search ? `&q=${encodeURIComponent(search)}` : ""}`),
|
||||
api<PaginatedRigs>(`/api/v1/tackle/rigs?limit=${limit}&offset=${rigsOffset}${search ? `&q=${encodeURIComponent(search)}` : ""}`),
|
||||
]);
|
||||
if (itemsResult.status === "fulfilled") result = itemsResult.value; else unavailable = true;
|
||||
if (rigsResult.status === "fulfilled") rigs = rigsResult.value; else rigsUnavailable = true;
|
||||
if (unavailable) { Astro.response.status = 503; Astro.response.headers.set("Retry-After", "60"); Astro.response.headers.set("Cache-Control", "no-store"); }
|
||||
const itemsError = itemsResult.status === "rejected" ? itemsResult.reason : null;
|
||||
const rigsError = rigsResult.status === "rejected" ? rigsResult.reason : null;
|
||||
const itemsInvalid = itemsError instanceof ApiError && itemsError.status === 422;
|
||||
const rigsInvalid = rigsError instanceof ApiError && rigsError.status === 422;
|
||||
const itemsUnavailable = Boolean(itemsError) && !itemsInvalid;
|
||||
const rigsUnavailable = Boolean(rigsError) && !rigsInvalid;
|
||||
const invalidFilters = itemsInvalid || rigsInvalid;
|
||||
const unavailable = itemsUnavailable || rigsUnavailable;
|
||||
if (itemsResult.status === "fulfilled") result = itemsResult.value;
|
||||
if (rigsResult.status === "fulfilled") rigs = rigsResult.value;
|
||||
if (invalidFilters) Astro.response.status = 422;
|
||||
else if (unavailable) { Astro.response.status = 503; Astro.response.headers.set("Retry-After", "60"); Astro.response.headers.set("Cache-Control", "no-store"); }
|
||||
const categoryLabels: Record<string, string> = { bait: "Наживка", lure: "Приманка", rod: "Удилище", reel: "Катушка", line: "Леска", hook: "Крючок", rig: "Сборка", float: "Поплавок", sinker: "Груз", other: "Другое" };
|
||||
const filterParams = new URLSearchParams();
|
||||
if (category) filterParams.set("category", category);
|
||||
@@ -38,9 +49,11 @@ if (search) filterParams.set("q", search);
|
||||
if (brand) filterParams.set("brand", brand);
|
||||
if (family) filterParams.set("family", family);
|
||||
if (unlockLevel) filterParams.set("unlock_level", unlockLevel);
|
||||
const itemsParams = new URLSearchParams(filterParams);
|
||||
const rigsParams = new URLSearchParams(search ? { q: search } : {});
|
||||
---
|
||||
<Layout title="Снасти и приманки RF4 — RF4 Spotter" description="Канонический каталог снастей, приманок и сборок Russian Fishing 4 с источниками и отметками неполноты." noindex={unavailable} errorPage={unavailable}>
|
||||
<PageHero eyebrow="Канонический справочник" title="Снасти и приманки" description="Показываем только подтверждённые карточки. Пустые поля явно отмечены и не заменяются догадками." variant="fish" count={result.total} />
|
||||
<Layout title="Снасти и приманки RF4 — RF4 Spotter" description="Канонический каталог снастей, приманок и сборок Russian Fishing 4 с источниками и отметками неполноты." noindex={unavailable || invalidFilters} errorPage={false}>
|
||||
<PageHero eyebrow="Канонический справочник" title="Снасти и приманки" description="Показываем только подтверждённые карточки. Пустые поля явно отмечены и не заменяются догадками." variant="fish" count={result.total} countLabel="карточек" />
|
||||
<form class="record-filters" method="get" aria-label="Фильтры каталога снастей">
|
||||
<label>Категория<select name="category"><option value="">Все категории</option>{Object.entries(categoryLabels).map(([value, label]) => <option value={value} selected={category === value}>{label}</option>)}</select></label>
|
||||
<label>Поиск<input name="q" value={search} maxlength="100" placeholder="Название снасти или приманки" /></label>
|
||||
@@ -51,7 +64,10 @@ if (unlockLevel) filterParams.set("unlock_level", unlockLevel);
|
||||
{(category || search || brand || family || unlockLevel) && <a data-action="quiet" href="/tackle">Сбросить</a>}
|
||||
<a data-action="quiet" href="/tackle/analytics">Сочетания снастей</a>
|
||||
</form>
|
||||
{unavailable ? <StatePanel tone="unavailable" title="Каталог временно недоступен" description="Не показываем непроверенные карточки. Попробуйте обновить страницу позже." /> : result.items.length ? <section class="catalog-grid content-grid" aria-label="Карточки снастей">{result.items.map(item => <a href={`/tackle/items/${item.id}`}><TackleGlyph name={item.name} size={32} /><span>{categoryLabels[item.category] ?? item.category}</span><strong>{item.name}</strong><small>{[item.brand, item.family].filter(Boolean).join(" · ") || "Характеристики уточняются"}</small>{item.unlock_level !== null && <small>Открывается с уровня {item.unlock_level}</small>}<div class="tackle-card-passport"><DataPassport sources={item.source_system ? [item.source_system] : []} sourceUrl={item.source_url} observedAt={item.source_checked_at} completeness={item.missing_fields.length ? null : 100} status={item.missing_fields.length ? "incomplete" : item.source_checked_at ? "verified" : "unverified"}/></div></a>)}</section> : <StatePanel title="Подтверждённых карточек пока нет" description="Каталог заполнится после разрешённой загрузки и ручной проверки источников." />}
|
||||
{!unavailable && <section class="rig-catalog content-grid" aria-labelledby="rig-catalog-title"><div class="section-heading"><div><span class="overline">Сборки снастей</span><h2 id="rig-catalog-title">Сборки</h2></div><span class="result-count">{rigs.total} всего</span></div>{rigsUnavailable ? <StatePanel contained={false} tone="unavailable" title="Сборки временно недоступны" description="Карточки отдельных снастей продолжают работать независимо." /> : rigs.items.length ? <div class="catalog-grid">{rigs.items.map(rig => <a href={`/tackle/rigs/${rig.id}`}><TackleGlyph name={rig.name} size={32} /><span>Сборка · {rig.component_count} компонентов</span><strong>{rig.name}</strong><small>{rig.source_system ?? "Источник не указан"}</small><div class="tackle-card-passport"><DataPassport sources={rig.source_system ? [rig.source_system] : []} sourceUrl={rig.source_url} observedAt={rig.source_checked_at} completeness={rig.missing_fields.length ? null : 100} status={rig.missing_fields.length ? "incomplete" : rig.source_checked_at ? "verified" : "unverified"}/></div></a>)}</div> : <StatePanel contained={false} title="Подтверждённых сборок пока нет" description="Сборки появятся после разрешённой загрузки и проверки источников." />}</section>}
|
||||
{!unavailable && <Pagination path="/tackle" params={filterParams} total={result.total} limit={limit} offset={offset} itemLabel="карточек" />}
|
||||
{invalidFilters ? <StatePanel tone="error" title="Проверьте фильтры каталога" description="Один из параметров поиска имеет недопустимое значение. Измените фильтры и попробуйте снова." /> : <>
|
||||
{itemsUnavailable ? <StatePanel tone="unavailable" title="Каталог снастей временно недоступен" description={rigsUnavailable ? "Каталог снастей и сборок сейчас не отвечает. Попробуйте обновить страницу позже." : "Сборки продолжают отображаться независимо. Попробуйте обновить карточки снастей позже."} actionHref={`${Astro.url.pathname}${Astro.url.search}`} actionLabel="Повторить загрузку" /> : result.items.length ? <section class="catalog-grid content-grid" aria-label="Карточки снастей">{result.items.map(item => <article class="catalog-card"><TackleGlyph name={item.name} size={32} /><span>{categoryLabels[item.category] ?? item.category}</span><a class="catalog-card__title" href={`/tackle/items/${item.id}`}><strong>{item.name}</strong></a><small>{[item.brand, item.family].filter(Boolean).join(" · ") || "Характеристики уточняются"}</small>{item.unlock_level !== null && <small>Открывается с уровня {item.unlock_level}</small>}<div class="tackle-card-passport"><DataPassport sources={item.source_system ? [item.source_system] : []} sourceUrl={item.source_url} observedAt={item.source_checked_at} completeness={item.missing_fields.length ? null : 100} status={item.missing_fields.length ? "incomplete" : item.source_checked_at ? "verified" : "unverified"}/></div></article>)}</section> : <StatePanel title={search ? "По запросу ничего не найдено" : "Подтверждённых карточек пока нет"} description={search ? "Измените запрос или сбросьте фильтры." : "Каталог заполнится после разрешённой загрузки и ручной проверки источников."} />}
|
||||
{!itemsUnavailable && <Pagination path="/tackle" params={itemsParams} total={result.total} limit={limit} offset={itemsOffset} offsetParam="items_offset" itemLabel="карточек" />}
|
||||
<section class="rig-catalog content-grid" aria-labelledby="rig-catalog-title"><div class="section-heading"><div><span class="overline">Сборки снастей</span><h2 id="rig-catalog-title">Сборки</h2></div><span class="result-count">{rigs.total} всего</span></div>{rigsUnavailable ? <StatePanel contained={false} tone="unavailable" title="Сборки временно недоступны" description={itemsUnavailable ? "Каталог снастей и сборок сейчас не отвечает. Попробуйте обновить страницу позже." : "Карточки отдельных снастей продолжают работать независимо."} actionHref={`${Astro.url.pathname}${Astro.url.search}`} actionLabel="Повторить загрузку" /> : rigs.items.length ? <div class="catalog-grid">{rigs.items.map(rig => <article class="catalog-card"><TackleGlyph name={rig.name} size={32} /><span>Сборка · {rig.component_count} компонентов</span><a class="catalog-card__title" href={`/tackle/rigs/${rig.id}`}><strong>{rig.name}</strong></a><small>{rig.source_system ?? "Источник не указан"}</small><div class="tackle-card-passport"><DataPassport sources={rig.source_system ? [rig.source_system] : []} sourceUrl={rig.source_url} observedAt={rig.source_checked_at} completeness={rig.missing_fields.length ? null : 100} status={rig.missing_fields.length ? "incomplete" : rig.source_checked_at ? "verified" : "unverified"}/></div></article>)}</div> : <StatePanel contained={false} title={search ? "По запросу сборки не найдены" : "Подтверждённых сборок пока нет"} description={search ? "Измените запрос или сбросьте фильтры." : "Сборки появятся после разрешённой загрузки и проверки источников."} />}</section>
|
||||
{!rigsUnavailable && <Pagination path="/tackle" params={rigsParams} total={rigs.total} limit={limit} offset={rigsOffset} offsetParam="rigs_offset" itemLabel="сборок" />}
|
||||
</>}
|
||||
</Layout>
|
||||
@@ -3,3 +3,13 @@
|
||||
/* Editorial atlas: catalog pages read as a field guide, not a utility list. */
|
||||
.catalog-hero--illustrated{position:relative;display:grid;grid-template-columns:minmax(0,1fr) 210px;align-items:center;gap:48px;min-height:310px;overflow:hidden}.catalog-hero--illustrated:before{content:"";position:absolute;right:102px;width:330px;height:190px;border:1px solid color-mix(in srgb,var(--teal) 11%,transparent);border-radius:50%;box-shadow:0 0 0 32px color-mix(in srgb,var(--teal) 5%,transparent),0 0 0 64px color-mix(in srgb,var(--teal) 3%,transparent);transform:rotate(-9deg);pointer-events:none}.catalog-hero__copy{position:relative;z-index:1}.catalog-hero__copy p{max-width:660px;line-height:1.6}.catalog-hero__seal{position:relative;z-index:1;width:176px;height:176px;justify-self:end;display:grid;place-items:center;align-content:center;border:1px solid #345155;border-radius:50%;background:var(--deep);color:var(--lime);box-shadow:0 18px 48px #16383c1b}.catalog-hero__seal>span{height:60px;display:grid;place-items:center}.catalog-hero__seal .fish-silhouette{color:var(--lime)}.catalog-hero__seal strong{margin-top:5px;font:400 32px/1 Georgia,serif;color:var(--white)}.catalog-hero__seal small{margin-top:4px;color:#a9b8b5;font-size:9px;text-transform:uppercase;letter-spacing:.13em}.catalog-grid{grid-template-columns:repeat(auto-fit,minmax(min(100%,330px),1fr));gap:14px}.catalog-grid>a{min-height:146px;align-content:start;padding:24px 25px;border-color:var(--border-soft);background:linear-gradient(145deg,var(--surface),var(--surface-soft))}.catalog-grid>a:before{content:"";position:absolute;inset:0;border-top:3px solid transparent;transition:border-color var(--motion-base) var(--ease-out)}.catalog-grid>a:hover:before{border-color:var(--lime)}.catalog-grid>a>span{color:var(--text-muted)}.catalog-grid>a>strong{position:relative;z-index:1;margin-top:10px;font-size:28px}.catalog-grid>a>i{position:relative;z-index:1;align-self:end;display:flex;align-items:center;gap:8px;margin-top:20px;color:var(--text-muted);font:700 10px Inter,sans-serif;text-transform:uppercase;letter-spacing:.09em}.catalog-grid>a>i b{color:#6d8d2a;font-size:16px}.catalog-grid>a>.fish-silhouette{right:20px;bottom:12px;opacity:.095}.waterbody-mark{position:absolute;right:14px;bottom:8px;fill:none;stroke:#315f63;stroke-width:1.2;opacity:.12;pointer-events:none}.waterbody-mark__shore{stroke-width:2}.waterbody-mark circle{fill:var(--lime);stroke:none}
|
||||
@media(max-width:720px){.catalog-hero--illustrated{grid-template-columns:1fr 106px;gap:18px;min-height:230px}.catalog-hero--illustrated:before{right:-35px;width:210px;height:120px}.catalog-hero__seal{width:96px;height:96px}.catalog-hero__seal>span{height:38px}.catalog-hero__seal .fish-icon{width:36px;height:36px}.catalog-hero__seal .fish-silhouette{width:62px}.catalog-hero__seal strong{font-size:20px}.catalog-hero__seal small{display:none}.catalog-grid>a{min-height:132px}.catalog-grid>a>strong{font-size:25px}}
|
||||
|
||||
.catalog-grid>.catalog-card{display:grid;grid-template-columns:1fr auto;gap:7px;min-height:146px;align-content:start;padding:24px 25px;position:relative;overflow:hidden;border:1px solid var(--border-soft);border-radius:14px;background:linear-gradient(145deg,var(--surface),var(--surface-soft));transition:transform var(--motion-base) var(--ease-out),border-color var(--motion-base) var(--ease-out),box-shadow var(--motion-base) var(--ease-out)}
|
||||
.catalog-grid>.catalog-card:hover{transform:translateY(-2px);border-color:var(--border-strong);box-shadow:0 14px 30px var(--shadow-color)}
|
||||
.catalog-card>span{grid-column:1/-1;color:var(--text-muted)}
|
||||
.catalog-card__title{grid-column:1/-1;margin-top:10px;color:inherit;text-decoration:none}
|
||||
.catalog-card__title strong{font:400 28px Georgia,serif}
|
||||
.catalog-card__title:hover{text-decoration:underline;text-underline-offset:4px}
|
||||
.catalog-card>small{color:var(--text-muted)}
|
||||
.catalog-card .tackle-card-passport{grid-column:1/-1;min-width:0}
|
||||
@media(max-width:720px){.catalog-grid>.catalog-card{min-height:132px}.catalog-card__title strong{font-size:25px}}
|
||||
@@ -132,7 +132,9 @@ services:
|
||||
IMPORT_INTERVAL_SECONDS: ${IMPORT_INTERVAL_SECONDS:-3600}
|
||||
PUBLIC_CACHE_SECONDS: ${PUBLIC_CACHE_SECONDS:-20}
|
||||
RATE_LIMIT_SECRET: ${RATE_LIMIT_SECRET:?Set RATE_LIMIT_SECRET}
|
||||
TRUSTED_PROXY_CIDRS: '${TRUSTED_PROXY_CIDRS:-"127.0.0.1/32,::1/128"}'
|
||||
# Caddy reaches API over the dedicated private edge network, not loopback.
|
||||
# Keep this CIDR aligned with EDGE_NETWORK_SUBNET when customizing the network.
|
||||
TRUSTED_PROXY_CIDRS: '${TRUSTED_PROXY_CIDRS:-"172.30.0.0/24,127.0.0.1/32,::1/128"}'
|
||||
RETENTION_SUBMISSION_DAYS: ${RETENTION_SUBMISSION_DAYS:-1}
|
||||
RETENTION_UNREVIEWED_DAYS: ${RETENTION_UNREVIEWED_DAYS:-30}
|
||||
RETENTION_APPROVED_PERSONAL_DAYS: ${RETENTION_APPROVED_PERSONAL_DAYS:-180}
|
||||
@@ -230,7 +232,7 @@ services:
|
||||
S3_SECRET_KEY: ${S3_SECRET_KEY:?Set S3_SECRET_KEY}
|
||||
SEED_DEMO_DATA: "false"
|
||||
RATE_LIMIT_SECRET: ${RATE_LIMIT_SECRET:?Set RATE_LIMIT_SECRET}
|
||||
TRUSTED_PROXY_CIDRS: '${TRUSTED_PROXY_CIDRS:-"127.0.0.1/32,::1/128"}'
|
||||
TRUSTED_PROXY_CIDRS: '${TRUSTED_PROXY_CIDRS:-"172.30.0.0/24,127.0.0.1/32,::1/128"}'
|
||||
COMMUNITY_IMPORT_INTERVAL_SECONDS: ${COMMUNITY_IMPORT_INTERVAL_SECONDS:-1800}
|
||||
RF4MAP_POINT_URL: ${RF4MAP_POINT_URL:-https://rf4map.ru/points/275}
|
||||
RF4POSTS_SPOT_URL: ${RF4POSTS_SPOT_URL:-https://rf4-posts.com/ru/spots/d0c6d9c6-4ebf-49a7-98a8-9a562553a8ee}
|
||||
@@ -260,6 +262,9 @@ services:
|
||||
|
||||
networks:
|
||||
edge:
|
||||
ipam:
|
||||
config:
|
||||
- subnet: ${EDGE_NETWORK_SUBNET:-172.30.0.0/24}
|
||||
backend:
|
||||
internal: true
|
||||
|
||||
|
||||
+4
-4
@@ -20,8 +20,8 @@ services:
|
||||
MINIO_ROOT_USER: ${S3_ACCESS_KEY:-rf4-local}
|
||||
MINIO_ROOT_PASSWORD: ${S3_SECRET_KEY:-rf4-local-secret}
|
||||
ports:
|
||||
- "9000:9000"
|
||||
- "9001:9001"
|
||||
- "${RF4_BIND_ADDRESS:-127.0.0.1}:9000:9000"
|
||||
- "${RF4_BIND_ADDRESS:-127.0.0.1}:9001:9001"
|
||||
healthcheck:
|
||||
test: ["CMD", "curl", "-fsS", "http://localhost:9000/minio/health/live"]
|
||||
interval: 5s
|
||||
@@ -75,7 +75,7 @@ services:
|
||||
minio-init:
|
||||
condition: service_completed_successfully
|
||||
ports:
|
||||
- "8000:8000"
|
||||
- "${RF4_BIND_ADDRESS:-127.0.0.1}:8000:8000"
|
||||
healthcheck:
|
||||
test: ["CMD", "python", "-c", "import urllib.request; urllib.request.urlopen('http://localhost:8000/ready')"]
|
||||
interval: 5s
|
||||
@@ -104,7 +104,7 @@ services:
|
||||
api:
|
||||
condition: service_healthy
|
||||
ports:
|
||||
- "4321:4321"
|
||||
- "${RF4_BIND_ADDRESS:-127.0.0.1}:4321:4321"
|
||||
healthcheck:
|
||||
test: ["CMD", "node", "-e", "fetch('http://localhost:4321').then(r=>{if(!r.ok)process.exit(1)}).catch(()=>process.exit(1))"]
|
||||
interval: 5s
|
||||
|
||||
+14
-14
@@ -26,19 +26,19 @@ R-пункты уточняют критерии существующих B/G/U/
|
||||
- [x] **R01 · P1 · Долговременное хранение media-решений (A04/B23/A07).** Production Compose получил named `media_data` volume и отдельный root-only `media-init`: baseline из Git атомарно merge-ится только для новых assets, существующие решения/provenance не заменяются, volume передаётся API-пользователю. `backup.sh` сохраняет persistent manifest/assets в `media.tar.gz`, `restore.sh` восстанавливает их вместе с PostgreSQL и MinIO. Изолированный bootstrap подтвердил сохранение manifest после `--force-recreate` API; backup/restore drill подтвердил checksum и восстановление контрольного media-решения. Production secrets, внешнее backup-хранилище и серверный A07 acceptance-run остаются открытыми.
|
||||
- [x] **R02 · P1 · Публикация выбранных media и защита от гонок (A04/B23).** Admin API получил preview и явный набор SHA-256 asset IDs; publish больше не выбирает скрытые `upgrade_stored`, проверяет целостность выбранных файлов/вариантов, сверяет monotonic manifest version и возвращает `409` для устаревшей вкладки. Publish/rollback и CLI-совместимый путь сериализованы общим lock-файлом; решения пишутся атомарно и увеличивают версию. Regression покрывает выбор одного кандидата из двух и stale-version conflict; web admin передаёт ID и версию из заголовка manifest. Browser/production acceptance A04/A06/A07 остаётся отдельным gate.
|
||||
- [x] **R03 · P1 · Идемпотентная отправка улова.** Единый replay-контракт теперь сверяет payload hash и TTL также после `IntegrityError`; старый уникальный ключ получает `409`, а завершённый screenshot больше не ломает повтор исходной отправки. Spot/Bait создаются через savepoint и повторный select после unique-конфликта, поэтому ожидаемые гонки не дают необработанный `500`. Regression покрывает одинаковый повтор, изменённый payload, завершённый upload и просроченный ключ.
|
||||
- [ ] **R04 · P1 · Восстановление загрузки скриншота.** Атомарное одноразовое сохранение, повтор после потерянного ответа, очистка idempotency-cookie после восстановления. Критерий: нет лишних объектов, retry завершает форму и следующий новый улов отправляется.
|
||||
- [ ] **R05 · P1 · Полноценный каталог снастей (G06/G09).** Отдельная пагинация сборок/предметов, независимые ошибки, валидация URL-фильтров, empty search отдельно от незаполненного каталога. Критерий: 49+ сборок достижимы при 0 предметов, 422 не маскируется под 503. Убрать вложенные ссылки: карточка оборачивает DataPassport с source-link; проверить итоговый DOM и keyboard наполненных карточек.
|
||||
- [ ] **R06 · P1 · Надёжный перенос плана (U05).** Preview, объединение/замена с восстановлением, однократный импорт, storage errors, вычисляемая свежесть и точное описание передачи share-данных. Критерий: ссылка не стирает план без выбора, reload не возвращает удалённое, старые данные отмечены.
|
||||
- [ ] **R07 · P1 · Схема координат по водоёмам (U04).** Разделить системы координат, показать точность и водоём, обработать совпадения/обрезку. Критерий: все точки достижимы на 320 px и с клавиатуры, включая одинаковые координаты и длинные названия.
|
||||
- [ ] **R08 · P1 · Достоверная аналитика снастей (G07).** Зафиксировать публичный минимум 3 наблюдения/2 игрока, разделить время улова и импорта, conservative canonical grouping, ограничить ответ. Критерий: 1/1 не рекомендация, unresolved не получает ложную привязку, старый улов не выглядит свежим.
|
||||
- [ ] **R09 · P1 · Полное удаление личных данных.** Retention/delete учитывают дочерние source_url/raw_payload и восстановление при сбоях S3/БД. Критерий: личные копии не остаются в компонентах, повторная очистка безопасна.
|
||||
- [ ] **R10 · P1 · Единый cooldown и стадии запроса.** Координация CLI/media/scheduler; release только до доказанного обращения. Критерий: DNS до первого запроса освобождает резерв, ошибка после redirect — нет; конкурентные пути делят одно окно. Проверять offline.
|
||||
- [ ] **R18 · P1 · Границы локального и production запуска.** Loopback для dev-портов с явным opt-in LAN; проверить доверенные proxy/client-IP и rate-limit на двух клиентах. Критерий: default dev не открыт в LAN, production различает клиентов. Реальные серверные gates — A07.
|
||||
- [ ] **R11 · P2 · Честное качество и происхождение media (B25).** Unknown вместо ложного official, hostname allowlist, размеры отдельно от наличия альтернатив, compact подписи и cache/revocation-политика. Критерий: длинные подписи читаемы, неизвестный источник не становится официальным.
|
||||
- [ ] **R14 · P2 · Подтверждённый каталог и demo seed.** Отделить справочник от неподтверждённых описаний/точек, показывать loaded count и внешнюю полноту/unknown раздельно. Критерий: production без demo не создаёт вымышленных описаний, media count не подменяет canonical count.
|
||||
- [ ] **R15 · P2 · Восстановление пользовательских действий.** Сохранять draft при 422/429/timeout, объяснять конфликт повторов, undo плана и общий storage/clipboard helper. Критерий: повтор не требует заполнить весь улов заново.
|
||||
- [ ] **R16 · P2 · Производительность реальных endpoints.** Измерить ORM/RSS/SQL и чтение manifest, затем bounded aggregation и digest/mtime cache по результатам. Критерий: воспроизводимый endpoint budget на крупных fixtures; Redis заранее не добавлять.
|
||||
- [ ] **R17 · P2 · Навигация и SEO снастей.** Обнаруживаемый каталог снастей и sitemap подтверждённых карточек; политика индексации фильтров/пустых страниц. Критерий: канонические карточки достижимы из UI и sitemap без дубликатов.
|
||||
- [x] **R04 · P1 · Восстановление загрузки скриншота.** Retry endpoint теперь сохраняет recovery-состояние даже после timeout: форма повторной загрузки остаётся доступной, а повтор безопасен при уже принятом upload. После успешного восстановления удаляются upload- и idempotency-cookie; backend не создаёт второй объект при повторе. Полный browser/network failure drill остаётся отдельной приёмкой.
|
||||
- [x] **R05 · P1 · Полноценный каталог снастей (G06/G09).** Предметы и сборки получили независимые offsets и пагинаторы (`items_offset`/`rigs_offset`), один сбой endpoint больше не скрывает второй, 422 фильтров отделён от 503, пустой поиск отделён от незаполненного каталога. Карточки стали article-блоками с отдельной ссылкой названия и валидным source-link внутри паспорта без вложенных ссылок. `astro check` и production build проходят; browser/keyboard acceptance наполненного каталога остаётся частью G06/G09.
|
||||
- [x] **R06 · P1 · Надёжный перенос плана (U05).** Share-ссылка показывает preview и явно предлагает объединить, заменить или отменить импорт; `plan` удаляется из URL после чтения, поэтому reload не возвращает удалённые точки. Запись в storage защищена обработкой ошибок, freshness пересчитывается по timestamp, а описание точно говорит о локальном хранении и snapshot в ссылке.
|
||||
- [x] **R07 · P1 · Схема координат по водоёмам (U04).** ActivityMap теперь строит отдельную сетку для каждого водоёма, явно подписывает водоём и число точек, разносит совпадающие ячейки, добавляет полную tooltip/accessible label и не обрезает длинные названия карточек. `astro check` проходит; browser acceptance на 320px остаётся отдельным визуальным gate.
|
||||
- [x] **R08 · P1 · Достоверная аналитика снастей (G07).** Публичные пороги закреплены минимум на 3 наблюдениях и 2 игроках независимо от URL-параметров; окно и freshness используют время улова с fallback на время импорта, ответ ограничен `limit`, а canonical ID назначается только при полном однозначном покрытии компонентных наблюдений. `1/1` нельзя превратить в рекомендацию, unresolved не получает ложную привязку.
|
||||
- [x] **R09 · P1 · Полное удаление личных данных.** Retention и admin-delete загружают дочерние компоненты, очищают их `source_url/raw_payload` вместе с родительским report и сбрасывают upload-token; retention теперь обнаруживает старые reports даже при уже очищенных родительских полях, если provenance осталась в component. Повторная очистка остаётся безопасной; S3/БД failure drill — отдельный эксплуатационный gate.
|
||||
- [x] **R10 · P1 · Единый cooldown и стадии запроса.** Community CLI уже освобождал резерв до HTTP-ответа; media CLI теперь использует тот же контракт: DNS/connection/OSError освобождают только собственный резерв, HTTPError или ошибка валидированного тела сохраняют cooldown, batch освобождает окно только если ни один asset не получил ответ. Offline regression добавлен; scheduler сохраняет site-wide координацию.
|
||||
- [ ] **R18 · P1 · Границы локального и production запуска.** Первый шаг выполнен: локальный Compose публикует API, web и MinIO только на loopback через `RF4_BIND_ADDRESS` с явным opt-in LAN; production использует выделенную edge-сеть `172.30.0.0/24`, а `TRUSTED_PROXY_CIDRS` синхронизирован с её CIDR и может быть явно изменён вместе с `EDGE_NETWORK_SUBNET`. Rate-limit игнорирует XFF от недоверенного peer и различает двух клиентов через trusted proxy. Остались реальная proxy-цепочка на сервере и A07 acceptance.
|
||||
- [x] **R11 · P2 · Честное качество и происхождение media (B25).** API использует точный hostname allowlist для `rf4db`/`rf4map`/`rf4-stat`, неизвестные и malformed URL получают `unknown`, а не ложный `rf4-official`. UI различает низкое разрешение и наличие проверенной card-версии, не утверждая отсутствие альтернатив без данных manifest. Cache/revocation и production visual acceptance остаются отдельными gates.
|
||||
- [x] **R14 · P2 · Подтверждённый каталог и demo seed.** `SEED_DEMO_DATA=false` больше не создаёт редакционные описания тестовых точек; demo-уловы имеют отдельный `seed:` namespace и catalog audit считает их отдельно от подтверждённых reports. Loaded canonical counts и external staging остаются раздельными, media count не используется как catalog count.
|
||||
- [x] **R15 · P2 · Восстановление пользовательских действий.** Report UI теперь различает idempotency-конфликт и обычную ошибку, восстанавливает draft и предлагает повтор с новым ключом; plan получил восьмисекундный undo после удаления с обработкой storage errors. Draft сохраняется при 422/429/timeout, повтор не требует заново заполнять весь улов.
|
||||
- [ ] **R16 · P2 · Производительность реальных endpoints.** Первый шаг выполнен: public media catalog использует process-local digest/mtime cache manifest с инвалидированием при изменении файла, API отдаёт короткий `Cache-Control` и manifest version. Теперь `published_file` использует revision-local digest index без повторного сканирования assets, activity/tackle analytics ограничены воспроизводимым окном 10 000 свежих фактов, а справочники и detail-карточки снастей получают безопасный `public` cache policy на 60 секунд. Осталось измерить ORM/RSS/SQL на крупных fixtures и зафиксировать endpoint budget; Redis заранее не добавлять.
|
||||
- [x] **R17 · P2 · Навигация и SEO снастей.** Sitemap теперь включает `/tackle`, все пагинированные canonical item/rig detail URL и не добавляет фильтры/analytics; detail layout оставляет missing/unavailable/404 страницы noindex, а каталог ведёт в canonical карточки. При недоступном API сохраняется последний корректный sitemap.
|
||||
- [ ] **R12 · P2 · Визуальная приёмка наполненных состояний (D07/A06/U06/G09).** Изолированные данные: длинные карточки, компоненты, конфликты, ошибки, authenticated admin; light/dark mobile/desktop, keyboard/contrast и screenshots с revision. Критерий: подтверждены действия и читаемость, а не только DOM/overflow.
|
||||
- [ ] **R13 · P2 · Зелёные проверки и CI artifacts.** Обновить два устаревших контракта, адресные regressions исправленных дефектов, успешные visual artifacts, Node/Python baseline и отдельный dependency audit. Критерий: suites зелёные, skip объяснён, отчёт связан с commit. Известные падения учитывать при каждом feature-коммите.
|
||||
|
||||
@@ -81,7 +81,7 @@ W03 также можно продвинуть offline: сохранённый s
|
||||
|
||||
- [x] **W01 · Canonical-каталог RF4DB.** 16.09 через браузерный контекст получен и проверен индекс `/ru/maps`: 19/19 карточек, source slug/ID, русское название, уровень открытия, число видов рыб и URL изображения сохранены в [`data/waterbodies/rf4db-catalog-2026-09-16.json`](../data/waterbodies/rf4db-catalog-2026-09-16.json). Добавлена команда `python -m app.cli import-waterbody-catalog --input ...` для применения снимка в БД. Изображения остаются кандидатами без автоматической роли `map` или `cover`; detail-данные выполняются отдельно по W02.
|
||||
- [ ] **W02 · Карточки водоёмов RF4DB.** Строгий fixture-based parser `rf4db-waterbody` расширен под реальный DOM `/fishes/` и `/positions/`, regression-тесты, безопасный `update_waterbody_detail` и атомарный batch `update_waterbody_details`/`import-waterbody-details` готовы. Snapshots `level_000_home`, `level_001_lake` и `level_002_kirzah_river` сохранены. Добавлены guarded launcher `scripts/fetch-waterbodies-chromium.mjs` для обычной Chromium-сессии и offline-режим `scripts/fetch-waterbodies.py --html`; оба сохраняют snapshots атомарно, не импортируют их автоматически и используют общий cooldown. Резерв имеет идентификатор попытки: локальный сбой до открытия страницы (включая падение Chromium, DNS или отказ соединения) освобождает только собственный резерв, а ответ источника сохраняет cooldown. Chromium-launcher сначала делает отдельную reserve-only операцию. Повторный разрешённый запрос `level_002_kirzah_river` 20.09 вернул совпадающие с canonical-каталогом имя, `29/29` видов и два URL изображений; snapshot импортирован в Compose PostgreSQL, `/health` и `/ready` успешны, публичная `/waterbodies/р-вьюнок` отвечает `200`. Описание и позиции источник не вернул, поэтому они оставлены `null`/пустыми без домыслов; изображения остаются только provenance-кандидатами и не публиковались. Три разрешённых запроса `level_019_american_pond` 20.09 завершились `403 Forbidden`, а текущий Chromium показывает защитную страницу Cloudflare: это блокировка HTTP-клиента источником, не ошибка атомарного сохранения launcher-а; snapshot и импорт не создавались, прежние подтверждённые данные и media не менялись. Одно промежуточное разрешённое окно 20.09 было зарезервировано CLI, но завершилось локальной DNS-ошибкой до ответа источника; зависший резерв от последнего локального падения снят без запроса к источнику. Следующий сетевой запуск допускается только после общего cooldown; полнота ответа остаётся неподтверждённой. CAPTCHA/challenge не автоматизируются. Осталось последовательно разобрать 16 detail-страниц. Сверка 22.09: после этих ошибок сохранён `.cache/waterbodies/rf4db-level_019_american_pond-20260921.json` (19 видов, 2 URL изображений, без description/point_urls). Утверждение выше о текущей Cloudflare-странице историческое; snapshot требует versioned provenance и проверки импорта. Остаток detail-очереди пересчитать по сохранённым и импортированным IDs.
|
||||
- [ ] **W03 · Модель и provenance.** В модель `Waterbody`, API-каталог и миграции `0017`/`0019`/`0020` добавлены nullable-поля provenance, счётчик видов и detail-факты; идемпотентный upsert применён к canonical snapshot: `19/19`, без missing/duplicate/provenance issues. Осталось применить подтверждённые detail snapshots и отдельно разделить игровые и редакционные тексты при подключении detail-данных.
|
||||
- [ ] **W03 · Модель и provenance.** В модель `Waterbody`, API-каталог и миграции `0017`/`0019`/`0020` добавлены nullable-поля provenance, счётчик видов и detail-факты; идемпотентный upsert применён к canonical snapshot: `19/19`, без missing/duplicate/provenance issues. Первый подтверждённый detail snapshot `level_019_american_pond` (оз. Лосиное, 19 видов, 2 image URL, без description/point_urls) сохранён и дважды применён без изменения результата. Осталось применить остальные подтверждённые detail snapshots и отдельно разделить игровые и редакционные тексты при подключении detail-данных.
|
||||
- [ ] **W04 · Классификация изображений.** Добавлены допустимые роли `waterbody_cover`, `waterbody_map`, `waterbody_depth_map`, `waterbody_screenshot` и проверка их назначения только через review для canonical waterbody. Кандидаты по-прежнему не получают роль автоматически. Осталось наполнить очередь detail-изображениями и провести contact-sheet review с проверкой dimensions, MIME, SHA-256, соответствия названию и источника.
|
||||
- [ ] **W05 · Crosswalk источников.** Добавлен offline-конструктор консервативных предложений: нормализуются только точные имена/алиасы, неоднозначные и unmatched строки не получают canonical key; отсутствие ID выдаётся лишь диагностикой и не считается удалением. RF4MAP/RF4-STAT directory parsers теперь преобразуются в crosswalk identities без переноса метрик или автоматической привязки. Осталось подать полный набор реальных RF4DB/RF4MAP/RF4 Posts identities и вручную подтвердить результаты, включая три ранее отмеченных отсутствующих RF4MAP объекта.
|
||||
- [ ] **W06 · Координаты и точность.** В `ExternalObservation`, staging, provenance опубликованного улова и публичных activity/spot-ответах добавлены `coordinate_raw`, `coordinate_precision = exact | approximate | area | missing` и список источников; RF4DB/RF4-STAT/RF4MAP/RF4 Posts parsers теперь протягивают исходную строку, включая строки без доступных числовых координат. Исправлена spot detail: точность (`точные`/`приблизительные`/`район`/`не указаны`) теперь видна рядом с координатами и покрыта smoke regression, а `coordinate_sources` раскрываются внутри evidence-паспорта без потери provenance. Все public-компоненты используют единый `coordinatePrecisionLabel` с безопасным fallback и unit-регрессией четырёх состояний. In-app Chromium и focused smoke подтвердили `/spots/vyunok-321x654` на desktop/mobile без overflow; browser regression для отсутствующей точки проверяет недоступное состояние без ложных координат, а API regression параметризован по всем четырём precision-состояниям. Visual matrix теперь включает valid spot и четыре not-found/error-маршрута во всех 4 ширинах и 3 темах; остаётся отдельная production/browser QA для данных, которые не представлены локальным seed.
|
||||
|
||||
@@ -22,6 +22,13 @@
|
||||
|
||||
## Измеримый бюджет
|
||||
|
||||
Activity и tackle analytics намеренно обрабатывают не более 10 000 самых
|
||||
свежих approved-фактов за окно запроса. Это bounded budget для Python-агрегации:
|
||||
сортировка и уникальный `id` делают срез воспроизводимым, а публичные ответы не
|
||||
могут внезапно потребить память пропорционально всей истории. При превышении
|
||||
лимита production measurement должен отдельно показать необходимость SQL/RSS
|
||||
агрегации, а не расширять этот предел вслепую.
|
||||
|
||||
На сервере альфа-пилота при объёме до 100 000 уловов и до 100 000 staging-наблюдений принимаются следующие server-side цели без учёта сети и браузерного рендера:
|
||||
|
||||
- p95 публичных списков и activity — не более 250 мс;
|
||||
|
||||
@@ -7,7 +7,7 @@ from pathlib import Path
|
||||
import urllib.error
|
||||
import urllib.request
|
||||
|
||||
from .community_cli import MIN_FETCH_INTERVAL_SECONDS, USER_AGENT, _StrictRedirectHandler, _read_state, _validate_url_before_io, check_and_reserve, fetch_html, fetch_site_key
|
||||
from .community_cli import MIN_FETCH_INTERVAL_SECONDS, USER_AGENT, _StrictRedirectHandler, _read_state, _validate_url_before_io, check_and_reserve, fetch_html, fetch_site_key, release_reservation
|
||||
from .media_assets import approve_stored_assets, audit_media_catalog, compare_quality_upgrades, extract_media_candidates, generate_media_derivatives, generate_quality_contact_sheets, media_coverage, media_quality_report, merge_manifest, publish_quality_upgrades, queue_quality_upgrades, reconcile_queued_duplicates, reclassify_manifest, review_asset, rollback_quality_upgrade, store_asset
|
||||
|
||||
|
||||
@@ -104,6 +104,11 @@ def _attempt_asset(root: Path, manifest_path: Path, manifest: dict, queued: dict
|
||||
return f"stored {url} as {relative}", None
|
||||
|
||||
|
||||
def _response_was_received(error: Exception) -> bool:
|
||||
"""Only an HTTP response or validated body is allowed to consume cooldown."""
|
||||
return isinstance(error, (urllib.error.HTTPError, ValueError))
|
||||
|
||||
|
||||
def _download_one(root: Path, state_file: Path, asset_url: str | None = None) -> str:
|
||||
manifest_path = root / "manifest.json"
|
||||
manifest = json.loads(manifest_path.read_text(encoding="utf-8"))
|
||||
@@ -112,9 +117,11 @@ def _download_one(root: Path, state_file: Path, asset_url: str | None = None) ->
|
||||
return "queue is empty" if asset_url is None else "asset is not queued"
|
||||
url = queued["asset_url"]
|
||||
_validate_url_before_io(url)
|
||||
check_and_reserve(fetch_site_key(url), state_file=state_file)
|
||||
reserved_at = check_and_reserve(fetch_site_key(url), state_file=state_file)
|
||||
message, error = _attempt_asset(root, manifest_path, manifest, queued)
|
||||
if error is not None:
|
||||
if not _response_was_received(error):
|
||||
release_reservation(fetch_site_key(url), state_file=state_file, reserved_at=reserved_at)
|
||||
raise error
|
||||
return message
|
||||
|
||||
@@ -142,6 +149,7 @@ def _download_batch(root: Path, state_file: Path, *, limit: int = MAX_BATCH_ASSE
|
||||
domains[site] = {"attempted": 0, "stored": 0, "failed": 0, "skipped": str(exc)}
|
||||
continue
|
||||
stored = failed = consecutive_failures = 0
|
||||
response_received = False
|
||||
messages: list[str] = []
|
||||
stopped_reason: str | None = None
|
||||
for item in items[:limit]:
|
||||
@@ -149,17 +157,24 @@ def _download_batch(root: Path, state_file: Path, *, limit: int = MAX_BATCH_ASSE
|
||||
messages.append(message)
|
||||
if error is None:
|
||||
stored += 1
|
||||
response_received = True
|
||||
consecutive_failures = 0
|
||||
continue
|
||||
failed += 1
|
||||
consecutive_failures += 1
|
||||
status = item.get("status")
|
||||
if _response_was_received(error):
|
||||
response_received = True
|
||||
if status in {"blocked", "queued"}:
|
||||
stopped_reason = f"domain stopped after {status} response"
|
||||
break
|
||||
if consecutive_failures >= MAX_CONSECUTIVE_FAILURES:
|
||||
stopped_reason = f"domain stopped after {MAX_CONSECUTIVE_FAILURES} consecutive failures"
|
||||
break
|
||||
if not response_received and failed and stored == 0:
|
||||
# No HTTP response was observed in this reservation window. It is
|
||||
# safe to release this process's reservation for a later retry.
|
||||
release_reservation(site, state_file=state_file, reserved_at=reserved_at)
|
||||
domains[site] = {
|
||||
"attempted": stored + failed, "stored": stored, "failed": failed,
|
||||
"stopped_reason": stopped_reason, "messages": messages,
|
||||
|
||||
+20
-1
@@ -2,7 +2,7 @@ import json
|
||||
from pathlib import Path
|
||||
|
||||
from rf4_research import media_cli
|
||||
from rf4_research.media_cli import _download_batch, media_queue_plan
|
||||
from rf4_research.media_cli import _download_batch, _download_one, media_queue_plan
|
||||
|
||||
|
||||
def test_queue_plan_prioritizes_entity_gaps_and_respects_domain_cooldown(tmp_path: Path) -> None:
|
||||
@@ -101,3 +101,22 @@ def test_batch_downloads_quality_upgrade_without_unpublishing_fallback(tmp_path:
|
||||
assert report["stored_total"] == 1
|
||||
assets = json.loads((root / "manifest.json").read_text(encoding="utf-8"))["assets"]
|
||||
assert assets[0]["status"] == "upgrade_stored"
|
||||
|
||||
|
||||
def test_local_failure_releases_media_reservation(tmp_path: Path, monkeypatch) -> None:
|
||||
root = tmp_path / "media"
|
||||
root.mkdir()
|
||||
(root / "manifest.json").write_text(json.dumps({"version": 1, "assets": [
|
||||
{"status": "queued", "asset_url": "https://rf4map.ru/fish.png"},
|
||||
]}), encoding="utf-8")
|
||||
state = tmp_path / "state.json"
|
||||
monkeypatch.setattr(media_cli, "_attempt_asset", lambda *_: ("queued", OSError("DNS unavailable")))
|
||||
|
||||
try:
|
||||
_download_one(root, state, "https://rf4map.ru/fish.png")
|
||||
except OSError:
|
||||
pass
|
||||
else:
|
||||
raise AssertionError("local media failure must be raised")
|
||||
|
||||
assert not state.exists() or "rf4map.ru" not in json.loads(state.read_text(encoding="utf-8"))
|
||||
Reference in new issue
Block a user