Compare commits
4
Commits
| Author | SHA1 | Date | |
|---|---|---|---|
|
|
3421472a12 | ||
|
|
54fae57f9c | ||
|
|
1da9279ddf | ||
|
|
a501b5ea9d |
No files matched your search
@@ -1,4 +1,6 @@
|
||||
DATABASE_URL=postgresql+psycopg://rf4:rf4_local@localhost:5432/rf4_spotter
|
||||
# Local Compose ports bind to loopback; set 0.0.0.0 only for an intentional LAN demo.
|
||||
RF4_BIND_ADDRESS=127.0.0.1
|
||||
APP_VERSION=0.1.0
|
||||
APP_REVISION=dev
|
||||
PUBLIC_API_URL=http://localhost:8000
|
||||
|
||||
@@ -14,6 +14,8 @@ PUBLIC_CACHE_SECONDS=20
|
||||
|
||||
ADMIN_TOKEN=replace-with-at-least-32-random-characters
|
||||
RATE_LIMIT_SECRET=replace-with-at-least-32-random-characters
|
||||
# Caddy is trusted only from the private Docker network; use the exact edge CIDR if customized.
|
||||
TRUSTED_PROXY_CIDRS=172.16.0.0/12,127.0.0.1/32,::1/128
|
||||
ADMIN_BASIC_USER=rf4admin
|
||||
# Generate with: docker run --rm caddy:2.10.2-alpine caddy hash-password --plaintext 'YOUR PASSWORD'
|
||||
ADMIN_BASIC_PASSWORD_HASH='replace-with-caddy-password-hash'
|
||||
|
||||
@@ -10,6 +10,8 @@ from sqlalchemy.orm import Session, joinedload
|
||||
from .models import CatchReport, ModerationStatus
|
||||
from .schemas import ActivityOut
|
||||
|
||||
MAX_ACTIVITY_FACTS = 10_000
|
||||
|
||||
|
||||
def activity_rows(
|
||||
session: Session,
|
||||
@@ -33,6 +35,8 @@ def activity_rows(
|
||||
CatchReport.spot_id.is_not(None),
|
||||
CatchReport.reported_at >= now - timedelta(hours=hours),
|
||||
)
|
||||
.order_by(CatchReport.reported_at.desc(), CatchReport.id.desc())
|
||||
.limit(MAX_ACTIVITY_FACTS)
|
||||
)
|
||||
if waterbody:
|
||||
query = query.where(CatchReport.waterbody.has(slug=waterbody))
|
||||
|
||||
@@ -12,6 +12,7 @@ TACKLE_MEDIA_ROLES = {"tackle_card", "tackle_detail", "rig_diagram", "tackle_scr
|
||||
KNOWN_MEDIA_ROLES = WATERBODY_MEDIA_ROLES | TACKLE_MEDIA_ROLES
|
||||
MEDIA_ROLES_BY_ENTITY = {"waterbody": WATERBODY_MEDIA_ROLES, "tackle": TACKLE_MEDIA_ROLES}
|
||||
_manifest_cache: tuple[Path, int, int, dict] | None = None
|
||||
_asset_index_cache: tuple[int, dict[str, tuple[str, str | None]]] | None = None
|
||||
|
||||
|
||||
def _read_manifest() -> dict:
|
||||
@@ -107,21 +108,23 @@ def published_file(digest: str) -> tuple[Path, str] | None:
|
||||
if len(digest) != 64 or any(char not in "0123456789abcdef" for char in digest):
|
||||
return None
|
||||
manifest = _read_manifest()
|
||||
item = next((row for row in manifest.get("assets", []) if row.get("status") == "approved" and row.get("sha256") == digest), None)
|
||||
media_type = None
|
||||
local_path = None
|
||||
if item:
|
||||
media_type = item.get("content_type")
|
||||
local_path = item.get("local_path")
|
||||
else:
|
||||
global _asset_index_cache
|
||||
cache_key = id(manifest)
|
||||
if _asset_index_cache is None or _asset_index_cache[0] != cache_key:
|
||||
index: dict[str, tuple[str, str | None]] = {}
|
||||
for row in manifest.get("assets", []):
|
||||
if row.get("status") != "approved":
|
||||
continue
|
||||
variant = next((candidate for candidate in row.get("derivatives", []) if candidate.get("sha256") == digest), None)
|
||||
if variant:
|
||||
media_type = variant.get("content_type")
|
||||
local_path = variant.get("local_path")
|
||||
break
|
||||
if row.get("sha256") and row.get("local_path"):
|
||||
index[str(row["sha256"])] = (str(row["local_path"]), row.get("content_type"))
|
||||
for variant in row.get("derivatives", []):
|
||||
if variant.get("sha256") and variant.get("local_path"):
|
||||
index.setdefault(str(variant["sha256"]), (str(variant["local_path"]), variant.get("content_type")))
|
||||
_asset_index_cache = (cache_key, index)
|
||||
asset = _asset_index_cache[1].get(digest)
|
||||
if asset is None:
|
||||
return None
|
||||
local_path, media_type = asset
|
||||
if not local_path:
|
||||
return None
|
||||
target = (MEDIA_ROOT / local_path).resolve()
|
||||
|
||||
@@ -14,6 +14,7 @@ from ..schemas import TackleCombinationOut
|
||||
|
||||
router = APIRouter()
|
||||
FRESHNESS_HALF_LIFE_HOURS = 12.5
|
||||
MAX_ANALYTICS_FACTS = 10_000
|
||||
|
||||
|
||||
def _age_hours(value: datetime, now: datetime) -> float:
|
||||
@@ -53,6 +54,7 @@ def tackle_combinations(
|
||||
query = query.join(Fish, CatchReport.fish_id == Fish.id).where(Fish.slug == fish)
|
||||
if method:
|
||||
query = query.where(CatchReport.fishing_method == method)
|
||||
query = query.order_by(CatchReport.caught_at.desc(), CatchReport.reported_at.desc(), CatchReport.id.desc()).limit(MAX_ANALYTICS_FACTS)
|
||||
|
||||
groups: dict[tuple[str, str], list[CatchReport]] = defaultdict(list)
|
||||
for report in db.scalars(query):
|
||||
|
||||
@@ -2,9 +2,9 @@
|
||||
import FishSilhouette from "./FishSilhouette.astro";
|
||||
import WaterbodyMark from "./WaterbodyMark.astro";
|
||||
import AtlasPairMark from "./AtlasPairMark.astro";
|
||||
const { eyebrow, title, description, variant, count, identity = title, secondaryIdentity = "waterbody" } = Astro.props as { eyebrow: string; title: string; description?: string; variant?: "water" | "fish" | "pair"; count?: number; identity?: string; secondaryIdentity?: string };
|
||||
const { eyebrow, title, description, variant, count, countLabel, identity = title, secondaryIdentity = "waterbody" } = Astro.props as { eyebrow: string; title: string; description?: string; variant?: "water" | "fish" | "pair"; count?: number; countLabel?: string; identity?: string; secondaryIdentity?: string };
|
||||
---
|
||||
<section class:list={["catalog-hero content-grid", { "catalog-hero--illustrated": variant }]}>
|
||||
<div class="catalog-hero__copy"><span class="overline">{eyebrow}</span><h1>{title}</h1>{description && <p>{description}</p>}</div>
|
||||
{variant && <div class:list={["catalog-hero__seal", { "catalog-hero__seal--pair": variant === "pair" }]} aria-hidden="true"><span>{variant === "water" ? <WaterbodyMark identity={identity} size={94} /> : variant === "pair" ? <AtlasPairMark waterbody={secondaryIdentity} fish={identity} /> : <FishSilhouette name={identity} size={92} />}</span>{typeof count === "number" && <><strong>{String(count).padStart(2,"0")}</strong><small>{variant === "water" ? "водоёмов" : "видов рыб"}</small></>}</div>}
|
||||
{variant && <div class:list={["catalog-hero__seal", { "catalog-hero__seal--pair": variant === "pair" }]}><span aria-hidden="true">{variant === "water" ? <WaterbodyMark identity={identity} size={94} /> : variant === "pair" ? <AtlasPairMark waterbody={secondaryIdentity} fish={identity} /> : <FishSilhouette name={identity} size={92} />}</span>{typeof count === "number" && <><strong>{String(count).padStart(2,"0")}</strong><small>{countLabel ?? (variant === "water" ? "водоёмов" : "видов рыб")}</small></>}</div>}
|
||||
</section>
|
||||
@@ -53,7 +53,7 @@ const itemsParams = new URLSearchParams(filterParams);
|
||||
const rigsParams = new URLSearchParams(search ? { q: search } : {});
|
||||
---
|
||||
<Layout title="Снасти и приманки RF4 — RF4 Spotter" description="Канонический каталог снастей, приманок и сборок Russian Fishing 4 с источниками и отметками неполноты." noindex={unavailable || invalidFilters} errorPage={false}>
|
||||
<PageHero eyebrow="Канонический справочник" title="Снасти и приманки" description="Показываем только подтверждённые карточки. Пустые поля явно отмечены и не заменяются догадками." variant="fish" count={result.total} />
|
||||
<PageHero eyebrow="Канонический справочник" title="Снасти и приманки" description="Показываем только подтверждённые карточки. Пустые поля явно отмечены и не заменяются догадками." variant="fish" count={result.total} countLabel="карточек" />
|
||||
<form class="record-filters" method="get" aria-label="Фильтры каталога снастей">
|
||||
<label>Категория<select name="category"><option value="">Все категории</option>{Object.entries(categoryLabels).map(([value, label]) => <option value={value} selected={category === value}>{label}</option>)}</select></label>
|
||||
<label>Поиск<input name="q" value={search} maxlength="100" placeholder="Название снасти или приманки" /></label>
|
||||
|
||||
@@ -132,7 +132,9 @@ services:
|
||||
IMPORT_INTERVAL_SECONDS: ${IMPORT_INTERVAL_SECONDS:-3600}
|
||||
PUBLIC_CACHE_SECONDS: ${PUBLIC_CACHE_SECONDS:-20}
|
||||
RATE_LIMIT_SECRET: ${RATE_LIMIT_SECRET:?Set RATE_LIMIT_SECRET}
|
||||
TRUSTED_PROXY_CIDRS: '${TRUSTED_PROXY_CIDRS:-"127.0.0.1/32,::1/128"}'
|
||||
# Caddy reaches API over the private Docker network, not loopback.
|
||||
# Override with the exact edge-network CIDR when the deployment network is customized.
|
||||
TRUSTED_PROXY_CIDRS: '${TRUSTED_PROXY_CIDRS:-"172.16.0.0/12,127.0.0.1/32,::1/128"}'
|
||||
RETENTION_SUBMISSION_DAYS: ${RETENTION_SUBMISSION_DAYS:-1}
|
||||
RETENTION_UNREVIEWED_DAYS: ${RETENTION_UNREVIEWED_DAYS:-30}
|
||||
RETENTION_APPROVED_PERSONAL_DAYS: ${RETENTION_APPROVED_PERSONAL_DAYS:-180}
|
||||
@@ -230,7 +232,7 @@ services:
|
||||
S3_SECRET_KEY: ${S3_SECRET_KEY:?Set S3_SECRET_KEY}
|
||||
SEED_DEMO_DATA: "false"
|
||||
RATE_LIMIT_SECRET: ${RATE_LIMIT_SECRET:?Set RATE_LIMIT_SECRET}
|
||||
TRUSTED_PROXY_CIDRS: '${TRUSTED_PROXY_CIDRS:-"127.0.0.1/32,::1/128"}'
|
||||
TRUSTED_PROXY_CIDRS: '${TRUSTED_PROXY_CIDRS:-"172.16.0.0/12,127.0.0.1/32,::1/128"}'
|
||||
COMMUNITY_IMPORT_INTERVAL_SECONDS: ${COMMUNITY_IMPORT_INTERVAL_SECONDS:-1800}
|
||||
RF4MAP_POINT_URL: ${RF4MAP_POINT_URL:-https://rf4map.ru/points/275}
|
||||
RF4POSTS_SPOT_URL: ${RF4POSTS_SPOT_URL:-https://rf4-posts.com/ru/spots/d0c6d9c6-4ebf-49a7-98a8-9a562553a8ee}
|
||||
|
||||
+4
-4
@@ -20,8 +20,8 @@ services:
|
||||
MINIO_ROOT_USER: ${S3_ACCESS_KEY:-rf4-local}
|
||||
MINIO_ROOT_PASSWORD: ${S3_SECRET_KEY:-rf4-local-secret}
|
||||
ports:
|
||||
- "9000:9000"
|
||||
- "9001:9001"
|
||||
- "${RF4_BIND_ADDRESS:-127.0.0.1}:9000:9000"
|
||||
- "${RF4_BIND_ADDRESS:-127.0.0.1}:9001:9001"
|
||||
healthcheck:
|
||||
test: ["CMD", "curl", "-fsS", "http://localhost:9000/minio/health/live"]
|
||||
interval: 5s
|
||||
@@ -75,7 +75,7 @@ services:
|
||||
minio-init:
|
||||
condition: service_completed_successfully
|
||||
ports:
|
||||
- "8000:8000"
|
||||
- "${RF4_BIND_ADDRESS:-127.0.0.1}:8000:8000"
|
||||
healthcheck:
|
||||
test: ["CMD", "python", "-c", "import urllib.request; urllib.request.urlopen('http://localhost:8000/ready')"]
|
||||
interval: 5s
|
||||
@@ -104,7 +104,7 @@ services:
|
||||
api:
|
||||
condition: service_healthy
|
||||
ports:
|
||||
- "4321:4321"
|
||||
- "${RF4_BIND_ADDRESS:-127.0.0.1}:4321:4321"
|
||||
healthcheck:
|
||||
test: ["CMD", "node", "-e", "fetch('http://localhost:4321').then(r=>{if(!r.ok)process.exit(1)}).catch(()=>process.exit(1))"]
|
||||
interval: 5s
|
||||
|
||||
+2
-2
@@ -33,11 +33,11 @@ R-пункты уточняют критерии существующих B/G/U/
|
||||
- [x] **R08 · P1 · Достоверная аналитика снастей (G07).** Публичные пороги закреплены минимум на 3 наблюдениях и 2 игроках независимо от URL-параметров; окно и freshness используют время улова с fallback на время импорта, ответ ограничен `limit`, а canonical ID назначается только при полном однозначном покрытии компонентных наблюдений. `1/1` нельзя превратить в рекомендацию, unresolved не получает ложную привязку.
|
||||
- [x] **R09 · P1 · Полное удаление личных данных.** Retention и admin-delete загружают дочерние компоненты, очищают их `source_url/raw_payload` вместе с родительским report и сбрасывают upload-token; retention теперь обнаруживает старые reports даже при уже очищенных родительских полях, если provenance осталась в component. Повторная очистка остаётся безопасной; S3/БД failure drill — отдельный эксплуатационный gate.
|
||||
- [x] **R10 · P1 · Единый cooldown и стадии запроса.** Community CLI уже освобождал резерв до HTTP-ответа; media CLI теперь использует тот же контракт: DNS/connection/OSError освобождают только собственный резерв, HTTPError или ошибка валидированного тела сохраняют cooldown, batch освобождает окно только если ни один asset не получил ответ. Offline regression добавлен; scheduler сохраняет site-wide координацию.
|
||||
- [ ] **R18 · P1 · Границы локального и production запуска.** Loopback для dev-портов с явным opt-in LAN; проверить доверенные proxy/client-IP и rate-limit на двух клиентах. Критерий: default dev не открыт в LAN, production различает клиентов. Реальные серверные gates — A07.
|
||||
- [ ] **R18 · P1 · Границы локального и production запуска.** Первый шаг выполнен: локальный Compose публикует API, web и MinIO только на loopback через `RF4_BIND_ADDRESS` с явным opt-in LAN; production по умолчанию доверяет приватной Docker-сети Caddy и позволяет сузить `TRUSTED_PROXY_CIDRS` до точного edge-CIDR. Rate-limit игнорирует XFF от недоверенного peer и различает двух клиентов через trusted proxy. Остались реальная proxy-цепочка на сервере, точный CIDR после развёртывания и A07 acceptance.
|
||||
- [x] **R11 · P2 · Честное качество и происхождение media (B25).** API использует точный hostname allowlist для `rf4db`/`rf4map`/`rf4-stat`, неизвестные и malformed URL получают `unknown`, а не ложный `rf4-official`. UI различает низкое разрешение и наличие проверенной card-версии, не утверждая отсутствие альтернатив без данных manifest. Cache/revocation и production visual acceptance остаются отдельными gates.
|
||||
- [x] **R14 · P2 · Подтверждённый каталог и demo seed.** `SEED_DEMO_DATA=false` больше не создаёт редакционные описания тестовых точек; demo-уловы имеют отдельный `seed:` namespace и catalog audit считает их отдельно от подтверждённых reports. Loaded canonical counts и external staging остаются раздельными, media count не используется как catalog count.
|
||||
- [x] **R15 · P2 · Восстановление пользовательских действий.** Report UI теперь различает idempotency-конфликт и обычную ошибку, восстанавливает draft и предлагает повтор с новым ключом; plan получил восьмисекундный undo после удаления с обработкой storage errors. Draft сохраняется при 422/429/timeout, повтор не требует заново заполнять весь улов.
|
||||
- [ ] **R16 · P2 · Производительность реальных endpoints.** Первый шаг выполнен: public media catalog использует process-local digest/mtime cache manifest с инвалидированием при изменении файла, API отдаёт короткий `Cache-Control` и manifest version. Осталось измерить ORM/RSS/SQL на крупных fixtures, завершить bounded aggregation и зафиксировать воспроизводимый endpoint budget; Redis заранее не добавлять.
|
||||
- [ ] **R16 · P2 · Производительность реальных endpoints.** Первый шаг выполнен: public media catalog использует process-local digest/mtime cache manifest с инвалидированием при изменении файла, API отдаёт короткий `Cache-Control` и manifest version. Теперь `published_file` использует revision-local digest index без повторного сканирования assets, а activity/tackle analytics ограничены воспроизводимым окном 10 000 свежих фактов. Осталось измерить ORM/RSS/SQL на крупных fixtures и зафиксировать endpoint budget; Redis заранее не добавлять.
|
||||
- [x] **R17 · P2 · Навигация и SEO снастей.** Sitemap теперь включает `/tackle`, все пагинированные canonical item/rig detail URL и не добавляет фильтры/analytics; detail layout оставляет missing/unavailable/404 страницы noindex, а каталог ведёт в canonical карточки. При недоступном API сохраняется последний корректный sitemap.
|
||||
- [ ] **R12 · P2 · Визуальная приёмка наполненных состояний (D07/A06/U06/G09).** Изолированные данные: длинные карточки, компоненты, конфликты, ошибки, authenticated admin; light/dark mobile/desktop, keyboard/contrast и screenshots с revision. Критерий: подтверждены действия и читаемость, а не только DOM/overflow.
|
||||
- [ ] **R13 · P2 · Зелёные проверки и CI artifacts.** Обновить два устаревших контракта, адресные regressions исправленных дефектов, успешные visual artifacts, Node/Python baseline и отдельный dependency audit. Критерий: suites зелёные, skip объяснён, отчёт связан с commit. Известные падения учитывать при каждом feature-коммите.
|
||||
|
||||
@@ -22,6 +22,13 @@
|
||||
|
||||
## Измеримый бюджет
|
||||
|
||||
Activity и tackle analytics намеренно обрабатывают не более 10 000 самых
|
||||
свежих approved-фактов за окно запроса. Это bounded budget для Python-агрегации:
|
||||
сортировка и уникальный `id` делают срез воспроизводимым, а публичные ответы не
|
||||
могут внезапно потребить память пропорционально всей истории. При превышении
|
||||
лимита production measurement должен отдельно показать необходимость SQL/RSS
|
||||
агрегации, а не расширять этот предел вслепую.
|
||||
|
||||
На сервере альфа-пилота при объёме до 100 000 уловов и до 100 000 staging-наблюдений принимаются следующие server-side цели без учёта сети и браузерного рендера:
|
||||
|
||||
- p95 публичных списков и activity — не более 250 мс;
|
||||
|
||||
Reference in new issue
Block a user