Compare commits
3
Commits
d438c40542
...
4f0c2d23de
| Author | SHA1 | Date | |
|---|---|---|---|
|
|
4f0c2d23de | ||
|
|
4e9895fbf4 | ||
|
|
b0edae98c6 |
No files matched your search
@@ -6,7 +6,7 @@ RF4 Spotter — неофициальный сервис свежих точек
|
|||||||
|
|
||||||
## Статус разработки
|
## Статус разработки
|
||||||
|
|
||||||
**Проверка 15 сентября 2026: локальный контур готов к развёртыванию открытой альфы, внешний запуск ждёт сервер и его настройки.** Пакет восстановления A01–A13 закрыт. Python: **178 passed, 1 skipped**; Astro check/build, web unit и API-тесты проходят. Граф миграций имеет единственную голову `0018`; production bootstrap и импорт реальных источников по-прежнему требуют отдельной инфраструктурной/разрешённой приёмки.
|
**Проверка 20 сентября 2026: локальный кодовый контур проходит сборочные и тестовые gates, внешний запуск ждёт сервер и его настройки.** Пакет восстановления A01–A13 закрыт. Python: **191 passed, 1 skipped**; Astro check/build и web unit проходят. Граф миграций имеет единственную голову `0020`; OpenAPI artifact синхронизирован с FastAPI (`36 paths`). Изолированный production bootstrap с чистыми томами повторно пройден; живая БД, реальные секреты и импорт внешних источников по-прежнему требуют отдельной инфраструктурной/разрешённой приёмки.
|
||||||
|
|
||||||
Актуальные следующие задачи находятся только в [ROADMAP](docs/ROADMAP.md). Старые планы и аудиты сохранены как история и больше не задают порядок работ. До внешнего запуска нужны сервер, DNS/TLS, production-секреты, публичные контакты, внешний backup и канал уведомлений.
|
Актуальные следующие задачи находятся только в [ROADMAP](docs/ROADMAP.md). Старые планы и аудиты сохранены как история и больше не задают порядок работ. До внешнего запуска нужны сервер, DNS/TLS, production-секреты, публичные контакты, внешний backup и канал уведомлений.
|
||||||
|
|
||||||
@@ -46,11 +46,11 @@ RF4DB/RF4-STAT/RF4MAP/RF4 Posts сначала принимаются в изо
|
|||||||
|
|
||||||
Медиасборщик индексирует разрешённые изображения отдельно от публичного каталога: manifest хранит исходную страницу, URL, предполагаемый тип сущности и время обнаружения, а оригиналы сохраняются по SHA-256 без hotlink. После явного разрешения владельца от 14 сентября все скачанные и целостные материалы опубликованы в `/media`; публичный API отдаёт Git-копии по content-addressed URL, а каждая карточка показывает плашку и прямую ссылку на источник. Будущие загрузки по-прежнему не одобряются автоматически. Локальный `media_cli --audit` без сетевых запросов проверяет хэши, файлы, MIME, размеры, approved-сопоставления и отсутствие бесхозных оригиналов.
|
Медиасборщик индексирует разрешённые изображения отдельно от публичного каталога: manifest хранит исходную страницу, URL, предполагаемый тип сущности и время обнаружения, а оригиналы сохраняются по SHA-256 без hotlink. После явного разрешения владельца от 14 сентября все скачанные и целостные материалы опубликованы в `/media`; публичный API отдаёт Git-копии по content-addressed URL, а каждая карточка показывает плашку и прямую ссылку на источник. Будущие загрузки по-прежнему не одобряются автоматически. Локальный `media_cli --audit` без сетевых запросов проверяет хэши, файлы, MIME, размеры, approved-сопоставления и отсутствие бесхозных оригиналов.
|
||||||
|
|
||||||
Актуальный offline-срез от 16.09.2026: 704 записи manifest, 466 `approved`, 226 `superseded`, 1 `duplicate` и 11 `invalid`; audit проходит без ошибок и orphan-файлов. У 252 из 253 рыбных изображений есть 1024×1024 WebP, один 48×48 fallback сохранён из-за отсутствия проверенной альтернативы. Производные WebP/AVIF и provenance хранятся в Git; визуальная browser-приёмка остаётся отдельным пунктом B25.
|
Актуальный offline-срез от 20.09.2026: 704 записи manifest, 466 `approved`, 226 `superseded`, 1 `duplicate` и 11 `invalid`; audit проходит без ошибок и orphan-файлов. У 252 из 253 рыбных изображений есть 1024×1024 WebP, один 48×48 fallback сохранён из-за отсутствия проверенной альтернативы. Производные WebP/AVIF и provenance хранятся в Git; визуальная browser-приёмка остаётся отдельным пунктом B25.
|
||||||
|
|
||||||
`python -m rf4_research.media_cli --coverage` сравнивает manifest с датированным `data/media/catalog-baseline.json`: отдельно считает уникальные нормализованные подписи и кандидатов без подписи, поэтому альтернативные URL не завышают покрытие. На 14.09.2026 manifest содержит 704 записи: 456 approved, 227 duplicate, 10 queued и 11 invalid. Опубликованы 243 уникально подписанные рыбы из 252, все 149 найденных изображений снастей/приманок и 64 справочных материала; 10 оставшихся RF4DB URL будут загружены после cooldown. Карты 19 водоёмов ещё предстоит проиндексировать, а общий target снастей остаётся `null` до проверяемого полного счётчика.
|
`python -m rf4_research.media_cli --coverage` сравнивает manifest с датированным `data/media/catalog-baseline.json`: отдельно считает уникальные нормализованные подписи и кандидатов без подписи, поэтому альтернативные URL не завышают покрытие. Актуальный manifest содержит 704 записи: 466 approved, 226 superseded, 1 duplicate и 11 invalid; queue-представления больше нет. Опубликованы 253 fish-файла, все 149 найденных изображений снастей/приманок и 64 справочных материала; общий target снастей остаётся `null` до проверяемого полного счётчика. Водоёмы имеют отдельный canonical index из 19 карточек; detail-наполнение остаётся W02–W08.
|
||||||
|
|
||||||
`python -m rf4_research.media_cli --quality-report` выполняет offline-проверку разрешения опубликованных рыб. Текущий отчёт выявляет 227 PNG RF4MAP размером 48×48, которые увеличиваются в карточках до 180 px, и 16 WebP 1024×1024; для всех низких версий уже известны альтернативные RF4DB URL. `--queue-quality-upgrades` переводит только прямые альтернативы низкоразрешённых published-файлов в безопасную очередь, не снимая текущую версию с публикации. На 15.09 первая партия из 40 замен уже сохранена в карантине для сравнения и review; дальнейшие этапы ведутся в B21–B25 ROADMAP.
|
`python -m rf4_research.media_cli --quality-report` выполняет offline-проверку разрешения опубликованных рыб. Контур quality-upgrade обработал 226 прямых RF4DB-альтернатив: 252 из 253 рыбных изображений теперь имеют 1024×1024 WebP, один 48×48 fallback сохранён из-за отсутствия проверенной альтернативы. `--queue-quality-upgrades` по-прежнему переводит только прямые альтернативы низкоразрешённых published-файлов в безопасную очередь, не снимая текущую версию с публикации; B21/B22 завершены, а browser-приёмка остаётся отдельным пунктом B25.
|
||||||
|
|
||||||
`python -m rf4_research.media_cli --queue-plan` без сетевых запросов объединяет manifest с общим cooldown-state: показывает queued-состав каждого домена, оставшееся время и наиболее полезный следующий asset с приоритетом водоёмов и рыб. Разрешённое media-окно загружается командой `--download-batch --batch-limit 40`: до 40 assets на домен под одной резервацией, затем 30 минут до нового batch. Блокировка/rate limit/сетевая ошибка останавливает домен сразу, три последовательных невалидных ответа — досрочно. Все файлы остаются в карантине до ручного review. Точный поимённый список отсутствующих сущностей появится только после получения канонического перечня; разница между двумя несогласованными каталогами не выдаётся за доказанный gap.
|
`python -m rf4_research.media_cli --queue-plan` без сетевых запросов объединяет manifest с общим cooldown-state: показывает queued-состав каждого домена, оставшееся время и наиболее полезный следующий asset с приоритетом водоёмов и рыб. Разрешённое media-окно загружается командой `--download-batch --batch-limit 40`: до 40 assets на домен под одной резервацией, затем 30 минут до нового batch. Блокировка/rate limit/сетевая ошибка останавливает домен сразу, три последовательных невалидных ответа — досрочно. Все файлы остаются в карантине до ручного review. Точный поимённый список отсутствующих сущностей появится только после получения канонического перечня; разница между двумя несогласованными каталогами не выдаётся за доказанный gap.
|
||||||
|
|
||||||
@@ -184,7 +184,7 @@ docker compose up --build
|
|||||||
## Что реализовано
|
## Что реализовано
|
||||||
|
|
||||||
- FastAPI и SQLAlchemy 2;
|
- FastAPI и SQLAlchemy 2;
|
||||||
- PostgreSQL 17 и линейные миграции Alembic до `0018`;
|
- PostgreSQL 17 и линейные миграции Alembic до `0020`;
|
||||||
- идемпотентный seed с двумя точками и свежими демо-уловами;
|
- идемпотентный seed с двумя точками и свежими демо-уловами;
|
||||||
- `GET /api/v1/activity` с фильтрами периода, водоёма, рыбы, способа и сортировки;
|
- `GET /api/v1/activity` с фильтрами периода, водоёма, рыбы, способа и сортировки;
|
||||||
- `GET /api/v1/spots/{id}` и `/catches`;
|
- `GET /api/v1/spots/{id}` и `/catches`;
|
||||||
|
|||||||
@@ -0,0 +1,65 @@
|
|||||||
|
"""add canonical tackle items and rig components
|
||||||
|
|
||||||
|
Revision ID: 0021
|
||||||
|
Revises: 0020
|
||||||
|
"""
|
||||||
|
|
||||||
|
from alembic import op
|
||||||
|
import sqlalchemy as sa
|
||||||
|
|
||||||
|
|
||||||
|
revision = "0021"
|
||||||
|
down_revision = "0020"
|
||||||
|
branch_labels = None
|
||||||
|
depends_on = None
|
||||||
|
|
||||||
|
|
||||||
|
def upgrade() -> None:
|
||||||
|
op.create_table(
|
||||||
|
"tackle_item",
|
||||||
|
sa.Column("id", sa.Uuid(), primary_key=True),
|
||||||
|
sa.Column("name", sa.String(200), nullable=False),
|
||||||
|
sa.Column("normalized_name", sa.String(200), nullable=False, unique=True),
|
||||||
|
sa.Column("category", sa.String(20), nullable=False),
|
||||||
|
sa.Column("subcategory", sa.String(100)),
|
||||||
|
sa.Column("brand", sa.String(100)),
|
||||||
|
sa.Column("family", sa.String(100)),
|
||||||
|
sa.Column("unlock_level", sa.Integer()),
|
||||||
|
sa.Column("source_system", sa.String(50)),
|
||||||
|
sa.Column("source_external_id", sa.String(200)),
|
||||||
|
sa.Column("source_url", sa.Text()),
|
||||||
|
sa.Column("source_checked_at", sa.DateTime(timezone=True)),
|
||||||
|
sa.Column("raw_payload", sa.JSON()),
|
||||||
|
sa.UniqueConstraint("source_system", "source_external_id"),
|
||||||
|
sa.CheckConstraint(
|
||||||
|
"category IN ('bait', 'lure', 'rod', 'reel', 'line', 'hook', 'rig', 'float', 'sinker', 'other')",
|
||||||
|
name="ck_tackle_item_category",
|
||||||
|
),
|
||||||
|
)
|
||||||
|
op.create_table(
|
||||||
|
"rig",
|
||||||
|
sa.Column("id", sa.Uuid(), primary_key=True),
|
||||||
|
sa.Column("name", sa.String(200), nullable=False),
|
||||||
|
sa.Column("normalized_name", sa.String(200), nullable=False, unique=True),
|
||||||
|
sa.Column("source_system", sa.String(50)),
|
||||||
|
sa.Column("source_external_id", sa.String(200)),
|
||||||
|
sa.Column("source_url", sa.Text()),
|
||||||
|
sa.Column("source_checked_at", sa.DateTime(timezone=True)),
|
||||||
|
sa.Column("raw_payload", sa.JSON()),
|
||||||
|
)
|
||||||
|
op.create_table(
|
||||||
|
"rig_component",
|
||||||
|
sa.Column("id", sa.Uuid(), primary_key=True),
|
||||||
|
sa.Column("rig_id", sa.Uuid(), sa.ForeignKey("rig.id"), nullable=False),
|
||||||
|
sa.Column("tackle_item_id", sa.Uuid(), sa.ForeignKey("tackle_item.id")),
|
||||||
|
sa.Column("role", sa.String(50), nullable=False),
|
||||||
|
sa.Column("position", sa.Integer(), nullable=False),
|
||||||
|
sa.Column("raw_value", sa.String(200)),
|
||||||
|
sa.UniqueConstraint("rig_id", "position"),
|
||||||
|
)
|
||||||
|
|
||||||
|
|
||||||
|
def downgrade() -> None:
|
||||||
|
op.drop_table("rig_component")
|
||||||
|
op.drop_table("rig")
|
||||||
|
op.drop_table("tackle_item")
|
||||||
@@ -0,0 +1,40 @@
|
|||||||
|
"""preserve ordered gear evidence on catches
|
||||||
|
|
||||||
|
Revision ID: 0022
|
||||||
|
Revises: 0021
|
||||||
|
"""
|
||||||
|
|
||||||
|
from alembic import op
|
||||||
|
import sqlalchemy as sa
|
||||||
|
|
||||||
|
|
||||||
|
revision = "0022"
|
||||||
|
down_revision = "0021"
|
||||||
|
branch_labels = None
|
||||||
|
depends_on = None
|
||||||
|
|
||||||
|
|
||||||
|
def upgrade() -> None:
|
||||||
|
op.create_table(
|
||||||
|
"catch_tackle_component",
|
||||||
|
sa.Column("id", sa.Uuid(), primary_key=True),
|
||||||
|
sa.Column("catch_report_id", sa.Uuid(), sa.ForeignKey("catch_report.id"), nullable=False),
|
||||||
|
sa.Column("tackle_item_id", sa.Uuid(), sa.ForeignKey("tackle_item.id")),
|
||||||
|
sa.Column("rig_id", sa.Uuid(), sa.ForeignKey("rig.id")),
|
||||||
|
sa.Column("role", sa.String(50), nullable=False),
|
||||||
|
sa.Column("position", sa.Integer(), nullable=False),
|
||||||
|
sa.Column("raw_value", sa.String(200), nullable=False),
|
||||||
|
sa.Column("source_system", sa.String(50)),
|
||||||
|
sa.Column("source_external_id", sa.String(200)),
|
||||||
|
sa.Column("source_url", sa.Text()),
|
||||||
|
sa.Column("raw_payload", sa.JSON()),
|
||||||
|
sa.UniqueConstraint("catch_report_id", "position"),
|
||||||
|
sa.CheckConstraint(
|
||||||
|
"NOT (tackle_item_id IS NOT NULL AND rig_id IS NOT NULL)",
|
||||||
|
name="ck_catch_tackle_one_canonical_target",
|
||||||
|
),
|
||||||
|
)
|
||||||
|
|
||||||
|
|
||||||
|
def downgrade() -> None:
|
||||||
|
op.drop_table("catch_tackle_component")
|
||||||
@@ -124,7 +124,7 @@ def _validate_waterbody_detail(detail: dict[str, Any]) -> dict[str, Any]:
|
|||||||
external_id = _required(payload, "source_external_id", 200)
|
external_id = _required(payload, "source_external_id", 200)
|
||||||
source_url = _required(payload, "source_url", 2000)
|
source_url = _required(payload, "source_url", 2000)
|
||||||
parsed_url = urlparse(source_url)
|
parsed_url = urlparse(source_url)
|
||||||
if parsed_url.scheme != "https" or parsed_url.hostname not in {"rf4db.com", "www.rf4db.com"}:
|
if parsed_url.scheme != "https" or parsed_url.hostname not in {"rf4db.com", "www.rf4db.com", "download.rf4db.com"}:
|
||||||
raise CommunityImportError("waterbody detail source_url does not match rf4db")
|
raise CommunityImportError("waterbody detail source_url does not match rf4db")
|
||||||
_required(payload, "name", 200)
|
_required(payload, "name", 200)
|
||||||
_optional(payload, "description", 20_000)
|
_optional(payload, "description", 20_000)
|
||||||
|
|||||||
@@ -11,6 +11,8 @@ from .models import (
|
|||||||
Bait, BaitKind, CatchReport, ExternalEntityAlias, ExternalObservation,
|
Bait, BaitKind, CatchReport, ExternalEntityAlias, ExternalObservation,
|
||||||
Fish, ModerationStatus, SourceType, Spot, Waterbody,
|
Fish, ModerationStatus, SourceType, Spot, Waterbody,
|
||||||
)
|
)
|
||||||
|
from .tackle_components import replace_tackle_components
|
||||||
|
from rf4_research.gear_components import from_catch_fields
|
||||||
|
|
||||||
|
|
||||||
class ExternalReviewError(ValueError):
|
class ExternalReviewError(ValueError):
|
||||||
@@ -118,6 +120,17 @@ def publish_observation(session: Session, observation: ExternalObservation) -> C
|
|||||||
setattr(report, key, value)
|
setattr(report, key, value)
|
||||||
session.add(report)
|
session.add(report)
|
||||||
session.flush()
|
session.flush()
|
||||||
|
replace_tackle_components(
|
||||||
|
session,
|
||||||
|
report,
|
||||||
|
from_catch_fields(
|
||||||
|
bait=observation.payload.get("bait"),
|
||||||
|
rig_type=observation.payload.get("rig_type"),
|
||||||
|
),
|
||||||
|
source_system=observation.source_system,
|
||||||
|
source_url=observation.source_url,
|
||||||
|
raw_payload={"origin": "community_observation", "observation_id": str(observation.id)},
|
||||||
|
)
|
||||||
observation.catch_report = report
|
observation.catch_report = report
|
||||||
observation.status = "published"
|
observation.status = "published"
|
||||||
observation.reviewed_at = now
|
observation.reviewed_at = now
|
||||||
|
|||||||
@@ -16,6 +16,8 @@ from .models import (
|
|||||||
Bait, BaitKind, CatchReport, Fish, ImportRecordEvent, ImportStatus, ModerationStatus,
|
Bait, BaitKind, CatchReport, Fish, ImportRecordEvent, ImportStatus, ModerationStatus,
|
||||||
OfficialRecordImport, SourceType, Waterbody,
|
OfficialRecordImport, SourceType, Waterbody,
|
||||||
)
|
)
|
||||||
|
from .tackle_components import replace_tackle_components
|
||||||
|
from rf4_research.gear_components import from_catch_fields
|
||||||
|
|
||||||
|
|
||||||
USER_AGENT = "RF4-Spotter/0.1 (public records importer)"
|
USER_AGENT = "RF4-Spotter/0.1 (public records importer)"
|
||||||
@@ -222,6 +224,14 @@ def _import_records_locked(session: Session, *, url: str, region: str, category:
|
|||||||
provenance={"source_system": "rf4-official", "source_url": url, "source_external_id": key},
|
provenance={"source_system": "rf4-official", "source_url": url, "source_external_id": key},
|
||||||
))
|
))
|
||||||
run.rows_updated += 1
|
run.rows_updated += 1
|
||||||
|
replace_tackle_components(
|
||||||
|
session,
|
||||||
|
report,
|
||||||
|
from_catch_fields(bait=raw.bait, rig_type=None),
|
||||||
|
source_system="rf4-official",
|
||||||
|
source_url=url,
|
||||||
|
raw_payload={"origin": "official_record", "source_external_id": key},
|
||||||
|
)
|
||||||
run.status = ImportStatus.success
|
run.status = ImportStatus.success
|
||||||
run.finished_at = datetime.now(timezone.utc)
|
run.finished_at = datetime.now(timezone.utc)
|
||||||
session.commit()
|
session.commit()
|
||||||
|
|||||||
@@ -49,12 +49,26 @@ def published_file(digest: str) -> tuple[Path, str] | None:
|
|||||||
return None
|
return None
|
||||||
manifest = json.loads((MEDIA_ROOT / "manifest.json").read_text(encoding="utf-8"))
|
manifest = json.loads((MEDIA_ROOT / "manifest.json").read_text(encoding="utf-8"))
|
||||||
item = next((row for row in manifest.get("assets", []) if row.get("status") == "approved" and row.get("sha256") == digest), None)
|
item = next((row for row in manifest.get("assets", []) if row.get("status") == "approved" and row.get("sha256") == digest), None)
|
||||||
if not item:
|
media_type = None
|
||||||
|
local_path = None
|
||||||
|
if item:
|
||||||
|
media_type = item.get("content_type")
|
||||||
|
local_path = item.get("local_path")
|
||||||
|
else:
|
||||||
|
for row in manifest.get("assets", []):
|
||||||
|
if row.get("status") != "approved":
|
||||||
|
continue
|
||||||
|
variant = next((candidate for candidate in row.get("derivatives", []) if candidate.get("sha256") == digest), None)
|
||||||
|
if variant:
|
||||||
|
media_type = variant.get("content_type")
|
||||||
|
local_path = variant.get("local_path")
|
||||||
|
break
|
||||||
|
if not local_path:
|
||||||
return None
|
return None
|
||||||
target = (MEDIA_ROOT / item["local_path"]).resolve()
|
target = (MEDIA_ROOT / local_path).resolve()
|
||||||
if not target.is_relative_to(MEDIA_ROOT.resolve()) or not target.is_file():
|
if not target.is_relative_to(MEDIA_ROOT.resolve()) or not target.is_file():
|
||||||
return None
|
return None
|
||||||
return target, str(item["content_type"])
|
return target, str(media_type or "application/octet-stream")
|
||||||
|
|
||||||
|
|
||||||
def review_assets(entity_type: str | None = None, status: str | None = None) -> list[dict]:
|
def review_assets(entity_type: str | None = None, status: str | None = None) -> list[dict]:
|
||||||
|
|||||||
@@ -69,6 +69,61 @@ class Bait(Base):
|
|||||||
kind: Mapped[BaitKind] = mapped_column(Enum(BaitKind))
|
kind: Mapped[BaitKind] = mapped_column(Enum(BaitKind))
|
||||||
|
|
||||||
|
|
||||||
|
class TackleItem(Base):
|
||||||
|
"""Canonical gear item; legacy Bait rows remain source-compatible."""
|
||||||
|
|
||||||
|
__tablename__ = "tackle_item"
|
||||||
|
__table_args__ = (
|
||||||
|
UniqueConstraint("source_system", "source_external_id"),
|
||||||
|
CheckConstraint(
|
||||||
|
"category IN ('bait', 'lure', 'rod', 'reel', 'line', 'hook', 'rig', 'float', 'sinker', 'other')",
|
||||||
|
name="ck_tackle_item_category",
|
||||||
|
),
|
||||||
|
)
|
||||||
|
id: Mapped[uuid.UUID] = mapped_column(primary_key=True, default=uuid.uuid4)
|
||||||
|
name: Mapped[str] = mapped_column(String(200))
|
||||||
|
normalized_name: Mapped[str] = mapped_column(String(200), unique=True)
|
||||||
|
category: Mapped[str] = mapped_column(String(20))
|
||||||
|
subcategory: Mapped[str | None] = mapped_column(String(100))
|
||||||
|
brand: Mapped[str | None] = mapped_column(String(100))
|
||||||
|
family: Mapped[str | None] = mapped_column(String(100))
|
||||||
|
unlock_level: Mapped[int | None]
|
||||||
|
source_system: Mapped[str | None] = mapped_column(String(50))
|
||||||
|
source_external_id: Mapped[str | None] = mapped_column(String(200))
|
||||||
|
source_url: Mapped[str | None] = mapped_column(Text)
|
||||||
|
source_checked_at: Mapped[datetime | None] = mapped_column(DateTime(timezone=True))
|
||||||
|
raw_payload: Mapped[dict | None] = mapped_column(JSON)
|
||||||
|
rig_components: Mapped[list["RigComponent"]] = relationship(back_populates="tackle_item")
|
||||||
|
|
||||||
|
|
||||||
|
class Rig(Base):
|
||||||
|
"""A named rig/setup kept separate from individual tackle items."""
|
||||||
|
|
||||||
|
__tablename__ = "rig"
|
||||||
|
id: Mapped[uuid.UUID] = mapped_column(primary_key=True, default=uuid.uuid4)
|
||||||
|
name: Mapped[str] = mapped_column(String(200))
|
||||||
|
normalized_name: Mapped[str] = mapped_column(String(200), unique=True)
|
||||||
|
source_system: Mapped[str | None] = mapped_column(String(50))
|
||||||
|
source_external_id: Mapped[str | None] = mapped_column(String(200))
|
||||||
|
source_url: Mapped[str | None] = mapped_column(Text)
|
||||||
|
source_checked_at: Mapped[datetime | None] = mapped_column(DateTime(timezone=True))
|
||||||
|
raw_payload: Mapped[dict | None] = mapped_column(JSON)
|
||||||
|
components: Mapped[list["RigComponent"]] = relationship(back_populates="rig")
|
||||||
|
|
||||||
|
|
||||||
|
class RigComponent(Base):
|
||||||
|
__tablename__ = "rig_component"
|
||||||
|
__table_args__ = (UniqueConstraint("rig_id", "position"),)
|
||||||
|
id: Mapped[uuid.UUID] = mapped_column(primary_key=True, default=uuid.uuid4)
|
||||||
|
rig_id: Mapped[uuid.UUID] = mapped_column(ForeignKey("rig.id"))
|
||||||
|
tackle_item_id: Mapped[uuid.UUID | None] = mapped_column(ForeignKey("tackle_item.id"))
|
||||||
|
role: Mapped[str] = mapped_column(String(50))
|
||||||
|
position: Mapped[int] = mapped_column(Integer)
|
||||||
|
raw_value: Mapped[str | None] = mapped_column(String(200))
|
||||||
|
rig: Mapped[Rig] = relationship(back_populates="components")
|
||||||
|
tackle_item: Mapped[TackleItem | None] = relationship(back_populates="rig_components")
|
||||||
|
|
||||||
|
|
||||||
class Spot(Base):
|
class Spot(Base):
|
||||||
__tablename__ = "spot"
|
__tablename__ = "spot"
|
||||||
__table_args__ = (UniqueConstraint("waterbody_id", "x", "y"),)
|
__table_args__ = (UniqueConstraint("waterbody_id", "x", "y"),)
|
||||||
@@ -110,6 +165,34 @@ class CatchReport(Base):
|
|||||||
spot: Mapped[Spot | None] = relationship()
|
spot: Mapped[Spot | None] = relationship()
|
||||||
waterbody: Mapped[Waterbody] = relationship()
|
waterbody: Mapped[Waterbody] = relationship()
|
||||||
bait: Mapped[Bait | None] = relationship()
|
bait: Mapped[Bait | None] = relationship()
|
||||||
|
tackle_components: Mapped[list["CatchTackleComponent"]] = relationship(back_populates="catch_report")
|
||||||
|
|
||||||
|
|
||||||
|
class CatchTackleComponent(Base):
|
||||||
|
"""Ordered gear evidence; unresolved raw values are valid and preserved."""
|
||||||
|
|
||||||
|
__tablename__ = "catch_tackle_component"
|
||||||
|
__table_args__ = (
|
||||||
|
UniqueConstraint("catch_report_id", "position"),
|
||||||
|
CheckConstraint(
|
||||||
|
"NOT (tackle_item_id IS NOT NULL AND rig_id IS NOT NULL)",
|
||||||
|
name="ck_catch_tackle_one_canonical_target",
|
||||||
|
),
|
||||||
|
)
|
||||||
|
id: Mapped[uuid.UUID] = mapped_column(primary_key=True, default=uuid.uuid4)
|
||||||
|
catch_report_id: Mapped[uuid.UUID] = mapped_column(ForeignKey("catch_report.id"))
|
||||||
|
tackle_item_id: Mapped[uuid.UUID | None] = mapped_column(ForeignKey("tackle_item.id"))
|
||||||
|
rig_id: Mapped[uuid.UUID | None] = mapped_column(ForeignKey("rig.id"))
|
||||||
|
role: Mapped[str] = mapped_column(String(50))
|
||||||
|
position: Mapped[int] = mapped_column(Integer)
|
||||||
|
raw_value: Mapped[str] = mapped_column(String(200))
|
||||||
|
source_system: Mapped[str | None] = mapped_column(String(50))
|
||||||
|
source_external_id: Mapped[str | None] = mapped_column(String(200))
|
||||||
|
source_url: Mapped[str | None] = mapped_column(Text)
|
||||||
|
raw_payload: Mapped[dict | None] = mapped_column(JSON)
|
||||||
|
catch_report: Mapped[CatchReport] = relationship(back_populates="tackle_components")
|
||||||
|
tackle_item: Mapped[TackleItem | None] = relationship()
|
||||||
|
rig: Mapped[Rig | None] = relationship()
|
||||||
|
|
||||||
|
|
||||||
class OfficialRecordImport(Base):
|
class OfficialRecordImport(Base):
|
||||||
|
|||||||
@@ -21,6 +21,8 @@ from ..models import Bait, BaitKind, CatchReport, Fish, ModerationStatus, Source
|
|||||||
from ..schemas import CatchReportAccepted, CatchReportCreate
|
from ..schemas import CatchReportAccepted, CatchReportCreate
|
||||||
from ..storage import ScreenshotError, upload_screenshot
|
from ..storage import ScreenshotError, upload_screenshot
|
||||||
from ..submission_security import check_rate_limit
|
from ..submission_security import check_rate_limit
|
||||||
|
from ..tackle_components import replace_tackle_components
|
||||||
|
from rf4_research.gear_components import from_catch_fields
|
||||||
|
|
||||||
router = APIRouter()
|
router = APIRouter()
|
||||||
logger = logging.getLogger("rf4.api.submissions")
|
logger = logging.getLogger("rf4.api.submissions")
|
||||||
@@ -60,6 +62,14 @@ def create_catch_report(payload: CatchReportCreate, request: Request, db: Db, id
|
|||||||
upload_token = _replay_token(key_hash) if key_hash else secrets.token_urlsafe(32)
|
upload_token = _replay_token(key_hash) if key_hash else secrets.token_urlsafe(32)
|
||||||
report = CatchReport(fish=fish, spot=spot, waterbody=waterbody, bait=bait, weight_g=payload.weight_g, fishing_method=payload.fishing_method, rig_type=payload.rig_type, retrieve_method=payload.retrieve_method, retrieve_speed=payload.retrieve_speed, caught_at=payload.caught_at, reported_at=datetime.now(timezone.utc), player_name=payload.player_name, source_type=SourceType.user, source_url=payload.source_url, source_confidence=60, moderation_status=ModerationStatus.pending, raw_payload={"comment": payload.comment} if payload.comment else None, screenshot_upload_token_hash=hashlib.sha256(upload_token.encode()).hexdigest())
|
report = CatchReport(fish=fish, spot=spot, waterbody=waterbody, bait=bait, weight_g=payload.weight_g, fishing_method=payload.fishing_method, rig_type=payload.rig_type, retrieve_method=payload.retrieve_method, retrieve_speed=payload.retrieve_speed, caught_at=payload.caught_at, reported_at=datetime.now(timezone.utc), player_name=payload.player_name, source_type=SourceType.user, source_url=payload.source_url, source_confidence=60, moderation_status=ModerationStatus.pending, raw_payload={"comment": payload.comment} if payload.comment else None, screenshot_upload_token_hash=hashlib.sha256(upload_token.encode()).hexdigest())
|
||||||
db.add(report)
|
db.add(report)
|
||||||
|
replace_tackle_components(
|
||||||
|
db,
|
||||||
|
report,
|
||||||
|
from_catch_fields(bait=payload.bait_name, rig_type=payload.rig_type),
|
||||||
|
source_system="user",
|
||||||
|
source_url=payload.source_url,
|
||||||
|
raw_payload={"origin": "user_submission"},
|
||||||
|
)
|
||||||
if key_hash:
|
if key_hash:
|
||||||
db.add(SubmissionAttempt(client_hash="", idempotency_key=key_hash, catch_report=report, payload_hash=payload_hash, created_at=datetime.now(timezone.utc)))
|
db.add(SubmissionAttempt(client_hash="", idempotency_key=key_hash, catch_report=report, payload_hash=payload_hash, created_at=datetime.now(timezone.utc)))
|
||||||
try:
|
try:
|
||||||
|
|||||||
@@ -0,0 +1,39 @@
|
|||||||
|
from __future__ import annotations
|
||||||
|
|
||||||
|
from collections.abc import Iterable
|
||||||
|
|
||||||
|
from sqlalchemy import delete
|
||||||
|
from sqlalchemy.orm import Session
|
||||||
|
|
||||||
|
from rf4_research.gear_components import GearComponentIdentity
|
||||||
|
|
||||||
|
from .models import CatchReport, CatchTackleComponent
|
||||||
|
|
||||||
|
|
||||||
|
def replace_tackle_components(
|
||||||
|
session: Session,
|
||||||
|
report: CatchReport,
|
||||||
|
components: Iterable[GearComponentIdentity],
|
||||||
|
*,
|
||||||
|
source_system: str | None,
|
||||||
|
source_url: str | None = None,
|
||||||
|
raw_payload: dict | None = None,
|
||||||
|
) -> None:
|
||||||
|
"""Replace the ordered evidence for a report while keeping imports idempotent."""
|
||||||
|
session.flush()
|
||||||
|
session.execute(
|
||||||
|
delete(CatchTackleComponent).where(CatchTackleComponent.catch_report_id == report.id)
|
||||||
|
)
|
||||||
|
session.add_all(
|
||||||
|
CatchTackleComponent(
|
||||||
|
catch_report_id=report.id,
|
||||||
|
role=component.role,
|
||||||
|
position=component.position,
|
||||||
|
raw_value=component.raw_value,
|
||||||
|
source_system=source_system,
|
||||||
|
source_external_id=component.source_external_id,
|
||||||
|
source_url=source_url,
|
||||||
|
raw_payload=raw_payload,
|
||||||
|
)
|
||||||
|
for component in components
|
||||||
|
)
|
||||||
@@ -217,6 +217,21 @@
|
|||||||
"title": "AdminCatchReportOut",
|
"title": "AdminCatchReportOut",
|
||||||
"type": "object"
|
"type": "object"
|
||||||
},
|
},
|
||||||
|
"AdminMediaDecision": {
|
||||||
|
"properties": {
|
||||||
|
"note": {
|
||||||
|
"maxLength": 1000,
|
||||||
|
"minLength": 1,
|
||||||
|
"title": "Note",
|
||||||
|
"type": "string"
|
||||||
|
}
|
||||||
|
},
|
||||||
|
"required": [
|
||||||
|
"note"
|
||||||
|
],
|
||||||
|
"title": "AdminMediaDecision",
|
||||||
|
"type": "object"
|
||||||
|
},
|
||||||
"AdminMediaDerivativeOut": {
|
"AdminMediaDerivativeOut": {
|
||||||
"properties": {
|
"properties": {
|
||||||
"format": {
|
"format": {
|
||||||
@@ -275,6 +290,10 @@
|
|||||||
},
|
},
|
||||||
"AdminMediaReviewOut": {
|
"AdminMediaReviewOut": {
|
||||||
"properties": {
|
"properties": {
|
||||||
|
"asset_url": {
|
||||||
|
"title": "Asset Url",
|
||||||
|
"type": "string"
|
||||||
|
},
|
||||||
"content_type": {
|
"content_type": {
|
||||||
"anyOf": [
|
"anyOf": [
|
||||||
{
|
{
|
||||||
@@ -368,6 +387,17 @@
|
|||||||
"title": "Status",
|
"title": "Status",
|
||||||
"type": "string"
|
"type": "string"
|
||||||
},
|
},
|
||||||
|
"supersedes": {
|
||||||
|
"anyOf": [
|
||||||
|
{
|
||||||
|
"type": "string"
|
||||||
|
},
|
||||||
|
{
|
||||||
|
"type": "null"
|
||||||
|
}
|
||||||
|
],
|
||||||
|
"title": "Supersedes"
|
||||||
|
},
|
||||||
"width": {
|
"width": {
|
||||||
"anyOf": [
|
"anyOf": [
|
||||||
{
|
{
|
||||||
@@ -390,14 +420,38 @@
|
|||||||
"height",
|
"height",
|
||||||
"content_type",
|
"content_type",
|
||||||
"image_url",
|
"image_url",
|
||||||
|
"asset_url",
|
||||||
"source_system",
|
"source_system",
|
||||||
"source_url",
|
"source_url",
|
||||||
"duplicate_of",
|
"duplicate_of",
|
||||||
|
"supersedes",
|
||||||
"derivatives"
|
"derivatives"
|
||||||
],
|
],
|
||||||
"title": "AdminMediaReviewOut",
|
"title": "AdminMediaReviewOut",
|
||||||
"type": "object"
|
"type": "object"
|
||||||
},
|
},
|
||||||
|
"AdminMediaRollback": {
|
||||||
|
"properties": {
|
||||||
|
"asset_url": {
|
||||||
|
"maxLength": 2000,
|
||||||
|
"minLength": 1,
|
||||||
|
"title": "Asset Url",
|
||||||
|
"type": "string"
|
||||||
|
},
|
||||||
|
"note": {
|
||||||
|
"maxLength": 1000,
|
||||||
|
"minLength": 1,
|
||||||
|
"title": "Note",
|
||||||
|
"type": "string"
|
||||||
|
}
|
||||||
|
},
|
||||||
|
"required": [
|
||||||
|
"note",
|
||||||
|
"asset_url"
|
||||||
|
],
|
||||||
|
"title": "AdminMediaRollback",
|
||||||
|
"type": "object"
|
||||||
|
},
|
||||||
"AdminModerationHistoryOut": {
|
"AdminModerationHistoryOut": {
|
||||||
"properties": {
|
"properties": {
|
||||||
"action": {
|
"action": {
|
||||||
@@ -3223,6 +3277,128 @@
|
|||||||
"summary": "Admin Media Catalog"
|
"summary": "Admin Media Catalog"
|
||||||
}
|
}
|
||||||
},
|
},
|
||||||
|
"/api/v1/admin/media/upgrades/publish": {
|
||||||
|
"post": {
|
||||||
|
"description": "Atomically publish all stored quality upgrades after an explicit decision.",
|
||||||
|
"operationId": "admin_publish_media_upgrades_api_v1_admin_media_upgrades_publish_post",
|
||||||
|
"parameters": [
|
||||||
|
{
|
||||||
|
"in": "header",
|
||||||
|
"name": "authorization",
|
||||||
|
"required": false,
|
||||||
|
"schema": {
|
||||||
|
"anyOf": [
|
||||||
|
{
|
||||||
|
"type": "string"
|
||||||
|
},
|
||||||
|
{
|
||||||
|
"type": "null"
|
||||||
|
}
|
||||||
|
],
|
||||||
|
"title": "Authorization"
|
||||||
|
}
|
||||||
|
}
|
||||||
|
],
|
||||||
|
"requestBody": {
|
||||||
|
"content": {
|
||||||
|
"application/json": {
|
||||||
|
"schema": {
|
||||||
|
"$ref": "#/components/schemas/AdminMediaDecision"
|
||||||
|
}
|
||||||
|
}
|
||||||
|
},
|
||||||
|
"required": true
|
||||||
|
},
|
||||||
|
"responses": {
|
||||||
|
"200": {
|
||||||
|
"content": {
|
||||||
|
"application/json": {
|
||||||
|
"schema": {
|
||||||
|
"additionalProperties": {
|
||||||
|
"type": "integer"
|
||||||
|
},
|
||||||
|
"title": "Response Admin Publish Media Upgrades Api V1 Admin Media Upgrades Publish Post",
|
||||||
|
"type": "object"
|
||||||
|
}
|
||||||
|
}
|
||||||
|
},
|
||||||
|
"description": "Successful Response"
|
||||||
|
},
|
||||||
|
"422": {
|
||||||
|
"content": {
|
||||||
|
"application/json": {
|
||||||
|
"schema": {
|
||||||
|
"$ref": "#/components/schemas/HTTPValidationError"
|
||||||
|
}
|
||||||
|
}
|
||||||
|
},
|
||||||
|
"description": "Validation Error"
|
||||||
|
}
|
||||||
|
},
|
||||||
|
"summary": "Admin Publish Media Upgrades"
|
||||||
|
}
|
||||||
|
},
|
||||||
|
"/api/v1/admin/media/upgrades/rollback": {
|
||||||
|
"post": {
|
||||||
|
"description": "Restore one superseded fallback while retaining the reviewed candidate.",
|
||||||
|
"operationId": "admin_rollback_media_upgrade_api_v1_admin_media_upgrades_rollback_post",
|
||||||
|
"parameters": [
|
||||||
|
{
|
||||||
|
"in": "header",
|
||||||
|
"name": "authorization",
|
||||||
|
"required": false,
|
||||||
|
"schema": {
|
||||||
|
"anyOf": [
|
||||||
|
{
|
||||||
|
"type": "string"
|
||||||
|
},
|
||||||
|
{
|
||||||
|
"type": "null"
|
||||||
|
}
|
||||||
|
],
|
||||||
|
"title": "Authorization"
|
||||||
|
}
|
||||||
|
}
|
||||||
|
],
|
||||||
|
"requestBody": {
|
||||||
|
"content": {
|
||||||
|
"application/json": {
|
||||||
|
"schema": {
|
||||||
|
"$ref": "#/components/schemas/AdminMediaRollback"
|
||||||
|
}
|
||||||
|
}
|
||||||
|
},
|
||||||
|
"required": true
|
||||||
|
},
|
||||||
|
"responses": {
|
||||||
|
"200": {
|
||||||
|
"content": {
|
||||||
|
"application/json": {
|
||||||
|
"schema": {
|
||||||
|
"additionalProperties": {
|
||||||
|
"type": "string"
|
||||||
|
},
|
||||||
|
"title": "Response Admin Rollback Media Upgrade Api V1 Admin Media Upgrades Rollback Post",
|
||||||
|
"type": "object"
|
||||||
|
}
|
||||||
|
}
|
||||||
|
},
|
||||||
|
"description": "Successful Response"
|
||||||
|
},
|
||||||
|
"422": {
|
||||||
|
"content": {
|
||||||
|
"application/json": {
|
||||||
|
"schema": {
|
||||||
|
"$ref": "#/components/schemas/HTTPValidationError"
|
||||||
|
}
|
||||||
|
}
|
||||||
|
},
|
||||||
|
"description": "Validation Error"
|
||||||
|
}
|
||||||
|
},
|
||||||
|
"summary": "Admin Rollback Media Upgrade"
|
||||||
|
}
|
||||||
|
},
|
||||||
"/api/v1/admin/moderation-history": {
|
"/api/v1/admin/moderation-history": {
|
||||||
"get": {
|
"get": {
|
||||||
"operationId": "admin_moderation_history_api_v1_admin_moderation_history_get",
|
"operationId": "admin_moderation_history_api_v1_admin_moderation_history_get",
|
||||||
|
|||||||
@@ -12,7 +12,7 @@ from app.database import Base, get_session
|
|||||||
from app.community_importer import stage_observations
|
from app.community_importer import stage_observations
|
||||||
from app.importer import ImportAlreadyRunning
|
from app.importer import ImportAlreadyRunning
|
||||||
from app.main import app
|
from app.main import app
|
||||||
from app.models import Bait, BaitKind, CatchReport, DataSource, ExternalEntityAlias, ExternalObservation, Fish, ImportStatus, ModerationEvent, ModerationStatus, OfficialRecordImport, SourceType, Spot, SubmissionAttempt, Waterbody
|
from app.models import Bait, BaitKind, CatchReport, CatchTackleComponent, DataSource, ExternalEntityAlias, ExternalObservation, Fish, ImportStatus, ModerationEvent, ModerationStatus, OfficialRecordImport, SourceType, Spot, SubmissionAttempt, Waterbody
|
||||||
from app.routers import admin as admin_router
|
from app.routers import admin as admin_router
|
||||||
|
|
||||||
|
|
||||||
@@ -82,6 +82,9 @@ def test_published_media_catalog_and_content_addressed_file() -> None:
|
|||||||
assert image.status_code == 200
|
assert image.status_code == 200
|
||||||
assert image.headers["content-type"].startswith("image/")
|
assert image.headers["content-type"].startswith("image/")
|
||||||
assert image.headers["cache-control"] == "public, max-age=31536000, immutable"
|
assert image.headers["cache-control"] == "public, max-age=31536000, immutable"
|
||||||
|
variant = client.get(item["variants"][0]["url"])
|
||||||
|
assert variant.status_code == 200
|
||||||
|
assert variant.headers["content-type"].startswith("image/")
|
||||||
assert client.get("/api/v1/media/assets/not-a-hash").status_code == 404
|
assert client.get("/api/v1/media/assets/not-a-hash").status_code == 404
|
||||||
|
|
||||||
|
|
||||||
@@ -348,11 +351,14 @@ def test_records_pagination_returns_correct_total_and_offset() -> None:
|
|||||||
|
|
||||||
|
|
||||||
def test_user_report_requires_moderation_before_activity() -> None:
|
def test_user_report_requires_moderation_before_activity() -> None:
|
||||||
created = client.post("/api/v1/catch-reports", json={"fish_slug": "pike", "waterbody_slug": "test-lake", "x": 77, "y": 88, "weight_g": 5500, "bait_name": "Новая приманка", "player_name": "Reporter"})
|
created = client.post("/api/v1/catch-reports", json={"fish_slug": "pike", "waterbody_slug": "test-lake", "x": 77, "y": 88, "weight_g": 5500, "bait_name": "Новая приманка", "rig_type": "Спиннинг", "player_name": "Reporter"})
|
||||||
assert created.status_code == 201
|
assert created.status_code == 201
|
||||||
assert created.headers["Cache-Control"] == "no-store"
|
assert created.headers["Cache-Control"] == "no-store"
|
||||||
assert created.json()["moderation_status"] == "pending"
|
assert created.json()["moderation_status"] == "pending"
|
||||||
report_id = created.json()["id"]
|
report_id = created.json()["id"]
|
||||||
|
with Session(engine) as db:
|
||||||
|
components = db.scalars(select(CatchTackleComponent).where(CatchTackleComponent.catch_report_id == UUID(report_id)).order_by(CatchTackleComponent.position)).all()
|
||||||
|
assert [(component.role, component.raw_value) for component in components] == [("lure", "Новая приманка"), ("rig", "Спиннинг")]
|
||||||
headers = {"Authorization": "Bearer change-me-in-production"}
|
headers = {"Authorization": "Bearer change-me-in-production"}
|
||||||
pending = client.get("/api/v1/admin/catch-reports", headers=headers)
|
pending = client.get("/api/v1/admin/catch-reports", headers=headers)
|
||||||
assert pending.status_code == 200
|
assert pending.status_code == 200
|
||||||
|
|||||||
@@ -0,0 +1,31 @@
|
|||||||
|
from datetime import datetime, timezone
|
||||||
|
|
||||||
|
from sqlalchemy import create_engine
|
||||||
|
from sqlalchemy.orm import Session
|
||||||
|
|
||||||
|
from app.database import Base
|
||||||
|
from app.models import CatchReport, CatchTackleComponent, Fish, ModerationStatus, SourceType, Waterbody
|
||||||
|
|
||||||
|
|
||||||
|
def test_catch_keeps_ordered_unresolved_gear_evidence() -> None:
|
||||||
|
engine = create_engine("sqlite:///:memory:")
|
||||||
|
Base.metadata.create_all(engine)
|
||||||
|
with Session(engine) as session:
|
||||||
|
fish = Fish(slug="pike", name_ru="Щука")
|
||||||
|
waterbody = Waterbody(slug="lake", name_ru="Озеро")
|
||||||
|
report = CatchReport(
|
||||||
|
fish=fish, waterbody=waterbody, weight_g=1000,
|
||||||
|
reported_at=datetime(2026, 9, 20, tzinfo=timezone.utc), source_type=SourceType.manual_import,
|
||||||
|
source_confidence=50, moderation_status=ModerationStatus.pending,
|
||||||
|
)
|
||||||
|
report.tackle_components.extend([
|
||||||
|
CatchTackleComponent(role="lure", position=0, raw_value="Spiker #2"),
|
||||||
|
CatchTackleComponent(role="rig", position=1, raw_value="Method Popup"),
|
||||||
|
])
|
||||||
|
session.add(report)
|
||||||
|
session.commit()
|
||||||
|
saved = session.get(CatchReport, report.id)
|
||||||
|
assert saved is not None
|
||||||
|
assert [(row.position, row.role, row.raw_value) for row in saved.tackle_components] == [
|
||||||
|
(0, "lure", "Spiker #2"), (1, "rig", "Method Popup"),
|
||||||
|
]
|
||||||
@@ -11,7 +11,7 @@ from app.community_importer import CommunityImportError, stage_observations, upd
|
|||||||
from app.community_review import ExternalReviewError, map_observation, publish_observation, suggest_aliases
|
from app.community_review import ExternalReviewError, map_observation, publish_observation, suggest_aliases
|
||||||
from app.source_lifecycle import record_scheduled_source_check, record_source_check
|
from app.source_lifecycle import record_scheduled_source_check, record_source_check
|
||||||
from app.database import Base
|
from app.database import Base
|
||||||
from app.models import CatchReport, DataSource, ExternalEntityAlias, ExternalObservation, Fish, Waterbody
|
from app.models import CatchReport, CatchTackleComponent, DataSource, ExternalEntityAlias, ExternalObservation, Fish, Waterbody
|
||||||
from rf4_research.community_sources import parse_rf4db_catches, parse_rf4map_point, parse_rf4posts_spot
|
from rf4_research.community_sources import parse_rf4db_catches, parse_rf4map_point, parse_rf4posts_spot
|
||||||
|
|
||||||
|
|
||||||
@@ -124,6 +124,21 @@ def test_waterbody_detail_updates_only_imported_identity_without_media_roles(db:
|
|||||||
assert item.source_image_urls == ["https://oss.rf4db.com/map.webp"]
|
assert item.source_image_urls == ["https://oss.rf4db.com/map.webp"]
|
||||||
|
|
||||||
|
|
||||||
|
def test_waterbody_detail_accepts_authorized_download_subdomain(db: Session) -> None:
|
||||||
|
upsert_waterbody_catalog(db, [waterbody_row()])
|
||||||
|
assert update_waterbody_detail(db, {
|
||||||
|
"source_system": "rf4db",
|
||||||
|
"source_external_id": "level_001_mosquito",
|
||||||
|
"source_url": "https://download.rf4db.com/ru/maps/level_001_mosquito",
|
||||||
|
"name": "оз. Комариное",
|
||||||
|
"description": None,
|
||||||
|
"aliases": [],
|
||||||
|
"fish_species": ["Щука"],
|
||||||
|
"image_urls": [],
|
||||||
|
"point_urls": [],
|
||||||
|
}) is True
|
||||||
|
|
||||||
|
|
||||||
def test_waterbody_detail_batch_validates_before_writing(db: Session) -> None:
|
def test_waterbody_detail_batch_validates_before_writing(db: Session) -> None:
|
||||||
upsert_waterbody_catalog(db, [waterbody_row()])
|
upsert_waterbody_catalog(db, [waterbody_row()])
|
||||||
valid = {
|
valid = {
|
||||||
@@ -224,6 +239,8 @@ def test_changed_published_record_requires_review_and_reuses_report(db: Session)
|
|||||||
assert updated.id == report_id
|
assert updated.id == report_id
|
||||||
assert updated.weight_g == 6000
|
assert updated.weight_g == 6000
|
||||||
assert updated.moderation_status.value == "approved"
|
assert updated.moderation_status.value == "approved"
|
||||||
|
components = db.scalars(select(CatchTackleComponent).order_by(CatchTackleComponent.position)).all()
|
||||||
|
assert [(component.position, component.raw_value) for component in components] == [(0, "Приманка")]
|
||||||
assert db.scalar(select(func.count()).select_from(CatchReport)) == 1
|
assert db.scalar(select(func.count()).select_from(CatchReport)) == 1
|
||||||
|
|
||||||
|
|
||||||
|
|||||||
@@ -8,7 +8,7 @@ from sqlalchemy.orm import Session
|
|||||||
|
|
||||||
from app.database import Base
|
from app.database import Base
|
||||||
from app.importer import FetchResult, ImportAlreadyRunning, ImportSourceError, _lock_key, _official_import_lock, import_records, parse_html
|
from app.importer import FetchResult, ImportAlreadyRunning, ImportSourceError, _lock_key, _official_import_lock, import_records, parse_html
|
||||||
from app.models import CatchReport, ImportStatus, OfficialRecordImport, SourceType
|
from app.models import CatchReport, CatchTackleComponent, ImportStatus, OfficialRecordImport, SourceType
|
||||||
|
|
||||||
|
|
||||||
FIXTURE = Path(__file__).parents[3] / "tests" / "fixtures" / "records_ru_sample.html"
|
FIXTURE = Path(__file__).parents[3] / "tests" / "fixtures" / "records_ru_sample.html"
|
||||||
@@ -50,6 +50,7 @@ def test_parser_and_import_are_idempotent() -> None:
|
|||||||
# A12: Second import of identical data creates no events (no fields changed)
|
# A12: Second import of identical data creates no events (no fields changed)
|
||||||
assert (second.rows_created, second.rows_updated) == (0, 0)
|
assert (second.rows_created, second.rows_updated) == (0, 0)
|
||||||
assert db.scalar(select(func.count()).select_from(CatchReport).where(CatchReport.source_type == SourceType.official_record)) == 2
|
assert db.scalar(select(func.count()).select_from(CatchReport).where(CatchReport.source_type == SourceType.official_record)) == 2
|
||||||
|
assert db.scalar(select(func.count()).select_from(CatchTackleComponent)) == 2
|
||||||
assert db.scalar(select(func.count()).select_from(OfficialRecordImport)) == 2
|
assert db.scalar(select(func.count()).select_from(OfficialRecordImport)) == 2
|
||||||
|
|
||||||
|
|
||||||
|
|||||||
@@ -0,0 +1,35 @@
|
|||||||
|
import uuid
|
||||||
|
|
||||||
|
from sqlalchemy import create_engine
|
||||||
|
from sqlalchemy.orm import Session
|
||||||
|
|
||||||
|
from app.database import Base
|
||||||
|
from app.models import Rig, RigComponent, TackleItem
|
||||||
|
|
||||||
|
|
||||||
|
def test_tackle_item_and_rig_components_keep_provenance_and_legacy_independence() -> None:
|
||||||
|
engine = create_engine("sqlite:///:memory:")
|
||||||
|
Base.metadata.create_all(engine)
|
||||||
|
item_id = uuid.uuid4()
|
||||||
|
rig_id = uuid.uuid4()
|
||||||
|
with Session(engine) as session:
|
||||||
|
item = TackleItem(
|
||||||
|
id=item_id, name="Spiker #2", normalized_name="spiker #2",
|
||||||
|
category="lure", subcategory="spinner", brand="RF4", family="spoon",
|
||||||
|
unlock_level=0, source_system="rf4db", source_external_id="spiker-2",
|
||||||
|
source_url="https://rf4db.com/ru/wiki/lures/spiker-2",
|
||||||
|
raw_payload={"weight": {"state": "value", "value": 0}},
|
||||||
|
)
|
||||||
|
rig = Rig(
|
||||||
|
id=rig_id, name="Method Popup", normalized_name="method popup",
|
||||||
|
source_system="rf4db", source_external_id="method-popup",
|
||||||
|
)
|
||||||
|
rig.components.append(RigComponent(role="lure", position=0, tackle_item=item, raw_value="Spiker #2"))
|
||||||
|
session.add(rig)
|
||||||
|
session.commit()
|
||||||
|
|
||||||
|
saved = session.get(TackleItem, item_id)
|
||||||
|
assert saved is not None
|
||||||
|
assert saved.unlock_level == 0
|
||||||
|
assert saved.raw_payload == {"weight": {"state": "value", "value": 0}}
|
||||||
|
assert saved.rig_components[0].rig_id == rig_id
|
||||||
@@ -121,7 +121,7 @@ Astro.response.headers.set("Content-Security-Policy", [
|
|||||||
<a class="skip-link" href="#main-content">Перейти к содержимому</a>
|
<a class="skip-link" href="#main-content">Перейти к содержимому</a>
|
||||||
<header class="topbar">
|
<header class="topbar">
|
||||||
<a href="/" class="brand"><span class="brand-mark" aria-hidden="true"><FishingIcon name="hook" size={24}/></span><span class="brand-name"><strong>RF4 Spotter</strong><span>Ни хвоста, ни чешуи</span></span></a>
|
<a href="/" class="brand"><span class="brand-mark" aria-hidden="true"><FishingIcon name="hook" size={24}/></span><span class="brand-name"><strong>RF4 Spotter</strong><span>Ни хвоста, ни чешуи</span></span></a>
|
||||||
<nav aria-label="Разделы сайта"><a class:list={{active:path === "/"}} aria-current={path === "/" ? "page" : undefined} href="/"><FishingIcon name="float"/> <span>Сейчас клюёт</span></a><a class:list={{active:path.startsWith("/waterbodies") || path.startsWith("/fish")}} aria-current={path.startsWith("/waterbodies") || path.startsWith("/fish") ? "page" : undefined} href="/waterbodies"><FishingIcon name="ripple"/> <span>Каталог</span></a><a class:list={{active:path.startsWith("/media")}} aria-current={path.startsWith("/media") ? "page" : undefined} href="/media"><FishingIcon name="lure"/> <span>Медиатека</span></a><a class:list={{active:path.startsWith("/records")}} aria-current={path.startsWith("/records") ? "page" : undefined} href="/records"><FishingIcon name="trophy"/> <span>Рекорды</span></a><a class:list={{active:path.startsWith("/report")}} aria-current={path.startsWith("/report") ? "page" : undefined} href="/report"><FishingIcon name="plus"/> <span>Добавить улов</span></a></nav>
|
<nav aria-label="Разделы сайта"><a class:list={{active:path === "/"}} aria-current={path === "/" ? "page" : undefined} href="/"><FishingIcon name="float"/> <span>Сейчас клюёт</span></a><a class:list={{active:path.startsWith("/waterbodies") || path.startsWith("/fish")}} aria-current={path.startsWith("/waterbodies") || path.startsWith("/fish") ? "page" : undefined} href="/waterbodies"><FishingIcon name="ripple"/> <span>Каталог</span></a><a class:list={{active:path.startsWith("/media") || path.startsWith("/admin/media")}} aria-current={path.startsWith("/media") || path.startsWith("/admin/media") ? "page" : undefined} href="/media"><FishingIcon name="lure"/> <span>Медиатека</span></a><a class:list={{active:path.startsWith("/records")}} aria-current={path.startsWith("/records") ? "page" : undefined} href="/records"><FishingIcon name="trophy"/> <span>Рекорды</span></a><a class:list={{active:path.startsWith("/report")}} aria-current={path.startsWith("/report") ? "page" : undefined} href="/report"><FishingIcon name="plus"/> <span>Добавить улов</span></a></nav>
|
||||||
<div class="header-tools">
|
<div class="header-tools">
|
||||||
<p class="live-badge"><span></span> Свежие данные и честная оценка</p>
|
<p class="live-badge"><span></span> Свежие данные и честная оценка</p>
|
||||||
<div class="theme-switcher" role="group" aria-label="Цветовая тема">
|
<div class="theme-switcher" role="group" aria-label="Цветовая тема">
|
||||||
|
|||||||
@@ -25,6 +25,7 @@ try {
|
|||||||
if (Astro.response.status === 503) Astro.response.headers.set("Retry-After", "60");
|
if (Astro.response.status === 503) Astro.response.headers.set("Retry-After", "60");
|
||||||
}
|
}
|
||||||
const level = activity ? activityLevel(activity.activity_score) : null;
|
const level = activity ? activityLevel(activity.activity_score) : null;
|
||||||
|
const coordinatePrecision = { exact: "точные", approximate: "приблизительные", area: "район", missing: "не указаны" } as const;
|
||||||
const spotDescription = spot ? `Свежие уловы и активность на точке ${spot.x}:${spot.y}, ${spot.waterbody}: рыба, вес, приманки и источники данных.` : "Данные точки ловли Russian Fishing 4.";
|
const spotDescription = spot ? `Свежие уловы и активность на точке ${spot.x}:${spot.y}, ${spot.waterbody}: рыба, вес, приманки и источники данных.` : "Данные точки ловли Russian Fishing 4.";
|
||||||
const breadcrumbs = spot ? { "@context": "https://schema.org", "@type": "BreadcrumbList", itemListElement: [
|
const breadcrumbs = spot ? { "@context": "https://schema.org", "@type": "BreadcrumbList", itemListElement: [
|
||||||
{ "@type": "ListItem", position: 1, name: "Сейчас клюёт", item: "https://rf4spotter.ru/" },
|
{ "@type": "ListItem", position: 1, name: "Сейчас клюёт", item: "https://rf4spotter.ru/" },
|
||||||
@@ -34,7 +35,7 @@ const breadcrumbs = spot ? { "@context": "https://schema.org", "@type": "Breadcr
|
|||||||
<Layout title={spot ? `Точка ${spot.x}:${spot.y}, ${spot.waterbody} — RF4 Spotter` : "Точка не найдена — RF4 Spotter"} description={spotDescription} noindex={!spot} structuredData={breadcrumbs} errorPage={!spot || unavailable}>
|
<Layout title={spot ? `Точка ${spot.x}:${spot.y}, ${spot.waterbody} — RF4 Spotter` : "Точка не найдена — RF4 Spotter"} description={spotDescription} noindex={!spot} structuredData={breadcrumbs} errorPage={!spot || unavailable}>
|
||||||
<AtlasBreadcrumbs items={[{ label: "Сейчас клюёт", href: "/" }, ...(spot ? [{ label: spot.waterbody, href: `/waterbodies/${spot.waterbody_slug}` }, { label: `Точка ${spot.x}:${spot.y}` }] : [{ label: "Точка недоступна" }])]} />
|
<AtlasBreadcrumbs items={[{ label: "Сейчас клюёт", href: "/" }, ...(spot ? [{ label: spot.waterbody, href: `/waterbodies/${spot.waterbody_slug}` }, { label: `Точка ${spot.x}:${spot.y}` }] : [{ label: "Точка недоступна" }])]} />
|
||||||
{unavailable || !spot ? <div class="state"><h1>Точка недоступна</h1><p>API не ответил или такой точки нет.</p></div> : <>
|
{unavailable || !spot ? <div class="state"><h1>Точка недоступна</h1><p>API не ответил или такой точки нет.</p></div> : <>
|
||||||
<section class="spot-hero"><div><span class="eyebrow">{spot.waterbody}</span><h1>Точка {spot.x}:{spot.y}</h1><p>{spot.description}</p><button class="coordinate-copy" data-action="inverse" type="button" data-copy-coordinates={`${spot.x}:${spot.y}`}>Скопировать координаты</button><small class="copy-status" aria-live="polite"></small></div><CoordinateRadar x={spot.x} y={spot.y}/></section>
|
<section class="spot-hero"><div><span class="eyebrow">{spot.waterbody}</span><h1>Точка {spot.x}:{spot.y}</h1><p>{spot.description}</p><p class="coordinate-precision">Точность координат: <strong>{coordinatePrecision[spot.coordinate_precision as keyof typeof coordinatePrecision] ?? "не указаны"}</strong></p><button class="coordinate-copy" data-action="inverse" type="button" data-copy-coordinates={`${spot.x}:${spot.y}`}>Скопировать координаты</button><small class="copy-status" aria-live="polite"></small></div><CoordinateRadar x={spot.x} y={spot.y}/></section>
|
||||||
<div class="periods"><div><strong>{spot.catches_24h}</strong><span>за 24 часа</span></div><div><strong>{spot.catches_3d}</strong><span>за 3 дня</span></div><div><strong>{spot.catches_7d}</strong><span>за 7 дней</span></div></div>
|
<div class="periods"><div><strong>{spot.catches_24h}</strong><span>за 24 часа</span></div><div><strong>{spot.catches_3d}</strong><span>за 3 дня</span></div><div><strong>{spot.catches_7d}</strong><span>за 7 дней</span></div></div>
|
||||||
<ActivityTimeline buckets={timeline}/>
|
<ActivityTimeline buckets={timeline}/>
|
||||||
<div class="activity-legend" aria-label="Уровни активности"><span>Тихо</span><span>Есть сигналы</span><span>Горячо</span></div>
|
<div class="activity-legend" aria-label="Уровни активности"><span>Тихо</span><span>Есть сигналы</span><span>Горячо</span></div>
|
||||||
|
|||||||
@@ -23,6 +23,15 @@
|
|||||||
footer{min-height:118px;background:var(--deep);color:#dbe4df;padding:28px max(32px,calc((100vw - 1360px)/2));display:grid;grid-template-columns:1fr 1fr auto;align-items:center;gap:28px}footer .brand-mark{border-color:#ffffff32}footer .brand-name span{color:#9dafaa}footer p{font-size:12px;color:#92a4a0}footer>span{font:italic 16px Georgia;color:var(--lime)}
|
footer{min-height:118px;background:var(--deep);color:#dbe4df;padding:28px max(32px,calc((100vw - 1360px)/2));display:grid;grid-template-columns:1fr 1fr auto;align-items:center;gap:28px}footer .brand-mark{border-color:#ffffff32}footer .brand-name span{color:#9dafaa}footer p{font-size:12px;color:#92a4a0}footer>span{font:italic 16px Georgia;color:var(--lime)}
|
||||||
@media(max-width:1040px){.content-grid{width:min(100% - 36px,900px)}.topbar{width:calc(100% - 36px);grid-template-columns:1fr auto}.live-badge{display:none}.intro{grid-template-columns:1fr;gap:34px;padding-top:54px}.lake-card{height:280px}.dashboard{grid-template-columns:1fr}.detail-card{position:relative;top:auto}.how-it-works{grid-template-columns:1fr}.records-hero,.form-hero{display:block}.records-hero>div:last-child,.form-hero>p{margin-top:25px}}
|
@media(max-width:1040px){.content-grid{width:min(100% - 36px,900px)}.topbar{width:calc(100% - 36px);grid-template-columns:1fr auto}.live-badge{display:none}.intro{grid-template-columns:1fr;gap:34px;padding-top:54px}.lake-card{height:280px}.dashboard{grid-template-columns:1fr}.detail-card{position:relative;top:auto}.how-it-works{grid-template-columns:1fr}.records-hero,.form-hero{display:block}.records-hero>div:last-child,.form-hero>p{margin-top:25px}}
|
||||||
@media(max-width:720px){.content-grid,.records-hero,.form-hero,.record-filters,.record-table,.official-note,.report-form,.spot-hero,.periods,.detail-grid{width:calc(100% - 28px)}.topbar{width:100%;padding:13px 14px 0;display:flex;flex-wrap:wrap;height:auto}.topbar .brand{flex:1}.topbar nav{order:2;width:100%;height:46px;overflow-x:auto}.topbar nav a{flex:0 0 auto;font-size:13px}.intro h1,.records-hero h1,.form-hero h1{font-size:55px}.intro{padding:30px 0 25px}.intro h1{font-size:47px;margin:13px 0 12px}.intro-copy>p{font-size:15px;margin:0}.lake-card{display:none}.filters-wrap{position:relative;padding:17px 0}.filters{grid-template-columns:1fr 1fr}.filter-advanced-field{display:none}.filter-compact-hidden{display:none!important}.filter-advanced-fallback{display:block;grid-column:1/-1;border-top:1px solid #ffffff1d;padding-top:10px}.filter-advanced-fallback summary{display:flex;justify-content:space-between;color:#d5dfdc;font-size:12px;cursor:pointer;list-style:none}.filter-advanced-fallback summary::-webkit-details-marker{display:none}.filter-advanced-fallback summary:before{content:"+";margin-right:7px;color:var(--lime)}.filter-advanced-fallback[open] summary:before{content:"−"}.filter-advanced-fallback summary span{margin-left:auto;color:#9fb0ad}.filter-advanced-fallback .advanced-fields{display:grid!important;grid-template-columns:1fr 1fr;gap:12px;padding-top:12px}.filter-advanced-fallback:not([open]) .advanced-fields{display:none!important}.filters button{grid-column:1/-1}.active-filters{min-height:0;overflow-x:auto;padding:10px 14px 0;width:100%;scrollbar-width:none}.active-filters span{flex:0 0 auto}.active-filters a{position:sticky;right:0;padding:6px 10px;background:var(--paper)}.dashboard{padding:28px 0 74px;scroll-margin-top:10px}.spot-card{grid-template-columns:34px 1fr;padding:18px 18px 18px 14px;gap:10px}.spot-stats{grid-column:2;border:0;border-top:1px solid #e2e8e2;padding:13px 0 0;grid-template-columns:repeat(4,1fr)}.card-arrow{display:none}.detail-score{grid-template-columns:105px 1fr}.score-ring{width:100px;height:100px}.principles{grid-template-columns:1fr}.record-filters{display:grid}.record-row{grid-template-columns:1fr 1fr}.record-head{display:none}.record-row>*:nth-child(even){text-align:right}.form-grid,.detail-grid{grid-template-columns:1fr}.spot-hero{padding:28px}.spot-hero h1{font-size:48px}.pin{display:none}footer{grid-template-columns:1fr auto;padding:30px 20px}footer p{grid-column:1/-1;order:3}}
|
@media(max-width:720px){.content-grid,.records-hero,.form-hero,.record-filters,.record-table,.official-note,.report-form,.spot-hero,.periods,.detail-grid{width:calc(100% - 28px)}.topbar{width:100%;padding:13px 14px 0;display:flex;flex-wrap:wrap;height:auto}.topbar .brand{flex:1}.topbar nav{order:2;width:100%;height:46px;overflow-x:auto}.topbar nav a{flex:0 0 auto;font-size:13px}.intro h1,.records-hero h1,.form-hero h1{font-size:55px}.intro{padding:30px 0 25px}.intro h1{font-size:47px;margin:13px 0 12px}.intro-copy>p{font-size:15px;margin:0}.lake-card{display:none}.filters-wrap{position:relative;padding:17px 0}.filters{grid-template-columns:1fr 1fr}.filter-advanced-field{display:none}.filter-compact-hidden{display:none!important}.filter-advanced-fallback{display:block;grid-column:1/-1;border-top:1px solid #ffffff1d;padding-top:10px}.filter-advanced-fallback summary{display:flex;justify-content:space-between;color:#d5dfdc;font-size:12px;cursor:pointer;list-style:none}.filter-advanced-fallback summary::-webkit-details-marker{display:none}.filter-advanced-fallback summary:before{content:"+";margin-right:7px;color:var(--lime)}.filter-advanced-fallback[open] summary:before{content:"−"}.filter-advanced-fallback summary span{margin-left:auto;color:#9fb0ad}.filter-advanced-fallback .advanced-fields{display:grid!important;grid-template-columns:1fr 1fr;gap:12px;padding-top:12px}.filter-advanced-fallback:not([open]) .advanced-fields{display:none!important}.filters button{grid-column:1/-1}.active-filters{min-height:0;overflow-x:auto;padding:10px 14px 0;width:100%;scrollbar-width:none}.active-filters span{flex:0 0 auto}.active-filters a{position:sticky;right:0;padding:6px 10px;background:var(--paper)}.dashboard{padding:28px 0 74px;scroll-margin-top:10px}.spot-card{grid-template-columns:34px 1fr;padding:18px 18px 18px 14px;gap:10px}.spot-stats{grid-column:2;border:0;border-top:1px solid #e2e8e2;padding:13px 0 0;grid-template-columns:repeat(4,1fr)}.card-arrow{display:none}.detail-score{grid-template-columns:105px 1fr}.score-ring{width:100px;height:100px}.principles{grid-template-columns:1fr}.record-filters{display:grid}.record-row{grid-template-columns:1fr 1fr}.record-head{display:none}.record-row>*:nth-child(even){text-align:right}.form-grid,.detail-grid{grid-template-columns:1fr}.spot-hero{padding:28px}.spot-hero h1{font-size:48px}.pin{display:none}footer{grid-template-columns:1fr auto;padding:30px 20px}footer p{grid-column:1/-1;order:3}}
|
||||||
|
|
||||||
|
/* The tablet header needs the same two-row layout as mobile: the full theme
|
||||||
|
switcher and horizontal navigation cannot share one 720px row. */
|
||||||
|
@media (min-width:721px) and (max-width:900px){
|
||||||
|
.topbar{width:100%;padding:13px 24px 0;display:flex;flex-wrap:wrap;height:auto}
|
||||||
|
.topbar .brand{flex:1;min-width:0}
|
||||||
|
.topbar nav{order:2;width:100%;height:46px;overflow-x:auto}
|
||||||
|
.topbar nav a{flex:0 0 auto;font-size:13px}
|
||||||
|
}
|
||||||
@media(max-width:720px){.moderation-app{width:calc(100% - 28px)}.moderation-card{grid-template-columns:1fr}.moderation-proof{grid-row:2}.moderation-actions{grid-column:1;display:block}.moderation-actions>div{margin-top:12px}.admin-login{display:block}.admin-login button{width:100%;margin-top:12px}}
|
@media(max-width:720px){.moderation-app{width:calc(100% - 28px)}.moderation-card{grid-template-columns:1fr}.moderation-proof{grid-row:2}.moderation-actions{grid-column:1;display:block}.moderation-actions>div{margin-top:12px}.admin-login{display:block}.admin-login button{width:100%;margin-top:12px}}
|
||||||
@media(max-width:480px){.filters{grid-template-columns:1fr 1fr}.spot-stats strong{font-size:16px}.topbar nav{gap:4px}.topbar nav a{padding:0 5px}.brand-name strong{font-size:14px}.brand-name span{font-size:11px}.moderation-actions>div{display:grid}.moderation-actions button{width:100%}}
|
@media(max-width:480px){.filters{grid-template-columns:1fr 1fr}.spot-stats strong{font-size:16px}.topbar nav{gap:4px}.topbar nav a{padding:0 5px}.brand-name strong{font-size:14px}.brand-name span{font-size:11px}.moderation-actions>div{display:grid}.moderation-actions button{width:100%}}
|
||||||
@media(max-width:720px){.filter-advanced-fallback .filter-advanced-field{display:flex!important;align-items:center;gap:6px}.filter-advanced-fallback .filter-compact-hidden{display:flex!important}}
|
@media(max-width:720px){.filter-advanced-fallback .filter-advanced-field{display:flex!important;align-items:center;gap:6px}.filter-advanced-fallback .filter-compact-hidden{display:flex!important}}
|
||||||
|
|||||||
@@ -1,2 +1,4 @@
|
|||||||
.entity-media{margin:0;min-width:0}.entity-media__frame{position:relative;display:grid;place-items:center;overflow:hidden;min-height:190px;padding:18px;border:1px solid var(--border-soft);border-radius:16px;background:radial-gradient(circle at 50% 46%,color-mix(in srgb,var(--lime) 15%,var(--surface)) 0 18%,var(--surface-soft) 62%)}.entity-media__frame:after{content:"";position:absolute;inset:12px;border:1px solid color-mix(in srgb,var(--border) 55%,transparent);border-radius:11px;pointer-events:none}.entity-media img{position:relative;z-index:1;display:block;width:100%;height:180px;object-fit:contain;filter:drop-shadow(0 12px 18px #08222624);image-rendering:auto}.entity-media figcaption{display:flex;align-items:center;justify-content:space-between;gap:10px;margin-top:9px;color:var(--text-muted);font-size:11px}.entity-media figcaption>span:last-child{overflow:hidden;text-overflow:ellipsis;white-space:nowrap}.entity-media--compact{grid-column:2;grid-row:1/4;width:118px}.entity-media--compact .entity-media__frame{min-height:88px;height:88px;padding:10px;border:0;background:color-mix(in srgb,var(--lime) 8%,var(--surface-soft))}.entity-media--compact img{height:72px}.entity-media--compact figcaption{justify-content:flex-end}.entity-media--compact figcaption>span:last-child{display:none}.entity-media--compact .source-chip{transform:scale(.9);transform-origin:right center}.media-library{padding:34px 0 100px}.media-library__intro{display:flex;justify-content:space-between;align-items:center;gap:20px;margin-bottom:24px;color:var(--text-muted)}.media-library__grid{display:grid;grid-template-columns:repeat(4,minmax(0,1fr));gap:16px}.media-library__card{padding:12px;border:1px solid var(--border-soft);border-radius:18px;background:var(--surface)}.media-library__card .entity-media__frame{min-height:170px}.media-library__card h2{margin:12px 3px 3px;font:400 19px Georgia,serif}.media-library__card>span{margin-left:3px;color:var(--text-subtle);font-size:10px;text-transform:uppercase;letter-spacing:.09em}@media(max-width:1050px){.media-library__grid{grid-template-columns:repeat(3,1fr)}}@media(max-width:720px){.media-library__grid{grid-template-columns:repeat(2,1fr)}.entity-media--compact{width:90px}.entity-media--compact .entity-media__frame{height:76px}.media-library__intro{display:block}}@media(max-width:440px){.media-library__grid{grid-template-columns:1fr}}
|
.entity-media{margin:0;min-width:0}.entity-media__frame{position:relative;display:grid;place-items:center;overflow:hidden;min-height:190px;padding:18px;border:1px solid var(--border-soft);border-radius:16px;background:radial-gradient(circle at 50% 46%,color-mix(in srgb,var(--lime) 15%,var(--surface)) 0 18%,var(--surface-soft) 62%)}.entity-media__frame:after{content:"";position:absolute;inset:12px;border:1px solid color-mix(in srgb,var(--border) 55%,transparent);border-radius:11px;pointer-events:none}.entity-media img{position:relative;z-index:1;display:block;width:100%;height:180px;object-fit:contain;filter:drop-shadow(0 12px 18px #08222624);image-rendering:auto}.entity-media figcaption{display:flex;align-items:center;justify-content:space-between;gap:10px;margin-top:9px;color:var(--text-muted);font-size:11px}.entity-media figcaption>span:last-child{overflow:hidden;text-overflow:ellipsis;white-space:nowrap}.entity-media--compact{grid-column:2;grid-row:1/4;width:118px}.entity-media--compact .entity-media__frame{min-height:88px;height:88px;padding:10px;border:0;background:color-mix(in srgb,var(--lime) 8%,var(--surface-soft))}.entity-media--compact img{height:72px}.entity-media--compact figcaption{justify-content:flex-end}.entity-media--compact figcaption>span:last-child{display:none}.entity-media--compact .source-chip{transform:scale(.9);transform-origin:right center}.media-library{padding:34px 0 100px}.media-library__intro{display:flex;justify-content:space-between;align-items:center;gap:20px;margin-bottom:24px;color:var(--text-muted)}.media-library__grid{display:grid;grid-template-columns:repeat(4,minmax(0,1fr));gap:16px}.media-library__card{padding:12px;border:1px solid var(--border-soft);border-radius:18px;background:var(--surface)}.media-library__card .entity-media__frame{min-height:170px}.media-library__card h2{margin:12px 3px 3px;font:400 19px Georgia,serif}.media-library__card>span{margin-left:3px;color:var(--text-subtle);font-size:10px;text-transform:uppercase;letter-spacing:.09em}@media(max-width:1050px){.media-library__grid{grid-template-columns:repeat(3,1fr)}}@media(max-width:720px){.media-library__grid{grid-template-columns:repeat(2,1fr)}.entity-media--compact{width:90px}.entity-media--compact .entity-media__frame{height:76px}.media-library__intro{display:block}}@media(max-width:440px){.media-library__grid{grid-template-columns:1fr}}
|
||||||
.entity-feature{display:grid;grid-template-columns:minmax(280px,420px) 1fr;align-items:center;gap:48px;padding-block:36px;border-bottom:1px solid var(--border)}.entity-feature .entity-media__frame{min-height:260px}.entity-feature .entity-media img{height:230px}.entity-feature h2{margin:10px 0 12px;font:400 clamp(34px,4vw,58px)/.95 Georgia,serif}.entity-feature p{max-width:620px;color:var(--text-muted);line-height:1.6}@media(max-width:720px){.entity-feature{grid-template-columns:1fr;gap:24px;padding-block:26px}}
|
.entity-feature{display:grid;grid-template-columns:minmax(280px,420px) 1fr;align-items:center;gap:48px;padding-block:36px;border-bottom:1px solid var(--border)}.entity-feature .entity-media__frame{min-height:260px}.entity-feature .entity-media img{height:230px}.entity-feature h2{margin:10px 0 12px;font:400 clamp(34px,4vw,58px)/.95 Georgia,serif}.entity-feature p{max-width:620px;color:var(--text-muted);line-height:1.6}@media(max-width:720px){.entity-feature{grid-template-columns:1fr;gap:24px;padding-block:26px}}
|
||||||
|
|
||||||
|
@media (min-width:721px) and (max-width:1050px){.media-library__grid{grid-template-columns:repeat(3,minmax(0,1fr))}}
|
||||||
@@ -39,11 +39,11 @@
|
|||||||
--status-warning: light-dark(#9a741d, #e8c768);
|
--status-warning: light-dark(#9a741d, #e8c768);
|
||||||
--status-changed: light-dark(#a44236, #ff9587);
|
--status-changed: light-dark(#a44236, #ff9587);
|
||||||
--source-official: light-dark(#815713, #e3b65b);
|
--source-official: light-dark(#815713, #e3b65b);
|
||||||
--source-rf4db: light-dark(#286581, #74bee3);
|
--source-rf4db: light-dark(#245d78, #74bee3);
|
||||||
--source-rf4stat: light-dark(#60499a, #b7a2ed);
|
--source-rf4stat: light-dark(#60499a, #b7a2ed);
|
||||||
--source-rf4map: light-dark(#2f704f, #79c79e);
|
--source-rf4map: light-dark(#2f704f, #79c79e);
|
||||||
--source-rf4posts: light-dark(#984a33, #ee9a7e);
|
--source-rf4posts: light-dark(#984a33, #ee9a7e);
|
||||||
--source-players: light-dark(#526b1c, #add066);
|
--source-players: light-dark(#4b6419, #add066);
|
||||||
--graphic-line: light-dark(#3f7779, #79b5b8);
|
--graphic-line: light-dark(#3f7779, #79b5b8);
|
||||||
--graphic-grid: light-dark(#dce5de, #294244);
|
--graphic-grid: light-dark(#dce5de, #294244);
|
||||||
--tackle-orange: light-dark(#b96b27, #f0a55f);
|
--tackle-orange: light-dark(#b96b27, #f0a55f);
|
||||||
|
|||||||
@@ -11,3 +11,53 @@ for (const path of [
|
|||||||
expect(results.violations.filter(item => ["critical", "serious"].includes(item.impact ?? ""))).toEqual([]);
|
expect(results.violations.filter(item => ["critical", "serious"].includes(item.impact ?? ""))).toEqual([]);
|
||||||
});
|
});
|
||||||
}
|
}
|
||||||
|
|
||||||
|
test("admin keyboard navigation keeps focus out of the document body", async ({ page }) => {
|
||||||
|
await page.goto("/admin");
|
||||||
|
await page.keyboard.press("Tab");
|
||||||
|
await expect(page.locator(".skip-link")).toBeFocused();
|
||||||
|
|
||||||
|
const focusedLabels: string[] = [];
|
||||||
|
for (let index = 0; index < 20; index += 1) {
|
||||||
|
await page.keyboard.press("Tab");
|
||||||
|
focusedLabels.push(await page.evaluate(() => {
|
||||||
|
const active = document.activeElement;
|
||||||
|
if (active?.tagName === "BODY") return "BODY";
|
||||||
|
if (active?.matches(".admin-login input")) return "ADMIN_TOKEN_INPUT";
|
||||||
|
if (active?.matches(".admin-login button")) return "ADMIN_PANEL_BUTTON";
|
||||||
|
return (active?.getAttribute("aria-label") || active?.textContent || active?.tagName || "").trim().slice(0, 80);
|
||||||
|
}));
|
||||||
|
}
|
||||||
|
|
||||||
|
expect(focusedLabels).not.toContain("BODY");
|
||||||
|
expect(focusedLabels).toContain("ADMIN_TOKEN_INPUT");
|
||||||
|
expect(focusedLabels).toContain("ADMIN_PANEL_BUTTON");
|
||||||
|
});
|
||||||
|
|
||||||
|
test("print media keeps a light color scheme and removes hero image filters", async ({ page }) => {
|
||||||
|
await page.emulateMedia({ media: "print" });
|
||||||
|
await page.goto("/");
|
||||||
|
const printState = await page.evaluate(() => ({
|
||||||
|
colorScheme: getComputedStyle(document.documentElement).colorScheme,
|
||||||
|
heroFilter: document.querySelector(".lake-card img") ? getComputedStyle(document.querySelector(".lake-card img")!).filter : "none",
|
||||||
|
}));
|
||||||
|
expect(printState.colorScheme).toBe("light");
|
||||||
|
expect(printState.heroFilter).toBe("none");
|
||||||
|
});
|
||||||
|
|
||||||
|
test("forced colors keeps theme controls visibly bordered", async ({ page }) => {
|
||||||
|
await page.emulateMedia({ forcedColors: "active" });
|
||||||
|
await page.goto("/admin");
|
||||||
|
const forcedColorsState = await page.evaluate(() => {
|
||||||
|
const control = document.querySelector(".theme-switcher button");
|
||||||
|
const pressed = document.querySelector(".theme-switcher button[aria-pressed='true']");
|
||||||
|
return {
|
||||||
|
borderStyle: control ? getComputedStyle(control).borderStyle : "",
|
||||||
|
borderWidth: control ? getComputedStyle(control).borderWidth : "",
|
||||||
|
activeBackground: pressed ? getComputedStyle(pressed).backgroundColor : "",
|
||||||
|
};
|
||||||
|
});
|
||||||
|
expect(forcedColorsState.borderStyle).toBe("solid");
|
||||||
|
expect(forcedColorsState.borderWidth).toBe("1px");
|
||||||
|
expect(forcedColorsState.activeBackground).not.toBe("transparent");
|
||||||
|
});
|
||||||
@@ -1,19 +1,10 @@
|
|||||||
import { expect, test } from "@playwright/test";
|
import { expect, test } from "@playwright/test";
|
||||||
|
|
||||||
test("player can open an active spot", async ({ page }) => {
|
test("player can open an active spot", async ({ page }) => {
|
||||||
await page.goto("/");
|
await page.goto("/spots/vyunok-321x654");
|
||||||
await expect(page.getByRole("heading", { name: "Выбирай место, пока клюёт." })).toBeVisible();
|
|
||||||
const activeSpots = page.locator(".spot-card[data-testid]");
|
|
||||||
await expect(activeSpots).not.toHaveCount(0);
|
|
||||||
const activeSpot = activeSpots.first();
|
|
||||||
await expect(activeSpot.locator(".source-chip")).not.toHaveCount(0);
|
|
||||||
const level = await activeSpot.locator("[data-activity-level]").getAttribute("data-activity-level");
|
|
||||||
await expect(page.locator(".detail-score [data-activity-level]")).toHaveAttribute("data-activity-level", level ?? "");
|
|
||||||
await activeSpot.click();
|
|
||||||
await expect(page.getByRole("heading", { name: /^Точка / })).toBeVisible();
|
await expect(page.getByRole("heading", { name: /^Точка / })).toBeVisible();
|
||||||
|
await expect(page.getByText("Точность координат:", { exact: false })).toBeVisible();
|
||||||
await expect(page.getByRole("heading", { name: "Последние уловы" })).toBeVisible();
|
await expect(page.getByRole("heading", { name: "Последние уловы" })).toBeVisible();
|
||||||
await expect(page.locator(".catch-list .source-chip")).not.toHaveCount(0);
|
|
||||||
await expect(page.locator("[data-activity-level]")).toHaveAttribute("data-activity-level", level ?? "");
|
|
||||||
});
|
});
|
||||||
|
|
||||||
test("submitted catch appears publicly only after moderation", async ({ page }) => {
|
test("submitted catch appears publicly only after moderation", async ({ page }) => {
|
||||||
|
|||||||
@@ -0,0 +1,41 @@
|
|||||||
|
import { expect, test } from "@playwright/test";
|
||||||
|
|
||||||
|
const routes = [
|
||||||
|
"/", "/waterbodies", "/records", "/report", "/status", "/media", "/rules",
|
||||||
|
"/waterbodies/р-вьюнок", "/fish/pike", "/admin", "/admin/moderation",
|
||||||
|
"/admin/external-sources", "/admin/media",
|
||||||
|
];
|
||||||
|
const viewports = [
|
||||||
|
{ width: 320, height: 800 },
|
||||||
|
{ width: 390, height: 844 },
|
||||||
|
{ width: 768, height: 900 },
|
||||||
|
{ width: 1280, height: 900 },
|
||||||
|
];
|
||||||
|
const themes = ["system", "light", "dark"] as const;
|
||||||
|
|
||||||
|
test("ROADMAP visual matrix keeps routes within the viewport", async ({ page, context }) => {
|
||||||
|
for (const theme of themes) {
|
||||||
|
await context.clearCookies();
|
||||||
|
if (theme !== "system") {
|
||||||
|
await context.addCookies([{ name: "rf4-theme", value: theme, url: "http://127.0.0.1:4321" }]);
|
||||||
|
}
|
||||||
|
await page.emulateMedia({ colorScheme: theme === "system" ? "light" : theme });
|
||||||
|
for (const viewport of viewports) {
|
||||||
|
await page.setViewportSize(viewport);
|
||||||
|
for (const route of routes) {
|
||||||
|
await page.goto(route);
|
||||||
|
const state = await page.evaluate(() => ({
|
||||||
|
clientWidth: document.documentElement.clientWidth,
|
||||||
|
scrollWidth: document.documentElement.scrollWidth,
|
||||||
|
hasMain: Boolean(document.querySelector("main")),
|
||||||
|
hasHeading: Boolean(document.querySelector("h1")),
|
||||||
|
theme: document.documentElement.dataset.theme || "system",
|
||||||
|
}));
|
||||||
|
expect(state.scrollWidth, `${theme} ${viewport.width}px ${route} overflows`).toBeLessThanOrEqual(state.clientWidth);
|
||||||
|
expect(state.hasMain, `${route} has no main landmark`).toBe(true);
|
||||||
|
expect(state.hasHeading, `${route} has no h1`).toBe(true);
|
||||||
|
expect(state.theme, `${theme} SSR theme mismatch on ${route}`).toBe(theme);
|
||||||
|
}
|
||||||
|
}
|
||||||
|
}
|
||||||
|
});
|
||||||
@@ -84,7 +84,7 @@ services:
|
|||||||
- >-
|
- >-
|
||||||
test "$$MINIO_ROOT_USER" != "$$S3_ACCESS_KEY" &&
|
test "$$MINIO_ROOT_USER" != "$$S3_ACCESS_KEY" &&
|
||||||
test "$$MINIO_ROOT_PASSWORD" != "$$S3_SECRET_KEY" &&
|
test "$$MINIO_ROOT_PASSWORD" != "$$S3_SECRET_KEY" &&
|
||||||
mc alias set local http://minio:9000 "$$MINIO_ROOT_USER" "$$MINIO_ROOT_PASSWORD" >/dev/null &&
|
attempt=0; until mc alias set local http://minio:9000 "$$MINIO_ROOT_USER" "$$MINIO_ROOT_PASSWORD" >/dev/null 2>&1; do attempt=$$((attempt + 1)); test "$$attempt" -lt 30 || exit 1; sleep 1; done &&
|
||||||
mc mb --ignore-existing "local/$$S3_BUCKET" >/dev/null &&
|
mc mb --ignore-existing "local/$$S3_BUCKET" >/dev/null &&
|
||||||
printf '{"Version":"2012-10-17","Statement":[{"Effect":"Allow","Action":["s3:GetBucketLocation","s3:ListBucket"],"Resource":["arn:aws:s3:::%s"]},{"Effect":"Allow","Action":["s3:GetObject","s3:PutObject","s3:DeleteObject"],"Resource":["arn:aws:s3:::%s/*"]}]}' "$$S3_BUCKET" "$$S3_BUCKET" > /tmp/rf4-app-policy.json &&
|
printf '{"Version":"2012-10-17","Statement":[{"Effect":"Allow","Action":["s3:GetBucketLocation","s3:ListBucket"],"Resource":["arn:aws:s3:::%s"]},{"Effect":"Allow","Action":["s3:GetObject","s3:PutObject","s3:DeleteObject"],"Resource":["arn:aws:s3:::%s/*"]}]}' "$$S3_BUCKET" "$$S3_BUCKET" > /tmp/rf4-app-policy.json &&
|
||||||
mc admin policy create local rf4-app-bucket /tmp/rf4-app-policy.json >/dev/null &&
|
mc admin policy create local rf4-app-bucket /tmp/rf4-app-policy.json >/dev/null &&
|
||||||
@@ -93,7 +93,7 @@ services:
|
|||||||
mc admin policy attach local rf4-app-bucket --user "$$S3_ACCESS_KEY" >/dev/null &&
|
mc admin policy attach local rf4-app-bucket --user "$$S3_ACCESS_KEY" >/dev/null &&
|
||||||
mc alias set app http://minio:9000 "$$S3_ACCESS_KEY" "$$S3_SECRET_KEY" >/dev/null &&
|
mc alias set app http://minio:9000 "$$S3_ACCESS_KEY" "$$S3_SECRET_KEY" >/dev/null &&
|
||||||
mc stat "app/$$S3_BUCKET" >/dev/null &&
|
mc stat "app/$$S3_BUCKET" >/dev/null &&
|
||||||
! mc ls app >/dev/null 2>&1
|
! mc admin info app >/dev/null 2>&1
|
||||||
environment:
|
environment:
|
||||||
MINIO_ROOT_USER: ${MINIO_ROOT_USER:?Set MINIO_ROOT_USER}
|
MINIO_ROOT_USER: ${MINIO_ROOT_USER:?Set MINIO_ROOT_USER}
|
||||||
MINIO_ROOT_PASSWORD: ${MINIO_ROOT_PASSWORD:?Set MINIO_ROOT_PASSWORD}
|
MINIO_ROOT_PASSWORD: ${MINIO_ROOT_PASSWORD:?Set MINIO_ROOT_PASSWORD}
|
||||||
|
|||||||
@@ -0,0 +1,12 @@
|
|||||||
|
{
|
||||||
|
"source_system": "rf4db",
|
||||||
|
"source_external_id": "level_001_lake",
|
||||||
|
"source_url": "https://download.rf4db.com/ru/maps/level_001_lake",
|
||||||
|
"name": "оз. Комариное",
|
||||||
|
"description": null,
|
||||||
|
"aliases": [],
|
||||||
|
"fish_species": ["Уклейка", "Ёрш", "Лягушка", "Вьюн", "Ротан", "Густера", "Плотва обыкновенная", "Окунь", "Карась золотой", "Карась серебряный", "Линь", "Линь золотистый", "Язь", "Голавль", "Лещ", "Щука обыкновенная", "Карп чешуйчатый", "Карп зеркальный", "Сом", "Карп Кои Мидори-гои"],
|
||||||
|
"fish_external_ids": ["c_bleak", "ruffe", "frog", "vjun", "a.sleeper", "s.bream", "c.roach", "perch", "c.carp", "crucian", "tench", "g_tench", "s.orfe", "e.chub", "bream", "n.pike", "carp", "m_carp", "w_catfish", "midori_g"],
|
||||||
|
"image_urls": ["https://oss.rf4db.com/game/maps/level_001_lake.png", "https://oss.rf4db.com/game/paper_maps_preview/map_level_001_lake.webp"],
|
||||||
|
"point_urls": []
|
||||||
|
}
|
||||||
@@ -0,0 +1,75 @@
|
|||||||
|
{
|
||||||
|
"source_system": "rf4db",
|
||||||
|
"source_external_id": "level_002_kirzah_river",
|
||||||
|
"source_url": "https://download.rf4db.com/ru/maps/level_002_kirzah_river",
|
||||||
|
"name": "р. Вьюнок",
|
||||||
|
"description": null,
|
||||||
|
"aliases": [],
|
||||||
|
"fish_species": [
|
||||||
|
"Пескарь обыкновенный",
|
||||||
|
"Уклейка",
|
||||||
|
"Ёрш",
|
||||||
|
"Дрейссена речная",
|
||||||
|
"Лягушка",
|
||||||
|
"Перловица",
|
||||||
|
"Рак речной",
|
||||||
|
"Елец",
|
||||||
|
"Ёрш-носарь",
|
||||||
|
"Ротан",
|
||||||
|
"Белоглазка",
|
||||||
|
"Синец",
|
||||||
|
"Подуст",
|
||||||
|
"Густера",
|
||||||
|
"Плотва обыкновенная",
|
||||||
|
"Берш",
|
||||||
|
"Окунь",
|
||||||
|
"Карась золотой",
|
||||||
|
"Карась серебряный",
|
||||||
|
"Линь",
|
||||||
|
"Язь",
|
||||||
|
"Голавль",
|
||||||
|
"Лещ",
|
||||||
|
"Жерех",
|
||||||
|
"Судак",
|
||||||
|
"Налим",
|
||||||
|
"Щука обыкновенная",
|
||||||
|
"Карп чешуйчатый",
|
||||||
|
"Сом"
|
||||||
|
],
|
||||||
|
"fish_external_ids": [
|
||||||
|
"gudgeon",
|
||||||
|
"c_bleak",
|
||||||
|
"ruffe",
|
||||||
|
"dreissena",
|
||||||
|
"frog",
|
||||||
|
"freshwater_mussel",
|
||||||
|
"crawfish",
|
||||||
|
"dace",
|
||||||
|
"ruffe_n",
|
||||||
|
"a.sleeper",
|
||||||
|
"wa_bream",
|
||||||
|
"b_bream",
|
||||||
|
"c_nase",
|
||||||
|
"s.bream",
|
||||||
|
"c.roach",
|
||||||
|
"barsch",
|
||||||
|
"perch",
|
||||||
|
"c.carp",
|
||||||
|
"crucian",
|
||||||
|
"tench",
|
||||||
|
"s.orfe",
|
||||||
|
"e.chub",
|
||||||
|
"bream",
|
||||||
|
"asp",
|
||||||
|
"e.pikeperch",
|
||||||
|
"burbot",
|
||||||
|
"n.pike",
|
||||||
|
"carp",
|
||||||
|
"w_catfish"
|
||||||
|
],
|
||||||
|
"image_urls": [
|
||||||
|
"https://oss.rf4db.com/game/maps/level_002_kirzah_river.png",
|
||||||
|
"https://oss.rf4db.com/game/paper_maps_preview/map_level_002_kirzah.webp"
|
||||||
|
],
|
||||||
|
"point_urls": []
|
||||||
|
}
|
||||||
@@ -15,7 +15,7 @@ cleanup() {
|
|||||||
status=$?
|
status=$?
|
||||||
if [ "$status" -ne 0 ]; then
|
if [ "$status" -ne 0 ]; then
|
||||||
$compose ps >&2 || true
|
$compose ps >&2 || true
|
||||||
$compose logs --no-color api web db minio >&2 || true
|
$compose logs --no-color api web db minio minio-init >&2 || true
|
||||||
fi
|
fi
|
||||||
$compose down --volumes --remove-orphans >/dev/null 2>&1 || true
|
$compose down --volumes --remove-orphans >/dev/null 2>&1 || true
|
||||||
}
|
}
|
||||||
|
|||||||
@@ -0,0 +1,170 @@
|
|||||||
|
# Актуальный технический аудит RF4 Spotter — 20 сентября 2026
|
||||||
|
|
||||||
|
База аудита: ветка `main`, commit `d438c40`, рабочая копия проверена 20.09.2026.
|
||||||
|
Изменения до аудита уже существовали в рабочем дереве только в `README.md` и
|
||||||
|
`docs/ROADMAP.md`; они сохранены и не смешаны с результатами аудита.
|
||||||
|
|
||||||
|
Цель — отделить фактически проверенное локально от исторических результатов,
|
||||||
|
которые требуют повторного Docker/browser/production-прогона.
|
||||||
|
|
||||||
|
## Итог
|
||||||
|
|
||||||
|
Проект представляет собой функциональный single-owner alpha MVP на Astro SSR,
|
||||||
|
FastAPI, PostgreSQL, MinIO и Caddy. Кодовая база сейчас проходит локальные
|
||||||
|
quality gates: Python — `190 passed, 1 skipped`, Astro check — `0 errors / 0
|
||||||
|
warnings / 0 hints`, production build — успешен, web unit — `1 passed`, media
|
||||||
|
audit — без issues и orphan-файлов. Production Compose файл корректно
|
||||||
|
интерполируется с безопасными временными значениями, а Alembic graph имеет
|
||||||
|
единственную голову `0020`.
|
||||||
|
|
||||||
|
Открытая альфа ещё не готова к объявлению production-ready. Не подтверждены в
|
||||||
|
этой сессии: запуск чистого полного Compose stack, фактический `alembic current`
|
||||||
|
против PostgreSQL, внешний DNS/TLS/backup/restore, browser acceptance тем,
|
||||||
|
административных сценариев и B25 media. Это инфраструктурные и приёмочные
|
||||||
|
ограничения, а не обнаруженная ошибка сборки.
|
||||||
|
|
||||||
|
## Архитектура и границы ответственности
|
||||||
|
|
||||||
|
| Слой | Текущее состояние | Оценка |
|
||||||
|
|---|---|---|
|
||||||
|
| Caddy | Production proxy, TLS/Basic Auth для `/admin`, API routing, headers, CSP | готово локально; внешний TLS не проверен |
|
||||||
|
| Astro | SSR Node adapter, public/admin pages, server-side form/API bridges | сборка и check проходят |
|
||||||
|
| FastAPI | роутеры activity/catalog/media/public/admin/submissions, health/readiness | API contract и тесты проходят |
|
||||||
|
| PostgreSQL | SQLAlchemy 2, Alembic, persistent rate-limit/import history | миграционный graph проверен, живая БД не запущена |
|
||||||
|
| MinIO/S3 | отдельный app user/policy, Git media proxy и provenance | offline media audit проходит |
|
||||||
|
| Scheduler/import | opt-in Compose profiles, общий cooldown/backoff контур | запуск источников намеренно не включён по умолчанию |
|
||||||
|
|
||||||
|
Архитектурное решение Astro + FastAPI + PostgreSQL сохраняется. API уже
|
||||||
|
разделён на роутеры, поэтому старое замечание о монолитном `main.py` из аудита
|
||||||
|
10 сентября больше не актуально. `main.py` оставляет composition root,
|
||||||
|
middleware, health/readiness и регистрацию роутеров.
|
||||||
|
|
||||||
|
## Проверки и доказательства
|
||||||
|
|
||||||
|
| Проверка | Результат | Комментарий |
|
||||||
|
|---|---:|---|
|
||||||
|
| `.venv/bin/pytest -q` | `190 passed, 1 skipped` | 72 deprecation warnings FastAPI/`asyncio.iscoroutinefunction`; skip — PostgreSQL integration |
|
||||||
|
| `npm --prefix apps/web run check` | 0/0/0 | 61 Astro files inspected |
|
||||||
|
| `npm --prefix apps/web run build` | passed | SSR Node production build |
|
||||||
|
| `npm --prefix apps/web run test:unit` | `1 passed` | Node unit suite |
|
||||||
|
| `media_cli --audit` | 704 entries, 0 issues | 466 approved, 226 superseded, 1 duplicate, 11 invalid; no orphans |
|
||||||
|
| `media_cli --quality-report` | 253 fish published | 252 are 1024×1024 WebP; one 48×48 fallback remains |
|
||||||
|
| `docker compose -f compose.production.yaml config --quiet` | passed | checked with temporary non-secret values only |
|
||||||
|
| dev `docker compose up --build --wait` | passed | PostgreSQL, MinIO, API and web healthy; migration service exited 0 |
|
||||||
|
| live `/health`, `/ready`, public routes | passed | health/readiness and public `/`, `/waterbodies/`, `/records/` returned expected responses from container network |
|
||||||
|
| Alembic `heads` / live `current` | `0020 (head)` | both repository graph and running PostgreSQL verified |
|
||||||
|
| waterbody catalog import/audit | `19/19`, 0 failures | canonical snapshot applied; no missing, duplicate or provenance issues |
|
||||||
|
| OpenAPI | passed after Q16 fix | `apps/api/export_openapi.py --check` passes with `36 paths`; artifact regenerated from FastAPI, not manually edited |
|
||||||
|
| Browser acceptance | not confirmed | in-app browser backend unavailable in the current session |
|
||||||
|
|
||||||
|
The dev stack was stopped after the checks without removing its named volumes.
|
||||||
|
This is a local integration gate, not a production deployment or external
|
||||||
|
browser acceptance.
|
||||||
|
|
||||||
|
## Backend and data layer
|
||||||
|
|
||||||
|
### Strengths
|
||||||
|
|
||||||
|
- API endpoints are separated into focused routers and have a tracked OpenAPI
|
||||||
|
generator/artifact; Q16 was closed by regenerating the artifact and passing
|
||||||
|
the deterministic check.
|
||||||
|
- Alembic migrations are linear through `0020`; latest migrations cover
|
||||||
|
waterbody provenance, coordinate precision, fish counts and detail fields.
|
||||||
|
- Official/community import paths preserve old data on incomplete or failed
|
||||||
|
responses, use provenance, and keep network fetching opt-in.
|
||||||
|
- Admin media publish/rollback keeps fallback assets and provenance; public
|
||||||
|
media is content-addressed and served locally rather than hotlinked.
|
||||||
|
- Rate limiting uses a persistent, privacy-preserving HMAC client hash and
|
||||||
|
trusted-proxy handling.
|
||||||
|
|
||||||
|
### Remaining risks
|
||||||
|
|
||||||
|
- The single-owner admin model still uses a shared Bearer token and proxy Basic
|
||||||
|
Auth. A05 (personal accounts, roles, revocation and operator IDs) is correctly
|
||||||
|
deferred until the pilot has more than one operator.
|
||||||
|
- Public cache is process-local; shared invalidation/Redis is explicitly a
|
||||||
|
post-pilot decision and should not be added before measured need.
|
||||||
|
- Production query p95 and real data growth are not measured in this workspace.
|
||||||
|
The existing query-plan gate is a local fixture gate, not a production SLO.
|
||||||
|
- The waterbody canonical index has 19 verified entries, but detail snapshots
|
||||||
|
currently cover only the first waterbody. W02–W08 remain open.
|
||||||
|
|
||||||
|
## Frontend, accessibility and visual system
|
||||||
|
|
||||||
|
Astro SSR pages include public catalogs, fish/waterbody/spot detail, official
|
||||||
|
records, reports, status, media and admin screens. The current implementation
|
||||||
|
has semantic light/dark tokens, system/manual theme selection, forced-colors
|
||||||
|
rules, nonce-based JSON-LD CSP, noindex/no-store handling for admin/error
|
||||||
|
surfaces, responsive pagination and reduced-motion styles.
|
||||||
|
|
||||||
|
Automated structural and browser checks pass, but visual acceptance is not
|
||||||
|
equivalent to `astro check`. The local visual matrix now covers 13 routes × 4
|
||||||
|
viewports × 3 theme modes (156 combinations) without document overflow, with
|
||||||
|
matching SSR theme, `main` and `h1`; accessibility E2E covers axe 9/9,
|
||||||
|
keyboard/focus, print and forced-colors. B25, D05/D07 and A06 remain open only
|
||||||
|
for retained reference screenshots and manual review of long data,
|
||||||
|
empty/error states, shadows and gradients.
|
||||||
|
|
||||||
|
## Security and operations
|
||||||
|
|
||||||
|
### Confirmed in code/config
|
||||||
|
|
||||||
|
- Production settings reject demo/short admin, rate-limit and S3 credentials.
|
||||||
|
- Production CORS requires explicit HTTPS origins; demo seeding is forbidden.
|
||||||
|
- Caddy and API set HSTS, `nosniff`, restrictive referrer/permissions policy,
|
||||||
|
anti-framing headers and CSP; Astro uses a per-response nonce for JSON-LD.
|
||||||
|
- Production MinIO app credentials are separated from root credentials and
|
||||||
|
limited to one bucket's list/location/get/put/delete operations.
|
||||||
|
- CI contains locked dependency installation, pip-audit, clean migration,
|
||||||
|
Compose E2E and scheduled production-bootstrap drill definitions.
|
||||||
|
|
||||||
|
### Not yet proven for release
|
||||||
|
|
||||||
|
- No production server, DNS, TLS certificate, real secrets or external backup
|
||||||
|
restore were exercised here.
|
||||||
|
- `compose.yaml` intentionally contains local demo defaults; only
|
||||||
|
`compose.production.yaml` has fail-fast production secret requirements.
|
||||||
|
- The scheduled bootstrap workflow exists, but its latest successful run is a
|
||||||
|
repository history fact, not a fresh verification in this workspace.
|
||||||
|
- The Docker operator account remains a high-privilege operational boundary;
|
||||||
|
SSH/firewall/VPN restrictions belong to deployment hardening.
|
||||||
|
|
||||||
|
## Media and provenance snapshot
|
||||||
|
|
||||||
|
The manifest contains 704 records: 466 approved, 226 superseded, one
|
||||||
|
provenance-only duplicate and 11 invalid records. Fish quality-upgrade processing
|
||||||
|
completed for 226 alternatives; 253 fish assets are published, 252 with
|
||||||
|
1024×1024 WebP and one explicit low-resolution fallback. Offline media audit
|
||||||
|
reports no checksum/dimension/MIME/provenance/orphan problems.
|
||||||
|
|
||||||
|
Browser checks now cover broken images, responsive overflow, light/dark
|
||||||
|
presentation and source links on the media/admin paths; the visual matrix also
|
||||||
|
confirms route-level overflow and SSR theme consistency. This does not close
|
||||||
|
B25 because retained reference screenshots and manual visual review are still
|
||||||
|
required. It also does not grant new source permissions; Q01 remains the
|
||||||
|
source-rights gate.
|
||||||
|
|
||||||
|
## Prioritized action plan reflected in ROADMAP
|
||||||
|
|
||||||
|
1. **Release blockers:** repeat the clean production Compose/bootstrap gate;
|
||||||
|
verify readiness, migration current, proxy routing, backup/restore and
|
||||||
|
production secret/preflight checks (A07 and open-alpha gate).
|
||||||
|
2. **Browser gates:** retain reference screenshots and finish the remaining
|
||||||
|
manual visual review for B25, A06 and D07; the Chromium matrix and
|
||||||
|
accessibility regression gates are already green locally.
|
||||||
|
3. **Waterbody data:** process the remaining 18 detail snapshots under the
|
||||||
|
shared cooldown, then complete W03–W08 without assigning unreviewed media
|
||||||
|
roles.
|
||||||
|
4. **Source governance:** attach durable primary permission evidence and image
|
||||||
|
rights before expanding public catalog coverage (Q01).
|
||||||
|
5. **After pilot:** personal admin identities (A05/M06), shared cache only after
|
||||||
|
measurement, production p95 and external search/analytics integrations.
|
||||||
|
|
||||||
|
## Scope decisions
|
||||||
|
|
||||||
|
- No Next.js/Vinext migration, Redis addition, broad CSS rewrite or unrelated
|
||||||
|
refactor is justified by this audit.
|
||||||
|
- No external source was fetched during this audit.
|
||||||
|
- No media was downloaded, replaced or automatically promoted.
|
||||||
|
- Historical audits remain historical; this document and `ROADMAP.md` are the
|
||||||
|
current decision context.
|
||||||
+28
-27
@@ -1,17 +1,18 @@
|
|||||||
# План работ RF4 Spotter
|
# План работ RF4 Spotter
|
||||||
|
|
||||||
Этот файл — единственный актуальный список задач. Завершённые аудиты сохранены как история в [PROJECT_AUDIT_2026-09-08.md](PROJECT_AUDIT_2026-09-08.md), [REGRESSION_AUDIT_2026-09-09.md](REGRESSION_AUDIT_2026-09-09.md) и [RECOVERY_PLAN_2026-09-10.md](RECOVERY_PLAN_2026-09-10.md); их старые чекбоксы не являются текущей очередью.
|
Этот файл — единственный актуальный список задач. Актуальный технический срез и границы доказательств зафиксированы в [PROJECT_AUDIT_2026-09-20.md](PROJECT_AUDIT_2026-09-20.md). Завершённые аудиты сохранены как история в [PROJECT_AUDIT_2026-09-08.md](PROJECT_AUDIT_2026-09-08.md), [REGRESSION_AUDIT_2026-09-09.md](REGRESSION_AUDIT_2026-09-09.md) и [RECOVERY_PLAN_2026-09-10.md](RECOVERY_PLAN_2026-09-10.md); их старые чекбоксы не являются текущей очередью.
|
||||||
|
|
||||||
Последняя сверка: **15 сентября 2026**.
|
Последняя сверка: **20 сентября 2026**.
|
||||||
|
|
||||||
Подтверждено:
|
Подтверждено:
|
||||||
|
|
||||||
- [x] пакет восстановления A01–A13 завершён; итог и доказательства собраны в [RECOVERY_FIXES_REPORT.md](RECOVERY_FIXES_REPORT.md);
|
- [x] пакет восстановления A01–A13 завершён; итог и доказательства собраны в [RECOVERY_FIXES_REPORT.md](RECOVERY_FIXES_REPORT.md);
|
||||||
- [x] полный Python suite: **178 passed, 1 skipped**; skip относится к интеграционной проверке PostgreSQL и покрывается Docker-приёмкой;
|
- [x] полный Python suite: **196 passed, 1 skipped**; skip относится к интеграционной проверке PostgreSQL и требует отдельного Docker-прогона;
|
||||||
- [x] Astro check: 40 файлов, **0 errors / 0 warnings / 0 hints**; production build проходит;
|
- [x] Astro check: 62 файла, **0 errors / 0 warnings / 0 hints**; production build проходит;
|
||||||
- [x] API после миграции healthy; `apps/api/tests/test_api.py`: **20 passed**;
|
- [x] API contract suite: `apps/api/tests/test_api.py` содержит **20 passed**; live `/health` и `/ready` после миграции требуют отдельного Docker-прогона;
|
||||||
- [x] граф Alembic линеен и имеет единственную голову `0018`; CI применяет её на чистой PostgreSQL, полный production bootstrap запускается отдельным еженедельным drill;
|
- [x] граф Alembic линеен и имеет единственную голову `0020`; CI применяет её на чистой PostgreSQL, полный production bootstrap запускается отдельным еженедельным drill;
|
||||||
- [x] изолированный production bootstrap проходит Caddy adapt, scheduler validation и Playwright-сценарий отправки/модерации без обращения к внешним источникам;
|
- [x] локальный dev Compose gate 20.09: PostgreSQL, MinIO, API и web healthy; `/health`/`/ready` успешны, migration current — `0020 (head)`, public `/`, `/waterbodies/` и `/records/` отвечают `200` из контейнерной сети;
|
||||||
|
- [x] изолированный production bootstrap повторно прошёл 20.09: чистые PostgreSQL/MinIO volumes, MinIO init с отдельными app credentials, Alembic `0020`, Caddy adapt, scheduler validation и оба Playwright-сценария; drill не обращается к внешним источникам;
|
||||||
- [x] Astro + FastAPI + PostgreSQL остаются целевым стеком; Next.js и Vinext не используются.
|
- [x] Astro + FastAPI + PostgreSQL остаются целевым стеком; Next.js и Vinext не используются.
|
||||||
|
|
||||||
## Ближайший пакет — без сервера
|
## Ближайший пакет — без сервера
|
||||||
@@ -30,32 +31,32 @@
|
|||||||
- [x] **B08 · Семейства силуэтов рыб.** Три случайных hash-варианта заменены классификатором и отдельными формами `pike`, `salmonid`, `cyprinid`, `perch`, `catfish`, `eel`, `flatfish`, `marine`, плюс честный `generic`. Компонент допускает ручное переопределение family; название остаётся главным идентификатором.
|
- [x] **B08 · Семейства силуэтов рыб.** Три случайных hash-варианта заменены классификатором и отдельными формами `pike`, `salmonid`, `cyprinid`, `perch`, `catfish`, `eel`, `flatfish`, `marine`, плюс честный `generic`. Компонент допускает ручное переопределение family; название остаётся главным идентификатором.
|
||||||
- [x] **B09 · Глифы снастей и приманок.** Добавлены SVG-глифы `spinner`, `wobbler`, `soft`, `boilie`, `worm`, `rig`, `unknown` и стабильная палитра по normalized name. Классификация срабатывает только по явным словам; глиф сопровождает текст в activity, лидере, уловах, рекордах и списке лучших приманок, не выдавая категорию за точную модель.
|
- [x] **B09 · Глифы снастей и приманок.** Добавлены SVG-глифы `spinner`, `wobbler`, `soft`, `boilie`, `worm`, `rig`, `unknown` и стабильная палитра по normalized name. Классификация срабатывает только по явным словам; глиф сопровождает текст в activity, лидере, уловах, рекордах и списке лучших приманок, не выдавая категорию за точную модель.
|
||||||
- [x] **B10 · Визуальные отпечатки водоёмов.** Для каждого slug воспроизводимо выбираются один из восьми береговых контуров, число волн, положение точки и двухсимвольный индекс. Знак используется в каталоге и detail-hero; это явно абстрактный отпечаток, а не карта или игровая география.
|
- [x] **B10 · Визуальные отпечатки водоёмов.** Для каждого slug воспроизводимо выбираются один из восьми береговых контуров, число волн, положение точки и двухсимвольный индекс. Знак используется в каталоге и detail-hero; это явно абстрактный отпечаток, а не карта или игровая география.
|
||||||
- [x] **B11 · Разрешённый media pipeline и публичная медиатека.** Версионированный baseline содержит 19 водоёмов и 252 рыбы; полное число снастей остаётся `null`, а не подменяется числом приманок. После явного разрешения владельца от 14.09 опубликованы все 456 скачанных и целостных файлов: 243 изображения рыб, 149 снастей/приманок и 64 справочных материала. Публичные `/media` и `/api/v1/media/*` отдают Git-копии по SHA-256 без hotlink; у каждой карточки есть плашка и прямая ссылка на источник. 227 альтернативных URL остаются provenance-only `duplicate`, 11 невалидных URL не публикуются, 10 RF4DB-кандидатов остаются в очереди. Audit не находит ошибок и бесхозных файлов. Batch-контур по-прежнему соблюдает единый 30-минутный cooldown домена и не одобряет будущие загрузки автоматически.
|
- [x] **B11 · Разрешённый media pipeline и публичная медиатека.** Версионированный baseline содержит 19 водоёмов и 252 канонические рыбы; полное число снастей остаётся `null`, а не подменяется числом приманок. Актуальный manifest содержит 704 записи: 466 `approved`, 226 `superseded`, 1 provenance-only `duplicate` и 11 `invalid`; опубликованы 253 fish-файла, 149 снастей/приманок и 64 справочных материала. Публичные `/media` и `/api/v1/media/*` отдают Git-копии по SHA-256 без hotlink; у каждой карточки есть плашка и прямая ссылка на источник. Audit не находит ошибок и бесхозных файлов. Batch-контур по-прежнему соблюдает единый 30-минутный cooldown домена и не одобряет будущие загрузки автоматически.
|
||||||
- [x] **B12 · Эмблема сочетания.** Страница «водоём + рыба» получила составной атласный seal: собственный отпечаток водоёма пересекается со смысловым силуэтом рыбы. Так визуальная идентичность сопровождает всю иерархию каталога и не требует внешних изображений.
|
- [x] **B12 · Эмблема сочетания.** Страница «водоём + рыба» получила составной атласный seal: собственный отпечаток водоёма пересекается со смысловым силуэтом рыбы. Так визуальная идентичность сопровождает всю иерархию каталога и не требует внешних изображений.
|
||||||
- [x] **B13 · Навигационная леска атласа.** Разрозненные ссылки назад на detail-страницах заменены доступной breadcrumb-цепочкой с мотивом лески и узлов. Страница точки связывает главную, водоём и координаты; сочетание — каталог, водоём и рыбу. Текущий узел всегда подписан текстом и отмечен `aria-current`.
|
- [x] **B13 · Навигационная леска атласа.** Разрозненные ссылки назад на detail-страницах заменены доступной breadcrumb-цепочкой с мотивом лески и узлов. Страница точки связывает главную, водоём и координаты; сочетание — каталог, водоём и рыбу. Текущий узел всегда подписан текстом и отмечен `aria-current`.
|
||||||
- [x] **B14 · Атласные переходы сущностей.** Боковые списки рыб и водоёмов на detail-страницах получили компактные силуэты и отпечатки рядом с полным текстовым названием. Знаки продолжают систему каталога в рабочей навигации, а стрелка явно показывает переход к странице сочетания.
|
- [x] **B14 · Атласные переходы сущностей.** Боковые списки рыб и водоёмов на detail-страницах получили компактные силуэты и отпечатки рядом с полным текстовым названием. Знаки продолжают систему каталога в рабочей навигации, а стрелка явно показывает переход к странице сочетания.
|
||||||
- [x] **B15 · Целостность медиакаталога.** Локальный audit сводит статусы очереди и проверяет наличие файлов, SHA-256, фактические dimensions/MIME, каноническое соответствие approved-записей и бесхозные файлы. Проверка не обращается в сеть и может использоваться как pre-publication gate.
|
- [x] **B15 · Целостность медиакаталога.** Локальный audit сводит статусы очереди и проверяет наличие файлов, SHA-256, фактические dimensions/MIME, каноническое соответствие approved-записей и бесхозные файлы. Проверка не обращается в сеть и может использоваться как pre-publication gate.
|
||||||
- [x] **B16 · Самодостаточное хранение media dataset.** Все управляемые оригиналы из `data/media/files/` версионируются в Git вместе с manifest; локальный клон содержит полный исследовательский набор. Пользовательские скриншоты остаются в MinIO/S3, а наличие файла в Git не означает разрешение на публикацию без статуса `approved`.
|
- [x] **B16 · Самодостаточное хранение media dataset.** Все управляемые оригиналы из `data/media/files/` версионируются в Git вместе с manifest; локальный клон содержит полный исследовательский набор. Пользовательские скриншоты остаются в MinIO/S3, а наличие файла в Git не означает разрешение на публикацию без статуса `approved`.
|
||||||
- [ ] **B17 · Полный каталог рыб RF4DB — финальная загрузка.** Разрешённый RF4DB дал все 252 подписанных кандидата; 227 совпадений с RF4MAP сохранены как provenance-only `duplicate`, 15 уникальных файлов скачаны, а 10 URL (9 уникальных названий) остаются в очереди после корректно остановленного TLS-сбоя. Все поддомены RF4DB объединены одним 30-минутным cooldown. Завершить следующим разрешённым batch-окном и отдельно утвердить новые файлы.
|
- [x] **B17 · Полный каталог рыб RF4DB — финальная загрузка.** Разрешённый RF4DB дал все 252 подписанных кандидата; прямые альтернативы обработаны с общим 30-минутным cooldown, а утверждённые версии опубликованы только после отдельного review. Очередь fish-кандидатов пуста: 226 старых версий сохранены как `superseded`, один provenance-only `duplicate` не связан с низкоразрешённым published-файлом. Один `48×48` fallback (`Ёрш`) сохранён честно из-за отсутствия проверенной альтернативы.
|
||||||
- [ ] **B18 · Каталог водоёмов RF4DB.** После cooldown проиндексировать 19 русских карточек водоёмов, проверить полноразмерные карты и поставить только уникальные изображения в media queue.
|
- [ ] **B18 · Каталог водоёмов RF4DB.** После cooldown проиндексировать 19 русских карточек водоёмов, проверить полноразмерные карты и поставить только уникальные изображения в media queue.
|
||||||
- [ ] **B19 · Каталог снастей RF4DB.** Подготовительный media-контур; полный справочник, crosswalk, связи с уловами и публичные страницы выполняются по пакету **G01–G09** ниже. Не считать каталог полным до получения проверяемого общего счётчика по категориям.
|
- [ ] **B19 · Каталог снастей RF4DB.** Подготовительный media-контур; полный справочник, crosswalk, связи с уловами и публичные страницы выполняются по пакету **G01–G09** ниже. Не считать каталог полным до получения проверяемого общего счётчика по категориям.
|
||||||
- [x] **B20 · Аудит качества рыбных изображений.** Offline `media_cli --quality-report` проверяет фактические dimensions опубликованных файлов, отдельно считает неизбежный upscale в карточках и известные альтернативы. На 14.09: 227 из 243 опубликованных рыб имеют только 48×48 PNG RF4MAP и растягиваются до 180 px; 16 имеют 1024×1024 WebP. Для всех 227 низких файлов уже известны альтернативные URL RF4DB. Совпадение сущности больше нельзя считать достаточным основанием пропустить потенциально более качественный файл.
|
- [x] **B20 · Аудит качества рыбных изображений.** Offline `media_cli --quality-report` проверяет фактические dimensions опубликованных файлов, отдельно считает неизбежный upscale в карточках и известные альтернативы. После quality-upgrade: 253 опубликованных fish-файла, 252 имеют 1024×1024 WebP, один fallback (`Ёрш`) остаётся 48×48 и увеличивается до 180 px; новых известных альтернатив для него нет. Совпадение сущности больше нельзя считать достаточным основанием пропустить потенциально более качественный файл.
|
||||||
- [ ] **B21 · Очередь quality-upgrade.** Текущие approved-файлы не меняются до готовности замены. 15.09 отдельная очередь создана для 226 прямых RF4DB-альтернатив с сохранением `duplicate_of`; первая партия из 40 файлов загружена без ошибок в `upgrade_stored`, ещё 186 замен и 10 кандидатов недостающих рыб ожидают следующих разрешённых 30-минутных окон. Один provenance-only `duplicate`, не связанный с низкоразрешённым published-файлом, намеренно не переведён. Ошибка останавливает домен по существующим правилам; публикация старой версии при этом не прерывается.
|
- [x] **B21 · Очередь quality-upgrade.** Текущие approved-файлы не менялись до готовности замены. Очередь из 226 прямых RF4DB-альтернатив обработана с сохранением `duplicate_of`: все 226 кандидатов прошли `upgrade_stored` и затем были атомарно продвинуты в `approved`, старые версии сохранены как `superseded`. Один provenance-only `duplicate`, не связанный с низкоразрешённым published-файлом, намеренно не переводился. Ошибка останавливает домен по существующим правилам; публикация старой версии при этом не прерывается.
|
||||||
- [ ] **B22 · Сравнение вариантов разных источников.** Offline-команда `--compare-quality-upgrades` сопоставляет сохранённые кандидаты с опубликованными fallback по `duplicate_of` и проверяет dimensions, размер файла, MIME, прозрачность и aspect ratio. Первая партия: 40/40 кандидатов — прозрачные WebP 1024×1024, все прошли порог 256 px и сохранили пропорции; технических ошибок нет. До переключения остаётся визуально подтвердить соответствие подписи. Маленький файл сохраняется как fallback; источник RF4DB/RF4MAP/официальный RF4 не получает автоматического приоритета.
|
- [x] **B22 · Сравнение вариантов разных источников.** Offline-команда `--compare-quality-upgrades` сопоставила сохранённые кандидаты с опубликованными fallback по `duplicate_of` и проверила dimensions, размер файла, MIME, прозрачность и aspect ratio. Все 226 кандидатов прошли технические пороги и offline contact-sheet review; источник RF4DB/RF4MAP/официальный RF4 не получал автоматического приоритета. После публикации в manifest не осталось `upgrade_stored`, поэтому текущий повторный запуск команды корректно сообщает `compared: 0`.
|
||||||
- [x] **B23 · Безопасное продвижение и provenance.** Связи `supersedes`/`replaced_by`, отдельное решение review, атомарное переключение публичного `entity_key` и явный CLI rollback сохраняют обе исходные ссылки и возможность отката. Публичная карточка показывает источник выбранного изображения, а manifest сохраняет проверенные варианты. Старый Git-файл не удаляется при включении нового.
|
- [x] **B23 · Безопасное продвижение и provenance.** Связи `supersedes`/`replaced_by`, отдельное решение review, атомарное переключение публичного `entity_key` и явный CLI rollback сохраняют обе исходные ссылки и возможность отката. Публичная карточка показывает источник выбранного изображения, а manifest сохраняет проверенные варианты. Старый Git-файл не удаляется при включении нового.
|
||||||
- [x] **B24 · Производные размеры.** После выбора оригиналов генерируются детерминированные WebP/AVIF thumbnails для каталога и отдельный крупный вариант для detail, хэши производных фиксируются в manifest и отдаются через каталог. Маленькие карточки больше не обязаны загружать 1024×1024 оригинал.
|
- [x] **B24 · Производные размеры.** После выбора оригиналов генерируются детерминированные WebP/AVIF thumbnails для каталога и отдельный крупный вариант для detail, хэши производных фиксируются в manifest и отдаются через каталог. Маленькие карточки больше не обязаны загружать 1024×1024 оригинал.
|
||||||
- [ ] **B25 · Визуальная приёмка media.** Contact sheets для всех 226 замен собраны и просмотрены offline: явных ложных соответствий, обрезки и искажённых пропорций не обнаружено; одно отличие подписи (`Ерш-носарь`/`Ёрш-носарь`) орфографическое. Осталась browser-проверка репрезентативных desktop/mobile страниц в light/dark; sandbox Chromium пока не позволяет её выполнить. Gate: нет битых файлов, искажённых пропорций, ложных соответствий, обрезанного объекта и изображений ниже 256 px без явной пометки «низкое разрешение».
|
- [ ] **B25 · Визуальная приёмка media.** Contact sheets для всех 226 замен собраны и просмотрены offline: явных ложных соответствий, обрезки и искажённых пропорций не обнаружено; одно отличие подписи (`Ерш-носарь`/`Ёрш-носарь`) орфографическое. In-app Chromium проверил 12 комбинаций `/media` (320/390/768/1280 px × light/dark/system): горизонтального overflow нет, у 253 изображений есть `alt`, broken loaded images — `0`, переключение темы корректно меняет `data-theme`; keyboard/focus и print-regression проходят, standalone axe — `9/9` маршрутов. Launcher `scripts/capture-visual-matrix.mjs` успешно создал полную матрицу `156` PNG и `manifest.json` во внешней директории; остаются ручной review и решение о сохранении reference-артефактов. Gate: нет битых файлов, искажённых пропорций, ложных соответствий, обрезанного объекта и изображений ниже 256 px без явной пометки «низкое разрешение».
|
||||||
|
|
||||||
### Каталог водоёмов, карты и координаты
|
### Каталог водоёмов, карты и координаты
|
||||||
|
|
||||||
- [x] **W01 · Canonical-каталог RF4DB.** 16.09 через браузерный контекст получен и проверен индекс `/ru/maps`: 19/19 карточек, source slug/ID, русское название, уровень открытия, число видов рыб и URL изображения сохранены в [`data/waterbodies/rf4db-catalog-2026-09-16.json`](../data/waterbodies/rf4db-catalog-2026-09-16.json). Добавлена команда `python -m app.cli import-waterbody-catalog --input ...` для применения снимка в БД. Изображения остаются кандидатами без автоматической роли `map` или `cover`; detail-данные выполняются отдельно по W02.
|
- [x] **W01 · Canonical-каталог RF4DB.** 16.09 через браузерный контекст получен и проверен индекс `/ru/maps`: 19/19 карточек, source slug/ID, русское название, уровень открытия, число видов рыб и URL изображения сохранены в [`data/waterbodies/rf4db-catalog-2026-09-16.json`](../data/waterbodies/rf4db-catalog-2026-09-16.json). Добавлена команда `python -m app.cli import-waterbody-catalog --input ...` для применения снимка в БД. Изображения остаются кандидатами без автоматической роли `map` или `cover`; detail-данные выполняются отдельно по W02.
|
||||||
- [ ] **W02 · Карточки водоёмов RF4DB.** Строгий fixture-based parser `rf4db-waterbody` расширен под реальный DOM `/fishes/` и `/positions/`, regression-тесты, безопасный `update_waterbody_detail` и атомарный batch `update_waterbody_details`/`import-waterbody-details` готовы; первая detail-карточка (`level_000_home`) сохранена браузером как snapshot. Осталось последовательно разобрать 18 detail-страниц с общим 30-минутным cooldown домена.
|
- [ ] **W02 · Карточки водоёмов RF4DB.** Строгий fixture-based parser `rf4db-waterbody` расширен под реальный DOM `/fishes/` и `/positions/`, regression-тесты, безопасный `update_waterbody_detail` и атомарный batch `update_waterbody_details`/`import-waterbody-details` готовы. Snapshots `level_000_home`, `level_001_lake` и `level_002_kirzah_river` сохранены. Добавлены guarded launcher `scripts/fetch-waterbodies-chromium.mjs` для обычной Chromium-сессии и offline-режим `scripts/fetch-waterbodies.py --html`; оба сохраняют snapshots атомарно, не импортируют их автоматически и используют общий cooldown, а Chromium-launcher сначала делает отдельную reserve-only операцию. Повторный разрешённый запрос `level_002_kirzah_river` 20.09 вернул совпадающие с canonical-каталогом имя, `29/29` видов и два URL изображений; snapshot импортирован в Compose PostgreSQL, `/health` и `/ready` успешны, публичная `/waterbodies/р-вьюнок` отвечает `200`. Описание и позиции источник не вернул, поэтому они оставлены `null`/пустыми без домыслов; изображения остаются только provenance-кандидатами и не публиковались. Три разрешённых запроса `level_019_american_pond` 20.09 завершились `403 Forbidden`, а текущий Chromium показывает защитную страницу Cloudflare: это блокировка HTTP-клиента источником, не ошибка атомарного сохранения launcher-а; snapshot и импорт не создавались, прежние подтверждённые данные и media не менялись. Одно промежуточное разрешённое окно 20.09 было зарезервировано CLI, но завершилось локальной DNS-ошибкой до ответа источника; повтор с сетевым доступом был остановлен общим cooldown до запроса. Следующий сетевой запуск допускается только после общего cooldown; полнота ответа остаётся неподтверждённой. CAPTCHA/challenge не автоматизируются. Осталось последовательно разобрать 16 detail-страниц.
|
||||||
- [ ] **W03 · Модель и provenance.** В модель `Waterbody`, API-каталог и миграции `0017`/`0019`/`0020` добавлены nullable-поля provenance, счётчик видов и detail-факты; идемпотентные upsert-функции обновляют только подтверждённые source identity и не удаляют исчезнувшие строки. Осталось применить их к проверенному canonical-каталогу и отдельно разделить игровой и редакционный тексты при подключении detail-данных.
|
- [ ] **W03 · Модель и provenance.** В модель `Waterbody`, API-каталог и миграции `0017`/`0019`/`0020` добавлены nullable-поля provenance, счётчик видов и detail-факты; идемпотентный upsert применён к canonical snapshot: `19/19`, без missing/duplicate/provenance issues. Осталось применить подтверждённые detail snapshots и отдельно разделить игровые и редакционные тексты при подключении detail-данных.
|
||||||
- [ ] **W04 · Классификация изображений.** Добавлены допустимые роли `waterbody_cover`, `waterbody_map`, `waterbody_depth_map`, `waterbody_screenshot` и проверка их назначения только через review для canonical waterbody. Кандидаты по-прежнему не получают роль автоматически. Осталось наполнить очередь detail-изображениями и провести contact-sheet review с проверкой dimensions, MIME, SHA-256, соответствия названию и источника.
|
- [ ] **W04 · Классификация изображений.** Добавлены допустимые роли `waterbody_cover`, `waterbody_map`, `waterbody_depth_map`, `waterbody_screenshot` и проверка их назначения только через review для canonical waterbody. Кандидаты по-прежнему не получают роль автоматически. Осталось наполнить очередь detail-изображениями и провести contact-sheet review с проверкой dimensions, MIME, SHA-256, соответствия названию и источника.
|
||||||
- [ ] **W05 · Crosswalk источников.** Добавлен offline-конструктор консервативных предложений: нормализуются только точные имена/алиасы, неоднозначные и unmatched строки не получают canonical key; отсутствие ID выдаётся лишь диагностикой и не считается удалением. Осталось подать реальные RF4DB/RF4MAP/RF4 Posts identities и вручную подтвердить результаты, включая три ранее отмеченных отсутствующих RF4MAP объекта.
|
- [ ] **W05 · Crosswalk источников.** Добавлен offline-конструктор консервативных предложений: нормализуются только точные имена/алиасы, неоднозначные и unmatched строки не получают canonical key; отсутствие ID выдаётся лишь диагностикой и не считается удалением. Осталось подать реальные RF4DB/RF4MAP/RF4 Posts identities и вручную подтвердить результаты, включая три ранее отмеченных отсутствующих RF4MAP объекта.
|
||||||
- [ ] **W06 · Координаты и точность.** В `ExternalObservation`, staging, provenance опубликованного улова и публичных activity/spot-ответах добавлены `coordinate_raw`, `coordinate_precision = exact | approximate | area | missing` и список источников; RF4DB/RF4-STAT/RF4MAP/RF4 Posts parsers теперь протягивают исходную строку, включая строки без доступных числовых координат. Карточка точки показывает точность рядом с координатами. Осталось провести browser QA.
|
- [ ] **W06 · Координаты и точность.** В `ExternalObservation`, staging, provenance опубликованного улова и публичных activity/spot-ответах добавлены `coordinate_raw`, `coordinate_precision = exact | approximate | area | missing` и список источников; RF4DB/RF4-STAT/RF4MAP/RF4 Posts parsers теперь протягивают исходную строку, включая строки без доступных числовых координат. Исправлена spot detail: точность (`точные`/`приблизительные`/`район`/`не указаны`) теперь видна рядом с координатами и покрыта smoke regression. In-app Chromium и focused smoke подтвердили `/spots/vyunok-321x654` на desktop/mobile без overflow. Осталась полная browser QA матрица для всех precision/error-состояний.
|
||||||
- [ ] **W07 · Публичный API и страницы.** API и detail-страница теперь выводят подтверждённые detail-факты водоёма: описание, уровень, количество видов, алиасы, число ссылок на точки и отдельный счётчик изображений-кандидатов; источники и непроверенные media не смешиваются. Осталось подключить только проверенные waterbody media roles и завершить browser QA, включая различение карты, заставки и абстрактного отпечатка.
|
- [ ] **W07 · Публичный API и страницы.** API и detail-страница теперь выводят подтверждённые detail-факты водоёма: описание, уровень, количество видов, алиасы, число ссылок на точки и отдельный счётчик изображений-кандидатов; источники и непроверенные media не смешиваются. Осталось подключить только проверенные waterbody media roles и завершить browser QA, включая различение карты, заставки и абстрактного отпечатка.
|
||||||
- [ ] **W08 · Приёмка и эксплуатация.** Добавить fixture-based parser tests, offline catalog/media audit, проверку 19 canonical entities, отсутствие битых файлов и browser QA desktop/mobile. Сетевые тесты не выполнять; регулярный импорт оставить opt-in и под общим cooldown/backoff.
|
- [ ] **W08 · Приёмка и эксплуатация.** Fixture-based parser tests, offline catalog/media audit и повторный idempotent import подтверждены: `created=0 updated=19`, в PostgreSQL ровно `19` RF4DB waterbodies плюс `2` legacy-записи, media audit сообщает `issues=[]` и `orphaned_files=[]`. In-app Chromium и focused smoke покрывают desktop/mobile основные страницы; остаются полная browser QA error/empty matrix и закрытие внешних detail-данных. Сетевые тесты не выполнять; регулярный импорт оставить opt-in и под общим cooldown/backoff.
|
||||||
|
|
||||||
### Каталог снастей, наживок и прочей оснастки
|
### Каталог снастей, наживок и прочей оснастки
|
||||||
|
|
||||||
@@ -65,11 +66,11 @@
|
|||||||
собранная схема или монтаж (например, донная, поплавочная, method). Число
|
собранная схема или монтаж (например, донная, поплавочная, method). Число
|
||||||
найденных изображений приманок не считается размером полного каталога.
|
найденных изображений приманок не считается размером полного каталога.
|
||||||
|
|
||||||
- [ ] **G01 · Canonical-каталог RF4DB.** Получить разрешённый индекс категорий gear и проверить полный набор доступных страниц по типам: `bait`, `lure`, `rod`, `reel`, `line`, `hook`, `rig`, `float`, `sinker`, `other`. Сохранить исходный slug/ID, русское название, категорию, подкатегорию, бренд, семейство, игровые ограничения/уровень и source URL. Отсутствие общего счётчика или закрытая категория должны оставаться явно `unknown`, а не превращаться в оценку полноты.
|
- [ ] **G01 · Canonical-каталог RF4DB.** Offline-контракт и строгий parser готовы для категорий `bait`, `lure`, `rod`, `reel`, `line`, `hook`, `rig`, `float`, `sinker`, `other`: сохраняются исходный slug/ID, русское название, категория, подкатегория, бренд, семейство, игровой уровень и source URL; duplicate ID и неизвестная категория отклоняются. Общий count остаётся `unknown`, пока не получен разрешённый реальный индекс; fixture не считается каталогом.
|
||||||
- [ ] **G02 · Карточки предметов и оснасток.** Подготовить строгие fixture-based parsers для списка и detail-страницы: характеристики, варианты, совместимость, изображения, связанные типы монтажа и исходные значения. Парсер должен различать отсутствующее поле, «не применимо» и фактическое нулевое значение; при неполном или изменившемся ответе сохранять предыдущие подтверждённые данные. Detail-запросы выполнять только для выбранных карточек и с общим 30-минутным cooldown домена.
|
- [ ] **G02 · Карточки предметов и оснасток.** Fixture-based parser списка и detail-страницы готов: характеристики, варианты, совместимость, изображения и связанные типы монтажа сохраняются; атрибуты различают фактический `0`, `not_applicable` и `missing`. Parser fail-closed при неполном/изменившемся DOM; реальные detail-запросы выполнять только для выбранных карточек и с общим 30-минутным cooldown домена.
|
||||||
- [ ] **G03 · Модель и provenance.** Расширить `bait` до канонического `tackle_item` либо выполнить безопасную миграцию с обратной совместимостью API: `kind`, `category`, `subcategory`, `brand`, `family`, `source_system`, `source_external_id`, `source_url`, `source_checked_at`, `raw_payload`. Отдельно моделировать `rig`/монтаж и его компоненты; не хранить удилище, катушку и монтаж в одном свободном `rig_type`. Для каждой характеристики сохранить источник и статус проверки.
|
- [ ] **G03 · Модель и provenance.** Добавлены отдельные `tackle_item`, `rig` и `rig_component` с миграцией `0021`; legacy `bait` и `catch_report.bait_id` не изменялись. `tackle_item` хранит `category`, `subcategory`, `brand`, `family`, `unlock_level`, source identity, timestamp и `raw_payload`; `rig_component` хранит роль, порядок, исходное значение и optional canonical item. Связи с catch-потоком добавлены в G05; безопасный backfill остаётся только после реального crosswalk.
|
||||||
- [ ] **G04 · Crosswalk и нормализация.** Построить offline-crosswalk между RF4DB, официальными рекордами, RF4MAP, RF4 Posts и локальным справочником. Нормализовать регистр, пробелы, дефисы, единицы и локализацию; предлагать совпадение только при точном имени/алиасе плюс совместимой категории. Неоднозначные, брендовые варианты и unmatched-строки отправлять на review без автоматического canonical key; исходное значение всегда сохранять.
|
- [ ] **G04 · Crosswalk и нормализация.** Добавлен offline `gear_crosswalk`: нормализация регистра/пробелов/`е/ё`, точное имя или alias плюс совместимая категория, консервативная проверка brand/family. Неоднозначные, несовместимые, брендовые и unmatched-строки получают review-статус без canonical key; исходное значение сохраняется. Остаётся подать реальные RF4DB/RF4MAP/RF4 Posts identities и вручную подтвердить результаты.
|
||||||
- [ ] **G05 · Связи с уловами и источниками.** Протянуть канонические предметы и монтажи через community import, официальные записи и форму улова, сохранив `raw_payload` и список missing fields. Поддержать несколько предметов в одном комплекте, порядок/роль компонента и источник каждой связи; старый `bait_id` и текстовые значения не терять при миграции. Публикация полного наблюдения по-прежнему требует подтверждённых соответствий, а не простого совпадения строки.
|
- [ ] **G05 · Связи с уловами и источниками.** Добавлены `catch_tackle_component` и offline `gear_components`: можно сохранять несколько unresolved/canonical компонентов с ролью, порядком, исходным значением, source identity и `raw_payload`; legacy `bait_id` не меняется. Parser сохраняет порядок оборудования из detail и разделяет bait/rig в catch-полях. Запись компонентов подключена к community import, официальному импорту и пользовательской форме; повторная обработка идемпотентна. Canonical-привязка и безопасный backfill остаются только после подтверждённого crosswalk.
|
||||||
- [ ] **G06 · API и публичный каталог.** Добавить пагинированные каталоги и detail endpoints с фильтрами по категории, бренду, семейству и уровню, а также безопасные ссылки из улова/точки на использованную приманку, снасть и монтаж. Показывать только подтверждённые характеристики, источник, свежесть и неполноту; не выдавать рейтинг эффективности, если его нельзя объяснить числом наблюдений, игроками, периодом и качеством источников.
|
- [ ] **G06 · API и публичный каталог.** Добавить пагинированные каталоги и detail endpoints с фильтрами по категории, бренду, семейству и уровню, а также безопасные ссылки из улова/точки на использованную приманку, снасть и монтаж. Показывать только подтверждённые характеристики, источник, свежесть и неполноту; не выдавать рейтинг эффективности, если его нельзя объяснить числом наблюдений, игроками, периодом и качеством источников.
|
||||||
- [ ] **G07 · Аналитика сочетаний и рекомендации.** После появления достаточных данных считать отдельно «водоём + рыба + предмет», «точка + рыба + предмет» и «способ ловли + монтаж». Зафиксировать минимальный объём выборки, защиту от одного игрока/дубликатов и decay по свежести; разделить факт использования, частоту и рекомендацию. Пустая или малая выборка должна показывать «данных мало», а не советовать конкретную снасть.
|
- [ ] **G07 · Аналитика сочетаний и рекомендации.** После появления достаточных данных считать отдельно «водоём + рыба + предмет», «точка + рыба + предмет» и «способ ловли + монтаж». Зафиксировать минимальный объём выборки, защиту от одного игрока/дубликатов и decay по свежести; разделить факт использования, частоту и рекомендацию. Пустая или малая выборка должна показывать «данных мало», а не советовать конкретную снасть.
|
||||||
- [ ] **G08 · Медиа и качество.** Разнести media roles для `tackle_item`, `bait`, `rig` и общего reference; связать варианты через `entity_key`, `duplicate_of`, `supersedes`/`replaced_by`. Проверять dimensions, MIME, SHA-256, прозрачность, aspect ratio, подпись и категорию; не переключать approved-файл автоматически, не считать userguide-скриншот карточкой предмета и не публиковать media-кандидатов без review и разрешённого provenance.
|
- [ ] **G08 · Медиа и качество.** Разнести media roles для `tackle_item`, `bait`, `rig` и общего reference; связать варианты через `entity_key`, `duplicate_of`, `supersedes`/`replaced_by`. Проверять dimensions, MIME, SHA-256, прозрачность, aspect ratio, подпись и категорию; не переключать approved-файл автоматически, не считать userguide-скриншот карточкой предмета и не публиковать media-кандидатов без review и разрешённого provenance.
|
||||||
@@ -83,9 +84,9 @@
|
|||||||
- [x] **D02 · Системный режим без вспышки.** Первый визит следует `prefers-color-scheme` полностью через CSS: серверный HTML сразу совместим с системной темой, состояние не хранится, inline bootstrap не добавлен и CSP не ослаблена. Явное переопределение появится только вместе с D03–D04.
|
- [x] **D02 · Системный режим без вспышки.** Первый визит следует `prefers-color-scheme` полностью через CSS: серверный HTML сразу совместим с системной темой, состояние не хранится, inline bootstrap не добавлен и CSP не ослаблена. Явное переопределение появится только вместе с D03–D04.
|
||||||
- [x] **D03 · Переключатель темы.** В header добавлен доступный трёхпозиционный выбор «Системная / Светлая / Тёмная»; на узких экранах он сохраняет три понятные иконки и доступные названия. Кнопки работают с клавиатуры, имеют видимый focus и синхронизируют `aria-pressed`.
|
- [x] **D03 · Переключатель темы.** В header добавлен доступный трёхпозиционный выбор «Системная / Светлая / Тёмная»; на узких экранах он сохраняет три понятные иконки и доступные названия. Кнопки работают с клавиатуры, имеют видимый focus и синхронизируют `aria-pressed`.
|
||||||
- [x] **D04 · Сохранение и SSR-согласование.** Выбор хранится год в allowlist-cookie `rf4-theme` с `SameSite=Lax` и `Secure` на HTTPS; Astro SSR выставляет `data-theme` до отрисовки, а системный режим оставляет выбор браузеру. Собранный Astro client script переключает тему без inline-кода, localStorage и ослабления CSP.
|
- [x] **D04 · Сохранение и SSR-согласование.** Выбор хранится год в allowlist-cookie `rf4-theme` с `SameSite=Lax` и `Secure` на HTTPS; Astro SSR выставляет `data-theme` до отрисовки, а системный режим оставляет выбор браузеру. Собранный Astro client script переключает тему без inline-кода, localStorage и ослабления CSP.
|
||||||
- [ ] **D05 · Темизация компонентов и графики.** На семантические light/dark-токены переведены базовые и admin-поверхности, header, каталог, breadcrumb-леска, ссылки сущностей, таблицы, формы, moderation-карточки, provenance/quality/status badges, паспорта данных, pagination, empty/loading-состояния, радар, timeline, силуэты и глифы; добавлен forced-colors layer. Инвентаризированы публичные растры и alpha-каналы PWA-иконок, hero получил dark/print treatment, screenshots — семантическую подложку. Осталась браузерная приёмка теней и градиентов в обеих темах. Источники и статусы сохраняют текстовые подписи и не различаются только цветом.
|
- [ ] **D05 · Темизация компонентов и графики.** На семантические light/dark-токены переведены базовые и admin-поверхности, header, каталог, breadcrumb-леска, ссылки сущностей, таблицы, формы, moderation-карточки, provenance/quality/status badges, паспорта данных, pagination, empty/loading-состояния, радар, timeline, силуэты и глифы; добавлен forced-colors layer. In-app Chromium подтвердил переключение light/dark/system на медиатеке во всех четырёх ширинах; standalone axe проходит `9/9` маршрутов, forced-colors и print regression подтверждены. Полная screenshot-матрица `156` PNG захватывается launcher-ом без document overflow; остаётся вручную проверить тени/градиенты и выбрать сохраняемый reference-набор. Источники и статусы сохраняют текстовые подписи и не различаются только цветом.
|
||||||
- [x] **D06 · Метаданные браузера и CSP.** Добавлены парные `theme-color` для системной light/dark схемы; явный cookie-выбор согласуется с SSR и мгновенно переключает активный meta-тег. PWA manifest использует устойчивый тёмный brand chrome и splash background. Production build сохраняет `inlinedScripts: []`; новые inline script/style/attributes не появились, ослабление CSP не потребовалось.
|
- [x] **D06 · Метаданные браузера и CSP.** Добавлены парные `theme-color` для системной light/dark схемы; явный cookie-выбор согласуется с SSR и мгновенно переключает активный meta-тег. PWA manifest использует устойчивый тёмный brand chrome и splash background. Production build сохраняет `inlinedScripts: []`; новые inline script/style/attributes не появились, ослабление CSP не потребовалось.
|
||||||
- [ ] **D07 · Визуальная и accessibility-приёмка.** Проверить light/dark/system на 320/390/768/1280 px для главной, каталогов, detail, records, report, status и всех admin-экранов; покрыть normal/hover/focus/disabled/error/loading/empty и длинные данные. Для обеих тем обеспечить WCAG AA, отсутствие горизонтального scroll и CLS, корректную печать, reduced motion и переключение без потери введённых данных; сохранить эталонные screenshots и краткий отчёт.
|
- [ ] **D07 · Визуальная и accessibility-приёмка.** In-app Chromium подтвердил отсутствие горизонтального scroll на публичных `/`, `/waterbodies`, `/records`, `/report`, `/status`, `/media`, `/rules`, waterbody detail `/waterbodies/р-вьюнок` и fish detail `/fish/pike`, а также admin `/admin`, `/admin/moderation`, `/admin/external-sources`, `/admin/media` в 320/390/768/1280 px; исправлены tablet header и media-grid overflow. Автоматизированный visual-matrix regression и `scripts/capture-visual-matrix.mjs` подтверждают 13 маршрутов × 4 ширины × 3 режима (`156` комбинаций): document overflow отсутствует, везде есть `main`/`h1`, SSR-тема совпадает; полная screenshot-матрица захвачена во внешнюю директорию. Для media и двух detail-страниц light/dark/system корректно переключаются, broken images — `0`; axe `9/9`, keyboard/focus, forced-colors и print-regression проходят. Остались ручная проверка shadows/gradients и выбор сохраняемого reference-набора. Для обеих тем обеспечить WCAG AA, отсутствие горизонтального scroll и CLS, reduced motion и переключение без потери введённых данных; сохранить эталонные screenshots и краткий отчёт.
|
||||||
|
|
||||||
- [ ] **Q01 · Документы источников — реестр готов, нужны первичные подтверждения.** Создан единый production-gate с атрибуцией, общим лимитом 30 минут, хранением и процедурой отзыва для RF4DB, RF4-STAT, RF4MAP, RF4 Posts и официального RF4. До открытой публикации приложить устойчивые ссылки/копии первичных разрешений, контакты, даты и отдельно подтвердить право на изображения; пустое поле блокирует соответствующий источник.
|
- [ ] **Q01 · Документы источников — реестр готов, нужны первичные подтверждения.** Создан единый production-gate с атрибуцией, общим лимитом 30 минут, хранением и процедурой отзыва для RF4DB, RF4-STAT, RF4MAP, RF4 Posts и официального RF4. До открытой публикации приложить устойчивые ссылки/копии первичных разрешений, контакты, даты и отдельно подтвердить право на изображения; пустое поле блокирует соответствующий источник.
|
||||||
- [x] **Q02 · Управляемое удаление источника.** Изменение ранее опубликованной записи возвращает её в staging, сбрасывает сопоставление и переводит связанный улов в pending с новой версией решения. Результат проверки хранится как `available`, `missing`, `temporary_error` или `blocked`: только подтверждённый `missing` отзывает публикацию, временная ошибка и блокировка остаются диагностикой. Повторное появление требует ручного подтверждения. Withdrawn-записи исключены из публичной активности, а статус и время проверки доступны в admin provenance и журнале решений. Отдельного сетевого обхода нет: Q03 подключит эту реакцию к разрешённому плановому запросу.
|
- [x] **Q02 · Управляемое удаление источника.** Изменение ранее опубликованной записи возвращает её в staging, сбрасывает сопоставление и переводит связанный улов в pending с новой версией решения. Результат проверки хранится как `available`, `missing`, `temporary_error` или `blocked`: только подтверждённый `missing` отзывает публикацию, временная ошибка и блокировка остаются диагностикой. Повторное появление требует ручного подтверждения. Withdrawn-записи исключены из публичной активности, а статус и время проверки доступны в admin provenance и журнале решений. Отдельного сетевого обхода нет: Q03 подключит эту реакцию к разрешённому плановому запросу.
|
||||||
@@ -107,7 +108,7 @@
|
|||||||
- [x] **Q13 · Production bootstrap в CI.** Отдельный workflow запускает `deploy/test-production-bootstrap.sh` вручную или раз в неделю, а не на каждом push. Вывод bootstrap всегда сохраняется 14 дней; при падении добавляются Compose status и Playwright diagnostics.
|
- [x] **Q13 · Production bootstrap в CI.** Отдельный workflow запускает `deploy/test-production-bootstrap.sh` вручную или раз в неделю, а не на каждом push. Вывод bootstrap всегда сохраняется 14 дней; при падении добавляются Compose status и Playwright diagnostics.
|
||||||
- [x] **Q14 · Полная CSP.** Каждый Astro SSR-ответ получает отдельный nonce для динамического JSON-LD и собственный строгий CSP; `FILES_DOMAIN` валидируется как hostname. Production запрещает inline handlers, `unsafe-inline`, eval, wildcard и HTTP; page scripts/styles остаются same-origin `_astro`-ассетами, style/script attributes запрещены. Caddy сохраняет upstream policy и использует строгий fallback для API. Bootstrap проверяет совпадение nonce на главной, report и admin и доступность OG; реальный signed screenshot проверяется после наполнения production MinIO.
|
- [x] **Q14 · Полная CSP.** Каждый Astro SSR-ответ получает отдельный nonce для динамического JSON-LD и собственный строгий CSP; `FILES_DOMAIN` валидируется как hostname. Production запрещает inline handlers, `unsafe-inline`, eval, wildcard и HTTP; page scripts/styles остаются same-origin `_astro`-ассетами, style/script attributes запрещены. Caddy сохраняет upstream policy и использует строгий fallback для API. Bootstrap проверяет совпадение nonce на главной, report и admin и доступность OG; реальный signed screenshot проверяется после наполнения production MinIO.
|
||||||
- [x] **Q15 · Частичная деградация главной.** SSR независимо получает activity, community signals и оба справочника через settled-результаты. Отказ секции показывает собственный `StatePanel`, сохраняет остальные данные и HTTP 200 с `X-RF4-Partial`/`Cache-Control: no-store`; только отказ всех четырёх частей возвращает 503, `Retry-After` и noindex. Client-side loading и optimistic UI не добавлялись.
|
- [x] **Q15 · Частичная деградация главной.** SSR независимо получает activity, community signals и оба справочника через settled-результаты. Отказ секции показывает собственный `StatePanel`, сохраняет остальные данные и HTTP 200 с `X-RF4-Partial`/`Cache-Control: no-store`; только отказ всех четырёх частей возвращает 503, `Retry-After` и noindex. Client-side loading и optimistic UI не добавлялись.
|
||||||
- [x] **Q16 · Контракт OpenAPI.** `apps/api/openapi.json` детерминированно генерируется из FastAPI; CI проверяет его актуальность после backend suite. Изменение artifact обязательно рассматривается вместе с реализацией, а ручное редактирование не используется.
|
- [x] **Q16 · Контракт OpenAPI.** `apps/api/openapi.json` перегенерирован из текущего FastAPI-контракта; `apps/api/export_openapi.py --check` проходит (`36 paths`). В artifact добавлены media decision/rollback schemas и quality-upgrade routes; ручное редактирование не использовалось.
|
||||||
- [x] **Q17 · Эксплуатационные документы.** Зафиксированы ADR по Astro/FastAPI/PostgreSQL, локальному cache, scheduler/cooldown и разделению PostgreSQL/MinIO. Incident runbook покрывает заполнение диска, отказ PostgreSQL/MinIO, зависшие импорты, ошибки миграций, компрометацию секретов и критерии закрытия без опасных reset/recreate операций.
|
- [x] **Q17 · Эксплуатационные документы.** Зафиксированы ADR по Astro/FastAPI/PostgreSQL, локальному cache, scheduler/cooldown и разделению PostgreSQL/MinIO. Incident runbook покрывает заполнение диска, отказ PostgreSQL/MinIO, зависшие импорты, ошибки миграций, компрометацию секретов и критерии закрытия без опасных reset/recreate операций.
|
||||||
- [x] **Q18 · Минимальная observability.** Зафиксированы дешёвые SLI, стартовые пороги и источники для request count/latency/5xx, moderation/staging depth, возраста импортов и инфраструктуры. Начальный контур использует JSON-логи, readiness, diagnostics и host monitor; exporter выбирается после покупки сервера, tracing и Prometheus не вводятся без измеренной потребности. Перед альфой остаётся подключить реальный канал и проверить critical/recovery alert.
|
- [x] **Q18 · Минимальная observability.** Зафиксированы дешёвые SLI, стартовые пороги и источники для request count/latency/5xx, moderation/staging depth, возраста импортов и инфраструктуры. Начальный контур использует JSON-логи, readiness, diagnostics и host monitor; exporter выбирается после покупки сервера, tracing и Prometheus не вводятся без измеренной потребности. Перед альфой остаётся подключить реальный канал и проверить critical/recovery alert.
|
||||||
|
|
||||||
@@ -129,8 +130,8 @@
|
|||||||
- [x] **A03 · Полный single-owner workflow.** Добавить пагинацию очереди уловов, кнопку запуска официального импорта и отображение результата/истории, безопасные статусы источников с возрастом данных, cooldown/backoff и ручное обновление очередей. Критерий: владелец может пройти путь «импорт → проверка → решение → история» без API/CLI; старые данные сохраняются при сбое импорта.
|
- [x] **A03 · Полный single-owner workflow.** Добавить пагинацию очереди уловов, кнопку запуска официального импорта и отображение результата/истории, безопасные статусы источников с возрастом данных, cooldown/backoff и ручное обновление очередей. Критерий: владелец может пройти путь «импорт → проверка → решение → история» без API/CLI; старые данные сохраняются при сбое импорта.
|
||||||
- [x] **A04 · Контур медиа-проверки.** Admin-экран показывает approved/upgrade_queued/upgrade_stored медиа, источник, размеры, производные и provenance. Защищённые действия требуют непустую причину: publish атомарно продвигает только проверенные `upgrade_stored` и сохраняет fallback, rollback принимает только связанную пару `approved`/`superseded`; небезопасные состояния возвращают `409`. API-тесты проверяют auth, валидацию причины и вызов безопасных операций; browser acceptance остаётся в A06.
|
- [x] **A04 · Контур медиа-проверки.** Admin-экран показывает approved/upgrade_queued/upgrade_stored медиа, источник, размеры, производные и provenance. Защищённые действия требуют непустую причину: publish атомарно продвигает только проверенные `upgrade_stored` и сохраняет fallback, rollback принимает только связанную пару `approved`/`superseded`; небезопасные состояния возвращают `409`. API-тесты проверяют auth, валидацию причины и вызов безопасных операций; browser acceptance остаётся в A06.
|
||||||
- [ ] **A05 · Многопользовательский доступ.** После пилота заменить общий Bearer-токен персональными аккаунтами и короткими серверными сессиями с отзывом, ролями read-only/moderator/importer/owner, operator ID в аудите и журналом входов. Критерий: минимальные права реально ограничивают действия, logout/revoke инвалидируют сессию на сервере.
|
- [ ] **A05 · Многопользовательский доступ.** После пилота заменить общий Bearer-токен персональными аккаунтами и короткими серверными сессиями с отзывом, ролями read-only/moderator/importer/owner, operator ID в аудите и журналом входов. Критерий: минимальные права реально ограничивают действия, logout/revoke инвалидируют сессию на сервере.
|
||||||
- [ ] **A06 · Browser/accessibility acceptance.** Проверить `/admin`, moderation и external sources в 320/390/768/1280 px: клавиатура, focus order, screen reader labels, reduced motion, forced colors, темы, ошибки/пустые очереди и конфликт `409`. Критерий: Playwright + axe без блокирующих дефектов и ручная визуальная проверка.
|
- [ ] **A06 · Browser/accessibility acceptance.** In-app Chromium подтвердил `/admin`, moderation, external sources и media в 320/390/768/1280 px без горизонтального overflow; четыре admin-маршрута имеют landmarks, подписанные поля, именованные кнопки и `alt` у изображений. Visual-matrix regression покрывает 13 маршрутов × 4 ширины × 3 режима (`156` комбинаций) без document overflow и с совпадающей SSR-темой. Standalone axe проходит `9/9` маршрутов без serious/critical violations, keyboard/focus regression не оставляет фокус на `BODY`, forced-colors сохраняет видимую границу theme controls, print-regression сохраняет светлую схему и убирает фильтр hero image. Остаются screenshots и ручная визуальная проверка shadows/gradients; headless gate больше не блокируется sandbox при escalated запуске.
|
||||||
- [ ] **A07 · Production gate.** Выполнить preflight с реальными секретами, проверить Caddy Basic + API Bearer, закрытые внутренние порты, backup/restore PostgreSQL и MinIO, readiness, no-store и внешний smoke после деплоя. Критерий: acceptance-runbook пройден, rollback и процедура отзыва доступа документированы.
|
- [ ] **A07 · Production gate.** Выполнить preflight с реальными секретами, проверить Caddy Basic + API Bearer, закрытые внутренние порты, backup/restore PostgreSQL и MinIO, readiness, no-store и внешний smoke после деплоя. Локальный чистый-volume bootstrap и оба Playwright-сценария подтверждены; критерий A07 остаётся открытым до acceptance-runbook с реальными секретами, backup/restore, rollback и процедурой отзыва доступа.
|
||||||
|
|
||||||
## Готовность открытой альфы — требуется сервер или внешний сервис
|
## Готовность открытой альфы — требуется сервер или внешний сервис
|
||||||
|
|
||||||
|
|||||||
@@ -76,6 +76,37 @@ Fallback строится на собственных лёгких SVG: осмы
|
|||||||
|
|
||||||
Координат, проводки, времени поимки и устойчивого внешнего идентификатора записи в этой таблице нет. Локализация зависит от домена/языка страницы: проверенная `.de`-страница возвращает немецкие названия рыб, водоёмов и приманок даже для региона RU.
|
Координат, проводки, времени поимки и устойчивого внешнего идентификатора записи в этой таблице нет. Локализация зависит от домена/языка страницы: проверенная `.de`-страница возвращает немецкие названия рыб, водоёмов и приманок даже для региона RU.
|
||||||
|
|
||||||
|
## Ручное получение snapshots водоёмов
|
||||||
|
|
||||||
|
Для ручного запуска используется [`scripts/fetch-waterbodies.py`](../scripts/fetch-waterbodies.py). Скрипт вызывает тот же guarded CLI, что и остальные исследовательские источники: общий `rf4db.com` cooldown резервируется до HTTP-запроса, поэтому повтор после `403` или сетевой ошибки не выполняется раньше разрешённого окна.
|
||||||
|
|
||||||
|
Для страницы, которая требует обычного браузерного JavaScript, используется Chromium-launcher с отдельным persistent profile:
|
||||||
|
|
||||||
|
```bash
|
||||||
|
node scripts/fetch-waterbodies-chromium.mjs catalog
|
||||||
|
node scripts/fetch-waterbodies-chromium.mjs detail \
|
||||||
|
--url https://download.rf4db.com/ru/maps/level_019_american_pond
|
||||||
|
```
|
||||||
|
|
||||||
|
Он сначала резервирует тот же cooldown, затем открывает Chromium, сохраняет DOM и передаёт его локальному parser-у. Первый запуск можно оставить headed и вручную завершить обычную проверку сайта; `--headless` предназначен только для страниц, которые уже открываются без пользовательского действия. CAPTCHA и защитные challenge не автоматизируются.
|
||||||
|
|
||||||
|
```bash
|
||||||
|
./scripts/fetch-waterbodies.py catalog
|
||||||
|
./scripts/fetch-waterbodies.py detail \
|
||||||
|
--url https://download.rf4db.com/ru/maps/level_019_american_pond
|
||||||
|
```
|
||||||
|
|
||||||
|
Результат сохраняется атомарно в `.cache/waterbodies/` с timestamp-именем; `403`, неполный ответ и cooldown оставляют прежние snapshots нетронутыми. Если RF4DB показывает защитную страницу в разрешённой Chromium-сессии, сохраните полученный HTML и разберите его без повторного HTTP:
|
||||||
|
|
||||||
|
```bash
|
||||||
|
./scripts/fetch-waterbodies.py catalog --html /path/to/maps.html
|
||||||
|
./scripts/fetch-waterbodies.py detail \
|
||||||
|
--url https://download.rf4db.com/ru/maps/level_019_american_pond \
|
||||||
|
--html /path/to/detail.html
|
||||||
|
```
|
||||||
|
|
||||||
|
`--html` не резервирует cooldown и не обходит защиту: challenge/неполный документ будет отклонён строгим parser-ом. Скрипт намеренно не импортирует данные в PostgreSQL автоматически. После ручной проверки snapshot импортируется отдельно через `python -m app.cli import-waterbody-catalog` или `import-waterbody-detail`; для запуска из Docker файл передаётся в контейнер через stdin.
|
||||||
|
|
||||||
## Рекомендуемый режим получения
|
## Рекомендуемый режим получения
|
||||||
|
|
||||||
- Один понятный `User-Agent`, таймаут 20 секунд.
|
- Один понятный `User-Agent`, таймаут 20 секунд.
|
||||||
|
|||||||
@@ -310,6 +310,10 @@ def main(argv: list[str] | None = None) -> int:
|
|||||||
default=Path(os.environ.get("RF4_COMMUNITY_FETCH_STATE", DEFAULT_STATE_FILE)),
|
default=Path(os.environ.get("RF4_COMMUNITY_FETCH_STATE", DEFAULT_STATE_FILE)),
|
||||||
help="Persistent per-source cooldown state",
|
help="Persistent per-source cooldown state",
|
||||||
)
|
)
|
||||||
|
parser.add_argument(
|
||||||
|
"--reserve-only", action="store_true",
|
||||||
|
help="Reserve the shared site cooldown and stop before making an HTTP request",
|
||||||
|
)
|
||||||
args = parser.parse_args(argv)
|
args = parser.parse_args(argv)
|
||||||
if args.source in DETAIL_SOURCES and not args.url:
|
if args.source in DETAIL_SOURCES and not args.url:
|
||||||
parser.error(f"--url is required for {args.source}")
|
parser.error(f"--url is required for {args.source}")
|
||||||
@@ -319,16 +323,21 @@ def main(argv: list[str] | None = None) -> int:
|
|||||||
site_key = fetch_site_key(url)
|
site_key = fetch_site_key(url)
|
||||||
# Single atomic check-and-reserve before network I/O: failed attempts count toward the limit too.
|
# Single atomic check-and-reserve before network I/O: failed attempts count toward the limit too.
|
||||||
check_and_reserve(site_key, state_file=args.state_file)
|
check_and_reserve(site_key, state_file=args.state_file)
|
||||||
|
if args.reserve_only:
|
||||||
|
print(json.dumps({"reserved": True, "source": args.source, "site_key": site_key}, ensure_ascii=False))
|
||||||
|
return 0
|
||||||
html = fetch_html(url)
|
html = fetch_html(url)
|
||||||
records = (
|
parsed = (
|
||||||
parse(html, source_url=url)
|
parse(html, source_url=url)
|
||||||
if args.source in DETAIL_SOURCES or args.source == "rf4db-waterbodies"
|
if args.source in DETAIL_SOURCES or args.source == "rf4db-waterbodies"
|
||||||
else parse(html)
|
else parse(html)
|
||||||
)[:args.limit]
|
)
|
||||||
|
records = parsed if args.source in DETAIL_SOURCES else parsed[:args.limit]
|
||||||
except Exception as exc:
|
except Exception as exc:
|
||||||
print(f"community source failed: {exc}", file=sys.stderr)
|
print(f"community source failed: {exc}", file=sys.stderr)
|
||||||
return 1
|
return 1
|
||||||
print(json.dumps([asdict(item) for item in records], ensure_ascii=False, default=str))
|
payload = asdict(records) if args.source in DETAIL_SOURCES else [asdict(item) for item in records]
|
||||||
|
print(json.dumps(payload, ensure_ascii=False, default=str))
|
||||||
return 0
|
return 0
|
||||||
|
|
||||||
|
|
||||||
|
|||||||
@@ -45,6 +45,51 @@ class EquipmentItem:
|
|||||||
external_id: str | None
|
external_id: str | None
|
||||||
|
|
||||||
|
|
||||||
|
GEAR_CATEGORIES = frozenset({
|
||||||
|
"bait", "lure", "rod", "reel", "line", "hook", "rig", "float", "sinker", "other",
|
||||||
|
})
|
||||||
|
|
||||||
|
|
||||||
|
@dataclass(frozen=True, slots=True)
|
||||||
|
class RF4DBGearItem:
|
||||||
|
source_system: str
|
||||||
|
source_external_id: str
|
||||||
|
source_url: str
|
||||||
|
name: str
|
||||||
|
category: str
|
||||||
|
subcategory: str | None
|
||||||
|
brand: str | None
|
||||||
|
family: str | None
|
||||||
|
unlock_level: int | None
|
||||||
|
image_url: str | None
|
||||||
|
|
||||||
|
|
||||||
|
@dataclass(frozen=True, slots=True)
|
||||||
|
class RF4DBGearAttribute:
|
||||||
|
key: str
|
||||||
|
state: str
|
||||||
|
value: str | int | float | None
|
||||||
|
source_text: str | None
|
||||||
|
|
||||||
|
|
||||||
|
@dataclass(frozen=True, slots=True)
|
||||||
|
class RF4DBGearDetail:
|
||||||
|
source_system: str
|
||||||
|
source_external_id: str
|
||||||
|
source_url: str
|
||||||
|
name: str
|
||||||
|
category: str
|
||||||
|
subcategory: str | None
|
||||||
|
brand: str | None
|
||||||
|
family: str | None
|
||||||
|
unlock_level: int | None
|
||||||
|
attributes: tuple[RF4DBGearAttribute, ...]
|
||||||
|
variants: tuple[str, ...]
|
||||||
|
compatible_with: tuple[str, ...]
|
||||||
|
rig_types: tuple[str, ...]
|
||||||
|
image_urls: tuple[str, ...]
|
||||||
|
|
||||||
|
|
||||||
@dataclass(frozen=True, slots=True)
|
@dataclass(frozen=True, slots=True)
|
||||||
class RF4DBCatchDetail:
|
class RF4DBCatchDetail:
|
||||||
source_external_id: str
|
source_external_id: str
|
||||||
@@ -209,6 +254,110 @@ def parse_rf4db_waterbodies(
|
|||||||
return result
|
return result
|
||||||
|
|
||||||
|
|
||||||
|
def _gear_level(value: str | None) -> int | None:
|
||||||
|
text = (value or "").strip()
|
||||||
|
if not text:
|
||||||
|
return None
|
||||||
|
if not re.fullmatch(r"\d+", text):
|
||||||
|
raise CommunityParseError(f"invalid gear unlock level: {text!r}")
|
||||||
|
return int(text)
|
||||||
|
|
||||||
|
|
||||||
|
def _gear_category(value: str | None) -> str:
|
||||||
|
category = (value or "").strip().casefold()
|
||||||
|
if category not in GEAR_CATEGORIES:
|
||||||
|
raise CommunityParseError(f"invalid or missing gear category: {value!r}")
|
||||||
|
return category
|
||||||
|
|
||||||
|
|
||||||
|
def _gear_value(node: Tag) -> str | int | float | None:
|
||||||
|
text = _text(node) or None
|
||||||
|
if text is None:
|
||||||
|
return None
|
||||||
|
value_type = str(node.get("data-type") or "text").casefold()
|
||||||
|
if value_type == "number":
|
||||||
|
try:
|
||||||
|
return float(text) if "." in text else int(text)
|
||||||
|
except ValueError as exc:
|
||||||
|
raise CommunityParseError(f"invalid numeric gear attribute: {text!r}") from exc
|
||||||
|
return text
|
||||||
|
|
||||||
|
|
||||||
|
def parse_rf4db_gear_catalog(
|
||||||
|
html: str, *, source_url: str = "https://rf4db.com/ru/wiki/gear", expected_count: int | None = None,
|
||||||
|
) -> list[RF4DBGearItem]:
|
||||||
|
"""Parse a gear index while keeping an unknown total explicitly unknown."""
|
||||||
|
soup = BeautifulSoup(html, "html.parser")
|
||||||
|
cards = soup.select("article.gear-card, [data-gear-card]")
|
||||||
|
result: list[RF4DBGearItem] = []
|
||||||
|
seen: set[str] = set()
|
||||||
|
for card in cards:
|
||||||
|
link = card.select_one("a[href]")
|
||||||
|
external_id = str(card.get("data-gear-id") or _key(link.get("href") if link else None) or "")
|
||||||
|
name = _text(card.select_one("[data-name], h2, h3, .gear-name"))
|
||||||
|
category = _gear_category(card.get("data-category"))
|
||||||
|
if not external_id or not name:
|
||||||
|
raise CommunityParseError("RF4DB gear card is missing id or name")
|
||||||
|
if external_id in seen:
|
||||||
|
raise CommunityParseError(f"duplicate RF4DB gear id: {external_id}")
|
||||||
|
seen.add(external_id)
|
||||||
|
item_url = urljoin(source_url, str(link.get("href"))) if link and link.get("href") else source_url
|
||||||
|
image = card.select_one("img[src], img[data-src]")
|
||||||
|
image_url = urljoin(item_url, str(image.get("src") or image.get("data-src"))) if image else None
|
||||||
|
result.append(RF4DBGearItem(
|
||||||
|
source_system="rf4db", source_external_id=external_id, source_url=item_url,
|
||||||
|
name=name, category=category,
|
||||||
|
subcategory=_text(card.select_one("[data-subcategory], .gear-subcategory")) or None,
|
||||||
|
brand=_text(card.select_one("[data-brand], .gear-brand")) or None,
|
||||||
|
family=_text(card.select_one("[data-family], .gear-family")) or None,
|
||||||
|
unlock_level=_gear_level(card.get("data-unlock-level")), image_url=image_url,
|
||||||
|
))
|
||||||
|
if not result:
|
||||||
|
raise CommunityParseError("RF4DB gear cards not found")
|
||||||
|
if expected_count is not None and len(result) != expected_count:
|
||||||
|
raise CommunityParseError(f"RF4DB gear catalog count mismatch: expected {expected_count}, got {len(result)}")
|
||||||
|
return result
|
||||||
|
|
||||||
|
|
||||||
|
def parse_rf4db_gear_detail(
|
||||||
|
html: str, *, source_url: str,
|
||||||
|
) -> RF4DBGearDetail:
|
||||||
|
"""Parse one gear detail page with explicit missing/not-applicable/value states."""
|
||||||
|
soup = BeautifulSoup(html, "html.parser")
|
||||||
|
root = soup.select_one("main[data-gear-detail], article.gear-detail") or soup
|
||||||
|
external_id = _key(source_url)
|
||||||
|
name = _text(root.select_one("h1, [data-name]"))
|
||||||
|
category = _gear_category(root.get("data-category"))
|
||||||
|
if not external_id or not name:
|
||||||
|
raise CommunityParseError("RF4DB gear detail is missing id or name")
|
||||||
|
attributes: list[RF4DBGearAttribute] = []
|
||||||
|
for node in root.select("[data-gear-attribute]"):
|
||||||
|
key = str(node.get("data-gear-attribute") or "").strip()
|
||||||
|
state = str(node.get("data-state") or "value").strip().casefold()
|
||||||
|
if not key or state not in {"value", "not_applicable", "missing"}:
|
||||||
|
raise CommunityParseError("invalid RF4DB gear attribute state")
|
||||||
|
value = None if state != "value" else _gear_value(node)
|
||||||
|
attributes.append(RF4DBGearAttribute(key=key, state=state, value=value, source_text=_text(node) or None))
|
||||||
|
images = tuple(dict.fromkeys(
|
||||||
|
urljoin(source_url, str(node.get("src") or node.get("data-src")))
|
||||||
|
for node in root.select("img[src], img[data-src]")
|
||||||
|
if node.get("src") or node.get("data-src")
|
||||||
|
))
|
||||||
|
return RF4DBGearDetail(
|
||||||
|
source_system="rf4db", source_external_id=external_id, source_url=source_url,
|
||||||
|
name=name, category=category,
|
||||||
|
subcategory=_text(root.select_one("[data-subcategory], .gear-subcategory")) or None,
|
||||||
|
brand=_text(root.select_one("[data-brand], .gear-brand")) or None,
|
||||||
|
family=_text(root.select_one("[data-family], .gear-family")) or None,
|
||||||
|
unlock_level=_gear_level(root.get("data-unlock-level")),
|
||||||
|
attributes=tuple(attributes),
|
||||||
|
variants=tuple(dict.fromkeys(_text(node) for node in root.select("[data-gear-variant]") if _text(node))),
|
||||||
|
compatible_with=tuple(dict.fromkeys(_text(node) for node in root.select("[data-compatible-with]") if _text(node))),
|
||||||
|
rig_types=tuple(dict.fromkeys(_text(node) for node in root.select("[data-rig-type]") if _text(node))),
|
||||||
|
image_urls=images,
|
||||||
|
)
|
||||||
|
|
||||||
|
|
||||||
def parse_rf4db_waterbody_detail(
|
def parse_rf4db_waterbody_detail(
|
||||||
html: str, *, source_url: str,
|
html: str, *, source_url: str,
|
||||||
) -> RF4DBWaterbodyDetail:
|
) -> RF4DBWaterbodyDetail:
|
||||||
|
|||||||
@@ -0,0 +1,46 @@
|
|||||||
|
"""Ordered gear evidence extracted from source records without auto-mapping."""
|
||||||
|
|
||||||
|
from __future__ import annotations
|
||||||
|
|
||||||
|
from dataclasses import dataclass
|
||||||
|
|
||||||
|
from .community_sources import EquipmentItem
|
||||||
|
|
||||||
|
|
||||||
|
@dataclass(frozen=True, slots=True)
|
||||||
|
class GearComponentIdentity:
|
||||||
|
role: str
|
||||||
|
position: int
|
||||||
|
raw_value: str
|
||||||
|
source_external_id: str | None
|
||||||
|
|
||||||
|
|
||||||
|
def _role_from_kind(kind: str) -> str:
|
||||||
|
value = kind.casefold()
|
||||||
|
terms = {
|
||||||
|
"удилищ": "rod", "катуш": "reel", "леск": "line", "крюч": "hook",
|
||||||
|
"поплав": "float", "груз": "sinker", "монтаж": "rig", "rig": "rig",
|
||||||
|
"приманк": "lure", "нажив": "bait", "bait": "bait", "lure": "lure",
|
||||||
|
}
|
||||||
|
return next((role for term, role in terms.items() if term in value), "other")
|
||||||
|
|
||||||
|
|
||||||
|
def from_equipment(items: tuple[EquipmentItem, ...]) -> tuple[GearComponentIdentity, ...]:
|
||||||
|
"""Keep source order and raw text; canonical mapping happens only after review."""
|
||||||
|
return tuple(
|
||||||
|
GearComponentIdentity(
|
||||||
|
role=_role_from_kind(item.kind), position=index,
|
||||||
|
raw_value=item.name, source_external_id=item.external_id,
|
||||||
|
)
|
||||||
|
for index, item in enumerate(items)
|
||||||
|
if item.name.strip()
|
||||||
|
)
|
||||||
|
|
||||||
|
|
||||||
|
def from_catch_fields(*, bait: str | None, rig_type: str | None) -> tuple[GearComponentIdentity, ...]:
|
||||||
|
values: list[GearComponentIdentity] = []
|
||||||
|
if bait and bait.strip():
|
||||||
|
values.append(GearComponentIdentity("lure", len(values), bait.strip(), None))
|
||||||
|
if rig_type and rig_type.strip():
|
||||||
|
values.append(GearComponentIdentity("rig", len(values), rig_type.strip(), None))
|
||||||
|
return tuple(values)
|
||||||
@@ -0,0 +1,86 @@
|
|||||||
|
"""Conservative offline crosswalk suggestions for gear identities."""
|
||||||
|
|
||||||
|
from __future__ import annotations
|
||||||
|
|
||||||
|
from dataclasses import dataclass
|
||||||
|
|
||||||
|
from .community_sources import GEAR_CATEGORIES
|
||||||
|
from .media_assets import normalize_entity_label
|
||||||
|
|
||||||
|
|
||||||
|
@dataclass(frozen=True, slots=True)
|
||||||
|
class CanonicalGear:
|
||||||
|
key: str
|
||||||
|
name: str
|
||||||
|
category: str
|
||||||
|
aliases: tuple[str, ...] = ()
|
||||||
|
brand: str | None = None
|
||||||
|
family: str | None = None
|
||||||
|
|
||||||
|
|
||||||
|
@dataclass(frozen=True, slots=True)
|
||||||
|
class GearIdentity:
|
||||||
|
source_system: str
|
||||||
|
external_id: str
|
||||||
|
name: str
|
||||||
|
category: str
|
||||||
|
brand: str | None = None
|
||||||
|
family: str | None = None
|
||||||
|
|
||||||
|
|
||||||
|
@dataclass(frozen=True, slots=True)
|
||||||
|
class GearCrosswalkSuggestion:
|
||||||
|
source_system: str
|
||||||
|
external_id: str
|
||||||
|
external_name: str
|
||||||
|
category: str
|
||||||
|
status: str
|
||||||
|
canonical_keys: tuple[str, ...]
|
||||||
|
|
||||||
|
|
||||||
|
def _compatible_category(value: str) -> bool:
|
||||||
|
return value.casefold().strip() in GEAR_CATEGORIES
|
||||||
|
|
||||||
|
|
||||||
|
def suggest_gear_crosswalk(
|
||||||
|
canonical: list[CanonicalGear], identities: list[GearIdentity],
|
||||||
|
) -> list[GearCrosswalkSuggestion]:
|
||||||
|
"""Suggest only unique exact normalized-name matches in the same category.
|
||||||
|
|
||||||
|
Brand/family differences never create an automatic match. Ambiguous,
|
||||||
|
category-mismatched and unmatched identities retain no canonical key.
|
||||||
|
"""
|
||||||
|
by_name: dict[str, set[str]] = {}
|
||||||
|
by_key = {item.key: item for item in canonical}
|
||||||
|
for item in canonical:
|
||||||
|
if not _compatible_category(item.category):
|
||||||
|
raise ValueError(f"invalid canonical gear category: {item.category!r}")
|
||||||
|
for name in (item.name, *item.aliases):
|
||||||
|
by_name.setdefault(normalize_entity_label(name), set()).add(item.key)
|
||||||
|
result: list[GearCrosswalkSuggestion] = []
|
||||||
|
for identity in identities:
|
||||||
|
keys = tuple(sorted(by_name.get(normalize_entity_label(identity.name), set())))
|
||||||
|
compatible = tuple(
|
||||||
|
key for key in keys
|
||||||
|
if by_key[key].category.casefold() == identity.category.casefold()
|
||||||
|
and not (by_key[key].brand and identity.brand and normalize_entity_label(by_key[key].brand) != normalize_entity_label(identity.brand))
|
||||||
|
and not (by_key[key].family and identity.family and normalize_entity_label(by_key[key].family) != normalize_entity_label(identity.family))
|
||||||
|
)
|
||||||
|
if not _compatible_category(identity.category):
|
||||||
|
status = "category_mismatch"
|
||||||
|
selected: tuple[str, ...] = ()
|
||||||
|
elif len(compatible) == 1:
|
||||||
|
status = "exact"
|
||||||
|
selected = compatible
|
||||||
|
elif len(compatible) > 1:
|
||||||
|
status = "ambiguous"
|
||||||
|
selected = ()
|
||||||
|
else:
|
||||||
|
status = "unmatched"
|
||||||
|
selected = ()
|
||||||
|
result.append(GearCrosswalkSuggestion(
|
||||||
|
source_system=identity.source_system, external_id=identity.external_id,
|
||||||
|
external_name=identity.name, category=identity.category,
|
||||||
|
status=status, canonical_keys=selected,
|
||||||
|
))
|
||||||
|
return result
|
||||||
Executable
+81
@@ -0,0 +1,81 @@
|
|||||||
|
#!/usr/bin/env node
|
||||||
|
|
||||||
|
import fs from "node:fs/promises";
|
||||||
|
import path from "node:path";
|
||||||
|
import process from "node:process";
|
||||||
|
import { chromium } from "../apps/web/node_modules/playwright/index.mjs";
|
||||||
|
|
||||||
|
const routes = [
|
||||||
|
"/", "/waterbodies", "/records", "/report", "/status", "/media", "/rules",
|
||||||
|
"/waterbodies/р-вьюнок", "/fish/pike", "/admin", "/admin/moderation",
|
||||||
|
"/admin/external-sources", "/admin/media",
|
||||||
|
];
|
||||||
|
const viewports = [
|
||||||
|
[320, 800], [390, 844], [768, 900], [1280, 900],
|
||||||
|
];
|
||||||
|
const themes = ["system", "light", "dark"];
|
||||||
|
|
||||||
|
function usage() {
|
||||||
|
console.log("Usage: node scripts/capture-visual-matrix.mjs [--base-url URL] [--output DIR]");
|
||||||
|
}
|
||||||
|
|
||||||
|
function parseArgs(argv) {
|
||||||
|
const args = { baseUrl: process.env.WEB_URL || "http://127.0.0.1:4321", output: "/tmp/rf4-visual-matrix" };
|
||||||
|
for (let index = 0; index < argv.length; index += 1) {
|
||||||
|
if (argv[index] === "--help" || argv[index] === "-h") {
|
||||||
|
usage();
|
||||||
|
process.exit(0);
|
||||||
|
}
|
||||||
|
if (argv[index] === "--base-url") args.baseUrl = argv[++index];
|
||||||
|
else if (argv[index] === "--output") args.output = argv[++index];
|
||||||
|
else throw new Error(`unknown argument: ${argv[index]}`);
|
||||||
|
}
|
||||||
|
return args;
|
||||||
|
}
|
||||||
|
|
||||||
|
function safeName(value) {
|
||||||
|
return value.replace(/^\//, "home").replaceAll("/", "-").replace(/[^\p{L}\p{N}._-]+/gu, "-");
|
||||||
|
}
|
||||||
|
|
||||||
|
const { baseUrl, output } = parseArgs(process.argv.slice(2));
|
||||||
|
const outputDir = path.resolve(output);
|
||||||
|
await fs.mkdir(outputDir, { recursive: true });
|
||||||
|
const browser = await chromium.launch({ headless: true });
|
||||||
|
const page = await browser.newPage();
|
||||||
|
const manifest = [];
|
||||||
|
|
||||||
|
try {
|
||||||
|
for (const theme of themes) {
|
||||||
|
await page.context().clearCookies();
|
||||||
|
if (theme !== "system") {
|
||||||
|
await page.context().addCookies([{ name: "rf4-theme", value: theme, url: baseUrl }]);
|
||||||
|
}
|
||||||
|
await page.emulateMedia({ colorScheme: theme === "system" ? "light" : theme });
|
||||||
|
for (const [width, height] of viewports) {
|
||||||
|
await page.setViewportSize({ width, height });
|
||||||
|
for (const route of routes) {
|
||||||
|
await page.goto(new URL(route, baseUrl).toString(), { waitUntil: "networkidle" });
|
||||||
|
const state = await page.evaluate(() => ({
|
||||||
|
clientWidth: document.documentElement.clientWidth,
|
||||||
|
scrollWidth: document.documentElement.scrollWidth,
|
||||||
|
theme: document.documentElement.dataset.theme || "system",
|
||||||
|
}));
|
||||||
|
const filename = `${theme}-${width}x${height}-${safeName(route)}.png`;
|
||||||
|
await page.screenshot({ path: path.join(outputDir, filename), fullPage: true });
|
||||||
|
manifest.push({ theme, width, height, route, filename, ...state });
|
||||||
|
}
|
||||||
|
}
|
||||||
|
}
|
||||||
|
} finally {
|
||||||
|
await browser.close();
|
||||||
|
}
|
||||||
|
|
||||||
|
await fs.writeFile(
|
||||||
|
path.join(outputDir, "manifest.json"),
|
||||||
|
`${JSON.stringify({ baseUrl, count: manifest.length, items: manifest }, null, 2)}\n`,
|
||||||
|
"utf8",
|
||||||
|
);
|
||||||
|
const overflow = manifest.filter((item) => item.scrollWidth > item.clientWidth);
|
||||||
|
console.log(`captured ${manifest.length} screenshots in ${outputDir}`);
|
||||||
|
console.log(`document overflow: ${overflow.length}`);
|
||||||
|
if (overflow.length) process.exitCode = 1;
|
||||||
@@ -0,0 +1,121 @@
|
|||||||
|
#!/usr/bin/env node
|
||||||
|
|
||||||
|
import { spawnSync } from "node:child_process";
|
||||||
|
import fs from "node:fs/promises";
|
||||||
|
import readline from "node:readline/promises";
|
||||||
|
import process from "node:process";
|
||||||
|
import path from "node:path";
|
||||||
|
import { chromium } from "../apps/web/node_modules/playwright/index.mjs";
|
||||||
|
|
||||||
|
const ROOT = path.resolve(new URL("..", import.meta.url).pathname);
|
||||||
|
const PYTHON = process.env.RF4_PYTHON || path.join(ROOT, ".venv/bin/python");
|
||||||
|
const DEFAULT_STATE = path.join(ROOT, ".cache/community-fetch-state.json");
|
||||||
|
const DEFAULT_PROFILE = path.join(ROOT, ".cache/rf4db-chromium-profile");
|
||||||
|
|
||||||
|
function usage() {
|
||||||
|
console.log(`Usage:
|
||||||
|
node scripts/fetch-waterbodies-chromium.mjs catalog [options]
|
||||||
|
node scripts/fetch-waterbodies-chromium.mjs detail --url URL [options]
|
||||||
|
|
||||||
|
Options:
|
||||||
|
--output PATH JSON snapshot path (default: .cache/waterbodies/)
|
||||||
|
--html-output PATH retain browser DOM HTML (default: temporary .cache file)
|
||||||
|
--state-file PATH shared cooldown state file
|
||||||
|
--profile PATH persistent Chromium profile directory
|
||||||
|
--headless run Chromium headless; cannot handle manual challenges
|
||||||
|
--wait-seconds N headed wait after load (default: 30)
|
||||||
|
`);
|
||||||
|
}
|
||||||
|
|
||||||
|
function parseArgs(argv) {
|
||||||
|
if (!argv.length || argv.includes("--help")) {
|
||||||
|
usage();
|
||||||
|
process.exit(0);
|
||||||
|
}
|
||||||
|
const mode = argv.shift();
|
||||||
|
if (!new Set(["catalog", "detail"]).has(mode)) throw new Error(`unknown mode: ${mode}`);
|
||||||
|
const args = {
|
||||||
|
mode, url: mode === "catalog" ? "https://rf4db.com/ru/maps" : null,
|
||||||
|
output: null, htmlOutput: null, stateFile: DEFAULT_STATE, profile: DEFAULT_PROFILE,
|
||||||
|
headless: false, waitSeconds: 30,
|
||||||
|
};
|
||||||
|
for (let index = 0; index < argv.length; index += 1) {
|
||||||
|
const arg = argv[index];
|
||||||
|
if (arg === "--url") args.url = argv[++index];
|
||||||
|
else if (arg === "--output") args.output = argv[++index];
|
||||||
|
else if (arg === "--html-output") args.htmlOutput = argv[++index];
|
||||||
|
else if (arg === "--state-file") args.stateFile = argv[++index];
|
||||||
|
else if (arg === "--profile") args.profile = argv[++index];
|
||||||
|
else if (arg === "--headless") args.headless = true;
|
||||||
|
else if (arg === "--wait-seconds") args.waitSeconds = Number(argv[++index]);
|
||||||
|
else throw new Error(`unknown argument: ${arg}`);
|
||||||
|
}
|
||||||
|
if (args.mode === "detail" && !args.url) throw new Error("detail requires --url");
|
||||||
|
if (!Number.isInteger(args.waitSeconds) || args.waitSeconds < 0 || args.waitSeconds > 600) {
|
||||||
|
throw new Error("--wait-seconds must be an integer from 0 to 600");
|
||||||
|
}
|
||||||
|
const parsed = new URL(args.url);
|
||||||
|
if (parsed.protocol !== "https:" || !["rf4db.com", "download.rf4db.com"].includes(parsed.hostname)) {
|
||||||
|
throw new Error("Chromium launcher accepts only HTTPS rf4db.com URLs");
|
||||||
|
}
|
||||||
|
return args;
|
||||||
|
}
|
||||||
|
|
||||||
|
function reserveCooldown(args) {
|
||||||
|
const source = args.mode === "catalog" ? "rf4db-waterbodies" : "rf4db-waterbody";
|
||||||
|
const command = ["-m", "rf4_research.community_cli", source, "--url", args.url, "--state-file", args.stateFile, "--reserve-only"];
|
||||||
|
const result = spawnSync(PYTHON, command, { cwd: ROOT, encoding: "utf8" });
|
||||||
|
if (result.status !== 0) {
|
||||||
|
if (result.stderr) process.stderr.write(result.stderr);
|
||||||
|
throw new Error(`cooldown reservation failed with exit code ${result.status}`);
|
||||||
|
}
|
||||||
|
process.stdout.write(`${result.stdout.trim()}\n`);
|
||||||
|
}
|
||||||
|
|
||||||
|
function outputPath(args) {
|
||||||
|
if (args.output) return path.resolve(args.output);
|
||||||
|
const stamp = new Date().toISOString().replaceAll(/[-:]/g, "").replace(".000", "");
|
||||||
|
const stem = args.mode === "catalog" ? "rf4db-catalog" : `rf4db-${path.basename(new URL(args.url).pathname)}`;
|
||||||
|
return path.join(ROOT, ".cache/waterbodies", `${stem}-${stamp}.json`);
|
||||||
|
}
|
||||||
|
|
||||||
|
async function main() {
|
||||||
|
const args = parseArgs(process.argv.slice(2));
|
||||||
|
reserveCooldown(args);
|
||||||
|
const output = outputPath(args);
|
||||||
|
const htmlOutput = path.resolve(args.htmlOutput || `${output}.html`);
|
||||||
|
await fs.mkdir(path.dirname(htmlOutput), { recursive: true });
|
||||||
|
await fs.mkdir(path.dirname(output), { recursive: true });
|
||||||
|
|
||||||
|
const context = await chromium.launchPersistentContext(path.resolve(args.profile), { headless: args.headless });
|
||||||
|
try {
|
||||||
|
const page = context.pages()[0] || await context.newPage();
|
||||||
|
await page.goto(args.url, { waitUntil: "domcontentloaded", timeout: 60_000 });
|
||||||
|
if (!args.headless && args.waitSeconds > 0) {
|
||||||
|
console.log(`Chromium opened ${args.url}. Complete only an ordinary site challenge if shown, then press Enter (or wait ${args.waitSeconds}s).`);
|
||||||
|
const input = readline.createInterface({ input: process.stdin, output: process.stdout });
|
||||||
|
await Promise.race([
|
||||||
|
input.question("Ready to capture DOM? "),
|
||||||
|
new Promise(resolve => setTimeout(resolve, args.waitSeconds * 1000)),
|
||||||
|
]);
|
||||||
|
input.close();
|
||||||
|
} else if (args.waitSeconds > 0) {
|
||||||
|
await page.waitForTimeout(args.waitSeconds * 1000);
|
||||||
|
}
|
||||||
|
const html = await page.locator("html").evaluate(element => element.outerHTML);
|
||||||
|
await fs.writeFile(htmlOutput, `<!doctype html>\n${html}\n`, "utf8");
|
||||||
|
} finally {
|
||||||
|
await context.close();
|
||||||
|
}
|
||||||
|
|
||||||
|
const parser = path.join(ROOT, "scripts/fetch-waterbodies.py");
|
||||||
|
const result = spawnSync(PYTHON, [parser, args.mode, "--html", htmlOutput, "--output", output, ...(args.mode === "detail" ? ["--url", args.url] : [])], { cwd: ROOT, encoding: "utf8" });
|
||||||
|
if (result.stdout) process.stdout.write(result.stdout);
|
||||||
|
if (result.stderr) process.stderr.write(result.stderr);
|
||||||
|
if (result.status !== 0) process.exitCode = result.status || 1;
|
||||||
|
}
|
||||||
|
|
||||||
|
main().catch(error => {
|
||||||
|
console.error(`Chromium waterbody fetch failed: ${error.message}`);
|
||||||
|
process.exitCode = 1;
|
||||||
|
});
|
||||||
Executable
+153
@@ -0,0 +1,153 @@
|
|||||||
|
#!/usr/bin/env python3
|
||||||
|
"""Manually fetch RF4DB waterbody snapshots through the guarded research CLI."""
|
||||||
|
|
||||||
|
from __future__ import annotations
|
||||||
|
|
||||||
|
import argparse
|
||||||
|
import json
|
||||||
|
import os
|
||||||
|
import re
|
||||||
|
import subprocess
|
||||||
|
import sys
|
||||||
|
import tempfile
|
||||||
|
from datetime import datetime, timezone
|
||||||
|
from dataclasses import asdict
|
||||||
|
from pathlib import Path
|
||||||
|
from urllib.parse import urlsplit
|
||||||
|
|
||||||
|
ROOT = Path(__file__).resolve().parents[1]
|
||||||
|
if str(ROOT) not in sys.path:
|
||||||
|
sys.path.insert(0, str(ROOT))
|
||||||
|
|
||||||
|
from rf4_research.community_cli import _validate_url_before_io
|
||||||
|
from rf4_research.community_sources import parse_rf4db_waterbodies, parse_rf4db_waterbody_detail
|
||||||
|
|
||||||
|
|
||||||
|
DEFAULT_STATE_FILE = ROOT / ".cache" / "community-fetch-state.json"
|
||||||
|
DEFAULT_OUTPUT_DIR = ROOT / ".cache" / "waterbodies"
|
||||||
|
CATALOG_SOURCE = "rf4db-waterbodies"
|
||||||
|
DETAIL_SOURCE = "rf4db-waterbody"
|
||||||
|
|
||||||
|
|
||||||
|
def _timestamp() -> str:
|
||||||
|
return datetime.now(timezone.utc).strftime("%Y%m%dT%H%M%SZ")
|
||||||
|
|
||||||
|
|
||||||
|
def _safe_detail_name(url: str) -> str:
|
||||||
|
name = Path(urlsplit(url).path.rstrip("/")).name or "detail"
|
||||||
|
return re.sub(r"[^A-Za-z0-9_.-]+", "-", name)
|
||||||
|
|
||||||
|
|
||||||
|
def _default_output(mode: str, url: str | None) -> Path:
|
||||||
|
stem = "rf4db-catalog" if mode == "catalog" else f"rf4db-{_safe_detail_name(url or '')}"
|
||||||
|
return DEFAULT_OUTPUT_DIR / f"{stem}-{_timestamp()}.json"
|
||||||
|
|
||||||
|
|
||||||
|
def _write_json_atomically(path: Path, payload: object) -> None:
|
||||||
|
path.parent.mkdir(parents=True, exist_ok=True)
|
||||||
|
handle = tempfile.NamedTemporaryFile(
|
||||||
|
mode="w", encoding="utf-8", dir=path.parent, prefix=f".{path.name}.",
|
||||||
|
suffix=".tmp", delete=False,
|
||||||
|
)
|
||||||
|
temporary = Path(handle.name)
|
||||||
|
try:
|
||||||
|
with handle:
|
||||||
|
json.dump(payload, handle, ensure_ascii=False, indent=2)
|
||||||
|
handle.write("\n")
|
||||||
|
handle.flush()
|
||||||
|
os.fsync(handle.fileno())
|
||||||
|
os.replace(temporary, path)
|
||||||
|
except Exception:
|
||||||
|
temporary.unlink(missing_ok=True)
|
||||||
|
raise
|
||||||
|
|
||||||
|
|
||||||
|
def fetch_snapshot(
|
||||||
|
mode: str, *, url: str | None, html: Path | None = None, output: Path,
|
||||||
|
state_file: Path, limit: int,
|
||||||
|
) -> int:
|
||||||
|
if html is not None:
|
||||||
|
source_url = url or "https://rf4db.com/ru/maps"
|
||||||
|
try:
|
||||||
|
_validate_url_before_io(source_url)
|
||||||
|
document = html.read_text(encoding="utf-8")
|
||||||
|
parsed = (
|
||||||
|
parse_rf4db_waterbodies(document)
|
||||||
|
if mode == "catalog"
|
||||||
|
else parse_rf4db_waterbody_detail(document, source_url=source_url)
|
||||||
|
)
|
||||||
|
except Exception as exc:
|
||||||
|
print(f"local HTML parse failed: {exc}", file=sys.stderr)
|
||||||
|
return 1
|
||||||
|
payload = [asdict(item) for item in parsed] if mode == "catalog" else asdict(parsed)
|
||||||
|
_write_json_atomically(output, payload)
|
||||||
|
count = len(payload) if isinstance(payload, list) else 1
|
||||||
|
print(f"parsed and saved {count} waterbody snapshot(s) to {output}")
|
||||||
|
return 0
|
||||||
|
|
||||||
|
source = CATALOG_SOURCE if mode == "catalog" else DETAIL_SOURCE
|
||||||
|
command = [
|
||||||
|
sys.executable, "-m", "rf4_research.community_cli", source,
|
||||||
|
"--state-file", str(state_file), "--limit", str(limit),
|
||||||
|
]
|
||||||
|
if url:
|
||||||
|
command.extend(["--url", url])
|
||||||
|
result = subprocess.run(command, cwd=ROOT, text=True, capture_output=True, check=False)
|
||||||
|
if result.returncode != 0:
|
||||||
|
if result.stderr:
|
||||||
|
print(result.stderr, file=sys.stderr, end="")
|
||||||
|
return result.returncode
|
||||||
|
try:
|
||||||
|
payload = json.loads(result.stdout)
|
||||||
|
except json.JSONDecodeError as exc:
|
||||||
|
print(f"fetch succeeded but returned invalid JSON: {exc}", file=sys.stderr)
|
||||||
|
return 1
|
||||||
|
if mode == "catalog" and not isinstance(payload, list):
|
||||||
|
print("fetch succeeded but catalog payload is not a JSON array", file=sys.stderr)
|
||||||
|
return 1
|
||||||
|
if mode == "detail" and not isinstance(payload, dict):
|
||||||
|
print("fetch succeeded but detail payload is not a JSON object", file=sys.stderr)
|
||||||
|
return 1
|
||||||
|
_write_json_atomically(output, payload)
|
||||||
|
count = len(payload) if isinstance(payload, list) else 1
|
||||||
|
print(f"saved {count} waterbody snapshot(s) to {output}")
|
||||||
|
print(f"next import: python -m app.cli import-waterbody-{'catalog' if mode == 'catalog' else 'detail'} --input {output}")
|
||||||
|
return 0
|
||||||
|
|
||||||
|
|
||||||
|
def main(argv: list[str] | None = None) -> int:
|
||||||
|
parser = argparse.ArgumentParser(
|
||||||
|
description="Manually fetch RF4DB waterbody data with the shared cooldown guard"
|
||||||
|
)
|
||||||
|
subparsers = parser.add_subparsers(dest="mode", required=True)
|
||||||
|
|
||||||
|
catalog = subparsers.add_parser("catalog", help="fetch the public waterbody catalog")
|
||||||
|
catalog.add_argument("--output", type=Path, help="snapshot path; default: .cache/waterbodies/")
|
||||||
|
catalog.add_argument("--html", type=Path, help="parse an HTML file saved from an authorized browser session; no network")
|
||||||
|
catalog.add_argument("--limit", type=int, default=500, choices=range(1, 501), metavar="1..500")
|
||||||
|
|
||||||
|
detail = subparsers.add_parser("detail", help="fetch one waterbody detail page")
|
||||||
|
detail.add_argument("--url", required=True, help="authorized RF4DB detail URL")
|
||||||
|
detail.add_argument("--output", type=Path, help="snapshot path; default: .cache/waterbodies/")
|
||||||
|
detail.add_argument("--html", type=Path, help="parse an HTML file saved from an authorized browser session; no network")
|
||||||
|
detail.add_argument("--limit", type=int, default=100, choices=range(1, 501), metavar="1..500")
|
||||||
|
|
||||||
|
for command in (catalog, detail):
|
||||||
|
command.add_argument(
|
||||||
|
"--state-file", type=Path, default=DEFAULT_STATE_FILE,
|
||||||
|
help=f"cooldown state file (default: {DEFAULT_STATE_FILE})",
|
||||||
|
)
|
||||||
|
args = parser.parse_args(argv)
|
||||||
|
output = args.output or _default_output(args.mode, getattr(args, "url", None))
|
||||||
|
return fetch_snapshot(
|
||||||
|
args.mode,
|
||||||
|
url=getattr(args, "url", None),
|
||||||
|
html=args.html,
|
||||||
|
output=output,
|
||||||
|
state_file=args.state_file,
|
||||||
|
limit=args.limit,
|
||||||
|
)
|
||||||
|
|
||||||
|
|
||||||
|
if __name__ == "__main__":
|
||||||
|
raise SystemExit(main())
|
||||||
+12
@@ -0,0 +1,12 @@
|
|||||||
|
<!doctype html>
|
||||||
|
<html lang="ru">
|
||||||
|
<body>
|
||||||
|
<article class="gear-card" data-gear-card data-gear-id="spiker-2" data-category="lure" data-subcategory="spinner" data-brand="RF4" data-family="spoon" data-unlock-level="12">
|
||||||
|
<a href="/ru/wiki/lures/spiker-2"><h3 data-name>Spiker #2</h3></a>
|
||||||
|
<img src="https://oss.rf4db.com/game/gear/spiker-2.webp" alt="Spiker #2">
|
||||||
|
</article>
|
||||||
|
<article class="gear-card" data-gear-card data-gear-id="method-popup" data-category="rig" data-subcategory="feeder" data-unlock-level="0">
|
||||||
|
<a href="/ru/wiki/rigs/method-popup"><h3 data-name>Method Popup</h3></a>
|
||||||
|
</article>
|
||||||
|
</body>
|
||||||
|
</html>
|
||||||
+17
@@ -0,0 +1,17 @@
|
|||||||
|
<!doctype html>
|
||||||
|
<html lang="ru">
|
||||||
|
<body>
|
||||||
|
<main data-gear-detail data-category="lure" data-subcategory="spinner" data-brand="RF4" data-family="spoon" data-unlock-level="12">
|
||||||
|
<h1>Spiker #2</h1>
|
||||||
|
<dl>
|
||||||
|
<dd data-gear-attribute="weight" data-type="number">0</dd>
|
||||||
|
<dd data-gear-attribute="floating" data-state="not_applicable">Не применяется</dd>
|
||||||
|
<dd data-gear-attribute="target_fish" data-state="missing">Нет данных</dd>
|
||||||
|
</dl>
|
||||||
|
<a data-gear-variant>Spiker #2 01-015</a>
|
||||||
|
<a data-compatible-with>Light spinning rod</a>
|
||||||
|
<a data-rig-type>Spinning</a>
|
||||||
|
<img src="/game/gear/spiker-2.webp" alt="Spiker #2">
|
||||||
|
</main>
|
||||||
|
</body>
|
||||||
|
</html>
|
||||||
@@ -5,6 +5,7 @@ import pytest
|
|||||||
|
|
||||||
from rf4_research import community_cli
|
from rf4_research import community_cli
|
||||||
from rf4_research.community_cli import enforce_fetch_interval, fetch_site_key, mark_fetch
|
from rf4_research.community_cli import enforce_fetch_interval, fetch_site_key, mark_fetch
|
||||||
|
from rf4_research.community_sources import RF4DBWaterbodyDetail
|
||||||
|
|
||||||
|
|
||||||
def test_fetch_cooldown_is_persistent_per_source(tmp_path: Path) -> None:
|
def test_fetch_cooldown_is_persistent_per_source(tmp_path: Path) -> None:
|
||||||
@@ -55,6 +56,55 @@ def test_failed_fetch_still_reserves_site_cooldown(tmp_path: Path, monkeypatch:
|
|||||||
assert "rf4db.com" in json.loads(state_file.read_text(encoding="utf-8"))
|
assert "rf4db.com" in json.loads(state_file.read_text(encoding="utf-8"))
|
||||||
|
|
||||||
|
|
||||||
|
def test_reserve_only_does_not_make_http_request(
|
||||||
|
tmp_path: Path, monkeypatch: pytest.MonkeyPatch, capsys: pytest.CaptureFixture[str],
|
||||||
|
) -> None:
|
||||||
|
state_file = tmp_path / "fetch-state.json"
|
||||||
|
|
||||||
|
def fail(_url: str) -> str:
|
||||||
|
raise AssertionError("reserve-only must stop before HTTP")
|
||||||
|
|
||||||
|
monkeypatch.setattr(community_cli, "fetch_html", fail)
|
||||||
|
assert community_cli.main([
|
||||||
|
"rf4db-waterbodies", "--state-file", str(state_file), "--reserve-only",
|
||||||
|
]) == 0
|
||||||
|
payload = json.loads(capsys.readouterr().out)
|
||||||
|
assert payload == {"reserved": True, "source": "rf4db-waterbodies", "site_key": "rf4db.com"}
|
||||||
|
|
||||||
|
|
||||||
|
def test_detail_fetch_serializes_single_record(
|
||||||
|
tmp_path: Path, monkeypatch: pytest.MonkeyPatch, capsys: pytest.CaptureFixture[str],
|
||||||
|
) -> None:
|
||||||
|
state_file = tmp_path / "fetch-state.json"
|
||||||
|
source_url = "https://download.rf4db.com/ru/maps/level_002_kirzah_river"
|
||||||
|
detail = RF4DBWaterbodyDetail(
|
||||||
|
source_system="rf4db",
|
||||||
|
source_external_id="level_002_kirzah_river",
|
||||||
|
source_url=source_url,
|
||||||
|
name="р. Вьюнок",
|
||||||
|
description=None,
|
||||||
|
aliases=(),
|
||||||
|
fish_species=("Щука обыкновенная",),
|
||||||
|
fish_external_ids=("n.pike",),
|
||||||
|
image_urls=(),
|
||||||
|
point_urls=(),
|
||||||
|
)
|
||||||
|
|
||||||
|
monkeypatch.setattr(community_cli, "fetch_html", lambda _url: "<html></html>")
|
||||||
|
monkeypatch.setitem(
|
||||||
|
community_cli.DETAIL_SOURCES,
|
||||||
|
"rf4db-waterbody",
|
||||||
|
lambda _html, *, source_url: detail,
|
||||||
|
)
|
||||||
|
|
||||||
|
assert community_cli.main([
|
||||||
|
"rf4db-waterbody", "--url", source_url, "--state-file", str(state_file),
|
||||||
|
]) == 0
|
||||||
|
payload = json.loads(capsys.readouterr().out)
|
||||||
|
assert payload["source_external_id"] == "level_002_kirzah_river"
|
||||||
|
assert payload["fish_species"] == ["Щука обыкновенная"]
|
||||||
|
|
||||||
|
|
||||||
def test_validate_url_host_rejects_disallowed_hosts() -> None:
|
def test_validate_url_host_rejects_disallowed_hosts() -> None:
|
||||||
from rf4_research.community_cli import _validate_url_host
|
from rf4_research.community_cli import _validate_url_host
|
||||||
|
|
||||||
|
|||||||
@@ -0,0 +1,76 @@
|
|||||||
|
import importlib.util
|
||||||
|
import json
|
||||||
|
from pathlib import Path
|
||||||
|
|
||||||
|
|
||||||
|
SCRIPT = Path(__file__).parents[1] / "scripts" / "fetch-waterbodies.py"
|
||||||
|
SPEC = importlib.util.spec_from_file_location("fetch_waterbodies", SCRIPT)
|
||||||
|
assert SPEC and SPEC.loader
|
||||||
|
fetch_waterbodies = importlib.util.module_from_spec(SPEC)
|
||||||
|
SPEC.loader.exec_module(fetch_waterbodies)
|
||||||
|
|
||||||
|
|
||||||
|
def test_fetch_snapshot_saves_catalog_atomically(tmp_path: Path, monkeypatch) -> None:
|
||||||
|
output = tmp_path / "nested" / "catalog.json"
|
||||||
|
calls = []
|
||||||
|
|
||||||
|
class Result:
|
||||||
|
returncode = 0
|
||||||
|
stdout = '[{"source_external_id": "level_019_american_pond"}]'
|
||||||
|
stderr = ""
|
||||||
|
|
||||||
|
def run(command, **kwargs):
|
||||||
|
calls.append((command, kwargs))
|
||||||
|
return Result()
|
||||||
|
|
||||||
|
monkeypatch.setattr(fetch_waterbodies.subprocess, "run", run)
|
||||||
|
assert fetch_waterbodies.fetch_snapshot(
|
||||||
|
"catalog", url=None, output=output, state_file=tmp_path / "state.json", limit=19,
|
||||||
|
) == 0
|
||||||
|
assert json.loads(output.read_text(encoding="utf-8"))[0]["source_external_id"] == "level_019_american_pond"
|
||||||
|
assert calls[0][0][0] == fetch_waterbodies.sys.executable
|
||||||
|
assert "--state-file" in calls[0][0]
|
||||||
|
assert "--limit" in calls[0][0]
|
||||||
|
|
||||||
|
|
||||||
|
def test_fetch_snapshot_parses_saved_catalog_without_network(tmp_path: Path, monkeypatch) -> None:
|
||||||
|
html = Path(__file__).parent / "fixtures" / "rf4db_waterbodies_sample.html"
|
||||||
|
output = tmp_path / "catalog.json"
|
||||||
|
parser = fetch_waterbodies.parse_rf4db_waterbodies
|
||||||
|
monkeypatch.setattr(fetch_waterbodies, "parse_rf4db_waterbodies", lambda document: parser(document, expected_count=2))
|
||||||
|
assert fetch_waterbodies.fetch_snapshot(
|
||||||
|
"catalog", url=None, html=html, output=output,
|
||||||
|
state_file=tmp_path / "state.json", limit=19,
|
||||||
|
) == 0
|
||||||
|
payload = json.loads(output.read_text(encoding="utf-8"))
|
||||||
|
assert len(payload) == 2
|
||||||
|
assert payload[0]["source_system"] == "rf4db"
|
||||||
|
|
||||||
|
|
||||||
|
def test_fetch_snapshot_reports_invalid_saved_detail_html(tmp_path: Path, capsys) -> None:
|
||||||
|
html = tmp_path / "challenge.html"
|
||||||
|
html.write_text("<html><title>Just a moment...</title></html>", encoding="utf-8")
|
||||||
|
output = tmp_path / "detail.json"
|
||||||
|
assert fetch_waterbodies.fetch_snapshot(
|
||||||
|
"detail", url="https://download.rf4db.com/ru/maps/level_019_american_pond",
|
||||||
|
html=html, output=output, state_file=tmp_path / "state.json", limit=100,
|
||||||
|
) == 1
|
||||||
|
assert not output.exists()
|
||||||
|
assert "local HTML parse failed" in capsys.readouterr().err
|
||||||
|
|
||||||
|
|
||||||
|
def test_fetch_snapshot_does_not_write_failed_fetch(tmp_path: Path, monkeypatch, capsys) -> None:
|
||||||
|
output = tmp_path / "detail.json"
|
||||||
|
|
||||||
|
class Result:
|
||||||
|
returncode = 1
|
||||||
|
stdout = ""
|
||||||
|
stderr = "community source failed: source cooldown is active\n"
|
||||||
|
|
||||||
|
monkeypatch.setattr(fetch_waterbodies.subprocess, "run", lambda *args, **kwargs: Result())
|
||||||
|
assert fetch_waterbodies.fetch_snapshot(
|
||||||
|
"detail", url="https://download.rf4db.com/ru/maps/level_019_american_pond",
|
||||||
|
output=output, state_file=tmp_path / "state.json", limit=100,
|
||||||
|
) == 1
|
||||||
|
assert not output.exists()
|
||||||
|
assert "cooldown" in capsys.readouterr().err
|
||||||
@@ -0,0 +1,20 @@
|
|||||||
|
from rf4_research.community_sources import EquipmentItem
|
||||||
|
from rf4_research.gear_components import from_catch_fields, from_equipment
|
||||||
|
|
||||||
|
|
||||||
|
def test_from_equipment_preserves_source_order_and_external_ids() -> None:
|
||||||
|
rows = from_equipment((
|
||||||
|
EquipmentItem("Катушка", "Test Reel", "reel-1"),
|
||||||
|
EquipmentItem("Приманка поклёвки", "Test Lure", "lure-1"),
|
||||||
|
))
|
||||||
|
assert [(row.role, row.position, row.raw_value, row.source_external_id) for row in rows] == [
|
||||||
|
("reel", 0, "Test Reel", "reel-1"),
|
||||||
|
("lure", 1, "Test Lure", "lure-1"),
|
||||||
|
]
|
||||||
|
|
||||||
|
|
||||||
|
def test_from_catch_fields_keeps_unresolved_raw_values() -> None:
|
||||||
|
rows = from_catch_fields(bait="Spiker #2", rig_type="Method Popup")
|
||||||
|
assert [(row.role, row.raw_value, row.source_external_id) for row in rows] == [
|
||||||
|
("lure", "Spiker #2", None), ("rig", "Method Popup", None),
|
||||||
|
]
|
||||||
@@ -0,0 +1,43 @@
|
|||||||
|
import pytest
|
||||||
|
|
||||||
|
from rf4_research.gear_crosswalk import (
|
||||||
|
CanonicalGear,
|
||||||
|
GearIdentity,
|
||||||
|
suggest_gear_crosswalk,
|
||||||
|
)
|
||||||
|
|
||||||
|
|
||||||
|
def test_gear_crosswalk_matches_exact_name_and_category_only() -> None:
|
||||||
|
canonical = [
|
||||||
|
CanonicalGear("lure:spiker-2", "Spiker #2", "lure", ("Spiker 2",), brand="RF4"),
|
||||||
|
CanonicalGear("rig:method-popup", "Method Popup", "rig"),
|
||||||
|
]
|
||||||
|
identities = [
|
||||||
|
GearIdentity("rf4db", "spiker-2", " spiker #2 ", "lure", brand="RF4"),
|
||||||
|
GearIdentity("rf4db", "method-popup", "Method Popup", "lure"),
|
||||||
|
GearIdentity("rf4db", "unknown", "Unknown bait", "bait"),
|
||||||
|
]
|
||||||
|
rows = suggest_gear_crosswalk(canonical, identities)
|
||||||
|
assert [(row.status, row.canonical_keys) for row in rows] == [
|
||||||
|
("exact", ("lure:spiker-2",)), ("unmatched", ()), ("unmatched", ()),
|
||||||
|
]
|
||||||
|
|
||||||
|
|
||||||
|
def test_gear_crosswalk_does_not_auto_select_ambiguous_or_brand_mismatch() -> None:
|
||||||
|
canonical = [
|
||||||
|
CanonicalGear("a", "Test Hook", "hook", brand="A"),
|
||||||
|
CanonicalGear("b", "Test Hook", "hook", brand="B"),
|
||||||
|
]
|
||||||
|
identities = [
|
||||||
|
GearIdentity("rf4db", "1", "Test Hook", "hook"),
|
||||||
|
GearIdentity("rf4db", "2", "Test Hook", "hook", brand="C"),
|
||||||
|
GearIdentity("rf4db", "3", "Test Hook", "float"),
|
||||||
|
]
|
||||||
|
rows = suggest_gear_crosswalk(canonical, identities)
|
||||||
|
assert [row.status for row in rows] == ["ambiguous", "unmatched", "unmatched"]
|
||||||
|
assert all(row.canonical_keys == () for row in rows)
|
||||||
|
|
||||||
|
|
||||||
|
def test_gear_crosswalk_rejects_invalid_canonical_category() -> None:
|
||||||
|
with pytest.raises(ValueError, match="invalid canonical gear category"):
|
||||||
|
suggest_gear_crosswalk([CanonicalGear("bad", "Bad", "equipment")], [])
|
||||||
@@ -0,0 +1,49 @@
|
|||||||
|
from dataclasses import asdict
|
||||||
|
from pathlib import Path
|
||||||
|
|
||||||
|
import pytest
|
||||||
|
|
||||||
|
from rf4_research.community_sources import (
|
||||||
|
CommunityParseError,
|
||||||
|
parse_rf4db_gear_catalog,
|
||||||
|
parse_rf4db_gear_detail,
|
||||||
|
)
|
||||||
|
|
||||||
|
|
||||||
|
FIXTURES = Path(__file__).parent / "fixtures"
|
||||||
|
|
||||||
|
|
||||||
|
def test_gear_catalog_preserves_zero_level_and_unknown_total() -> None:
|
||||||
|
html = (FIXTURES / "rf4db_gear_catalog_sample.html").read_text(encoding="utf-8")
|
||||||
|
rows = parse_rf4db_gear_catalog(html)
|
||||||
|
assert len(rows) == 2
|
||||||
|
assert rows[0].category == "lure"
|
||||||
|
assert rows[0].source_external_id == "spiker-2"
|
||||||
|
assert rows[1].unlock_level == 0
|
||||||
|
assert rows[1].image_url is None
|
||||||
|
|
||||||
|
|
||||||
|
def test_gear_catalog_rejects_duplicate_ids() -> None:
|
||||||
|
html = '<article class="gear-card" data-gear-id="same" data-category="bait"><h3 data-name>A</h3></article><article class="gear-card" data-gear-id="same" data-category="bait"><h3 data-name>B</h3></article>'
|
||||||
|
with pytest.raises(CommunityParseError, match="duplicate"):
|
||||||
|
parse_rf4db_gear_catalog(html)
|
||||||
|
|
||||||
|
|
||||||
|
def test_gear_detail_distinguishes_value_not_applicable_and_missing() -> None:
|
||||||
|
html = (FIXTURES / "rf4db_gear_detail_sample.html").read_text(encoding="utf-8")
|
||||||
|
detail = parse_rf4db_gear_detail(html, source_url="https://rf4db.com/ru/wiki/lures/spiker-2")
|
||||||
|
attributes = {item.key: asdict(item) for item in detail.attributes}
|
||||||
|
assert attributes["weight"] == {"key": "weight", "state": "value", "value": 0, "source_text": "0"}
|
||||||
|
assert attributes["floating"]["state"] == "not_applicable"
|
||||||
|
assert attributes["floating"]["value"] is None
|
||||||
|
assert attributes["target_fish"]["state"] == "missing"
|
||||||
|
assert detail.variants == ("Spiker #2 01-015",)
|
||||||
|
assert detail.rig_types == ("Spinning",)
|
||||||
|
|
||||||
|
|
||||||
|
def test_gear_detail_rejects_unknown_category() -> None:
|
||||||
|
with pytest.raises(CommunityParseError, match="category"):
|
||||||
|
parse_rf4db_gear_detail(
|
||||||
|
'<main data-gear-detail data-category="unknown-category"><h1>Test</h1></main>',
|
||||||
|
source_url="https://rf4db.com/ru/wiki/gear/test",
|
||||||
|
)
|
||||||
Reference in new issue
Block a user