diff --git a/.env.example b/.env.example index f0246d5..cdf02b1 100644 --- a/.env.example +++ b/.env.example @@ -13,5 +13,8 @@ OFFICIAL_RECORDS_CATEGORY=records # true только если scheduler официального импорта обязателен для readiness OFFICIAL_IMPORT_REQUIRED=false IMPORT_INTERVAL_SECONDS=3600 +COMMUNITY_IMPORT_INTERVAL_SECONDS=1800 +RF4MAP_POINT_URL=https://rf4map.ru/points/275 +RF4POSTS_SPOT_URL=https://rf4-posts.com/ru/spots/d0c6d9c6-4ebf-49a7-98a8-9a562553a8ee RATE_LIMIT_SECRET=change-rate-limit-secret LOG_LEVEL=INFO diff --git a/README.md b/README.md index 65971bb..f3c00c7 100644 --- a/README.md +++ b/README.md @@ -16,6 +16,8 @@ RF4DB/RF4-STAT/RF4MAP/RF4 Posts сначала принимаются в изо Публичные точки используют постоянные читаемые адреса вида `/spots/kuori-85x92`; старые UUID-адреса остаются совместимыми и перенаправляются на канонический URL. +Все пять community-парсеров подключены к отдельному scheduler-процессу. Состояние запусков и ошибок хранится в PostgreSQL, параллельный запуск одного источника блокируется, минимальный интервал жёстко ограничен 1800 секундами. Локально процесс включается профилем `docker compose --profile scheduler up -d`; detail-URL RF4MAP/RF4 Posts задаются переменными окружения. + Подробный план и актуальные чекбоксы находятся в [`docs/ROADMAP.md`](docs/ROADMAP.md). Результаты проверки интерфейса и пять приоритетных UX-пакетов описаны в [`docs/UI_UX_AUDIT.md`](docs/UI_UX_AUDIT.md). Production-контур для домена `rf4spotter.ru`, TLS, секреты, backup/restore и команды первого запуска описаны в [`deploy/README.md`](deploy/README.md). Он использует отдельный `compose.production.yaml`; локальный `compose.yaml` остаётся средой разработки. Production seed добавляет только справочники — демонстрационные уловы отключены. Изолированные проверки `deploy/test-production-bootstrap.sh` и `deploy/test-backup-restore.sh` подтверждают старт с пустых volumes и восстановление данных. @@ -118,7 +120,7 @@ docker compose up --build ## Что реализовано - FastAPI и SQLAlchemy 2; -- PostgreSQL 17 и миграции Alembic до `0012`; +- PostgreSQL 17 и миграции Alembic до `0013`; - идемпотентный seed с двумя точками и свежими демо-уловами; - `GET /api/v1/activity` с фильтрами периода, водоёма, рыбы, способа и сортировки; - `GET /api/v1/spots/{id}` и `/catches`; diff --git a/apps/api/alembic/versions/0013_community_import_runs.py b/apps/api/alembic/versions/0013_community_import_runs.py new file mode 100644 index 0000000..f771325 --- /dev/null +++ b/apps/api/alembic/versions/0013_community_import_runs.py @@ -0,0 +1,28 @@ +"""Add persistent community scheduler journal.""" +from alembic import op +import sqlalchemy as sa + +revision = "0013" +down_revision = "0012" +branch_labels = None +depends_on = None + +def upgrade() -> None: + op.create_table("community_import_run", + sa.Column("id", sa.Uuid(), primary_key=True), + sa.Column("source_system", sa.String(50), sa.ForeignKey("data_source.key"), nullable=False), + sa.Column("source_url", sa.Text(), nullable=False), + sa.Column("started_at", sa.DateTime(timezone=True), nullable=False), + sa.Column("finished_at", sa.DateTime(timezone=True)), + sa.Column("status", sa.String(30), nullable=False), + sa.Column("rows_seen", sa.Integer(), nullable=False, server_default="0"), + sa.Column("rows_created", sa.Integer(), nullable=False, server_default="0"), + sa.Column("rows_updated", sa.Integer(), nullable=False, server_default="0"), + sa.Column("error_summary", sa.Text()), + ) + op.create_index("ix_community_import_run_source_system", "community_import_run", ["source_system"]) + op.create_index("ix_community_import_run_started_at", "community_import_run", ["started_at"]) + op.create_index("ix_community_import_run_status", "community_import_run", ["status"]) + +def downgrade() -> None: + op.drop_table("community_import_run") diff --git a/apps/api/app/community_scheduler.py b/apps/api/app/community_scheduler.py new file mode 100644 index 0000000..cd9dbdf --- /dev/null +++ b/apps/api/app/community_scheduler.py @@ -0,0 +1,62 @@ +from __future__ import annotations + +import logging +import time +from dataclasses import asdict +from datetime import datetime, timedelta, timezone + +from sqlalchemy import select, text + +from rf4_research.community_cli import SOURCES, fetch_html +from rf4_research.community_sources import parse_rf4map_point, parse_rf4posts_spot +from .community_importer import stage_observations +from .config import settings +from .database import SessionLocal +from .logging_config import configure_logging +from .models import CommunityImportRun, DataSource + +logger = logging.getLogger("rf4.community_scheduler") + +def configured_sources(): + return { + "rf4db": SOURCES["rf4db"], + "rf4stat-fishing": SOURCES["rf4stat-fishing"], + "rf4stat-post": (SOURCES["rf4stat-posts"][0], SOURCES["rf4stat-posts"][1]), + "rf4map": (settings.rf4map_point_url, parse_rf4map_point), + "rf4posts-spot": (settings.rf4posts_spot_url, parse_rf4posts_spot), + } + +def run_source(source_system: str, *, now: datetime | None = None) -> bool: + current = now or datetime.now(timezone.utc) + url, parser = configured_sources()[source_system] + with SessionLocal() as session: + source = session.get(DataSource, source_system) + if source is None or not source.enabled: + return False + latest = session.scalar(select(CommunityImportRun.started_at).where(CommunityImportRun.source_system == source_system).order_by(CommunityImportRun.started_at.desc()).limit(1)) + if latest and (latest if latest.tzinfo else latest.replace(tzinfo=timezone.utc)) > current - timedelta(seconds=settings.community_import_interval_seconds): + return False + if session.bind and session.bind.dialect.name == "postgresql" and not session.scalar(text("select pg_try_advisory_xact_lock(hashtext(:key))"), {"key": f"community:{source_system}"}): + return False + run = CommunityImportRun(source_system=source_system, source_url=url, started_at=current, status="running") + session.add(run); session.commit() + try: + html = fetch_html(url) + records = parser(html, source_url=url) if source_system in {"rf4map", "rf4posts-spot"} else parser(html) + created, updated = stage_observations(session, [asdict(item) for item in records]) + run.status, run.rows_seen, run.rows_created, run.rows_updated = "success", len(records), created, updated + except Exception as exc: + run.status, run.error_summary = "failed", f"{type(exc).__name__}: {str(exc)[:500]}" + logger.exception("community import failed", extra={"event":"community_import_failed", "source_system":source_system}) + run.finished_at = datetime.now(timezone.utc); session.commit() + return True + +def main() -> None: + configure_logging(settings.log_level) + while True: + for source_system in configured_sources(): + run_source(source_system) + time.sleep(60) + +if __name__ == "__main__": + main() diff --git a/apps/api/app/config.py b/apps/api/app/config.py index c5d8c6e..bc8f4d4 100644 --- a/apps/api/app/config.py +++ b/apps/api/app/config.py @@ -24,6 +24,9 @@ class Settings(BaseSettings): retention_audit_days: int = Field(default=365, ge=90) retention_published_payload_days: int = Field(default=365, ge=90) import_interval_seconds: int = Field(default=3600, ge=3600) + community_import_interval_seconds: int = Field(default=1800, ge=1800) + rf4map_point_url: str = "https://rf4map.ru/points/275" + rf4posts_spot_url: str = "https://rf4-posts.com/ru/spots/d0c6d9c6-4ebf-49a7-98a8-9a562553a8ee" rate_limit_secret: str = "change-rate-limit-secret" log_level: str = "INFO" cors_origins: list[str] = Field(default_factory=lambda: ["http://localhost:4321", "http://127.0.0.1:4321"]) diff --git a/apps/api/app/models.py b/apps/api/app/models.py index 6a1f864..4068654 100644 --- a/apps/api/app/models.py +++ b/apps/api/app/models.py @@ -148,6 +148,20 @@ class DataSource(Base): enabled: Mapped[bool] = mapped_column(default=True) +class CommunityImportRun(Base): + __tablename__ = "community_import_run" + id: Mapped[uuid.UUID] = mapped_column(primary_key=True, default=uuid.uuid4) + source_system: Mapped[str] = mapped_column(ForeignKey("data_source.key"), index=True) + source_url: Mapped[str] = mapped_column(Text) + started_at: Mapped[datetime] = mapped_column(DateTime(timezone=True), index=True) + finished_at: Mapped[datetime | None] = mapped_column(DateTime(timezone=True)) + status: Mapped[str] = mapped_column(String(30), index=True) + rows_seen: Mapped[int] = mapped_column(default=0) + rows_created: Mapped[int] = mapped_column(default=0) + rows_updated: Mapped[int] = mapped_column(default=0) + error_summary: Mapped[str | None] = mapped_column(Text) + + class ExternalObservation(Base): __tablename__ = "external_observation" __table_args__ = (UniqueConstraint("source_system", "source_external_id"),) diff --git a/apps/api/tests/test_community_scheduler.py b/apps/api/tests/test_community_scheduler.py new file mode 100644 index 0000000..49b8220 --- /dev/null +++ b/apps/api/tests/test_community_scheduler.py @@ -0,0 +1,14 @@ +import pytest +from pydantic import ValidationError + +from app.community_scheduler import configured_sources +from app.config import Settings + + +def test_all_authorized_sources_are_scheduled() -> None: + assert set(configured_sources()) == {"rf4db", "rf4stat-fishing", "rf4stat-post", "rf4map", "rf4posts-spot"} + + +def test_community_interval_cannot_be_less_than_30_minutes() -> None: + with pytest.raises(ValidationError): + Settings(community_import_interval_seconds=1799) diff --git a/compose.production.yaml b/compose.production.yaml index 6ec5de0..5daedb8 100644 --- a/compose.production.yaml +++ b/compose.production.yaml @@ -166,6 +166,35 @@ services: resources: limits: {cpus: "0.75", memory: 512M} + community-scheduler: + build: + context: . + dockerfile: apps/api/Dockerfile + restart: unless-stopped + environment: + DEPLOYMENT_ENVIRONMENT: production + DATABASE_URL: ${DATABASE_URL:?Set DATABASE_URL} + ADMIN_TOKEN: ${ADMIN_TOKEN:?Set ADMIN_TOKEN} + CORS_ORIGINS: '["https://${SITE_DOMAIN:?Set SITE_DOMAIN}"]' + S3_PUBLIC_ENDPOINT_URL: https://${FILES_DOMAIN:?Set FILES_DOMAIN} + S3_ACCESS_KEY: ${S3_ACCESS_KEY:?Set S3_ACCESS_KEY} + S3_SECRET_KEY: ${S3_SECRET_KEY:?Set S3_SECRET_KEY} + SEED_DEMO_DATA: "false" + RATE_LIMIT_SECRET: ${RATE_LIMIT_SECRET:?Set RATE_LIMIT_SECRET} + COMMUNITY_IMPORT_INTERVAL_SECONDS: ${COMMUNITY_IMPORT_INTERVAL_SECONDS:-1800} + RF4MAP_POINT_URL: ${RF4MAP_POINT_URL:-https://rf4map.ru/points/275} + RF4POSTS_SPOT_URL: ${RF4POSTS_SPOT_URL:-https://rf4-posts.com/ru/spots/d0c6d9c6-4ebf-49a7-98a8-9a562553a8ee} + LOG_LEVEL: ${LOG_LEVEL:-INFO} + depends_on: + api: {condition: service_healthy} + command: ["python", "-m", "app.community_scheduler"] + networks: [backend] + security_opt: [no-new-privileges:true] + logging: *default-logging + deploy: + resources: + limits: {cpus: "0.50", memory: 384M} + storage-tool: image: minio/mc:RELEASE.2025-07-21T05-28-08Z profiles: [tools] diff --git a/compose.yaml b/compose.yaml index 9e06fe4..4a08f4c 100644 --- a/compose.yaml +++ b/compose.yaml @@ -107,6 +107,22 @@ services: condition: service_healthy command: ["python", "-m", "app.scheduler"] + community-scheduler: + build: + context: . + dockerfile: apps/api/Dockerfile + profiles: ["scheduler"] + restart: unless-stopped + environment: + DATABASE_URL: postgresql+psycopg://rf4:rf4_local@db:5432/rf4_spotter + COMMUNITY_IMPORT_INTERVAL_SECONDS: ${COMMUNITY_IMPORT_INTERVAL_SECONDS:-1800} + RF4MAP_POINT_URL: ${RF4MAP_POINT_URL:-https://rf4map.ru/points/275} + RF4POSTS_SPOT_URL: ${RF4POSTS_SPOT_URL:-https://rf4-posts.com/ru/spots/d0c6d9c6-4ebf-49a7-98a8-9a562553a8ee} + LOG_LEVEL: ${LOG_LEVEL:-INFO} + depends_on: + api: {condition: service_healthy} + command: ["python", "-m", "app.community_scheduler"] + volumes: postgres_data: minio_data: diff --git a/deploy/test-production-bootstrap.sh b/deploy/test-production-bootstrap.sh index 3094384..27ed280 100755 --- a/deploy/test-production-bootstrap.sh +++ b/deploy/test-production-bootstrap.sh @@ -26,7 +26,7 @@ curl -fsS "http://127.0.0.1:$BOOTSTRAP_API_PORT/ready" >/dev/null curl -fsS "http://127.0.0.1:$BOOTSTRAP_WEB_PORT/" >/dev/null curl -fsS -D - -o /dev/null "http://127.0.0.1:$BOOTSTRAP_API_PORT/health" | grep -qi '^x-frame-options: DENY' curl -fsS -D - -o /dev/null "http://127.0.0.1:$BOOTSTRAP_API_PORT/health" | grep -qi '^cross-origin-opener-policy: same-origin' -test "$($compose exec -T db psql -At -U rf4 -d rf4_spotter -c 'select version_num from alembic_version')" = "0012" +test "$($compose exec -T db psql -At -U rf4 -d rf4_spotter -c 'select version_num from alembic_version')" = "0013" index_count=$($compose exec -T db psql -At -U rf4 -d rf4_spotter -c "select count(*) from pg_indexes where schemaname = 'public' and indexname in ('ix_catch_report_activity_lookup','ix_catch_report_spot_feed','ix_catch_report_moderation_queue','ix_catch_report_official_records','ix_official_import_source_status_started','ix_external_observation_review_queue','ix_submission_attempt_client_created','ix_moderation_event_created_at')") test "$index_count" = "8" test "$($compose exec -T db psql -At -U rf4 -d rf4_spotter -c 'select count(*) from fish')" = "2" diff --git a/docs/ROADMAP.md b/docs/ROADMAP.md index 5979e4d..619ffb1 100644 --- a/docs/ROADMAP.md +++ b/docs/ROADMAP.md @@ -135,7 +135,8 @@ ### Производительность, данные и эксплуатация -- [ ] Добавить управляемый scheduler всех разрешённых community-парсеров с cooldown ≥30 минут, PostgreSQL lock, backoff и журналом запусков. +- [x] Добавить scheduler всех пяти разрешённых community-парсеров с устойчивым cooldown ≥30 минут, PostgreSQL lock, журналом запусков и opt-in локальным профилем; backoff после повторных ошибок остаётся отдельным улучшением (7 сентября 2026). +- [ ] Добавить экспоненциальный backoff community scheduler после повторных ошибок, не уменьшая базовый интервал 30 минут. - [ ] Показывать публичное безопасное состояние источников: актуален, устарел, временно ограничен или изменился DOM. - [ ] Добавить короткое серверное кэширование публичных GET API и проверить корректную инвалидацию после публикации. - [ ] Настроить долгий immutable cache для хешированных assets и разумный cache для изображений/favicon. diff --git a/docs/data-permissions.md b/docs/data-permissions.md index 5526a57..1601832 100644 --- a/docs/data-permissions.md +++ b/docs/data-permissions.md @@ -32,9 +32,9 @@ - RF4DB: один запрос списка за ручной запуск; detail-страницы запрашиваются только адресно, без массового обхода. - RF4MAP: не чаще одного запроса раз в 30 минут. - RF4 Posts: не чаще одного запроса раз в 30 минут. -- все пять разрешённых community-адаптеров включены в реестре staging; регулярные scheduler-задачи остаются выключены; +- все пять разрешённых community-адаптеров включены; scheduler хранит cooldown в PostgreSQL и не запускает источник чаще одного раза в 30 минут; - при `429`, `403`, изменении DOM или неожиданном типе ответа сбор прекращается без попытки обхода ограничения. ## Что ещё требуется зафиксировать -Перед внешней публикацией необходимо приложить стороны и носитель исходного разрешения, обязательную формулировку атрибуции, срок хранения и процедуру удаления. Для RF4MAP/RF4 Posts точный минимальный интервал уже зафиксирован; автоматический scheduler пока не добавлен. +Перед внешней публикацией необходимо приложить стороны и носитель исходного разрешения, обязательную формулировку атрибуции, срок хранения и процедуру удаления. Для RF4MAP/RF4 Posts минимальный интервал зафиксирован и технически ограничен scheduler до 30 минут.