Compare commits

..
4 Commits
Author SHA1 Message Date
ik 72ae157ec3 fix: improve domain accessibility contrast
CI / backend-and-migrations (push) Canceled after 0s
CI / astro-build (push) Canceled after 0s
CI / dependency-audit (push) Canceled after 0s
CI / compose-e2e (push) Canceled after 0s
2026-09-20 19:25:18 +07:00
ik 25514d9377 test: cover waterbody error states 2026-09-20 19:18:51 +07:00
ik f02cb247a3 feat: add offline waterbody source crosswalk 2026-09-20 19:16:46 +07:00
ik d541443a1a test: cover tackle browser acceptance 2026-09-20 18:42:33 +07:00
16 changed files with 369 additions and 12 deletions

No files matched your search

+7 -2
View File
@@ -6,7 +6,7 @@
--surface-control: light-dark(#f3f6f1, #0a1d1f); --surface-control: light-dark(#f3f6f1, #0a1d1f);
--text-primary: light-dark(#092226, #edf5ef); --text-primary: light-dark(#092226, #edf5ef);
--text-secondary: light-dark(#526662, #b8c7c3); --text-secondary: light-dark(#526662, #b8c7c3);
--text-tertiary: light-dark(#647572, #93a7a2); --text-tertiary: light-dark(#5b6b68, #93a7a2);
--text-on-dark: #f5f8f3; --text-on-dark: #f5f8f3;
--border-strong: light-dark(#cbd6ce, #3a5658); --border-strong: light-dark(#cbd6ce, #3a5658);
--border-subtle: light-dark(#d6dfd7, #294244); --border-subtle: light-dark(#d6dfd7, #294244);
@@ -41,7 +41,7 @@
--source-official: light-dark(#815713, #e3b65b); --source-official: light-dark(#815713, #e3b65b);
--source-rf4db: light-dark(#245d78, #74bee3); --source-rf4db: light-dark(#245d78, #74bee3);
--source-rf4stat: light-dark(#60499a, #b7a2ed); --source-rf4stat: light-dark(#60499a, #b7a2ed);
--source-rf4map: light-dark(#2f704f, #79c79e); --source-rf4map: light-dark(#276044, #79c79e);
--source-rf4posts: light-dark(#984a33, #ee9a7e); --source-rf4posts: light-dark(#984a33, #ee9a7e);
--source-players: light-dark(#4b6419, #add066); --source-players: light-dark(#4b6419, #add066);
--graphic-line: light-dark(#3f7779, #79b5b8); --graphic-line: light-dark(#3f7779, #79b5b8);
@@ -127,6 +127,11 @@
.timeline-chart { border-color: var(--border-strong); background: repeating-linear-gradient(to top, transparent 0, transparent 35px, var(--border-subtle) 36px); } .timeline-chart { border-color: var(--border-strong); background: repeating-linear-gradient(to top, transparent 0, transparent 35px, var(--border-subtle) 36px); }
.timeline-slot strong { color: var(--text-primary); } .timeline-slot strong { color: var(--text-primary); }
.timeline-slot small, .activity-legend { color: var(--text-tertiary); } .timeline-slot small, .activity-legend { color: var(--text-tertiary); }
.spot-hero .eyebrow { color: var(--text-on-dark); }
.activity-legend { color: var(--text-secondary); }
.catch-list .tackle-label > span { color: var(--text-secondary); }
.catch-list span { color: var(--text-secondary); }
.catch-list .source-chip > span { color: var(--chip) !important; }
.catalog-hero { border-color: var(--border-strong); } .catalog-hero { border-color: var(--border-strong); }
.catalog-hero p, .catalog-results aside a, .catalog-grid span { color: var(--text-secondary); } .catalog-hero p, .catalog-results aside a, .catalog-grid span { color: var(--text-secondary); }
@@ -0,0 +1,15 @@
import AxeBuilder from "@axe-core/playwright";
import { expect, test } from "@playwright/test";
for (const path of [
"/waterbodies",
"/waterbodies/р-вьюнок",
"/spots/vyunok-321x654",
"/media",
]) {
test(`${path} has no serious accessibility violations`, async ({ page }) => {
await page.goto(path);
const results = await new AxeBuilder({ page }).withTags(["wcag2a", "wcag2aa", "wcag21aa"]).analyze();
expect(results.violations.filter(item => ["critical", "serious"].includes(item.impact ?? ""))).toEqual([]);
});
}
@@ -1,6 +1,10 @@
import { expect, test } from "@playwright/test"; import { expect, test } from "@playwright/test";
test("production bootstrap supports submission and moderation", async ({ page, request }) => { test("production bootstrap supports submission and moderation", async ({ page, request }) => {
test.skip(
!process.env.BOOTSTRAP_API_URL || !process.env.BOOTSTRAP_ADMIN_TOKEN,
"requires BOOTSTRAP_API_URL and BOOTSTRAP_ADMIN_TOKEN; run deploy/test-production-bootstrap.sh",
);
const player = `Bootstrap Player ${Date.now()}`; const player = `Bootstrap Player ${Date.now()}`;
const x = 7000 + Date.now() % 1000; const x = 7000 + Date.now() % 1000;
const y = x + 1; const y = x + 1;
+10
View File
@@ -0,0 +1,10 @@
import { expect, test } from "@playwright/test";
test("unknown spot exposes an unavailable state without a misleading coordinate", async ({ page }) => {
await page.goto("/spots/not-a-real-spot");
await expect(page.getByRole("heading", { name: "Точка недоступна" })).toBeVisible();
await expect(page.getByText("API не ответил или такой точки нет.")).toBeVisible();
await expect(page.getByRole("navigation", { name: "Навигационная цепочка" })).toContainText("Точка недоступна");
await expect(page.getByText(/Точность координат:/)).toHaveCount(0);
});
+18
View File
@@ -0,0 +1,18 @@
import { expect, test } from "@playwright/test";
test("tackle catalog exposes an explicit empty state for unmatched filters", async ({ page }) => {
await page.setViewportSize({ width: 320, height: 800 });
await page.goto("/tackle?category=lure&brand=NoSuchBrand&family=NoSuchFamily");
await expect(page.getByRole("heading", { name: "Подтверждённых карточек пока нет" })).toBeVisible();
await expect(page.getByRole("link", { name: "Сбросить" })).toHaveAttribute("href", "/tackle");
await expect(page.getByLabel("Категория")).toHaveValue("lure");
await expect(page.getByLabel("Бренд")).toHaveValue("NoSuchBrand");
await expect(page.getByLabel("Семейство")).toHaveValue("NoSuchFamily");
const dimensions = await page.evaluate(() => ({
clientWidth: document.documentElement.clientWidth,
scrollWidth: document.documentElement.scrollWidth,
}));
expect(dimensions.scrollWidth).toBeLessThanOrEqual(dimensions.clientWidth);
});
+27
View File
@@ -0,0 +1,27 @@
import { expect, test } from "@playwright/test";
test("waterbody detail preserves confirmed facts and empty activity state", async ({ page }) => {
await page.goto("/waterbodies/р-вьюнок");
await expect(page.locator("h1")).toHaveText("р. Вьюнок");
await expect(page.getByText("В карточке источника указано видов рыб: 29.")).toBeVisible();
await expect(page.getByText("Изображений-кандидатов: 2; публикация требует отдельной проверки.")).toBeVisible();
await expect(page.getByText("Свежих подтверждённых видов пока нет.")).toBeVisible();
await expect(page.getByText("Свежих точек пока нет")).toBeVisible();
});
test("unknown waterbody slug has a navigable not-found state", async ({ page }) => {
await page.goto("/waterbodies/not-a-real-waterbody");
await expect(page.getByRole("heading", { name: "Водоём не найден" })).toBeVisible();
await expect(page.getByRole("alert")).toContainText("Такого водоёма нет в справочнике");
await expect(page.getByRole("link", { name: "Открыть каталог" })).toHaveAttribute("href", "/waterbodies");
});
test("unknown waterbody/fish pair keeps a clear not-found state", async ({ page }) => {
await page.goto("/waterbodies/р-вьюнок/not-a-real-fish");
await expect(page.getByRole("heading", { name: "Данные не найдены" })).toBeVisible();
await expect(page.getByRole("alert")).toContainText("Такого сочетания нет в справочнике");
await expect(page.getByRole("link", { name: "Вернуться на главную" })).toHaveAttribute("href", "/");
});
+5 -5
View File
@@ -53,10 +53,10 @@
- [ ] **W02 · Карточки водоёмов RF4DB.** Строгий fixture-based parser `rf4db-waterbody` расширен под реальный DOM `/fishes/` и `/positions/`, regression-тесты, безопасный `update_waterbody_detail` и атомарный batch `update_waterbody_details`/`import-waterbody-details` готовы. Snapshots `level_000_home`, `level_001_lake` и `level_002_kirzah_river` сохранены. Добавлены guarded launcher `scripts/fetch-waterbodies-chromium.mjs` для обычной Chromium-сессии и offline-режим `scripts/fetch-waterbodies.py --html`; оба сохраняют snapshots атомарно, не импортируют их автоматически и используют общий cooldown, а Chromium-launcher сначала делает отдельную reserve-only операцию. Повторный разрешённый запрос `level_002_kirzah_river` 20.09 вернул совпадающие с canonical-каталогом имя, `29/29` видов и два URL изображений; snapshot импортирован в Compose PostgreSQL, `/health` и `/ready` успешны, публичная `/waterbodies/р-вьюнок` отвечает `200`. Описание и позиции источник не вернул, поэтому они оставлены `null`/пустыми без домыслов; изображения остаются только provenance-кандидатами и не публиковались. Три разрешённых запроса `level_019_american_pond` 20.09 завершились `403 Forbidden`, а текущий Chromium показывает защитную страницу Cloudflare: это блокировка HTTP-клиента источником, не ошибка атомарного сохранения launcher-а; snapshot и импорт не создавались, прежние подтверждённые данные и media не менялись. Одно промежуточное разрешённое окно 20.09 было зарезервировано CLI, но завершилось локальной DNS-ошибкой до ответа источника; повтор с сетевым доступом был остановлен общим cooldown до запроса. Следующий сетевой запуск допускается только после общего cooldown; полнота ответа остаётся неподтверждённой. CAPTCHA/challenge не автоматизируются. Осталось последовательно разобрать 16 detail-страниц. - [ ] **W02 · Карточки водоёмов RF4DB.** Строгий fixture-based parser `rf4db-waterbody` расширен под реальный DOM `/fishes/` и `/positions/`, regression-тесты, безопасный `update_waterbody_detail` и атомарный batch `update_waterbody_details`/`import-waterbody-details` готовы. Snapshots `level_000_home`, `level_001_lake` и `level_002_kirzah_river` сохранены. Добавлены guarded launcher `scripts/fetch-waterbodies-chromium.mjs` для обычной Chromium-сессии и offline-режим `scripts/fetch-waterbodies.py --html`; оба сохраняют snapshots атомарно, не импортируют их автоматически и используют общий cooldown, а Chromium-launcher сначала делает отдельную reserve-only операцию. Повторный разрешённый запрос `level_002_kirzah_river` 20.09 вернул совпадающие с canonical-каталогом имя, `29/29` видов и два URL изображений; snapshot импортирован в Compose PostgreSQL, `/health` и `/ready` успешны, публичная `/waterbodies/р-вьюнок` отвечает `200`. Описание и позиции источник не вернул, поэтому они оставлены `null`/пустыми без домыслов; изображения остаются только provenance-кандидатами и не публиковались. Три разрешённых запроса `level_019_american_pond` 20.09 завершились `403 Forbidden`, а текущий Chromium показывает защитную страницу Cloudflare: это блокировка HTTP-клиента источником, не ошибка атомарного сохранения launcher-а; snapshot и импорт не создавались, прежние подтверждённые данные и media не менялись. Одно промежуточное разрешённое окно 20.09 было зарезервировано CLI, но завершилось локальной DNS-ошибкой до ответа источника; повтор с сетевым доступом был остановлен общим cooldown до запроса. Следующий сетевой запуск допускается только после общего cooldown; полнота ответа остаётся неподтверждённой. CAPTCHA/challenge не автоматизируются. Осталось последовательно разобрать 16 detail-страниц.
- [ ] **W03 · Модель и provenance.** В модель `Waterbody`, API-каталог и миграции `0017`/`0019`/`0020` добавлены nullable-поля provenance, счётчик видов и detail-факты; идемпотентный upsert применён к canonical snapshot: `19/19`, без missing/duplicate/provenance issues. Осталось применить подтверждённые detail snapshots и отдельно разделить игровые и редакционные тексты при подключении detail-данных. - [ ] **W03 · Модель и provenance.** В модель `Waterbody`, API-каталог и миграции `0017`/`0019`/`0020` добавлены nullable-поля provenance, счётчик видов и detail-факты; идемпотентный upsert применён к canonical snapshot: `19/19`, без missing/duplicate/provenance issues. Осталось применить подтверждённые detail snapshots и отдельно разделить игровые и редакционные тексты при подключении detail-данных.
- [ ] **W04 · Классификация изображений.** Добавлены допустимые роли `waterbody_cover`, `waterbody_map`, `waterbody_depth_map`, `waterbody_screenshot` и проверка их назначения только через review для canonical waterbody. Кандидаты по-прежнему не получают роль автоматически. Осталось наполнить очередь detail-изображениями и провести contact-sheet review с проверкой dimensions, MIME, SHA-256, соответствия названию и источника. - [ ] **W04 · Классификация изображений.** Добавлены допустимые роли `waterbody_cover`, `waterbody_map`, `waterbody_depth_map`, `waterbody_screenshot` и проверка их назначения только через review для canonical waterbody. Кандидаты по-прежнему не получают роль автоматически. Осталось наполнить очередь detail-изображениями и провести contact-sheet review с проверкой dimensions, MIME, SHA-256, соответствия названию и источника.
- [ ] **W05 · Crosswalk источников.** Добавлен offline-конструктор консервативных предложений: нормализуются только точные имена/алиасы, неоднозначные и unmatched строки не получают canonical key; отсутствие ID выдаётся лишь диагностикой и не считается удалением. Осталось подать реальные RF4DB/RF4MAP/RF4 Posts identities и вручную подтвердить результаты, включая три ранее отмеченных отсутствующих RF4MAP объекта. - [ ] **W05 · Crosswalk источников.** Добавлен offline-конструктор консервативных предложений: нормализуются только точные имена/алиасы, неоднозначные и unmatched строки не получают canonical key; отсутствие ID выдаётся лишь диагностикой и не считается удалением. RF4MAP/RF4-STAT directory parsers теперь преобразуются в crosswalk identities без переноса метрик или автоматической привязки. Осталось подать полный набор реальных RF4DB/RF4MAP/RF4 Posts identities и вручную подтвердить результаты, включая три ранее отмеченных отсутствующих RF4MAP объекта.
- [ ] **W06 · Координаты и точность.** В `ExternalObservation`, staging, provenance опубликованного улова и публичных activity/spot-ответах добавлены `coordinate_raw`, `coordinate_precision = exact | approximate | area | missing` и список источников; RF4DB/RF4-STAT/RF4MAP/RF4 Posts parsers теперь протягивают исходную строку, включая строки без доступных числовых координат. Исправлена spot detail: точность (`точные`/`приблизительные`/`район`/`не указаны`) теперь видна рядом с координатами и покрыта smoke regression. In-app Chromium и focused smoke подтвердили `/spots/vyunok-321x654` на desktop/mobile без overflow. Осталась полная browser QA матрица для всех precision/error-состояний. - [ ] **W06 · Координаты и точность.** В `ExternalObservation`, staging, provenance опубликованного улова и публичных activity/spot-ответах добавлены `coordinate_raw`, `coordinate_precision = exact | approximate | area | missing` и список источников; RF4DB/RF4-STAT/RF4MAP/RF4 Posts parsers теперь протягивают исходную строку, включая строки без доступных числовых координат. Исправлена spot detail: точность (`точные`/`приблизительные`/`район`/`не указаны`) теперь видна рядом с координатами и покрыта smoke regression. In-app Chromium и focused smoke подтвердили `/spots/vyunok-321x654` на desktop/mobile без overflow; добавлен browser regression для отсутствующей точки без ложных координат. Осталась полная browser QA матрица для всех precision/error-состояний.
- [ ] **W07 · Публичный API и страницы.** API и detail-страница теперь выводят подтверждённые detail-факты водоёма: описание, уровень, количество видов, алиасы, число ссылок на точки и отдельный счётчик изображений-кандидатов; источники и непроверенные media не смешиваются. Осталось подключить только проверенные waterbody media roles и завершить browser QA, включая различение карты, заставки и абстрактного отпечатка. - [ ] **W07 · Публичный API и страницы.** API и detail-страница теперь выводят подтверждённые detail-факты водоёма: описание, уровень, количество видов, алиасы, число ссылок на точки и отдельный счётчик изображений-кандидатов; источники и непроверенные media не смешиваются. Осталось подключить только проверенные waterbody media roles и завершить browser QA, включая различение карты, заставки и абстрактного отпечатка.
- [ ] **W08 · Приёмка и эксплуатация.** Fixture-based parser tests, offline catalog/media audit и повторный idempotent import подтверждены: `created=0 updated=19`, в PostgreSQL ровно `19` RF4DB waterbodies плюс `2` legacy-записи, media audit сообщает `issues=[]` и `orphaned_files=[]`. In-app Chromium и focused smoke покрывают desktop/mobile основные страницы; остаются полная browser QA error/empty matrix и закрытие внешних detail-данных. Сетевые тесты не выполнять; регулярный импорт оставить opt-in и под общим cooldown/backoff. - [ ] **W08 · Приёмка и эксплуатация.** Fixture-based parser tests, offline catalog/media audit и повторный idempotent import подтверждены: `created=0 updated=19`, в PostgreSQL ровно `19` RF4DB waterbodies плюс `2` legacy-записи, media audit сообщает `issues=[]` и `orphaned_files=[]`. In-app Chromium и focused smoke покрывают desktop/mobile основные страницы; 20.09 targeted waterbody E2E подтвердил detail с пустой активностью, not-found waterbody и not-found waterbody/fish pair, а spot regression — unavailable state без ложной координаты; полный web E2E прошёл `27 passed, 1 skipped`, visual-matrix также прошёл. Остаются полная browser QA error/empty matrix и закрытие внешних detail-данных. Сетевые тесты не выполнять; регулярный импорт оставить opt-in и под общим cooldown/backoff.
### Каталог снастей, наживок и прочей оснастки ### Каталог снастей, наживок и прочей оснастки
@@ -74,7 +74,7 @@
- [ ] **G06 · API и публичный каталог.** Добавлены пагинированный `/api/v1/tackle/items` с фильтрами по категории, бренду, семейству и уровню, detail endpoints для предмета и монтажа, а также ordered `tackle_components` в ответе уловов точки. Ответы показывают только канонические характеристики, provenance, timestamp проверки и `missing_fields`; рейтинг эффективности не добавляется. Остаётся подключить публичные Astro-карточки и ссылки из всех нужных представлений улова. - [ ] **G06 · API и публичный каталог.** Добавлены пагинированный `/api/v1/tackle/items` с фильтрами по категории, бренду, семейству и уровню, detail endpoints для предмета и монтажа, а также ordered `tackle_components` в ответе уловов точки. Ответы показывают только канонические характеристики, provenance, timestamp проверки и `missing_fields`; рейтинг эффективности не добавляется. Остаётся подключить публичные Astro-карточки и ссылки из всех нужных представлений улова.
- [ ] **G07 · Аналитика сочетаний и рекомендации.** Добавлен `/api/v1/analytics/tackle`: approved-наблюдения группируются по роли и исходному компоненту с фильтрами водоёма, рыбы, метода и окна; дубликаты одного улова не увеличивают счётчик, а минимум наблюдений и независимых игроков отделяет факт использования от рекомендации. Пустая или малая выборка получает `insufficient_data`; decay по свежести и отдельные UI-состояния остаются следующим шагом. - [ ] **G07 · Аналитика сочетаний и рекомендации.** Добавлен `/api/v1/analytics/tackle`: approved-наблюдения группируются по роли и исходному компоненту с фильтрами водоёма, рыбы, метода и окна; дубликаты одного улова не увеличивают счётчик, а минимум наблюдений и независимых игроков отделяет факт использования от рекомендации. Пустая или малая выборка получает `insufficient_data`; decay по свежести и отдельные UI-состояния остаются следующим шагом.
- [ ] **G08 · Медиа и качество.** Добавлены отдельные reviewed-роли `tackle_card`, `tackle_detail`, `rig_diagram`, `tackle_screenshot` для `tackle`, а также CLI-параметр `--media-role`; offline audit отклоняет неизвестную роль и несовпадение роли с entity type. Существующие dimensions, MIME, SHA-256, прозрачность, aspect ratio, provenance и атомарное продвижение сохраняются. Остаётся провести реальный contact-sheet review для будущих tackle-кандидатов без автоматической публикации. - [ ] **G08 · Медиа и качество.** Добавлены отдельные reviewed-роли `tackle_card`, `tackle_detail`, `rig_diagram`, `tackle_screenshot` для `tackle`, а также CLI-параметр `--media-role`; offline audit отклоняет неизвестную роль и несовпадение роли с entity type. Существующие dimensions, MIME, SHA-256, прозрачность, aspect ratio, provenance и атомарное продвижение сохраняются. Остаётся провести реальный contact-sheet review для будущих tackle-кандидатов без автоматической публикации.
- [ ] **G09 · Приёмка и эксплуатация.** Добавлены fixture/regression tests для crosswalk, media roles, идемпотентных компонентов, пустых результатов и многокомпонентных наблюдений; каталог `/tackle` включён в visual-matrix, narrow smoke и accessibility routes. Offline catalog/media audits и сохранение старых данных при сбое проходят. Добавлен TEMP-only query-plan gate для фильтра каталога и группировки сочетаний: production-фильтры должны использовать индексы и укладываться в 250 мс. Остаются HTTP/browser acceptance для пустых, неоднозначных и многокомпонентных комплектов. Сетевые тесты не выполнять; импорт оставить opt-in, последовательным и под общим cooldown/backoff. Закрывать пакет только после проверяемого счётчика по каждой категории либо явной фиксации `unknown`. - [ ] **G09 · Приёмка и эксплуатация.** Добавлены fixture/regression tests для crosswalk, media roles, идемпотентных компонентов, пустых результатов и многокомпонентных наблюдений; каталог `/tackle` включён в visual-matrix, narrow smoke и accessibility routes. Offline catalog/media audits и сохранение старых данных при сбое импорта проходят. TEMP-only query-plan gate для фильтра каталога и группировки сочетаний использует индексы и укладывается в 250 мс. Chromium подтвердил empty-state публичного каталога и отсутствие overflow на 320 px; обычный E2E пропускает bootstrap без явных переменных, отдельный bootstrap с токеном проходит. Остаются HTTP/browser acceptance для неоднозначных и многокомпонентных комплектов, ручной visual review и проверяемый счётчик по категориям либо явный `unknown`. Сетевые тесты не выполнять; импорт оставить opt-in, последовательным и под общим cooldown/backoff.
### Тёмная тема ### Тёмная тема
@@ -86,7 +86,7 @@
- [x] **D04 · Сохранение и SSR-согласование.** Выбор хранится год в allowlist-cookie `rf4-theme` с `SameSite=Lax` и `Secure` на HTTPS; Astro SSR выставляет `data-theme` до отрисовки, а системный режим оставляет выбор браузеру. Собранный Astro client script переключает тему без inline-кода, localStorage и ослабления CSP. - [x] **D04 · Сохранение и SSR-согласование.** Выбор хранится год в allowlist-cookie `rf4-theme` с `SameSite=Lax` и `Secure` на HTTPS; Astro SSR выставляет `data-theme` до отрисовки, а системный режим оставляет выбор браузеру. Собранный Astro client script переключает тему без inline-кода, localStorage и ослабления CSP.
- [ ] **D05 · Темизация компонентов и графики.** На семантические light/dark-токены переведены базовые и admin-поверхности, header, каталог, breadcrumb-леска, ссылки сущностей, таблицы, формы, moderation-карточки, provenance/quality/status badges, паспорта данных, pagination, empty/loading-состояния, радар, timeline, силуэты и глифы; добавлен forced-colors layer. In-app Chromium подтвердил переключение light/dark/system на медиатеке во всех четырёх ширинах; standalone axe проходит `9/9` маршрутов, forced-colors и print regression подтверждены. Полная screenshot-матрица `156` PNG захватывается launcher-ом без document overflow; остаётся вручную проверить тени/градиенты и выбрать сохраняемый reference-набор. Источники и статусы сохраняют текстовые подписи и не различаются только цветом. - [ ] **D05 · Темизация компонентов и графики.** На семантические light/dark-токены переведены базовые и admin-поверхности, header, каталог, breadcrumb-леска, ссылки сущностей, таблицы, формы, moderation-карточки, provenance/quality/status badges, паспорта данных, pagination, empty/loading-состояния, радар, timeline, силуэты и глифы; добавлен forced-colors layer. In-app Chromium подтвердил переключение light/dark/system на медиатеке во всех четырёх ширинах; standalone axe проходит `9/9` маршрутов, forced-colors и print regression подтверждены. Полная screenshot-матрица `156` PNG захватывается launcher-ом без document overflow; остаётся вручную проверить тени/градиенты и выбрать сохраняемый reference-набор. Источники и статусы сохраняют текстовые подписи и не различаются только цветом.
- [x] **D06 · Метаданные браузера и CSP.** Добавлены парные `theme-color` для системной light/dark схемы; явный cookie-выбор согласуется с SSR и мгновенно переключает активный meta-тег. PWA manifest использует устойчивый тёмный brand chrome и splash background. Production build сохраняет `inlinedScripts: []`; новые inline script/style/attributes не появились, ослабление CSP не потребовалось. - [x] **D06 · Метаданные браузера и CSP.** Добавлены парные `theme-color` для системной light/dark схемы; явный cookie-выбор согласуется с SSR и мгновенно переключает активный meta-тег. PWA manifest использует устойчивый тёмный brand chrome и splash background. Production build сохраняет `inlinedScripts: []`; новые inline script/style/attributes не появились, ослабление CSP не потребовалось.
- [ ] **D07 · Визуальная и accessibility-приёмка.** In-app Chromium подтвердил отсутствие горизонтального scroll на публичных `/`, `/waterbodies`, `/records`, `/report`, `/status`, `/media`, `/rules`, waterbody detail `/waterbodies/р-вьюнок` и fish detail `/fish/pike`, а также admin `/admin`, `/admin/moderation`, `/admin/external-sources`, `/admin/media` в 320/390/768/1280 px; исправлены tablet header и media-grid overflow. Автоматизированный visual-matrix regression и `scripts/capture-visual-matrix.mjs` подтверждают 13 маршрутов × 4 ширины × 3 режима (`156` комбинаций): document overflow отсутствует, везде есть `main`/`h1`, SSR-тема совпадает; полная screenshot-матрица захвачена во внешнюю директорию. Для media и двух detail-страниц light/dark/system корректно переключаются, broken images — `0`; axe `9/9`, keyboard/focus, forced-colors и print-regression проходят. Остались ручная проверка shadows/gradients и выбор сохраняемого reference-набора. Для обеих тем обеспечить WCAG AA, отсутствие горизонтального scroll и CLS, reduced motion и переключение без потери введённых данных; сохранить эталонные screenshots и краткий отчёт. - [ ] **D07 · Визуальная и accessibility-приёмка.** In-app Chromium подтвердил отсутствие горизонтального scroll на публичных `/`, `/waterbodies`, `/records`, `/report`, `/status`, `/media`, `/rules`, waterbody detail `/waterbodies/р-вьюнок` и fish detail `/fish/pike`, а также admin `/admin`, `/admin/moderation`, `/admin/external-sources`, `/admin/media` в 320/390/768/1280 px; исправлены tablet header и media-grid overflow. Автоматизированный visual-matrix regression и `scripts/capture-visual-matrix.mjs` подтверждают 13 маршрутов × 4 ширины × 3 режима (`156` комбинаций): document overflow отсутствует, везде есть `main`/`h1`, SSR-тема совпадает; полная screenshot-матрица захвачена во внешнюю директорию. Для media и двух detail-страниц light/dark/system корректно переключаются, broken images — `0`; axe `9/9`, отдельная domain accessibility-проверка добавлена для `/waterbodies`, waterbody detail, spot detail и `/media`, keyboard/focus, forced-colors и print-regression проходят. Остались ручная проверка shadows/gradients и выбор сохраняемого reference-набора. Для обеих тем обеспечить WCAG AA, отсутствие горизонтального scroll и CLS, reduced motion и переключение без потери введённых данных; сохранить эталонные screenshots и краткий отчёт.
- [ ] **Q01 · Документы источников — реестр готов, нужны первичные подтверждения.** Создан единый production-gate с атрибуцией, общим лимитом 30 минут, хранением и процедурой отзыва для RF4DB, RF4-STAT, RF4MAP, RF4 Posts и официального RF4. До открытой публикации приложить устойчивые ссылки/копии первичных разрешений, контакты, даты и отдельно подтвердить право на изображения; пустое поле блокирует соответствующий источник. - [ ] **Q01 · Документы источников — реестр готов, нужны первичные подтверждения.** Создан единый production-gate с атрибуцией, общим лимитом 30 минут, хранением и процедурой отзыва для RF4DB, RF4-STAT, RF4MAP, RF4 Posts и официального RF4. До открытой публикации приложить устойчивые ссылки/копии первичных разрешений, контакты, даты и отдельно подтвердить право на изображения; пустое поле блокирует соответствующий источник.
- [x] **Q02 · Управляемое удаление источника.** Изменение ранее опубликованной записи возвращает её в staging, сбрасывает сопоставление и переводит связанный улов в pending с новой версией решения. Результат проверки хранится как `available`, `missing`, `temporary_error` или `blocked`: только подтверждённый `missing` отзывает публикацию, временная ошибка и блокировка остаются диагностикой. Повторное появление требует ручного подтверждения. Withdrawn-записи исключены из публичной активности, а статус и время проверки доступны в admin provenance и журнале решений. Отдельного сетевого обхода нет: Q03 подключит эту реакцию к разрешённому плановому запросу. - [x] **Q02 · Управляемое удаление источника.** Изменение ранее опубликованной записи возвращает её в staging, сбрасывает сопоставление и переводит связанный улов в pending с новой версией решения. Результат проверки хранится как `available`, `missing`, `temporary_error` или `blocked`: только подтверждённый `missing` отзывает публикацию, временная ошибка и блокировка остаются диагностикой. Повторное появление требует ручного подтверждения. Withdrawn-записи исключены из публичной активности, а статус и время проверки доступны в admin provenance и журнале решений. Отдельного сетевого обхода нет: Q03 подключит эту реакцию к разрешённому плановому запросу.
+4 -2
View File
@@ -57,14 +57,16 @@ Detail-страница дополнительно содержит ветер,
## Реализовано ## Реализовано
- `rf4_research/community_sources.py` — пять fail-closed HTML-парсеров; - `rf4_research/community_sources.py` — fail-closed HTML-парсеры уловов, точек и вторичных каталогов;
- `parse_rf4map_waterbodies` — отдельный fail-closed каталог вторичных RF4MAP candidates;
- `parse_rf4stat_waterbodies` — отдельный fail-closed каталог вторичных RF4-STAT metrics;
- `parse_rf4db_detail` — отдельное обогащение одного RF4DB-улова; - `parse_rf4db_detail` — отдельное обогащение одного RF4DB-улова;
- `python -m rf4_research.community_cli` — read-only CLI одного ограниченного снимка; - `python -m rf4_research.community_cli` — read-only CLI одного ограниченного снимка;
- обезличенные минимальные фикстуры для каждого контракта; - обезличенные минимальные фикстуры для каждого контракта;
- тесты всех извлекаемых полей, locked-координат и отказа на постороннем HTML; - тесты всех извлекаемых полей, locked-координат и отказа на постороннем HTML;
- живой контрольный прогон без сохранения персональных данных и изображений в репозиторий. - живой контрольный прогон без сохранения персональных данных и изображений в репозиторий.
На живых HTML-снимках RF4MAP и RF4 Posts получены соответственно 30 индивидуальных наблюдений и 6 видов рыб одной точки. Оба результата укладываются в nullable-контракт, имеют отдельные пространства ID и не смешиваются с RF4DB/RF4-STAT. Разрешение и минимальный интервал 30 минут подтверждены; все источники включены миграцией `0012`. RF4 Posts трактуется как агрегированная точка, а не индивидуальный улов. На живых HTML-снимках RF4MAP и RF4 Posts получены соответственно 30 индивидуальных наблюдений и 6 видов рыб одной точки. Оба результата укладываются в nullable-контракт, имеют отдельные пространства ID и не смешиваются с RF4DB/RF4-STAT. Для RF4MAP добавлен отдельный ручной parser каталога `/lakes`: он возвращает только вторичные candidates имени, внешнего ID и видового счётчика, не создаёт canonical waterbody и не назначает media. Разрешение и минимальный интервал 30 минут подтверждены; все источники включены миграцией `0012`. RF4 Posts трактуется как агрегированная точка, а не индивидуальный улов.
## Перед продуктивным импортом ## Перед продуктивным импортом
+6
View File
@@ -63,6 +63,12 @@ Telegram, Discord и VK могут давать свежие координат
Публичная detail-страница RF4MAP содержит в серверном HTML устойчивый ID наблюдения, координаты, ID и название рыбы, ID водоёма, дату, клипсу, необязательные приманку, автора и изображения. Контрольная точка содержала **30 отдельных наблюдений**. Веса нет. `robots.txt` разрешает публичные страницы и запрещает `/api/`; исследование использует только HTML одной страницы. Публичная detail-страница RF4MAP содержит в серверном HTML устойчивый ID наблюдения, координаты, ID и название рыбы, ID водоёма, дату, клипсу, необязательные приманку, автора и изображения. Контрольная точка содержала **30 отдельных наблюдений**. Веса нет. `robots.txt` разрешает публичные страницы и запрещает `/api/`; исследование использует только HTML одной страницы.
20 сентября 2026 года отдельный ручной каталог `https://rf4map.ru/lakes` успешно вернул **16** кандидатов водоёмов с внешними ID, названиями и частичным числом видов рыб. Это меньше canonical 19, поэтому результат остаётся вторичным crosswalk-набором и не импортируется в `waterbody` автоматически. Для запуска используется `python -m rf4_research.community_cli rf4map-waterbodies`; общий cooldown ключуется как `rf4map.ru`.
Для RF4-STAT добавлен аналогичный ручной parser публичного каталога `https://en.rf4-stat.ru/locations/`. Он сохраняет внешний ID, имя и видимые агрегаты уловов/видов рыб/наживок/точек, но не считает их canonical detail-фактами. Англоязычный домен нормализуется к общему cooldown `rf4-stat.ru`; автоматического импорта и объединения с RF4DB нет. В live-странице подтверждены ссылки на location IDs и публичные метрики; detail-страницы не запрашиваются автоматически.
Первый guarded probe этого CLI 20 сентября получил HTML, но не совпал с fixture-контрактом (`locations/location/*` не обнаружены). JSON не создан и импорт не выполнялся; до уточнения текущего DOM источник остаётся fail-closed.
Публичная detail-страница RF4 Posts содержит устойчивый UUID точки, координаты, slug водоёма, список slug рыб, способ ловли, оснастку, клипсу, дату и ссылки на доказательства. Русская локализация позволяет связать slug с отображаемым названием. Контрольный пост дал **6 записей видов рыб из одной точки**. Это инструкция по точке, а не шесть доказанных индивидуальных уловов, поэтому вес остаётся `null`, а происхождение сохраняет общий UUID поста. Публичная detail-страница RF4 Posts содержит устойчивый UUID точки, координаты, slug водоёма, список slug рыб, способ ловли, оснастку, клипсу, дату и ссылки на доказательства. Русская локализация позволяет связать slug с отображаемым названием. Контрольный пост дал **6 записей видов рыб из одной точки**. Это инструкция по точке, а не шесть доказанных индивидуальных уловов, поэтому вес остаётся `null`, а происхождение сохраняет общий UUID поста.
Оба fail-closed парсера добавлены в read-only исследовательский CLI и разрешены владельцем проекта с интервалом не менее 30 минут на сайт. CLI резервирует домен до запроса и отклоняет слишком ранний повтор любого endpoint, включая повтор после ошибки. В production все разрешённые адаптеры подключены к scheduler и staging; полные записи с подтверждёнными алиасами публикуются автоматически, остальные требуют проверки. RF4 Posts считается агрегированной точкой, а не набором взвешенных уловов. Оба fail-closed парсера добавлены в read-only исследовательский CLI и разрешены владельцем проекта с интервалом не менее 30 минут на сайт. CLI резервирует домен до запроса и отклоняет слишком ранний повтор любого endpoint, включая повтор после ошибки. В production все разрешённые адаптеры подключены к scheduler и staging; полные записи с подтверждёнными алиасами публикуются автоматически, остальные требуют проверки. RF4 Posts считается агрегированной точкой, а не набором взвешенных уловов.
+13 -1
View File
@@ -18,9 +18,11 @@ from .community_sources import (
parse_rf4db_waterbodies, parse_rf4db_waterbodies,
parse_rf4db_waterbody_detail, parse_rf4db_waterbody_detail,
parse_rf4map_point, parse_rf4map_point,
parse_rf4map_waterbodies,
parse_rf4posts_spot, parse_rf4posts_spot,
parse_rf4stat_fishing, parse_rf4stat_fishing,
parse_rf4stat_posts, parse_rf4stat_posts,
parse_rf4stat_waterbodies,
) )
@@ -29,6 +31,8 @@ SOURCES = {
"rf4db-waterbodies": ("https://rf4db.com/ru/maps", parse_rf4db_waterbodies), "rf4db-waterbodies": ("https://rf4db.com/ru/maps", parse_rf4db_waterbodies),
"rf4stat-fishing": ("https://rf4-stat.ru/fishing/", parse_rf4stat_fishing), "rf4stat-fishing": ("https://rf4-stat.ru/fishing/", parse_rf4stat_fishing),
"rf4stat-posts": ("https://rf4-stat.ru/posts/", parse_rf4stat_posts), "rf4stat-posts": ("https://rf4-stat.ru/posts/", parse_rf4stat_posts),
"rf4map-waterbodies": ("https://rf4map.ru/lakes", parse_rf4map_waterbodies),
"rf4stat-locations": ("https://en.rf4-stat.ru/locations/", parse_rf4stat_waterbodies),
} }
DETAIL_SOURCES = { DETAIL_SOURCES = {
"rf4db-waterbody": parse_rf4db_waterbody_detail, "rf4db-waterbody": parse_rf4db_waterbody_detail,
@@ -40,7 +44,7 @@ MIN_FETCH_INTERVAL_SECONDS = 30 * 60
DEFAULT_STATE_FILE = Path(".cache/community-fetch-state.json") DEFAULT_STATE_FILE = Path(".cache/community-fetch-state.json")
ALLOWED_HOSTS = frozenset({ ALLOWED_HOSTS = frozenset({
"download.rf4db.com", "rf4db.com", "oss.rf4db.com", "download.rf4db.com", "rf4db.com", "oss.rf4db.com",
"rf4-stat.ru", "rf4-stat.ru", "en.rf4-stat.ru",
"rf4map.ru", "gw.rf4map.ru", "hb.ru-msk.vkcloud-storage.ru", "rf4map.ru", "gw.rf4map.ru", "hb.ru-msk.vkcloud-storage.ru",
"rf4-posts.com", "rf4-posts.com",
"rf4game.de", "rf4game.ru", "rf4game.de", "rf4game.ru",
@@ -111,6 +115,8 @@ def fetch_site_key(url: str) -> str:
hostname = hostname[4:] hostname = hostname[4:]
elif hostname.startswith("cdn."): elif hostname.startswith("cdn."):
hostname = hostname[4:] hostname = hostname[4:]
elif hostname.endswith(".rf4-stat.ru"):
hostname = "rf4-stat.ru"
if hostname == "gw.rf4map.ru": if hostname == "gw.rf4map.ru":
hostname = "rf4map.ru" hostname = "rf4map.ru"
if not hostname: if not hostname:
@@ -304,6 +310,7 @@ def main(argv: list[str] | None = None) -> int:
parser = argparse.ArgumentParser(description="Fetch one authorized RF4 community source page") parser = argparse.ArgumentParser(description="Fetch one authorized RF4 community source page")
parser.add_argument("source", choices=(*SOURCES, *DETAIL_SOURCES)) parser.add_argument("source", choices=(*SOURCES, *DETAIL_SOURCES))
parser.add_argument("--url", help="Override the configured public page URL") parser.add_argument("--url", help="Override the configured public page URL")
parser.add_argument("--html", type=Path, help="Parse a previously saved HTML file without network or cooldown")
parser.add_argument("--limit", type=int, default=100, choices=range(1, 501), metavar="1..500") parser.add_argument("--limit", type=int, default=100, choices=range(1, 501), metavar="1..500")
parser.add_argument( parser.add_argument(
"--state-file", type=Path, "--state-file", type=Path,
@@ -315,11 +322,16 @@ def main(argv: list[str] | None = None) -> int:
help="Reserve the shared site cooldown and stop before making an HTTP request", help="Reserve the shared site cooldown and stop before making an HTTP request",
) )
args = parser.parse_args(argv) args = parser.parse_args(argv)
if args.html and args.reserve_only:
parser.error("--html cannot be combined with --reserve-only")
if args.source in DETAIL_SOURCES and not args.url: if args.source in DETAIL_SOURCES and not args.url:
parser.error(f"--url is required for {args.source}") parser.error(f"--url is required for {args.source}")
default_url, parse = SOURCES.get(args.source, (None, DETAIL_SOURCES.get(args.source))) default_url, parse = SOURCES.get(args.source, (None, DETAIL_SOURCES.get(args.source)))
url = args.url or default_url url = args.url or default_url
try: try:
if args.html:
html = args.html.read_text(encoding="utf-8")
else:
site_key = fetch_site_key(url) site_key = fetch_site_key(url)
# Single atomic check-and-reserve before network I/O: failed attempts count toward the limit too. # Single atomic check-and-reserve before network I/O: failed attempts count toward the limit too.
check_and_reserve(site_key, state_file=args.state_file) check_and_reserve(site_key, state_file=args.state_file)
+107
View File
@@ -127,6 +127,31 @@ class RF4DBWaterbodyDetail:
point_urls: tuple[str, ...] point_urls: tuple[str, ...]
@dataclass(frozen=True, slots=True)
class RF4MapWaterbodyCandidate:
"""Secondary waterbody directory facts; never a canonical catalog row."""
source_system: str
source_external_id: str
source_url: str
name: str
fish_species_count: int | None
@dataclass(frozen=True, slots=True)
class RF4StatWaterbodyCandidate:
"""Secondary RF4-STAT location metrics for crosswalk and comparison."""
source_system: str
source_external_id: str
source_url: str
name: str
catches_count: int | None
fish_species_count: int | None
bait_count: int | None
spot_count: int | None
def _text(node: Tag | None) -> str: def _text(node: Tag | None) -> str:
return " ".join(node.get_text(" ", strip=True).split()) if node else "" return " ".join(node.get_text(" ", strip=True).split()) if node else ""
@@ -254,6 +279,88 @@ def parse_rf4db_waterbodies(
return result return result
def parse_rf4map_waterbodies(
html: str, *, base_url: str = "https://rf4map.ru/lakes",
) -> list[RF4MapWaterbodyCandidate]:
"""Parse the public RF4MAP directory as secondary crosswalk candidates."""
soup = BeautifulSoup(html, "html.parser")
result: list[RF4MapWaterbodyCandidate] = []
seen: set[str] = set()
for link in soup.select('a[href^="/lakes/"]'):
href = link.get("href")
external_id = _key(href)
if not isinstance(href, str) or not external_id or external_id in seen:
continue
label = _text(link)
fish_match = re.search(r"(\d+)\s+вид(?:а|ов)?\s+рыб", label, flags=re.I)
name = re.sub(r"\s*\d+\s+вид(?:а|ов)?\s+рыб(?:ы)?\s*$", "", label, flags=re.I).strip()
name = re.sub(r"^\+\s*\d+\s+", "", name).strip()
if not name:
continue
seen.add(external_id)
result.append(RF4MapWaterbodyCandidate(
source_system="rf4map-waterbodies",
source_external_id=external_id,
source_url=urljoin(base_url, href),
name=name,
fish_species_count=int(fish_match.group(1)) if fish_match else None,
))
if not result:
raise CommunityParseError("RF4MAP waterbody directory not found")
return result
def parse_rf4stat_waterbodies(
html: str, *, base_url: str = "https://en.rf4-stat.ru/locations/",
) -> list[RF4StatWaterbodyCandidate]:
"""Parse public RF4-STAT location cards without treating metrics as canonical facts."""
soup = BeautifulSoup(html, "html.parser")
result: list[RF4StatWaterbodyCandidate] = []
seen: set[str] = set()
for link in soup.select('a[href*="/locations/location/"]'):
href = link.get("href")
external_id = _key(href)
if not isinstance(href, str) or not external_id or external_id in seen:
continue
container = link.find_parent(["article", "li"]) or link.parent
text = _text(container)
name = _text(link)
metric_texts = [
value for node in container.select("span, div, small, strong")
if (value := _text(node)) and value != name
]
metric_texts.append(text)
if not name:
continue
def metric(label: str) -> int | None:
patterns = (
rf"(?:{label})\s*:\s*([0-9]+(?: [0-9]{{3}})*)",
rf"([0-9]+(?: [0-9]{{3}})*)\s+(?:{label})",
)
for candidate in metric_texts:
for pattern in patterns:
match = re.search(pattern, candidate, flags=re.I)
if match:
return int(match.group(1).replace(" ", ""))
return None
seen.add(external_id)
result.append(RF4StatWaterbodyCandidate(
source_system="rf4stat-locations",
source_external_id=external_id,
source_url=urljoin(base_url, href),
name=name,
catches_count=metric(r"catches|улов"),
fish_species_count=metric(r"kinds of fish|вид(?:а|ов) рыб"),
bait_count=metric(r"baits|нажив"),
spot_count=metric(r"spots|точ(?:ек|ки)"),
))
if not result:
raise CommunityParseError("RF4-STAT waterbody directory not found")
return result
def _gear_level(value: str | None) -> int | None: def _gear_level(value: str | None) -> int | None:
text = (value or "").strip() text = (value or "").strip()
if not text: if not text:
+27
View File
@@ -3,6 +3,7 @@
from __future__ import annotations from __future__ import annotations
from dataclasses import dataclass from dataclasses import dataclass
from typing import Iterable, Protocol
from .media_assets import normalize_entity_label from .media_assets import normalize_entity_label
@@ -21,6 +22,14 @@ class WaterbodyIdentity:
name: str name: str
class WaterbodyCandidate(Protocol):
"""Minimum shape shared by parsed secondary-source candidates."""
source_system: str
source_external_id: str
name: str
@dataclass(frozen=True, slots=True) @dataclass(frozen=True, slots=True)
class CrosswalkSuggestion: class CrosswalkSuggestion:
source_system: str source_system: str
@@ -30,6 +39,24 @@ class CrosswalkSuggestion:
canonical_keys: tuple[str, ...] canonical_keys: tuple[str, ...]
def identities_from_candidates(
candidates: Iterable[WaterbodyCandidate],
) -> list[WaterbodyIdentity]:
"""Convert parser rows without selecting a canonical key.
Metrics, URLs, and other source facts stay outside the crosswalk
decision and must not influence automatic canonical matching.
"""
return [
WaterbodyIdentity(
source_system=row.source_system,
external_id=row.source_external_id,
name=row.name,
)
for row in candidates
]
def suggest_waterbody_crosswalk( def suggest_waterbody_crosswalk(
canonical: list[CanonicalWaterbody], identities: list[WaterbodyIdentity], canonical: list[CanonicalWaterbody], identities: list[WaterbodyIdentity],
) -> list[CrosswalkSuggestion]: ) -> list[CrosswalkSuggestion]:
+5
View File
@@ -0,0 +1,5 @@
<html><body>
<a href="/lakes/12">+ 35 р. Нижняя Тунгуска 38 видов рыбы</a>
<a href="/lakes/12">дубликат</a>
<a href="/lakes/16">оз. Комариное</a>
</body></html>
+12
View File
@@ -0,0 +1,12 @@
<html><body>
<ul>
<li>
<a href="/locations/location/1">Mosquito Lake</a>
<span>Catches: 254</span><span>42 baits</span><span>20 kinds of fish</span><span>9 spots</span>
</li>
<li>
<a href="/locations/location/19">Elk Lake</a>
<span>Catches: 520</span><span>121 baits</span><span>19 kinds of fish</span><span>11 spots</span>
</li>
</ul>
</body></html>
+64 -1
View File
@@ -5,7 +5,7 @@ import pytest
from rf4_research import community_cli from rf4_research import community_cli
from rf4_research.community_cli import enforce_fetch_interval, fetch_site_key, mark_fetch from rf4_research.community_cli import enforce_fetch_interval, fetch_site_key, mark_fetch
from rf4_research.community_sources import RF4DBWaterbodyDetail from rf4_research.community_sources import RF4DBWaterbodyDetail, RF4MapWaterbodyCandidate, RF4StatWaterbodyCandidate
def test_fetch_cooldown_is_persistent_per_source(tmp_path: Path) -> None: def test_fetch_cooldown_is_persistent_per_source(tmp_path: Path) -> None:
@@ -36,6 +36,7 @@ def test_fetch_site_key_normalizes_common_subdomains() -> None:
assert fetch_site_key("https://cdn.rf4db.com/assets/img.jpg") == "rf4db.com" assert fetch_site_key("https://cdn.rf4db.com/assets/img.jpg") == "rf4db.com"
assert fetch_site_key("https://oss.rf4db.com/game/fish/pike.webp") == "rf4db.com" assert fetch_site_key("https://oss.rf4db.com/game/fish/pike.webp") == "rf4db.com"
assert fetch_site_key("https://www.rf4db.com/") == "rf4db.com" assert fetch_site_key("https://www.rf4db.com/") == "rf4db.com"
assert fetch_site_key("https://en.rf4-stat.ru/locations/") == "rf4-stat.ru"
# Base domain stays the same # Base domain stays the same
assert fetch_site_key("https://rf4db.com/") == "rf4db.com" assert fetch_site_key("https://rf4db.com/") == "rf4db.com"
assert fetch_site_key("https://gw.rf4map.ru/public/images/fish.webp") == "rf4map.ru" assert fetch_site_key("https://gw.rf4map.ru/public/images/fish.webp") == "rf4map.ru"
@@ -72,6 +73,68 @@ def test_reserve_only_does_not_make_http_request(
assert payload == {"reserved": True, "source": "rf4db-waterbodies", "site_key": "rf4db.com"} assert payload == {"reserved": True, "source": "rf4db-waterbodies", "site_key": "rf4db.com"}
def test_rf4map_waterbody_directory_is_a_manual_source(
tmp_path: Path, monkeypatch: pytest.MonkeyPatch, capsys: pytest.CaptureFixture[str],
) -> None:
state_file = tmp_path / "fetch-state.json"
monkeypatch.setattr(community_cli, "fetch_html", lambda _url: "<html></html>")
monkeypatch.setitem(
community_cli.SOURCES,
"rf4map-waterbodies",
("https://rf4map.ru/lakes", lambda _html: [RF4MapWaterbodyCandidate(
source_system="rf4map-waterbodies", source_external_id="fixture",
source_url="https://rf4map.ru/lakes/fixture", name="fixture", fish_species_count=None,
)]),
)
assert community_cli.main([
"rf4map-waterbodies", "--state-file", str(state_file),
]) == 0
assert json.loads(capsys.readouterr().out)[0]["source_external_id"] == "fixture"
def test_rf4stat_location_directory_is_a_manual_source(
tmp_path: Path, monkeypatch: pytest.MonkeyPatch, capsys: pytest.CaptureFixture[str],
) -> None:
state_file = tmp_path / "fetch-state.json"
monkeypatch.setattr(community_cli, "fetch_html", lambda _url: "<html></html>")
monkeypatch.setitem(
community_cli.SOURCES,
"rf4stat-locations",
("https://en.rf4-stat.ru/locations/", lambda _html: [RF4StatWaterbodyCandidate(
source_system="rf4stat-locations", source_external_id="fixture",
source_url="https://en.rf4-stat.ru/locations/location/fixture", name="fixture",
catches_count=None, fish_species_count=None, bait_count=None, spot_count=None,
)]),
)
assert community_cli.main(["rf4stat-locations", "--state-file", str(state_file)]) == 0
assert json.loads(capsys.readouterr().out)[0]["source_external_id"] == "fixture"
def test_saved_html_source_does_not_reserve_or_make_http_request(
tmp_path: Path, monkeypatch: pytest.MonkeyPatch, capsys: pytest.CaptureFixture[str],
) -> None:
state_file = tmp_path / "fetch-state.json"
html_file = tmp_path / "source.html"
html_file.write_text("<html></html>", encoding="utf-8")
monkeypatch.setattr(community_cli, "fetch_html", lambda _url: (_ for _ in ()).throw(AssertionError("offline mode must not fetch")))
monkeypatch.setitem(
community_cli.SOURCES,
"rf4map-waterbodies",
("https://rf4map.ru/lakes", lambda _html: [RF4MapWaterbodyCandidate(
source_system="rf4map-waterbodies", source_external_id="fixture",
source_url="https://rf4map.ru/lakes/fixture", name="fixture", fish_species_count=None,
)]),
)
assert community_cli.main([
"rf4map-waterbodies", "--html", str(html_file), "--state-file", str(state_file),
]) == 0
assert not state_file.exists()
assert json.loads(capsys.readouterr().out)[0]["source_external_id"] == "fixture"
def test_detail_fetch_serializes_single_record( def test_detail_fetch_serializes_single_record(
tmp_path: Path, monkeypatch: pytest.MonkeyPatch, capsys: pytest.CaptureFixture[str], tmp_path: Path, monkeypatch: pytest.MonkeyPatch, capsys: pytest.CaptureFixture[str],
) -> None: ) -> None:
+45 -1
View File
@@ -10,13 +10,15 @@ from rf4_research.community_sources import (
parse_rf4db_waterbodies, parse_rf4db_waterbodies,
parse_rf4db_waterbody_detail, parse_rf4db_waterbody_detail,
parse_rf4map_point, parse_rf4map_point,
parse_rf4map_waterbodies,
parse_rf4posts_spot, parse_rf4posts_spot,
parse_rf4stat_fishing, parse_rf4stat_fishing,
parse_rf4stat_posts, parse_rf4stat_posts,
parse_rf4stat_waterbodies,
) )
from rf4_research.waterbody_crosswalk import ( from rf4_research.waterbody_crosswalk import (
CanonicalWaterbody, WaterbodyIdentity, missing_external_ids, CanonicalWaterbody, WaterbodyIdentity, missing_external_ids,
suggest_waterbody_crosswalk, identities_from_candidates, suggest_waterbody_crosswalk,
) )
@@ -69,6 +71,48 @@ def test_parses_rf4db_waterbody_catalog_without_inventing_image_roles() -> None:
assert rows[1].image_url == "https://rf4db.com/game/maps/level_000_cottage.webp" assert rows[1].image_url == "https://rf4db.com/game/maps/level_000_cottage.webp"
def test_parses_rf4map_waterbody_directory_as_secondary_candidates() -> None:
rows = parse_rf4map_waterbodies(fixture("rf4map_waterbodies_sample.html"))
assert [(row.source_external_id, row.name, row.fish_species_count) for row in rows] == [
("12", "р. Нижняя Тунгуска", 38),
("16", "оз. Комариное", None),
]
assert rows[0].source_system == "rf4map-waterbodies"
assert rows[0].source_url == "https://rf4map.ru/lakes/12"
def test_rf4map_waterbody_directory_rejects_unrelated_html() -> None:
with pytest.raises(CommunityParseError, match="RF4MAP waterbody directory not found"):
parse_rf4map_waterbodies("<html></html>")
def test_parses_rf4stat_waterbody_directory_metrics() -> None:
rows = parse_rf4stat_waterbodies(fixture("rf4stat_waterbodies_sample.html"))
assert [(row.source_external_id, row.name, row.catches_count, row.fish_species_count, row.bait_count, row.spot_count) for row in rows] == [
("1", "Mosquito Lake", 254, 20, 42, 9),
("19", "Elk Lake", 520, 19, 121, 11),
]
assert rows[0].source_url == "https://en.rf4-stat.ru/locations/location/1"
def test_rf4stat_waterbody_directory_rejects_unrelated_html() -> None:
with pytest.raises(CommunityParseError, match="RF4-STAT waterbody directory not found"):
parse_rf4stat_waterbodies("<html></html>")
def test_secondary_candidates_convert_to_crosswalk_identities_only() -> None:
candidates = parse_rf4map_waterbodies(fixture("rf4map_waterbodies_sample.html"))
identities = identities_from_candidates(candidates)
assert identities == [
WaterbodyIdentity("rf4map-waterbodies", "12", "р. Нижняя Тунгуска"),
WaterbodyIdentity("rf4map-waterbodies", "16", "оз. Комариное"),
]
def test_rf4db_waterbody_catalog_rejects_unrelated_html() -> None: def test_rf4db_waterbody_catalog_rejects_unrelated_html() -> None:
with pytest.raises(CommunityParseError, match="waterbody cards not found"): with pytest.raises(CommunityParseError, match="waterbody cards not found"):
parse_rf4db_waterbodies("<html></html>") parse_rf4db_waterbodies("<html></html>")