docs: record source permissions and next steps

2026-09-03 18:53:24 +07:00
parent e5f26adba1
commit d131662d5f
4 changed files with 39 additions and 11 deletions
@@ -13,7 +13,7 @@ RF4 Spotter — неофициальный сервис свежих точек
 Подробный план и актуальные чекбоксы находятся в [`docs/ROADMAP.md`](docs/ROADMAP.md).
-Актуальная инвентаризация источников и правила подключения адаптеров находятся в [`docs/data-source-audit.md`](docs/data-source-audit.md). Разрешённый технический пилот RF4DB/RF4-STAT описан в [`docs/community-source-pilot.md`](docs/community-source-pilot.md); данные сохраняются только в промежуточный staging и не влияют на индекс без явной проверки и публикации администратором.
+Актуальная инвентаризация источников и правила подключения адаптеров находятся в [`docs/data-source-audit.md`](docs/data-source-audit.md). Разрешённый технический пилот RF4DB/RF4-STAT описан в [`docs/community-source-pilot.md`](docs/community-source-pilot.md), а статус разрешений и лимитов — в [`docs/data-permissions.md`](docs/data-permissions.md). Данные сохраняются только в промежуточный staging и не влияют на индекс без явной проверки и публикации администратором.
 Один ограниченный снимок публичных карточек можно получить исследовательским CLI:
@@ -164,4 +164,4 @@ python -m rf4_research.records \
  --category records
 ```
-Команда делает один HTTP-запрос и печатает типизированные записи в JSON. Это исследовательский инструмент этапа 0; продуктивный адаптер находится в `apps/api/app/importer.py` и добавляет ограниченные повторы, условные HTTP-запросы, транзакции, дедупликацию и журнал запусков. Подтверждённая структура источника и риски описаны в [docs/data-sources.md](docs/data-sources.md).
+Команда делает один HTTP-запрос и печатает типизированные записи в JSON. Исследовательский и продуктивный адаптеры используют общий fail-closed DOM-парсер `rf4_research/official_parser.py`; продуктивный слой добавляет ограниченные повторы, условные HTTP-запросы, транзакции, дедупликацию и журнал запусков. Подтверждённая структура источника и риски описаны в [docs/data-sources.md](docs/data-sources.md).
@@ -47,7 +47,7 @@
 - [x] Добавить детерминированные агрегаты для окон 6, 12, 24 и 72 часа.
 - [x] На карточке и странице точки показывать человекочитаемое объяснение оценки и объём данных, на котором она основана (unit-тест объяснения и Astro build).
 - [x] Реализовать состояния «данных мало», «данных нет», «источник недоступен» и ошибки валидации фильтров (Astro build; браузерная проверка войдёт в общий прогон фильтров).
- [ ] Проверить фильтры главной страницы сквозным тестом на desktop и mobile.
+- [x] Проверить фильтры главной страницы сквозным тестом на desktop и mobile (Playwright, 1280 px и 390 px).
 Критерий готовности: оценка объяснима, воспроизводима тестами и никогда не маскирует недостаток или устаревание данных.
@@ -69,11 +69,11 @@
 - [x] Провести аудит подключённых источников, потенциальных поставщиков и всех существующих парсеров; результат записан в `docs/data-source-audit.md`.
 - [x] Проверить оба официальных HTML-парсера на актуальной странице и добавить общий контрактный тест эквивалентности.
 - [x] Добавить `data_source` и алиасы рыб/водоёмов до подключения второго автоматического источника (миграции `0008`–`0009`; алиасы приманок уже нормализуются в `bait`).
- [ ] Вынести общий официальный DOM-парсер, устранив дублирование исследовательской и продуктивной реализации.
+- [x] Вынести общий официальный DOM-парсер, устранив дублирование исследовательской и продуктивной реализации (`rf4_research/official_parser.py`).
- [ ] Добавить отдельную фикстуру и безопасный ручной импорт недельных официальных рекордов одной категории.
+- [x] Добавить отдельную фикстуру и безопасный ручной импорт недельных официальных рекордов одной категории.
 - [x] Получено подтверждение владельца проекта о разрешениях RF4DB и RF4-STAT; добавлены пилотные HTML-парсеры и отчёт `docs/community-source-pilot.md`.
 - [x] Добавлены общий nullable-контракт, парсер detail-страницы RF4DB и ограниченный read-only CLI для RF4DB/RF4-STAT.
- [ ] Зафиксировать сами подтверждения разрешений и согласованные лимиты/атрибуцию в репозитории или закрытой операционной документации.
+- [x] Зафиксировать проектное подтверждение разрешений, текущую атрибуцию и консервативные пилотные лимиты в `docs/data-permissions.md`; первичный документ и точные продуктивные условия ещё обязательны перед scheduler.
 - [x] Добавить staging-модель внешних наблюдений и идемпотентный импорт RF4DB/RF4-STAT без автоматического влияния на индекс (миграция `0008`, сквозной контрактный тест).
 - [x] Добавить административную очередь сопоставления staging-записей с каноническими рыбами/водоёмами и явную публикацию в `catch_report` (`/admin/external-sources`, миграция `0009`; неполные записи публиковать запрещено).
 - [ ] Согласовать один добровольный канал сообщества и правила происхождения, модерации и удаления сообщений.
@@ -89,12 +89,12 @@
 ## Ближайший рабочий пакет
-Этап 3 завершён. Следующий пакет продолжает этап 4:
+Лёгкий пакет по парсерам и фильтрам завершён. Следующий пакет готовит MVP к пилоту:
-1. сквозная проверка фильтров главной страницы на desktop и mobile;
+1. health/readiness PostgreSQL, MinIO, API и импорта;
-2. переход к health/readiness PostgreSQL, MinIO, API и импорта;
+2. структурированные логи без пользовательских секретов;
-3. структурированные логи без пользовательских секретов;
+3. CI для тестов, Astro build, E2E и миграций;
-4. CI для тестов, Astro build, E2E и миграций.
+4. backup/restore PostgreSQL и MinIO.
 После каждого пункта необходимо:
@@ -1,5 +1,7 @@
 # Пилот парсинга RF4DB и RF4-STAT
 Текущий статус разрешений, атрибуции и консервативных лимитов зафиксирован в `docs/data-permissions.md`.
 Дата контрольного запуска: **3 сентября 2026 года**. Владелец RF4 Spotter подтвердил наличие разрешений на получение данных из обоих сервисов. Пилот использует только публичный HTML, не обращается к закрытым API, не обходит авторизацию/Premium и не скачивает изображения.
 ## RF4DB
@@ -0,0 +1,26 @@
 # Реестр разрешений и эксплуатационных ограничений источников
 Этот файл фиксирует только подтверждённые внутри проекта решения. Он не заменяет письмо или иной первичный документ правообладателя.
 ## RF4DB и RF4-STAT
 - Статус: владелец проекта подтвердил наличие разрешения использовать данные RF4DB и RF4-STAT для этого проекта.
 - Зафиксировано: 2 сентября 2026 года в рабочей переписке проекта.
 - Разрешённый технический контур: получение публичного HTML, извлечение текстовых сведений об уловах, хранение исходной ссылки и нормализованных полей в закрытом staging.
 - Изображения: не скачиваются, не проксируются и не архивируются без отдельного явно зафиксированного условия.
 - Атрибуция: опубликованный улов обязан сохранять `source_system`, внешний ID и прямой `source_url` в provenance.
 - Объединение источников: автоматическое склеивание RF4DB и RF4-STAT запрещено, пока нет надёжного общего идентификатора.
 - Публикация: только вручную, после канонического сопоставления; обязательны рыба, водоём, координаты и вес.
 ## Лимиты запросов
 До приложения первичного подтверждения действуют более строгие технические ограничения:
 - RF4-STAT: не чаще одного запроса за пять секунд; один ограниченный снимок за ручной запуск.
 - RF4DB: один запрос списка за ручной запуск; detail-страницы запрашиваются только адресно, без массового обхода.
 - регулярные scheduler-задачи для обоих источников выключены;
 - при `429`, `403`, изменении DOM или неожиданном типе ответа сбор прекращается без попытки обхода ограничения.
 ## Что ещё требуется зафиксировать
 Перед включением регулярного сбора в этот файл или закрытую операционную документацию необходимо приложить дату, стороны и носитель исходного разрешения, точные суточные/минутные лимиты, обязательную формулировку атрибуции, срок хранения и процедуру удаления. Пока эти поля не заполнены, разрешение считается достаточным только для текущего ручного пилота.