From d131662d5fa76156e30fdf267954c7b650eb42ed Mon Sep 17 00:00:00 2001 From: IK Date: Thu, 3 Sep 2026 18:53:24 +0700 Subject: [PATCH] docs: record source permissions and next steps --- README.md | 4 ++-- docs/ROADMAP.md | 18 +++++++++--------- docs/community-source-pilot.md | 2 ++ docs/data-permissions.md | 26 ++++++++++++++++++++++++++ 4 files changed, 39 insertions(+), 11 deletions(-) create mode 100644 docs/data-permissions.md diff --git a/README.md b/README.md index 7e6d4ea..d8958e0 100644 --- a/README.md +++ b/README.md @@ -13,7 +13,7 @@ RF4 Spotter — неофициальный сервис свежих точек Подробный план и актуальные чекбоксы находятся в [`docs/ROADMAP.md`](docs/ROADMAP.md). -Актуальная инвентаризация источников и правила подключения адаптеров находятся в [`docs/data-source-audit.md`](docs/data-source-audit.md). Разрешённый технический пилот RF4DB/RF4-STAT описан в [`docs/community-source-pilot.md`](docs/community-source-pilot.md); данные сохраняются только в промежуточный staging и не влияют на индекс без явной проверки и публикации администратором. +Актуальная инвентаризация источников и правила подключения адаптеров находятся в [`docs/data-source-audit.md`](docs/data-source-audit.md). Разрешённый технический пилот RF4DB/RF4-STAT описан в [`docs/community-source-pilot.md`](docs/community-source-pilot.md), а статус разрешений и лимитов — в [`docs/data-permissions.md`](docs/data-permissions.md). Данные сохраняются только в промежуточный staging и не влияют на индекс без явной проверки и публикации администратором. Один ограниченный снимок публичных карточек можно получить исследовательским CLI: @@ -164,4 +164,4 @@ python -m rf4_research.records \ --category records ``` -Команда делает один HTTP-запрос и печатает типизированные записи в JSON. Это исследовательский инструмент этапа 0; продуктивный адаптер находится в `apps/api/app/importer.py` и добавляет ограниченные повторы, условные HTTP-запросы, транзакции, дедупликацию и журнал запусков. Подтверждённая структура источника и риски описаны в [docs/data-sources.md](docs/data-sources.md). +Команда делает один HTTP-запрос и печатает типизированные записи в JSON. Исследовательский и продуктивный адаптеры используют общий fail-closed DOM-парсер `rf4_research/official_parser.py`; продуктивный слой добавляет ограниченные повторы, условные HTTP-запросы, транзакции, дедупликацию и журнал запусков. Подтверждённая структура источника и риски описаны в [docs/data-sources.md](docs/data-sources.md). diff --git a/docs/ROADMAP.md b/docs/ROADMAP.md index f0db6e7..69721bd 100644 --- a/docs/ROADMAP.md +++ b/docs/ROADMAP.md @@ -47,7 +47,7 @@ - [x] Добавить детерминированные агрегаты для окон 6, 12, 24 и 72 часа. - [x] На карточке и странице точки показывать человекочитаемое объяснение оценки и объём данных, на котором она основана (unit-тест объяснения и Astro build). - [x] Реализовать состояния «данных мало», «данных нет», «источник недоступен» и ошибки валидации фильтров (Astro build; браузерная проверка войдёт в общий прогон фильтров). -- [ ] Проверить фильтры главной страницы сквозным тестом на desktop и mobile. +- [x] Проверить фильтры главной страницы сквозным тестом на desktop и mobile (Playwright, 1280 px и 390 px). Критерий готовности: оценка объяснима, воспроизводима тестами и никогда не маскирует недостаток или устаревание данных. @@ -69,11 +69,11 @@ - [x] Провести аудит подключённых источников, потенциальных поставщиков и всех существующих парсеров; результат записан в `docs/data-source-audit.md`. - [x] Проверить оба официальных HTML-парсера на актуальной странице и добавить общий контрактный тест эквивалентности. - [x] Добавить `data_source` и алиасы рыб/водоёмов до подключения второго автоматического источника (миграции `0008`–`0009`; алиасы приманок уже нормализуются в `bait`). -- [ ] Вынести общий официальный DOM-парсер, устранив дублирование исследовательской и продуктивной реализации. -- [ ] Добавить отдельную фикстуру и безопасный ручной импорт недельных официальных рекордов одной категории. +- [x] Вынести общий официальный DOM-парсер, устранив дублирование исследовательской и продуктивной реализации (`rf4_research/official_parser.py`). +- [x] Добавить отдельную фикстуру и безопасный ручной импорт недельных официальных рекордов одной категории. - [x] Получено подтверждение владельца проекта о разрешениях RF4DB и RF4-STAT; добавлены пилотные HTML-парсеры и отчёт `docs/community-source-pilot.md`. - [x] Добавлены общий nullable-контракт, парсер detail-страницы RF4DB и ограниченный read-only CLI для RF4DB/RF4-STAT. -- [ ] Зафиксировать сами подтверждения разрешений и согласованные лимиты/атрибуцию в репозитории или закрытой операционной документации. +- [x] Зафиксировать проектное подтверждение разрешений, текущую атрибуцию и консервативные пилотные лимиты в `docs/data-permissions.md`; первичный документ и точные продуктивные условия ещё обязательны перед scheduler. - [x] Добавить staging-модель внешних наблюдений и идемпотентный импорт RF4DB/RF4-STAT без автоматического влияния на индекс (миграция `0008`, сквозной контрактный тест). - [x] Добавить административную очередь сопоставления staging-записей с каноническими рыбами/водоёмами и явную публикацию в `catch_report` (`/admin/external-sources`, миграция `0009`; неполные записи публиковать запрещено). - [ ] Согласовать один добровольный канал сообщества и правила происхождения, модерации и удаления сообщений. @@ -89,12 +89,12 @@ ## Ближайший рабочий пакет -Этап 3 завершён. Следующий пакет продолжает этап 4: +Лёгкий пакет по парсерам и фильтрам завершён. Следующий пакет готовит MVP к пилоту: -1. сквозная проверка фильтров главной страницы на desktop и mobile; -2. переход к health/readiness PostgreSQL, MinIO, API и импорта; -3. структурированные логи без пользовательских секретов; -4. CI для тестов, Astro build, E2E и миграций. +1. health/readiness PostgreSQL, MinIO, API и импорта; +2. структурированные логи без пользовательских секретов; +3. CI для тестов, Astro build, E2E и миграций; +4. backup/restore PostgreSQL и MinIO. После каждого пункта необходимо: diff --git a/docs/community-source-pilot.md b/docs/community-source-pilot.md index 13b8443..5e854f6 100644 --- a/docs/community-source-pilot.md +++ b/docs/community-source-pilot.md @@ -1,5 +1,7 @@ # Пилот парсинга RF4DB и RF4-STAT +Текущий статус разрешений, атрибуции и консервативных лимитов зафиксирован в `docs/data-permissions.md`. + Дата контрольного запуска: **3 сентября 2026 года**. Владелец RF4 Spotter подтвердил наличие разрешений на получение данных из обоих сервисов. Пилот использует только публичный HTML, не обращается к закрытым API, не обходит авторизацию/Premium и не скачивает изображения. ## RF4DB diff --git a/docs/data-permissions.md b/docs/data-permissions.md new file mode 100644 index 0000000..c5f8f27 --- /dev/null +++ b/docs/data-permissions.md @@ -0,0 +1,26 @@ +# Реестр разрешений и эксплуатационных ограничений источников + +Этот файл фиксирует только подтверждённые внутри проекта решения. Он не заменяет письмо или иной первичный документ правообладателя. + +## RF4DB и RF4-STAT + +- Статус: владелец проекта подтвердил наличие разрешения использовать данные RF4DB и RF4-STAT для этого проекта. +- Зафиксировано: 2 сентября 2026 года в рабочей переписке проекта. +- Разрешённый технический контур: получение публичного HTML, извлечение текстовых сведений об уловах, хранение исходной ссылки и нормализованных полей в закрытом staging. +- Изображения: не скачиваются, не проксируются и не архивируются без отдельного явно зафиксированного условия. +- Атрибуция: опубликованный улов обязан сохранять `source_system`, внешний ID и прямой `source_url` в provenance. +- Объединение источников: автоматическое склеивание RF4DB и RF4-STAT запрещено, пока нет надёжного общего идентификатора. +- Публикация: только вручную, после канонического сопоставления; обязательны рыба, водоём, координаты и вес. + +## Лимиты запросов + +До приложения первичного подтверждения действуют более строгие технические ограничения: + +- RF4-STAT: не чаще одного запроса за пять секунд; один ограниченный снимок за ручной запуск. +- RF4DB: один запрос списка за ручной запуск; detail-страницы запрашиваются только адресно, без массового обхода. +- регулярные scheduler-задачи для обоих источников выключены; +- при `429`, `403`, изменении DOM или неожиданном типе ответа сбор прекращается без попытки обхода ограничения. + +## Что ещё требуется зафиксировать + +Перед включением регулярного сбора в этот файл или закрытую операционную документацию необходимо приложить дату, стороны и носитель исходного разрешения, точные суточные/минутные лимиты, обязательную формулировку атрибуции, срок хранения и процедуру удаления. Пока эти поля не заполнены, разрешение считается достаточным только для текущего ручного пилота.