rf4-spotter/docs/data-permissions.md

Реестр разрешений и эксплуатационных ограничений источников

Этот файл фиксирует только подтверждённые внутри проекта решения. Он не заменяет письмо или иной первичный документ правообладателя.

RF4DB и RF4-STAT

• Статус: владелец проекта подтвердил наличие разрешения использовать данные RF4DB и RF4-STAT для этого проекта.
• Зафиксировано: 2 сентября 2026 года в рабочей переписке проекта.
• Разрешённый технический контур: получение публичного HTML, извлечение текстовых сведений об уловах, хранение исходной ссылки и нормализованных полей в закрытом staging.
• Изображения: не скачиваются, не проксируются и не архивируются без отдельного явно зафиксированного условия.
• Атрибуция: опубликованный улов обязан сохранять source_system, внешний ID и прямой source_url в provenance.
• Публичное отображение: каждая запись и агрегат обязаны показывать источник; неполные staging-наблюдения разрешено отображать сразу с прямой ссылкой, явной пометкой неполноты и перечнем отсутствующих полей, но без влияния на индекс активности.
• Объединение источников: автоматическое склеивание RF4DB и RF4-STAT запрещено, пока нет надёжного общего идентификатора.
• Публикация: автоматически по ранее вручную подтверждённым алиасам источника либо вручную; обязательны рыба, водоём, координаты и вес.

RF4MAP и RF4 Posts

• Статус: владелец проекта подтвердил разрешение использовать данные обоих источников.
• Зафиксировано: 5 сентября 2026 года в рабочей переписке проекта.
• Частота: не чаще одного получения страницы каждого источника раз в 30 минут.
• Разрешённый контур: публичные HTML-страницы, нормализация в ExternalCatch и закрытый staging; запрещённые в robots.txt API не запрашиваются.
• Изображения: сохраняются только исходные URL доказательств; файлы не скачиваются и не проксируются.
• Атрибуция и неполнота: на каждой публичной карточке показываются источник и ссылка; неполные наблюдения могут появляться сразу, если визуально отделены от подтверждённых данных и не участвуют в расчёте активности.
• Публикация: автоматически по подтверждённым алиасам либо вручную и только при выполнении общего требования рыба + водоём + координаты + вес. Текущие записи RF4MAP/RF4 Posts не имеют веса и остаются в staging.
• Семантика RF4 Posts: несколько видов одного поста остаются связанными с одним UUID точки и не считаются отдельными подтверждёнными взвешиваниями.

Лимиты запросов

До приложения первичного подтверждения действуют более строгие технические ограничения:

• RF4-STAT: не чаще одного запроса за пять секунд; один ограниченный снимок за ручной запуск.
• RF4DB: один запрос списка за ручной запуск; detail-страницы запрашиваются только адресно, без массового обхода.
• RF4MAP: не чаще одного запроса раз в 30 минут.
• RF4 Posts: не чаще одного запроса раз в 30 минут.
• все пять разрешённых community-адаптеров включены в реестре staging; регулярные scheduler-задачи остаются выключены;
• при 429, 403, изменении DOM или неожиданном типе ответа сбор прекращается без попытки обхода ограничения.

Что ещё требуется зафиксировать

Перед внешней публикацией необходимо приложить стороны и носитель исходного разрешения, обязательную формулировку атрибуции, срок хранения и процедуру удаления. Для RF4MAP/RF4 Posts точный минимальный интервал уже зафиксирован; автоматический scheduler пока не добавлен.