fix: make media provenance explicit
CI / backend-and-migrations (push) Failing after 38s
CI / astro-build (push) Failing after 39s
CI / dependency-audit (push) Failing after 46s
CI / compose-e2e (push) Failing after 41s

This commit is contained in:
ik
2026-09-22 20:02:40 +07:00
parent 1920475580
commit a357988f93
4 changed files with 36 additions and 4 deletions
+19 -2
View File
@@ -3,6 +3,7 @@ from __future__ import annotations
import json import json
import os import os
from pathlib import Path from pathlib import Path
from urllib.parse import urlsplit
MEDIA_ROOT = Path(os.environ.get("MEDIA_ROOT", "data/media")).resolve() MEDIA_ROOT = Path(os.environ.get("MEDIA_ROOT", "data/media")).resolve()
@@ -12,6 +13,22 @@ KNOWN_MEDIA_ROLES = WATERBODY_MEDIA_ROLES | TACKLE_MEDIA_ROLES
MEDIA_ROLES_BY_ENTITY = {"waterbody": WATERBODY_MEDIA_ROLES, "tackle": TACKLE_MEDIA_ROLES} MEDIA_ROLES_BY_ENTITY = {"waterbody": WATERBODY_MEDIA_ROLES, "tackle": TACKLE_MEDIA_ROLES}
def _source_system(source_page: object) -> str:
"""Map only allowlisted hostnames; never promote an unknown URL to official."""
try:
parsed = urlsplit(str(source_page or ""))
except ValueError:
return "unknown"
hostname = (parsed.hostname or "").lower().rstrip(".")
if hostname == "rf4db.com" or hostname.endswith(".rf4db.com"):
return "rf4db"
if hostname == "rf4map.ru" or hostname.endswith(".rf4map.ru"):
return "rf4map"
if hostname == "rf4-stat.ru" or hostname.endswith(".rf4-stat.ru"):
return "rf4stat"
return "unknown"
def media_manifest_version() -> int: def media_manifest_version() -> int:
manifest = json.loads((MEDIA_ROOT / "manifest.json").read_text(encoding="utf-8")) manifest = json.loads((MEDIA_ROOT / "manifest.json").read_text(encoding="utf-8"))
return max(1, int(manifest.get("version", 1))) return max(1, int(manifest.get("version", 1)))
@@ -42,7 +59,7 @@ def published_assets(entity_type: str | None = None, media_role: str | None = No
if not _public_role_allowed(item.get("entity_type"), item.get("media_role")): if not _public_role_allowed(item.get("entity_type"), item.get("media_role")):
continue continue
source_page = str(item.get("source_page") or "") source_page = str(item.get("source_page") or "")
source = "rf4db" if "rf4db.com" in source_page else "rf4map" if "rf4map.ru" in source_page else "rf4-official" source = _source_system(source_page)
result.append({ result.append({
"id": item["sha256"], "id": item["sha256"],
"entity_type": item.get("entity_type"), "entity_type": item.get("entity_type"),
@@ -117,7 +134,7 @@ def review_assets(
if len(digest) != 64 or not item.get("local_path"): if len(digest) != 64 or not item.get("local_path"):
continue continue
source_page = str(item.get("source_page") or "") source_page = str(item.get("source_page") or "")
source = "rf4db" if "rf4db.com" in source_page else "rf4map" if "rf4map.ru" in source_page else "rf4-official" source = _source_system(source_page)
result.append({ result.append({
"id": digest, "id": digest,
"status": item_status, "status": item_status,
+14
View File
@@ -18,3 +18,17 @@ def test_public_media_catalog_rejects_unknown_and_cross_entity_roles(tmp_path, m
rows = media_catalog.published_assets() rows = media_catalog.published_assets()
assert [row["id"] for row in rows] == ["d" * 64, "a" * 64] assert [row["id"] for row in rows] == ["d" * 64, "a" * 64]
def test_media_catalog_does_not_infer_official_source_from_url_substrings(tmp_path, monkeypatch) -> None:
manifest = {"assets": [
{"status": "approved", "sha256": "e" * 64, "local_path": "asset.webp", "entity_type": "fish", "entity_key": "pike", "source_page": "https://rf4db.com.attacker.test/pike"},
{"status": "approved", "sha256": "f" * 64, "local_path": "asset2.webp", "entity_type": "fish", "entity_key": "pike", "source_page": "https://rf4db.com/ru/fish/pike"},
]}
(tmp_path / "manifest.json").write_text(json.dumps(manifest), encoding="utf-8")
monkeypatch.setattr(media_catalog, "MEDIA_ROOT", tmp_path)
rows = {row["id"]: row for row in media_catalog.published_assets()}
assert rows["e" * 64]["source_system"] == "unknown"
assert rows["f" * 64]["source_system"] == "rf4db"
+2 -1
View File
@@ -4,6 +4,7 @@ import type { MediaAsset } from "../lib/api";
import { mediaRoleLabel } from "../lib/media"; import { mediaRoleLabel } from "../lib/media";
const { asset, compact = false, sourceLink = false } = Astro.props as { asset: MediaAsset; compact?: boolean; sourceLink?: boolean }; const { asset, compact = false, sourceLink = false } = Astro.props as { asset: MediaAsset; compact?: boolean; sourceLink?: boolean };
const isLowResolution = Math.min(asset.width, asset.height) < 256; const isLowResolution = Math.min(asset.width, asset.height) < 256;
const hasCardVariant = (asset.variants ?? []).some(item => item.role === "card" && Math.min(item.width, item.height) >= 256);
--- ---
<figure class:list={["entity-media", { "entity-media--compact": compact }]}> <figure class:list={["entity-media", { "entity-media--compact": compact }]}>
<span class="entity-media__frame"><picture> <span class="entity-media__frame"><picture>
@@ -13,5 +14,5 @@ const isLowResolution = Math.min(asset.width, asset.height) < 256;
})} })}
<img src={asset.image_url} alt={asset.label ?? "Иллюстрация RF4"} width={asset.width} height={asset.height} loading="lazy" decoding="async" /> <img src={asset.image_url} alt={asset.label ?? "Иллюстрация RF4"} width={asset.width} height={asset.height} loading="lazy" decoding="async" />
</picture></span> </picture></span>
<figcaption><SourceBadge source={asset.source_system} href={sourceLink ? asset.source_url : undefined} /><span>{asset.label ?? "Справочный материал"}</span>{asset.media_role && <small data-media-role={asset.media_role}>{mediaRoleLabel(asset.media_role)}</small>}{isLowResolution && <small class="entity-media__quality" title="Источник не содержит более крупной проверенной версии">Низкое разрешение · {asset.width}×{asset.height}</small>}</figcaption> <figcaption><SourceBadge source={asset.source_system} href={sourceLink ? asset.source_url : undefined} /><span>{asset.label ?? "Справочный материал"}</span>{asset.media_role && <small data-media-role={asset.media_role}>{mediaRoleLabel(asset.media_role)}</small>}{isLowResolution && <small class="entity-media__quality" title={hasCardVariant ? "Доступна более крупная проверенная версия" : "В опубликованном наборе нет более крупной проверенной версии"}>{hasCardVariant ? "Миниатюра · доступна версия крупнее" : "Низкое разрешение · проверенная альтернатива не найдена"} · {asset.width}×{asset.height}</small>}</figcaption>
</figure> </figure>
+1 -1
View File
@@ -34,7 +34,7 @@ R-пункты уточняют критерии существующих B/G/U/
- [x] **R09 · P1 · Полное удаление личных данных.** Retention и admin-delete загружают дочерние компоненты, очищают их `source_url/raw_payload` вместе с родительским report и сбрасывают upload-token; retention теперь обнаруживает старые reports даже при уже очищенных родительских полях, если provenance осталась в component. Повторная очистка остаётся безопасной; S3/БД failure drill — отдельный эксплуатационный gate. - [x] **R09 · P1 · Полное удаление личных данных.** Retention и admin-delete загружают дочерние компоненты, очищают их `source_url/raw_payload` вместе с родительским report и сбрасывают upload-token; retention теперь обнаруживает старые reports даже при уже очищенных родительских полях, если provenance осталась в component. Повторная очистка остаётся безопасной; S3/БД failure drill — отдельный эксплуатационный gate.
- [x] **R10 · P1 · Единый cooldown и стадии запроса.** Community CLI уже освобождал резерв до HTTP-ответа; media CLI теперь использует тот же контракт: DNS/connection/OSError освобождают только собственный резерв, HTTPError или ошибка валидированного тела сохраняют cooldown, batch освобождает окно только если ни один asset не получил ответ. Offline regression добавлен; scheduler сохраняет site-wide координацию. - [x] **R10 · P1 · Единый cooldown и стадии запроса.** Community CLI уже освобождал резерв до HTTP-ответа; media CLI теперь использует тот же контракт: DNS/connection/OSError освобождают только собственный резерв, HTTPError или ошибка валидированного тела сохраняют cooldown, batch освобождает окно только если ни один asset не получил ответ. Offline regression добавлен; scheduler сохраняет site-wide координацию.
- [ ] **R18 · P1 · Границы локального и production запуска.** Loopback для dev-портов с явным opt-in LAN; проверить доверенные proxy/client-IP и rate-limit на двух клиентах. Критерий: default dev не открыт в LAN, production различает клиентов. Реальные серверные gates — A07. - [ ] **R18 · P1 · Границы локального и production запуска.** Loopback для dev-портов с явным opt-in LAN; проверить доверенные proxy/client-IP и rate-limit на двух клиентах. Критерий: default dev не открыт в LAN, production различает клиентов. Реальные серверные gates — A07.
- [ ] **R11 · P2 · Честное качество и происхождение media (B25).** Unknown вместо ложного official, hostname allowlist, размеры отдельно от наличия альтернатив, compact подписи и cache/revocation-политика. Критерий: длинные подписи читаемы, неизвестный источник не становится официальным. - [x] **R11 · P2 · Честное качество и происхождение media (B25).** API использует точный hostname allowlist для `rf4db`/`rf4map`/`rf4-stat`, неизвестные и malformed URL получают `unknown`, а не ложный `rf4-official`. UI различает низкое разрешение и наличие проверенной card-версии, не утверждая отсутствие альтернатив без данных manifest. Cache/revocation и production visual acceptance остаются отдельными gates.
- [ ] **R14 · P2 · Подтверждённый каталог и demo seed.** Отделить справочник от неподтверждённых описаний/точек, показывать loaded count и внешнюю полноту/unknown раздельно. Критерий: production без demo не создаёт вымышленных описаний, media count не подменяет canonical count. - [ ] **R14 · P2 · Подтверждённый каталог и demo seed.** Отделить справочник от неподтверждённых описаний/точек, показывать loaded count и внешнюю полноту/unknown раздельно. Критерий: production без demo не создаёт вымышленных описаний, media count не подменяет canonical count.
- [ ] **R15 · P2 · Восстановление пользовательских действий.** Сохранять draft при 422/429/timeout, объяснять конфликт повторов, undo плана и общий storage/clipboard helper. Критерий: повтор не требует заполнить весь улов заново. - [ ] **R15 · P2 · Восстановление пользовательских действий.** Сохранять draft при 422/429/timeout, объяснять конфликт повторов, undo плана и общий storage/clipboard helper. Критерий: повтор не требует заполнить весь улов заново.
- [ ] **R16 · P2 · Производительность реальных endpoints.** Измерить ORM/RSS/SQL и чтение manifest, затем bounded aggregation и digest/mtime cache по результатам. Критерий: воспроизводимый endpoint budget на крупных fixtures; Redis заранее не добавлять. - [ ] **R16 · P2 · Производительность реальных endpoints.** Измерить ORM/RSS/SQL и чтение manifest, затем bounded aggregation и digest/mtime cache по результатам. Критерий: воспроизводимый endpoint budget на крупных fixtures; Redis заранее не добавлять.