ci: validate backend web migrations and e2e

This commit is contained in:
ik
2026-09-05 07:28:40 +07:00
parent b574d94f4a
commit 9cc3d44a49
3 changed files with 109 additions and 9 deletions
+99
View File
@@ -0,0 +1,99 @@
name: CI
on:
push:
pull_request:
jobs:
backend-and-migrations:
runs-on: ubuntu-latest
services:
postgres:
image: postgres:17-alpine
env:
POSTGRES_DB: rf4_ci
POSTGRES_USER: rf4
POSTGRES_PASSWORD: rf4_ci
ports:
- 5432:5432
options: >-
--health-cmd "pg_isready -U rf4 -d rf4_ci"
--health-interval 5s
--health-timeout 3s
--health-retries 10
env:
DATABASE_URL: postgresql+psycopg://rf4:rf4_ci@localhost:5432/rf4_ci
steps:
- uses: actions/checkout@v4
- uses: actions/setup-python@v5
with:
python-version: "3.12"
cache: pip
- name: Install Python dependencies
run: |
python -m pip install --upgrade pip
pip install -r apps/api/requirements.txt
pip install -e .
- name: Apply migrations to clean PostgreSQL
working-directory: apps/api
run: |
alembic upgrade head
alembic current
- name: Run Python tests
run: pytest -q
astro-build:
runs-on: ubuntu-latest
steps:
- uses: actions/checkout@v4
- uses: actions/setup-node@v4
with:
node-version: "22"
cache: npm
cache-dependency-path: apps/web/package-lock.json
- name: Install web dependencies
working-directory: apps/web
run: npm ci
- name: Check and build Astro
working-directory: apps/web
run: npm run build
compose-e2e:
runs-on: ubuntu-latest
steps:
- uses: actions/checkout@v4
- uses: actions/setup-node@v4
with:
node-version: "22"
cache: npm
cache-dependency-path: apps/web/package-lock.json
- name: Install web and browser dependencies
working-directory: apps/web
run: |
npm ci
npx playwright install --with-deps chromium
- name: Build and start clean Compose stack
run: docker compose up --build --wait
- name: Verify readiness and run browser tests
env:
WEB_URL: http://127.0.0.1:4321
run: |
curl --fail --silent --show-error http://127.0.0.1:8000/ready
npm --prefix apps/web run test:e2e
- name: Collect diagnostics
if: failure()
run: |
mkdir -p artifacts
docker compose logs --no-color > artifacts/compose.log
cp -R apps/web/test-results artifacts/test-results 2>/dev/null || true
cp -R apps/web/playwright-report artifacts/playwright-report 2>/dev/null || true
- name: Upload failure diagnostics
if: failure()
uses: actions/upload-artifact@v4
with:
name: compose-e2e-diagnostics
path: artifacts
if-no-files-found: ignore
- name: Stop Compose stack
if: always()
run: docker compose down --volumes
+2
View File
@@ -13,6 +13,8 @@ RF4 Spotter — неофициальный сервис свежих точек
Подробный план и актуальные чекбоксы находятся в [`docs/ROADMAP.md`](docs/ROADMAP.md). Подробный план и актуальные чекбоксы находятся в [`docs/ROADMAP.md`](docs/ROADMAP.md).
Gitea Actions workflow `.gitea/workflows/ci.yml` на каждый push и pull request проверяет Python, миграции на чистой PostgreSQL, Astro build и полный Compose/Playwright-сценарий. При падении E2E сохраняются логи контейнеров и Playwright-артефакты.
Актуальная инвентаризация источников и правила подключения адаптеров находятся в [`docs/data-source-audit.md`](docs/data-source-audit.md). Разрешённый технический пилот RF4DB/RF4-STAT описан в [`docs/community-source-pilot.md`](docs/community-source-pilot.md), а статус разрешений и лимитов — в [`docs/data-permissions.md`](docs/data-permissions.md). Данные сохраняются только в промежуточный staging и не влияют на индекс без явной проверки и публикации администратором. Актуальная инвентаризация источников и правила подключения адаптеров находятся в [`docs/data-source-audit.md`](docs/data-source-audit.md). Разрешённый технический пилот RF4DB/RF4-STAT описан в [`docs/community-source-pilot.md`](docs/community-source-pilot.md), а статус разрешений и лимитов — в [`docs/data-permissions.md`](docs/data-permissions.md). Данные сохраняются только в промежуточный staging и не влияют на индекс без явной проверки и публикации администратором.
Один ограниченный снимок публичных карточек можно получить исследовательским CLI: Один ограниченный снимок публичных карточек можно получить исследовательским CLI:
+8 -9
View File
@@ -58,7 +58,7 @@
- [x] Добавить health/readiness-проверки PostgreSQL, MinIO, API и импорта; отразить их в Compose (`/health` без зависимостей, `/ready` с компонентами и режимом обязательного импорта). - [x] Добавить health/readiness-проверки PostgreSQL, MinIO, API и импорта; отразить их в Compose (`/health` без зависимостей, `/ready` с компонентами и режимом обязательного импорта).
- [x] Добавить структурированные JSON-логи без пользовательских секретов и персональных технических данных (whitelist полей, redaction, request ID; Uvicorn access-log отключён). - [x] Добавить структурированные JSON-логи без пользовательских секретов и персональных технических данных (whitelist полей, redaction, request ID; Uvicorn access-log отключён).
- [ ] Добавить CI: backend tests, Astro check/build, E2E и применение всех миграций на чистой PostgreSQL; сохранять диагностические артефакты при падении. - [x] Добавить Gitea Actions CI: backend tests, Astro check/build, E2E и применение всех миграций на чистой PostgreSQL; сохранять логи Compose и Playwright-артефакты при падении (`.gitea/workflows/ci.yml`).
- [ ] Добавить отдельный тест полного bootstrap: пустые volumes → миграции → seed → readiness → основной E2E. - [ ] Добавить отдельный тест полного bootstrap: пустые volumes → миграции → seed → readiness → основной E2E.
- [ ] Сделать seed устойчивым к частично заполненной БД и покрыть повторный/частичный запуск тестом; текущая реализация прекращает работу при наличии любой рыбы. - [ ] Сделать seed устойчивым к частично заполненной БД и покрыть повторный/частичный запуск тестом; текущая реализация прекращает работу при наличии любой рыбы.
- [ ] Проверить списочные API по требованию раздела 12: пагинация, предсказуемая сортировка и валидация фильтров для справочников, импортов, модерации и внешнего staging. - [ ] Проверить списочные API по требованию раздела 12: пагинация, предсказуемая сортировка и валидация фильтров для справочников, импортов, модерации и внешнего staging.
@@ -108,14 +108,13 @@
Технические health/readiness и безопасные логи готовы. Следующие пункты выполняются строго по одному: Технические health/readiness и безопасные логи готовы. Следующие пункты выполняются строго по одному:
1. CI: backend, Astro, E2E и миграции на чистой PostgreSQL; 1. защита официального импорта от конкурентных запусков;
2. защита официального импорта от конкурентных запусков; 2. полный bootstrap-тест и исправление seed для частично заполненной БД;
3. полный bootstrap-тест и исправление seed для частично заполненной БД; 3. security-аудит admin/CORS/headers/secrets и повторной загрузки скриншота;
4. security-аудит admin/CORS/headers/secrets и повторной загрузки скриншота; 4. backup/restore PostgreSQL и MinIO с реальной проверкой восстановления;
5. backup/restore PostgreSQL и MinIO с реальной проверкой восстановления; 5. пагинация/сортировка списочных API и индексы PostgreSQL;
6. пагинация/сортировка списочных API и индексы PostgreSQL; 6. accessibility и Lighthouse;
7. accessibility и Lighthouse; 7. production-профиль и финальное обновление README.
8. production-профиль и финальное обновление README.
После каждого пункта необходимо: После каждого пункта необходимо: