Подкасты в веб-плеере: хранилище PostgreSQL, обновление RSS, прокси, UI и воспроизведение (MR-W2) #11

Open
sanapach wants to merge 46 commits from sanapach/furumi-web:podcasts/web into master
pull from: sanapach/furumi-web:podcasts/web
Member

Серия «Подкасты»: MR-F1 Furumi/frid#1 · MR-F2 Furumi/frid#2 · MR-F3 Furumi/frid#3 · MR-0 Furumi/furumi-tui#1 · MR-T1 Furumi/furumi-tui#2 · MR-T2 Furumi/furumi-tui#3 · MR-T3 Furumi/furumi-tui#4 · MR-W1 Furumi/furumi-web#10 · MR-W2 Furumi/furumi-web#11 (этот) · MR-W3 Furumi/furumi-web#12. Порядок merge и зависимости — в разделе зависимостей ниже.

Что сделано

MR-W2 из плана подкастов (PODCASTS_PLAN.md, решения Р3–Р6 для веба). Он строится поверх MR-W1 (podcasts/queue-source).

Статус: выполнены все три шага, исправлены замечания двух раундов ревью.

  • Шаг 1: хранилище PostgreSQL и синхронизация.
  • Шаг 2: фоновое обновление RSS, защита от SSRF, аудио-прокси.
  • Шаг 3: HTTP API и UI подкастов, воспроизведение в веб-плеере с прогрессом, перенос воспроизведения, Jam, документация, версия 0.14.0.
  • Ревью, раунд 1 (8 коммитов):
    • продолжение после перезагрузки страницы и после паузы;
    • запись прогресса после superseded;
    • история при потере роли активного устройства;
    • Prev и перемотка во время подготовки;
    • проверка содержимого в прокси;
    • лимиты;
    • сообщения об ошибках без деталей сети;
    • порты и JSON-тела;
    • сравнение алиасов независимо от collation.
  • Ревью, раунд 2 (9 коммитов):
    • короткий Range-зонд Safari в прокси и более строгая сигнатура MPEG;
    • одинаковый ответ для внутренних и несуществующих имён хостов;
    • без лимита на аккаунт в запуске обновления;
    • лимит ссылок на выпуски из браузера;
    • неудавшийся перенос;
    • Play после сбоя источника.

Межклиентская работа проверена реальными процессами в составе всего стека: веб 0.15.0 с TUI 0.5.0, со старыми TUI 0.3.5 и веб 0.12.4, Jam двух аккаунтов в браузере. Все сценарии S1–S5 прошли. Не прогонялись прокси с локальным издателем и Jam с хостом-TUI, причины — в разделе «Межклиентская проверка».

1. Хранилище подкастов на PostgreSQL (src/podcasts/, шаг 1)

PodcastStore реализует контракт music_dht::podcast (frid PODCASTS.md) с теми же инвариантами, что SQLite-хранилище furumi_library::podcasts (MR-F2). Каждый аккаунт веба — отдельное виртуальное устройство, поэтому в ключе каждой таблицы есть user_id.

Таблица Содержимое Синхронизируется
furumusic__podcast метаданные канала, URL, с которого аккаунт забирает ленту нет (каталог)
furumusic__podcast_feed_alias ограниченное grow-only множество алиасов в записях подписки и podcast_feed_aliases_added
furumusic__podcast_episode EpisodeMeta, source (feed/sync), in_feed, кэш текста для поиска нет (каталог)
furumusic__podcast_season представление (view) по выпускам нет
furumusic__podcast_subscription, _share, _progress регистры подписки, публикации и прогресса да
furumusic__podcast_listen_session G-set сеансов прослушивания да
furumusic__podcast_fetch_state ETag, Last-Modified, время проверок, ошибки, кэш обложки никогда

Один путь применения. Через одни и те же функции проходят:

  • принятые операции (apply_remote_op);
  • записи snapshot (apply_snapshot);
  • локальные действия.

Это материализаторы SyncOpWire::podcast_* и функции merge_* из music_dht::podcast. Поэтому результат идемпотентен и не зависит от порядка доставки, а snapshot не затирает более новое состояние. Каждая пишущая транзакция берёт advisory-блокировку аккаунта.

Сравнение не зависит от collation БД. Множества алиасов читаются в байтовом порядке (COLLATE "C", плюс сортировка в Rust), как их возвращает merge_feed_aliases. Так же упорядочены выборки snapshot. Поэтому на базах с ICU или glibc-локалью повторная операция даёт Unchanged, а не пустую перезапись, и apply_feed не создаёт лишнюю podcast_feed_aliases_added.

Локальные действия:

  • subscribe (новая подписка — не больше 1000 активных на аккаунт), unsubscribe (прогресс и история сохраняются), set_shared;
  • start_session, checkpoint (поколение не меняется, при более новом поколении возвращается Superseded), seek, complete_if_current, restart, mark_played, mark_unplayed;
  • record_listen_session.

Каждое действие выполняется одной транзакцией: читает регистры, добавляет операцию в журнал синхронизации устройства и применяет ровно эту операцию. Добавление делает devices::append_local_op. Она резервирует следующий seq, задаёт hlc_ms позже предыдущей локальной операции и формирует op_id = <device>:<seq>. Журнал и регистры меняются только вместе.

Применение ленты (apply_feed).

  • Идентификаторы выпусков вычисляются по правилу F1 (ParsedFeed::resolve_episode_ids) по всем известным выпускам, включая полученные через синхронизацию.
  • Обновляются метаданные и URL аудио. Пропавшие из ленты выпуски сохраняются с in_feed = false.
  • Постоянный редирект и itunes:new-feed-url превращаются в алиасы. Операция podcast_feed_aliases_added создаётся, только если набор алиасов изменился.
  • Регистры, прогресс и сеансы обновление не трогает.

Запросы для UI:

  • список подкастов со счётчиками и effective_share;
  • сезоны;
  • выпуски с фильтрами, поиском по normalize_name, сортировками и постраничным выводом;
  • позиция продолжения;
  • episode_ref с progress_generation;
  • история прослушиваний;
  • audio_source.

2. Миграции и импорт данных MR-W1 (шаг 1)

  • m_0056_create_podcast_store создаёт таблицы. Обратная операция их удаляет.
  • m_0057_import_podcast_relay — SQL-импорт из furumusic__fed_podcast_relay, где 0.13 хранил регистры как JSON контракта, уже проверенные и слитые.
    • Переносятся подписки с алиасами, отложенные алиасы, публикация, прогресс и сеансы.
    • Записи с поколением больше i64::MAX пропускаются: хранилище тоже их отвергает.
    • Строки каталога (подкаст и выпуск, source = 'sync') восстанавливаются из PodcastEpisodeRef в операциях журнала furumusic__fed_sync_ops.
    • Импорт идемпотентен (ON CONFLICT DO NOTHING).
  • Relay-таблица остаётся: она больше не читается и не пишется. Удалить её можно в одном из следующих релизов.

3. Синхронизация через хранилище (шаги 1 и 3)

  • В devices.rs подкастовые операции и секции snapshot применяются к PodcastStore.
  • Snapshot устройства заполняется из хранилища: сначала самые новые записи, ограничение по F1. Затем, как и раньше, ограничение по бюджету сообщения.
  • Позиция выпуска, которую браузер не знает (position_unknown), берётся из регистра прогресса.
  • В каждом исходящем состоянии воспроизведения progress_generation каждого выпуска в очереди поднимается до поколения его регистра. Так устройство, которое забирает воспроизведение, пишет своё явное действие выше всего, что видел веб.
  • Модуль podcast_relay удалён.
  • Поведение на проводе не изменилось: отсечка v4 (ops_for_peer, SyncSnapshot::for_peer, playback_allowed_for_peer) и ограничения snapshot прежние.

4. Защита исходящих запросов от SSRF (src/podcasts/net.rs, шаг 2 + ревью)

Все запросы к лентам и аудио идут через один клиент — SafeHttp.

  • Принимаются только http/https, без user:pass@ в URL, с хостом, на портах 80, 443, 8080 и 8443. Публичный адрес может оказаться адресом самого сервера, и его прочие сервисы (БД, админ-порты) часто доступны с самого хоста. В тестах разрешены любые порты.
  • Имена хостов разрешает GuardedResolver. Он отвергает весь ответ DNS, если хотя бы один адрес не публичный. Блокируются:
    • loopback, RFC 1918, CGNAT, link-local;
    • адреса метаданных облаков (169.254.169.254, 169.254.170.2, 100.100.100.200, fd00:ec2::254);
    • ULA, multicast, unspecified, broadcast;
    • документационные, benchmarking и зарезервированные диапазоны, всё вне 2000::/3;
    • IPv4-mapped, NAT64 и 6to4 проверяются по вложенному IPv4; IPv4-compatible адреса и Teredo заблокированы.
  • Защита от DNS rebinding. Этот резолвер и есть резолвер коннектора: каждое соединение один раз разрешает имя, проверяет адреса и подключается ровно к ним.
  • IP-литералы проверяются до подключения. Редиректы обрабатываются вручную, не больше 5 переходов, и каждый переход проверяется.
  • Отключены системный прокси, cookies и Referer. Клиентские заголовки не пересылаются.
  • Сообщения об ошибках.
    • Пользователь видит только вид отказа: адрес не разрешён, не удалось подключиться, HTTP-статус, не лента, слишком большой, таймаут. Разрешённых адресов и цепочек транспортных ошибок он не видит, так что сервер нельзя использовать для разведки своей сети.
    • «Адрес не разрешён» (422) пользователь получает только за то, что видно в самом URL: схема, учётные данные, порт, IP-литерал. Имя хоста, которое разрешается во внутренний адрес, получает тот же ответ, что имя, которое не разрешается, и сервер, который не отвечает: 502 «не удалось подключиться». Поэтому по ответам нельзя узнать, какие имена есть во внутреннем DNS сервера (GuardError::is_refusal).
    • Подробности пишутся в лог сервера и в лог job, без URL: используется reqwest::Error::without_url(), а Location в ошибках редиректа не повторяется. URL лент и аудио часто содержат токены доступа.
    • В логе job — только id подкаста, без user_id. Лог прокси тоже без user_id.
  • Loopback доступен только в тестах (AddressPolicy::test_allow_loopback() под #[cfg(test)]).

5. Фоновое обновление RSS (шаг 2 + ревью)

  • Job podcast_refresh запускается каждые 5 минут, работает и при выключенном агенте. Одновременно идёт только один запуск. За запуск он берёт до 200 подкастов (до 2400 в час), одновременно выполняет не больше 4 запросов.
  • Аккаунты обслуживаются по очереди: сначала самый просроченный подкаст каждого аккаунта, потом второй и так далее. Аккаунт с множеством медленных лент не задерживает остальных. Отдельного лимита на аккаунт нет: если других просроченных лент нет, один аккаунт может занять весь запуск (например, после импорта OPML на 1000 подписок).
  • Загрузка ленты:
    • условные запросы;
    • лимиты: 32 MiB и 60 с;
    • Retry-After учитывается;
    • разбор общим парсером music_dht;
    • ленту переносит только цепочка постоянных редиректов (301/308).
  • Расписание:
    • исправная лента проверяется раз в час плюс разброс до 10 минут;
    • после ошибок интервал растёт: 15 мин × 2ⁿ⁻¹, максимум сутки;
    • ошибка одной ленты не мешает остальным и не очищает каталог;
    • аккаунты с одним URL делят один запрос.
  • Аудио не скачивается.
  • Ручное обновление: POST /api/podcasts/{podcast_id}/refresh.
    • Только для своей подписки: неизвестный подкаст — 404, без подписки — 409.
    • Не чаще раза в 30 с: иначе 429 с Retry-After.
  • Лимиты запросов, которые запускают пользователи. «Добавить RSS» и ручное обновление: не больше 2 одновременно на аккаунт и 16 на сервер. Сверх лимита — 429 с Retry-After: 5.

6. Доставка аудио и необязательный прокси (шаги 2, 3 + ревью)

  • По умолчанию браузер берёт аудио напрямую у издателя.
  • Прокси включает администратор: Settings → Podcasts → Podcast audio proxy, FURU_PODCAST_AUDIO_PROXY_ENABLED. По умолчанию он выключен. Плеер переходит на прокси, если прокси включён и выполнено одно из условий:
    • прямой URL — http:// на https://-странице;
    • аудио не загрузилось.
  • GET /api/podcasts/episodes/{episode_id}/audio:
    • принимает id выпуска, а не URL. URL берётся из каталога вошедшего аккаунта: из его лент и из ссылок на выпуски, которые прислали его же клиенты (сопряжённые устройства или браузер при переносе выпуска, которого нет в каталоге). Оба источника контролирует сам пользователь: подписаться можно и на свою ленту. Поэтому любой вошедший пользователь может заставить сервер скачать аудио с любого публичного URL. Ограничивают это проверки ниже; в документации это сказано прямо;
    • пересылает только один очищенный byte-Range; 200, 206 и 416 проходят насквозь;
    • только аудио: Content-Type издателя должен быть аудио-типом. Если тип application/octet-stream или пустой, нужно аудио-расширение в URL или аудио-сигнатура в начале файла: MP3/ID3, ADTS, Ogg, FLAC, WAV, M4A/M4B.
      • Сигнатура читается из ответа, если он начинается с нулевого байта и в нём не меньше 16 байт. Иначе — отдельным запросом bytes=0-15. Так проходит и зонд Safari/AVFoundation bytes=0-1.
      • Голый заголовок кадра MPEG принимается, только если весь заголовок корректен: Layer II/III, допустимый индекс битрейта и частоты. Поэтому текст в UTF-16 (FF FE) и FF FF не проходят как audio/mpeg. У ADTS проверяется индекс частоты.
      • Тип вложения из ленты или ссылки не используется. text/html и video/* (включая MP4 с видео-брендом) отвергаются;
    • в ответе только очищенные заголовки, плюс nosniff, CSP: default-src 'none'; sandbox и Cache-Control: private, no-store;
    • лимиты: 1 GiB, 20 с до заголовков, 30 с простоя, 4 ч на ответ, не больше 4 потоков на аккаунт и 64 на сервер (иначе 429);
    • ошибки — общими словами, детали в логе без URL;
    • ничего не сохраняет.
  • Модель безопасности прокси описана в docs/administration.md.

7. HTTP API для UI и плеера (шаг 3 + ревью)

Логика вынесена в src/podcasts/api.rs и не зависит от HTTP. http.rs только проверяет вход (сессия или bearer) и переводит результат в JSON (Cache-Control: private, no-store). Тела запросов должны быть application/json, иначе 415. Как и экстрактор Json у остальных эндпоинтов плеера, это требует CORS-preflight для чужих origin: text/plain и формы с соседнего поддомена с cookie SameSite=Lax больше не проходят.

Эндпоинт (/api/podcasts) Что делает
GET /feeds[?all=1] подписки со счётчиками и состоянием проверок; с all также без подписки
POST /feeds {url} «Добавить RSS»: сначала загрузка ленты, потом приватная подписка (runner::subscribe_url)
GET /feeds/{id} подкаст, сезоны, последние 20 сеансов истории
GET /feeds/{id}/episodes?season=&played=&q=&sort=&limit=&offset= страница выпусков с прогрессом и готовым элементом очереди
POST /feeds/{id}/subscribe, /unsubscribe повторная подписка; отписка с сохранением прогресса и истории
POST /episodes/{id}/restart, /played, /unplayed явные действия с прогрессом
POST /episodes/{id}/playback источник аудио, позиция продолжения и регистр (register_generation, register_session_id); с start — новый сеанс (явное действие выше carried_generation)
POST /episodes/{id}/progress checkpoint, pause, stop, handoff (поколение сеанса), seek (явное действие), завершение, запись сеанса прослушивания

Коды ответа POST /feeds:

  • неверный URL — 400;
  • 422 с причиной: лента непригодна, в самом URL не разрешены схема, порт или IP-адрес, достигнут лимит подписок;
  • 502: имя не разрешается или разрешается во внутренний адрес, не удалось подключиться, таймаут;
  • 429: слишком много одновременных загрузок.

Подробности:

  • Неизвестный выпуск из переноса. Если выпуска нет в каталоге, playback записывает пришедший PodcastEpisodeRef как ссылку из синхронизации и не трогает строки из ленты.
    • Таких выпусков (source = 'sync') у аккаунта может быть не больше 10 000. Новая ссылка сверх лимита — 422, строка не создаётся; известные выпуски играют как обычно.
    • Ссылки из операций собственных устройств аккаунта применяются всегда.
    • Каждый выпуск создаёт не больше одной строки подкаста, поэтому подкасты тоже ограничены.
  • Позиция. Без position_ms сервер берёт resume_position_ms() регистра. Браузер присылает позицию только при переносе и при собственной перемотке пользователя.
  • Завершение решает сервер: по концу потока или reaches_completion на длительности из <audio>, а если она неизвестна, то из каталога. complete_if_current проверяет Superseded/AlreadyCompleted и пишет в одной транзакции, поэтому эпизод не завершается дважды.
  • Сеанс прослушивания записывается на pause, stop, handoff и end, в том числе когда регистр уже перезаписан (superseded). listened_ms ограничивается реально прошедшим временем. «Прослушано» сеанс не создаёт.

8. UI подкастов в веб-плеере (шаг 3)

  • Боковая панель → «Подкасты» (десктоп и мобильное меню):
    • поле «Добавить RSS» с понятной причиной отказа и пояснение, что новые подписки приватны;
    • список подписок с числом непрослушанных и ошибкой последней проверки;
    • переключатель «Показать без подписки».
  • Страница подкаста (подкаст → сезоны → выпуски):
    • обложка, автор, счётчики, время и ошибка проверки, URL ленты;
    • «Обновить»; «Отписаться» с подтверждением, что прогресс и история сохранятся; «Подписаться» снова;
    • фишки сезонов, включая «Без сезона»;
    • поиск по выпускам, фильтр «Все / Не прослушано / Начато / Прослушано», сортировка, «Показать ещё»;
    • список «Недавно прослушано».
  • Выпуск:
    • дата, сезон и номер, длительность;
    • полоса прогресса «Сохранено на … · осталось …», отметка «Прослушано», число полных прослушиваний, «Больше нет в ленте»;
    • кнопки «Слушать»/«Продолжить», «Начать сначала», «Прослушано», «Не прослушано», «В очередь»;
    • «Слушать» ставит выпуск следующим и не заменяет очередь;
    • «Прослушано» и «Не прослушано» для выпуска, загруженного в этой вкладке, сначала сохраняют прослушанное, закрывают сеанс и ставят звук на паузу, так что плеер не перезапишет отметку.
  • Очередь и плеер:
    • в очереди выпуск помечен «Выпуск подкаста»;
    • имя подкаста ведёт на его страницу;
    • лайк и «поделиться» для выпусков скрыты;
    • в плеере видно «Готовим выпуск…» или ошибку источника.
  • Интерфейс переведён на английский и русский.

9. Воспроизведение и прогресс (шаг 3 + ревью)

  • Обычный Play продолжает с позиции регистра, то есть с самого нового сохранения любого устройства.
    • Это касается и перезагрузки страницы: сохранённая позиция самой страницы на сервер не отправляется.
    • Play после паузы сначала проверяет, что регистр всё ещё принадлежит этому сеансу (register_session_id). Если за это время выпуск слушали на другом устройстве или отметили, Play продолжает с регистра новым сеансом.
    • Play после сбоя источника заново готовит выпуск. Сначала он ждёт, пока финальный stop старого сеанса дойдёт до сервера, но не дольше 5 с. Поэтому сервер продолжает с места, где остановился звук, а не с последнего checkpoint. Более новые записи других устройств по-прежнему побеждают.
    • Позицию отправляют только перенос и собственная перемотка пользователя. Перемотка, сделанная во время подготовки источника, применяется, когда источник готов («Начать сначала» не теряется).
    • «Начать сначала» — отдельное явное действие.
  • Запись прогресса идёт в фоне и не блокирует звук. Поводы для записи:
    • checkpoint каждые 20 с;
    • пауза;
    • перемотка: явное действие после 600 мс без движения ползунка;
    • смена элемента;
    • закрытие страницы (sendBeacon) и скрытие вкладки (keepalive);
    • передача на другое устройство.
  • Записи одного сеанса идут по очереди, поколение берётся в момент отправки. Отчёт всегда несёт позицию своего выпуска.
  • После superseded периодические записи старого сеанса прекращаются, как требует контракт FRID.
    • Если пользователь продолжает слушать на этом устройстве, следующая запись — явное действие этого плеера (_takeOverEpisode): он записывает прослушанное старым сеансом и начинает новый сеанс выше всего увиденного.
    • При паузе, остановке и конце потока это происходит сразу. При периодической записи — через один интервал checkpoint, чтобы перенос, вызвавший superseded, успел завершить сеанс.
    • Конец потока при этом завершает выпуск без второго сеанса прослушивания.
  • Устройство, потерявшее роль активного (другое устройство забрало воспроизведение), отправляет один финальный stop с поколением своего сеанса.
    • Прослушанное попадает в историю, а явный старт нового устройства остаётся в регистре.
    • Если перенос начат с этой вкладки и прошёл, повторного отчёта нет.
    • Если перенос не прошёл (409 «устройство нужно обновить» или сетевая ошибка), вкладка продолжает играть. Прослушанное после этого записывается при остановке или потере роли.
  • Prev в выпуске после первых 3 с отматывает на 15 с локально, без явной записи; следующий checkpoint сохраняет позицию. В первые 3 с Prev переходит к предыдущему элементу. Кнопка гарнитуры или экрана блокировки (Media Session) больше не сбрасывает прогресс.
  • Источник без перемотки. Если сервер издателя не может перемотать к сохранённой позиции, плеер показывает это, остаётся на паузе и не затирает позицию. Play означает «слушать с начала» (явное действие в 0).
  • Отмена устаревшего запуска. Если пользователь выбрал другой элемент, ответ сервера для прежнего выпуска игнорируется, а отложенная подготовка не отправляется.
  • Перенос воспроизведения:
    • веб → другое устройство: финальный checkpoint с поколением сеанса, затем передача;
    • другое устройство → веб: выпуск, позиция и пауза сохраняются; при старте веб пишет явное действие выше progress_generation из элемента очереди.
  • История музыки и Last.fm выпуски не затрагивают.

10. Jam (MR-W1 + шаг 3)

  • Гости видят выпуски хоста только как приватные элементы: без названия, URL и длительности, проиграть их нельзя.
  • Гость не может добавлять, удалять или очищать выпуски хоста. На странице подкаста у гостя кнопки «Слушать» и «В очередь» заблокированы с пояснением.
  • Локальное зеркало Jam никогда не играет выпуски и не пишет по ним прогресс.
  • Хост слушает свои выпуски как обычно.

11. Документация

  • README: возможность «Follow podcasts».
  • docs/administration.md:
    • раздел «Podcasts»: работа с подкастами, продолжение и завершение, перезагрузка, Prev, отметки, перенос, отписка, приватность и что видит издатель;
    • «Podcast feeds and audio»: порты, общие сообщения об ошибках (и одинаковый ответ для внутренних и несуществующих имён), очередь аккаунтов без лимита на аккаунт, лимиты (подписки, ссылки на выпуски, одновременные запросы), честная модель безопасности прокси;
    • «Upgrading from 0.13».
  • docs/development.md: «Podcast store», «Feed refresh and audio delivery» (is_refusal, проверка начала файла в прокси), «Podcast UI and playback» (правила позиции, takeover, финальный отчёт и неудавшийся перенос, повторная подготовка после сбоя, JSON-тела), команды тестов.
  • CHANGELOG v0.14.0.

Исправления по ревью

Раунд 1

Проверены все 11 замечаний, исправлены все. Отклонены отдельные варианты исправлений (см. ниже). Новые коммиты:

  1. 99b2935 — множества алиасов сравниваются в байтовом порядке на любой collation; тест на собственной ICU-базе.
  2. c51a9af — пользователю показывается только вид ошибки, детали идут в лог без URL (without_url), порты ограничены 80/443/8080/8443.
  3. 2eb27cf — тела только application/json (415).
  4. cfebe18 — лимиты на одновременные загрузки лент и потоки прокси (на аккаунт и на сервер), не больше 1000 подписок, обновление по очереди аккаунтов.
  5. fc0befc — прокси пропускает generic-ответ только по аудио-расширению или аудио-сигнатуре; тип из ленты не доверяется.
  6. 4050214 — playback возвращает регистр (register_generation, register_session_id).
  7. 9b43a25 — плеер: продолжение с регистра после перезагрузки и паузы, перемотка во время подготовки, takeover после superseded, финальный отчёт при потере роли, отметка загруженного выпуска, Prev.
  8. 404d9cc — CHANGELOG.

Не сделано из предложенного в раунде 1:

  • Ограничить прокси выпусками «только из ленты». Пользователь и так контролирует источники (своя лента, своё устройство), а ограничение сломало бы перенос TUI → веб для выпуска, которого нет в каталоге. Риском был тип из ленты; это исправлено.
  • Отдельная CSRF-защита (Origin или заголовок) для POST без тела. Они ведут себя как существующие маршруты плеера без тела.
  • Бюджет времени на запуск job. Очередь аккаунтов не даёт голодать. Обоснование «квоты на выпуски не нужны» из раунда 1 было неполным: ссылки из браузера ограничены в раунде 2.

Раунд 2

Проверены все 8 замечаний, все подтвердились. Замечания 6 и 7 описывают одну проблему. Исправлены все. Новые коммиты:

  1. 2549e9e — прокси: если диапазон с нуля короче 16 байт (зонд Safari/AVFoundation bytes=0-1), начало файла читается отдельным запросом bytes=0-15. Раньше такой зонд для ID3-MP3 с типом octet-stream получал 415 «не аудио».
  2. 402ad0a — сигнатура MPEG: Layer II/III, допустимые индексы битрейта и частоты; у ADTS — допустимый индекс частоты. FF FE (UTF-16) и FF FF больше не считаются аудио.
  3. 62141c0 — имя хоста, разрешённое во внутренний адрес, получает тот же ответ (502 «не удалось подключиться»), что несуществующее имя и закрытый порт. «Адрес не разрешён» (422) — только за схему, учётные данные, порт или IP-литерал.
  4. 0aead73 и 4fef5c2 (форматирование) — у запуска обновления больше нет лимита 25 лент на аккаунт. Очередь аккаунтов осталась, и один аккаунт может занять свободную ёмкость. Раньше при 1000 подписках лента проверялась раз в ~3,3 ч вместо часа.
  5. f87d70c — не больше 10 000 выпусков из ссылок (source = 'sync') на аккаунт через playback (422). Ссылки из операций собственных устройств не ограничены.
  6. 056c53a — неудавшийся перенос (409 или сетевая ошибка) больше не подавляет финальный отчёт: select() снимает handedOff, если передача не прошла.
  7. 7214c57 — Play после сбоя источника ждёт финальный stop старого сеанса (не дольше 5 с) и только потом готовит выпуск. Раньше выпуск откатывался к последнему checkpoint.
  8. 7aa2253 — документация и CHANGELOG.

Не сделано из предложенного в раунде 2:

  • Проверка двух последовательных кадров MPEG. Для неё нужно ~400+ байт вместо 16 и ещё один запрос. Проверка всего первого заголовка и исключение Layer I уже отсекают текст UTF-16 и некорректные заголовки. Остаётся ложное срабатывание только для двоичного файла, который случайно начинается с корректного заголовка Layer II/III.
  • Rate limit (429) на playback. Вместо него сделана квота на число строк (422). Она ограничивает рост таблиц детерминированно и не требует состояния в памяти; повторные запросы для известных выпусков строк не создают.

Решения и отступления

Шаг 1

  • Сезоны — представление, а не таблица. Семантика как в F2, но устареть оно не может.
  • Поиск. В PostgreSQL нет normalize_name, поэтому у выпуска есть кэш search_norm. Семантика совпадает с F2.
  • Метки локальных операций ставит своя функция append_local_op по тому же правилу. Это не пробел в контракте: веб не использует furumi-library.
  • Импорт прототипа в вебе не нужен. «Наследие» — relay-таблица 0.13.
  • Состояние проверок хранится на аккаунт.
  • Наблюдение по контракту. Snapshot не содержит podcast.description, поэтому повторная операция подписки после восстановления из snapshot возвращает Changed. В F2 так же.
  • Слияние checkpoint в исходящем журнале (разрешено, не обязательно) не сделано.

Шаг 2

  • Эндпоинты вынесены в отдельное приложение PodcastsApp на /api/podcasts.
  • Редиректы обрабатываются вручную. Разрешение DNS закреплено собственным резолвером коннектора. Один запрос на URL ленты за запуск.
  • Лимиты, интервалы и квоты — константы. Единственная настройка — podcast_audio_proxy_enabled.
  • Прокси не поддерживает HEAD и видео.
  • Тестовый HTTP-сервер и загрузка ленты перенесены из прототипа TUI как новый код.

Шаг 3 и ревью

  • Тесты обработчиков вызывают podcasts::api напрямую: в PostgreSQL-тестах и unit-тестах. Встроенной обвязки для cot-обработчиков нет, а feature test у cot не включена: это изменило бы Cargo.lock. Слой http.rs проверен unit-тестом json_body, curl и браузерным smoke-тестом.
  • /episodes/{id}/source остаётся, но плеер использует /playback, который отдаёт те же поля.
  • «Слушать» из списка вставляет выпуск после текущего элемента. «Начать сначала» для играющего выпуска — явная перемотка в 0, для остальных — restart, затем воспроизведение.
  • Поведение после superseded теперь следует правилу FRID («the user keeps listening locally → next record explicit»). В шаге 3 оно было объявлено свободным выбором — это было неверно. Takeover откладывается на один интервал checkpoint, чтобы не перебить чужой перенос.
  • Play после паузы делает один лёгкий запрос (playback без start) перед звуком: так паузный сеанс не перезапишет более новое прослушивание с другого устройства.
  • Повторная подготовка того же выпуска (Play после сбоя источника и другие пути) ждёт записи старого сеанса не дольше 5 с, а не отправляет позицию явно. Так более новые записи других устройств не перезаписываются.
  • Отметка играющего выпуска ставит его на паузу. Иначе продолжение прослушивания по контракту снова перезаписало бы отметку.
  • Prev в выпуске отматывает на 15 с, а не к предыдущему элементу.
  • Ссылки на выпуски. playback может записать в каталог ссылку на выпуск, пришедшую с собственного клиента. Это расширяет источник URL прокси. Защита:
    • проверка содержимого, адресов и портов;
    • лимиты (раздел 6);
    • квота 10 000 ссылок на аккаунт (раздел 7).
  • Порты 80/443/8080/8443 для лент и аудио на сервере. TUI загружает ленты сам и этим не ограничен.
  • Внутренние имена. Имя хоста, которое разрешается в заблокированный адрес, получает ответ «не удалось подключиться», как и несуществующее имя. Подробности остаются в логе.
  • progress_generation поднимается для всех выпусков исходящей очереди, а не только для текущего с неизвестной позицией.
  • Обложки берутся напрямую у издателя (referrerpolicy=no-referrer), серверного кэша нет. set_cover_cache — только в тестах.
  • Переключателя «Поделиться в федерации» в вебе нет: это MR-W3. Для set_shared оставлен точечный allow(dead_code).
  • Браузерный smoke-тест — CDP-скрипт вне репозитория: Playwright не установлен, а browser-*.cjs от него зависят. Данные подкаста для него вставлены SQL: защита SSRF (правильно) не пускает сервер к локальной ленте.

Зависимости и коммиты

  • Stacked MR поверх MR-W1. Ветка Sanapach/furumi-web:podcasts/web → Furumi/furumi-web:podcasts/queue-source, если эта ветка-основание есть в Furumi/furumi-web. Иначе MR открывается в master: он зависит от MR-W1, и его diff включает двенадцать коммитов MR-W1.
  • Требует MR-F1 (frid podcasts/contract: music_dht::podcast с feature podcast-feed, device_sync v4).
  • От этого MR зависит MR-W3.
  • 33 коммита (git log --oneline podcasts/queue-source..podcasts/web, вершина 4fef5c2). Ветка перебазирована на podcasts/queue-source с коммитом «Point frid deps at the fork branch» из MR-W1; по содержанию коммиты не изменились, кроме разрешённого конфликта в Cargo.toml первого коммита:
  • cc17054 Enable the shared podcast feed parser
  • 7f07cb2 Add a PostgreSQL podcast store with relay import
  • 681ff7a Sync podcast state through the store instead of the relay
  • c262744 Document the podcast store and the relay import
  • 04ae7d5 Guard podcast HTTP requests against SSRF
  • bf9a6ab Refresh subscribed podcast feeds in a background job
  • 2c0c3d2 Proxy podcast audio from publishers on request
  • 5aaea8a Document podcast feed refresh and the audio proxy
  • 1778942 Add the podcast HTTP API for the UI and the web player
  • 2c551c5 Carry the newest progress generation in outgoing playback states
  • 3ebfc45 Play podcast episodes in the web player
  • 9d1a46c Add a podcasts section to the web player
  • ff10f43 Document podcasts in the web player
  • 592d61d Release 0.14.0 with podcasts in the web player
  • bf69819 Refresh podcast counters when an episode changes status
  • 047fc9e Keep the podcast API's 401 path out of a large Result
  • 99b2935 Compare podcast alias sets in byte order on any collation
  • c51a9af Keep network details and URLs out of podcast fetch errors
  • 2eb27cf Accept only application/json bodies on podcast endpoints
  • cfebe18 Bound user-started feed and audio requests per account
  • fc0befc Pass generic proxy responses through only when they start like audio
  • 4050214 Report the progress register in podcast playback answers
  • 9b43a25 Resume episodes from the progress register and keep saving after a takeover
  • 404d9cc Note the podcast review fixes in the changelog
  • 2549e9e Sniff the file head separately when the browser probes a short range
  • 402ad0a Accept a bare MPEG frame only when its whole header is valid
  • 62141c0 Answer blocked host names like unreachable ones
  • 0aead73 Let one account use the whole refresh run when others have nothing due
  • f87d70c Bound the episodes the browser can add outside the account's feeds
  • 056c53a Record the listening after a handoff that did not go through
  • 7214c57 Save the failed session's position before preparing the episode again
  • 7aa2253 Document the proxy head check and the playback handoff details
  • 4fef5c2 Format the refresh runner

Совместимость и версии

  • Версия furumusic — 0.14.0.
  • music-dht 0.6.0 с feature podcast-feed. Cargo.lock и [patch]: ветка стоит на podcasts/queue-source с коммитом MR-W1 «Point frid deps at the fork branch»: music-dht берётся из форка (git = "https://gt.hexor.cy/Sanapach/frid.git", branch = "podcasts/contract"), у frid-крейтов в Cargo.lock стоит source = "git+https://gt.hexor.cy/Sanapach/frid.git?branch=podcasts%2Fcontract#65d6ca2…". Этот MR использует ту же ветку frid, поэтому своего такого коммита у него нет: при rebase конфликт в Cargo.toml (feature podcast-feed рядом с секцией [patch]) разрешён в первом коммите cc17054. После публикации music-dht 0.6.0 на crates.io [patch] удаляется, и lock перегенерируется ещё раз. Исправления по ревью Cargo.toml/Cargo.lock не меняли.
  • ALPN, версия протокола (4) и формат сообщений не меняются. Пиры v3 получают то же, что в MR-W1.
  • БД:
    • миграции m_0056, m_0057; furumusic__fed_podcast_relay остаётся. Исправления по ревью миграций не добавляли;
    • настройка podcast_audio_proxy_enabled (по умолчанию false);
    • job podcast_refresh.
    • Откат на 0.12 — как в MR-W1 (удалить podcast_* из журнала операций). Откат на 0.13 не проверялся.
  • Исходящие запросы:
    • сервер делает исходящие HTTP(S)-запросы к издателям подписанных лент, только на публичные адреса и порты 80/443/8080/8443. Ленты на других портах сервер теперь отвергает;
    • один аккаунт может занять весь запуск обновления (до 200 лент за 5 минут), если у других аккаунтов нет просроченных лент;
    • прокси добавляет трафик, только если его включить;
    • браузер пользователя обращается к издателю за аудио и обложками.
  • Новые HTTP-эндпоинты /api/podcasts/… перечислены в разделе 7.
    • Новые коды: 415 (не JSON), 429 (лимит одновременных запросов), 422 (лимит подписок или ссылок на выпуски).
    • «Добавить RSS» для имени, которое разрешается во внутренний адрес, отвечает 502 (раньше 422).
    • Существующие API плеера не изменились. В JSON элементов очереди у выпусков теперь unavailable: false и cover_url выпуска.

Как проверено (macOS 26, arm64, rustc 1.100.0, node 24.15)

  • Форматирование и сборка.
    • cargo fmt --all -- --check: 20 диффов, все уже есть на master (src/admin/mod.rs, src/agent/dedup.rs, src/jobs/inbox_process.rs).
    • cargo check --all-targets --locked: 0 предупреждений.
    • Каждый новый Rust-коммит проверен отдельно из git archive, 0 предупреждений: раунд 2 — 2549e9e, 402ad0a, 62141c0, 0aead73, f87d70c; раунд 1 — 99b2935, c51a9af, 2eb27cf, cfebe18, fc0befc, 4050214. Коммиты шагов 1–3 проверены так же раньше.
    • cargo clippy --all-targets --locked: 80 диагностик на базе c1cd689 и 80 на ветке. Наборы (файл + сообщение) совпадают.
  • cargo test --all-targets --locked -- --skip real_transcodes_match_and_keep_distinct_bitrates: 190 passed, 0 failed, 26 ignored.
    • Новые тесты раунда 2:
      • зонд bytes=0-1, bytes=0-99 без второго запроса, зонд не-аудио отвергается;
      • негативные сигнатуры FF FE/FF FF, недопустимые битрейт и частота, зарезервированная частота ADTS;
      • internal_names_cannot_be_told_from_unreachable_ones (ленты) и proxy_answers_alike_for_internal_and_unreachable_names (прокси): внутреннее имя, несуществующее имя и закрытый порт дают одинаковые вид, код и текст, а IP-литерал по-прежнему отвергается;
      • код 422 для лимита ссылок.
    • Тесты раунда 1: порты, отсутствие URL в ошибках, сигнатуры аудио, прокси без доверия к типу, JSON-тела (415), лимитер, коды ошибок API. transport_errors_never_carry_the_url падает без without_url().
  • node --test tests/*.test.cjs: 62 pass, 0 fail. tests/player_podcasts.test.cjs проверяет продакшен-код плеера с заглушками аудио, fetch и таймеров (19 тестов).
    • Покрыто:
      • продолжение с позиции и checkpoint;
      • явная перемотка;
      • superseded;
      • устаревший ответ;
      • перенос;
      • переход на прокси и смешанный контент;
      • источник без перемотки;
      • отчёты pause, ended и stop;
      • зеркало Jam;
      • стор подкастов;
      • перезагрузка, Play после паузы, takeover, отметка играющего выпуска, финальный отчёт при потере роли, Prev, перемотка во время подготовки.
    • Новые в раунде 2:
      • продакшен-метод devices.select(): перенос с ответом 409, с сетевой ошибкой и успешный. В первых двух случаях после потери роли уходит финальный stop с полным listened_ms, в третьем — нет;
      • Play после сбоя источника: сначала stop на 655 с, playback без позиции — только после ответа. Неотвечающий stop задерживает подготовку только на таймер, а выбор другого элемента отменяет её.
  • Регрессия. Новые тесты раунда 2 запускались на старом коде: Rust-тест прокси, оба теста на внутренние имена, PostgreSQL-тест лимита ссылок и оба node-теста. Все они падают без исправлений.
  • PostgreSQL — временный контейнер postgres:16-alpine на случайном порту 127.0.0.1, после проверки удалён (docker rm -f).
    • FURU_DEVICE_SYNC_TEST_DATABASE_URL=postgresql://… cargo test --locked postgres_tests -- --ignored: 14 passed, 0 failed — два прогона подряд на новой БД и ещё один на отдельной ICU-базе (LOCALE_PROVIDER icu ICU_LOCALE 'en-US').
    • Новые и изменённые тесты:
      • новый в раунде 2 postgres_podcast_episode_references_from_the_browser_are_bounded: до лимита ссылки добавляются; следующая новая — 422 и строки нет; известные выпуски играют; операция устройства добавляет ссылку и сверх лимита;
      • postgres_podcast_refresh_takes_accounts_in_turns: порядок по очереди аккаунтов без лимита на аккаунт, лимит подписок, повторная подписка;
      • postgres_podcast_alias_sets_ignore_the_database_collation — без исправления раунда 1 падает;
      • postgres_podcast_playback_resumes_from_the_register.
    • FURU_METADATA_FIX_TEST_DATABASE_URL=… cargo test undo_accepts_playback_archives_written_before_the_typed_queue -- --ignored: 1 passed.
  • Браузерный smoke-тест (раунд 1; после раунда 2 не повторялся). Headless Chrome через CDP, отладочная сборка v0.14.0 на 127.0.0.1:18077, новая БД, локальный «издатель» WAV с Range и без него на 127.0.0.1:18079. Результат: 40/40 проверок, ошибок JS нет.
    • Перезагрузка — настоящий Page.reload.
    • Проверено:
      • список, отказ для локальной ленты общим текстом, сезоны, порядок, поиск;
      • прямое воспроизведение, checkpoint, явная перемотка;
      • перезагрузка, Prev;
      • запись «другого устройства» и продолжение с неё;
      • конец потока и «Прослушано»/«Не прослушано»;
      • источник без Range;
      • перенос между двумя вкладками;
      • отметка играющего выпуска;
      • отписка.
    • Отказ для локальной ленты в smoke-тесте шёл через IP-литерал 127.0.0.1 и по-прежнему даёт 422.
    • Chrome запускался с --mute-audio и --autoplay-policy=no-user-gesture-required. Alpine.js загружался с cdn.jsdelivr.net, как всегда делает страница плеера; всё остальное было локальным.
  • Не запускались:
    • остальные ignored-тесты, не относящиеся к MR: admin::statistics, oidc, lastfm_popularity, torrents, import_playlists, agent::dedup, federation::devices::interop_tests::localhost_tui_peer (нужны другие переменные окружения или реальный TUI);
    • real_transcodes_match_and_keep_distinct_bitrates (нужен ffmpeg);
    • Playwright browser-*.cjs;
    • interop с реальным TUI внутри репозитория (localhost_tui_peer); межклиентский прогон реальных процессов сделан вне репозитория, см. «Межклиентская проверка»;
    • curl-проверка кодов 415/429/422 на живом сервере (покрыты unit- и PostgreSQL-тестами);
    • реальный Safari с прокси (зонд bytes=0-1 покрыт только тестом).

Межклиентская проверка

Окружение. macOS (Darwin 25.5, arm64), 20.11.2026, вершина всего стека:

  • веб 0.15.0 — furumi-web podcasts/discovery @ 0e985b4, включает этот MR;
  • TUI 0.5.0 — furumi-tui podcasts/discovery @ 409188b;
  • frid podcasts/discovery @ 9c82f6d через локальный [patch];
  • старые клиенты — веб 0.12.4 (master @ 9b92385) и TUI 0.3.5 (federation @ 292f17f), собранные из git archive.

PostgreSQL — одноразовый postgres:16-alpine на 127.0.0.1, после прогона удалён. Браузер — headless Chrome через CDP. Каждый экземпляр со своими каталогами. Ленты и аудио отдают только локальные HTTP-серверы на 127.0.0.1. TUI играли на системное устройство с громкостью 0: тихого выхода в реальном бинарнике нет. Узлы iroh используют preset n0 и Mainline-DHT со случайным id сети на прогон, локального режима транспорта нет.

Обход харнесса: веб по замыслу не загружает ленты с 127.0.0.1 (SafeHttp), поэтому каталог выпусков, который разобрал TUI, копируется в furumusic__podcast_episode SQL-запросом. Подписки, регистры и операции идут только через настоящие API и device sync. Харнесс не входит в репозиторий: он не герметичен (relay n0, Docker, tmux, headless Chrome).

Итог: 37 pass, 3 info, 2 not run, 0 fail.

Сценарий Клиенты Результат
S1. Подписки в одной группе: подписка в TUI появляется в вебе через 6 с с тем же podcast_id; другой аккаунт её не видит; checkpoint веба доходит до TUI; отписка и повторная подписка с обеих сторон сохраняют прогресс 120 000 мс TUI 0.5.0 + веб 0.15.0 (аккаунты admin и bob) pass
S1. «Добавить RSS» с URL на 127.0.0.1 даёт 422 веб 0.15.0 info: так задумано
S2. «Прослушано» и checkpoint из веба доходят до TUI; «Начать сначала» в TUI (1420 мс, поколение 2) побеждает поздний checkpoint веба (360 000); TUI продолжает с позиции веба (309 с), пауза TUI записывается в регистр веба TUI 0.5.0 + веб 0.15.0 pass
S3. Браузер продолжает выпуск с регистра напрямую у издателя (Range, 206); перенос веб → TUI и TUI → веб сохраняет выпуск, очередь, позицию и паузу; издатель без Range: воспроизведение с 0, при продолжении с 60 с — сообщение «нельзя перемотать», регистр остаётся 60 000; device sync восстанавливается после перезапуска веба; ошибок JS нет TUI 0.5.0 + headless Chrome на веб 0.15.0 pass
S3. Воспроизведение через прокси с локального издателя — not run: SafeHttp вне cfg(test) отвергает 127.0.0.1 (502, правильная SSRF-защита); путь данных прокси (Range, сервер без Range, редиректы, проверка аудио, лимиты) покрыт src/podcasts/proxy_tests.rs
S4. Веб 0.12.4 в группе нового TUI: в его pg_dump 0 совпадений pod1:, ep1:, podcast_ и адреса ленты; его плейлист доходит до TUI; перенос с выпуском на него отклонён «needs a Furumi update», TUI продолжает играть TUI 0.5.0 + веб 0.12.4 pass
S4. TUI 0.3.5 в группе нового веба: в его файлах нет подкастовых данных; плейлист bob доходит до него; перенос из браузера отклонён «needs an update», браузер продолжает играть веб 0.15.0 + TUI 0.3.5 pass
S5. Jam в вебе: очередь гостя — четыре «Private item · hidden by its owner», media пустой, в ответах /jams/join и /devices/poll нет названий, адресов и id веб 0.15.0, хост и гость — два аккаунта в браузере pass
S5. Jam с хостом-TUI и гостем-вебом — not run: веб не поддерживает федеративный Jam (capabilities.rs, without_protocol(JAM_ID)); это отсутствующая функция, не дефект межклиентской работы

Наблюдение, не связанное с серией: исчезнувшее браузерное устройство остаётся «активным» (старое поведение хаба устройств).

Ограничения

  • С реальным TUI проверено только в составе всего стека (веб 0.15.0 и TUI 0.5.0, см. «Межклиентская проверка»), на вершине этой ветки отдельно — нет. Takeover после superseded проверен там только косвенно: «Начать сначала» в TUI против позднего checkpoint веба (S2).

  • Реальные издатели в интернете не проверялись (HTTPS, CDN, редиректы, реальные размеры, сигнатуры реальных файлов). Переход браузера на прокси проверен только в unit-тесте: в сквозном прогоне защита SSRF сервера (правильно) не пускает к локальному «издателю». Успешное «Добавить RSS» покрыто PostgreSQL-тестом с тестовой политикой loopback, в браузере проверен только отказ.

  • Ленты и аудио на нестандартных портах (не 80/443/8080/8443) сервер не загружает.

  • Оракул по времени. Ответы для внутреннего и несуществующего имени теперь одинаковы по коду и тексту, но время ответа может различаться (DNS, попытка соединения). Эта разница не выравнивается.

  • Сигнатура MPEG без ID3 проверяется по одному заголовку кадра. Двоичный файл, который случайно начинается с корректного заголовка Layer II/III, пройдёт как audio/mpeg.

  • Лимит ссылок на выпуски (10 000) считает и ссылки, пришедшие с устройств аккаунта. У аккаунта с очень большой историей из TUI перенос выпуска, которого нет в каталоге, может получить 422; подписка на подкаст это обходит.

  • Автовоспроизведение.

    • В smoke-тесте Chrome запускался с разрешённым автовоспроизведением.
    • В обычном браузере вкладка, получившая перенос без взаимодействия с пользователем, может не запустить звук (как и для музыки). Выпуск тогда остаётся на паузе на переданной позиции.
    • Play после паузы ждёт короткий запрос к серверу до старта звука. Play после сбоя источника ждёт ещё и финальную запись, не дольше 5 с.
  • Одновременное воспроизведение одного выпуска на двух устройствах (например, TUI офлайн и веб) по контракту приводит к попеременным явным записям, пока одно не остановится. Отложенный takeover это смягчает, но не исключает.

  • Jam с двумя аккаунтами в браузере прогнан межклиентской проверкой (S5) только на вершине стека. Jam с хостом-TUI и гостем-вебом невозможен: веб не поддерживает федеративный Jam.

  • Повтор «один» для выпуска переигрывает его в том же сеансе: полное прослушивание не добавляется.

  • Удаление истории прослушиваний не предусмотрено (не входит в эту версию). Сеансы копятся без предела (G-set, как в F2); ограничивается только snapshot.

  • Поиск не убирает диакритику (как в F2).

  • Запросы к публичным URL по замыслу. Вошедший пользователь может заставить сервер запрашивать публичные URL:

    • ленты своих подписок;
    • при включённом прокси — аудио с любого публичного адреса (через свою ленту или ссылку своего клиента).

    Защита ограничивает это публичными адресами, веб-портами, аудио-содержимым и лимитами.

  • Лимиты одновременных запросов считаются в памяти одного процесса; при нескольких экземплярах сервера они действуют на каждый отдельно.

  • Резолвер системный (getaddrinfo). Ответы прокси дольше 4 ч или больше 1 GiB обрываются, браузер может продолжить новым Range-запросом.

  • Проверено только на macOS arm64 (Chrome headless, мобильная ширина — эмуляцией). Не проверены Linux, Windows, Firefox и Safari, в том числе фоновое аудио iOS и pagehide/sendBeacon там.

  • Уже есть на master, не из-за этого MR:

    • cargo fmt --check (20 диффов) и clippy -D warnings (80 диагностик) не проходят;
    • тест транскодирования требует ffmpeg;
    • на полностью пустой БД планировщик падает при первом запуске (после перезапуска работает);
    • страница плеера грузит Alpine.js с CDN.

🤖 Generated with Claude Code

> **Серия «Подкасты»:** MR-F1 Furumi/frid#1 · MR-F2 Furumi/frid#2 · MR-F3 Furumi/frid#3 · MR-0 Furumi/furumi-tui#1 · MR-T1 Furumi/furumi-tui#2 · MR-T2 Furumi/furumi-tui#3 · MR-T3 Furumi/furumi-tui#4 · MR-W1 Furumi/furumi-web#10 · **MR-W2 Furumi/furumi-web#11** (этот) · MR-W3 Furumi/furumi-web#12. Порядок merge и зависимости — в разделе зависимостей ниже. ## Что сделано MR-W2 из плана подкастов (`PODCASTS_PLAN.md`, решения Р3–Р6 для веба). Он строится поверх MR-W1 (`podcasts/queue-source`). **Статус: выполнены все три шага, исправлены замечания двух раундов ревью.** - Шаг 1: хранилище PostgreSQL и синхронизация. - Шаг 2: фоновое обновление RSS, защита от SSRF, аудио-прокси. - Шаг 3: HTTP API и UI подкастов, воспроизведение в веб-плеере с прогрессом, перенос воспроизведения, Jam, документация, версия 0.14.0. - Ревью, раунд 1 (8 коммитов): - продолжение после перезагрузки страницы и после паузы; - запись прогресса после `superseded`; - история при потере роли активного устройства; - Prev и перемотка во время подготовки; - проверка содержимого в прокси; - лимиты; - сообщения об ошибках без деталей сети; - порты и JSON-тела; - сравнение алиасов независимо от collation. - Ревью, раунд 2 (9 коммитов): - короткий Range-зонд Safari в прокси и более строгая сигнатура MPEG; - одинаковый ответ для внутренних и несуществующих имён хостов; - без лимита на аккаунт в запуске обновления; - лимит ссылок на выпуски из браузера; - неудавшийся перенос; - Play после сбоя источника. **Межклиентская работа проверена реальными процессами** в составе всего стека: веб 0.15.0 с TUI 0.5.0, со старыми TUI 0.3.5 и веб 0.12.4, Jam двух аккаунтов в браузере. Все сценарии S1–S5 прошли. Не прогонялись прокси с локальным издателем и Jam с хостом-TUI, причины — в разделе «Межклиентская проверка». ### 1. Хранилище подкастов на PostgreSQL (`src/podcasts/`, шаг 1) `PodcastStore` реализует контракт `music_dht::podcast` (frid `PODCASTS.md`) с теми же инвариантами, что SQLite-хранилище `furumi_library::podcasts` (MR-F2). Каждый аккаунт веба — отдельное виртуальное устройство, поэтому в ключе каждой таблицы есть `user_id`. | Таблица | Содержимое | Синхронизируется | | --- | --- | --- | | `furumusic__podcast` | метаданные канала, URL, с которого аккаунт забирает ленту | нет (каталог) | | `furumusic__podcast_feed_alias` | ограниченное grow-only множество алиасов | в записях подписки и `podcast_feed_aliases_added` | | `furumusic__podcast_episode` | `EpisodeMeta`, `source` (`feed`/`sync`), `in_feed`, кэш текста для поиска | нет (каталог) | | `furumusic__podcast_season` | **представление** (view) по выпускам | нет | | `furumusic__podcast_subscription`, `_share`, `_progress` | регистры подписки, публикации и прогресса | да | | `furumusic__podcast_listen_session` | G-set сеансов прослушивания | да | | `furumusic__podcast_fetch_state` | ETag, Last-Modified, время проверок, ошибки, кэш обложки | **никогда** | **Один путь применения.** Через одни и те же функции проходят: - принятые операции (`apply_remote_op`); - записи snapshot (`apply_snapshot`); - локальные действия. Это материализаторы `SyncOpWire::podcast_*` и функции `merge_*` из `music_dht::podcast`. Поэтому результат идемпотентен и не зависит от порядка доставки, а snapshot не затирает более новое состояние. Каждая пишущая транзакция берёт advisory-блокировку аккаунта. **Сравнение не зависит от collation БД.** Множества алиасов читаются в байтовом порядке (`COLLATE "C"`, плюс сортировка в Rust), как их возвращает `merge_feed_aliases`. Так же упорядочены выборки snapshot. Поэтому на базах с ICU или glibc-локалью повторная операция даёт `Unchanged`, а не пустую перезапись, и `apply_feed` не создаёт лишнюю `podcast_feed_aliases_added`. **Локальные действия:** - `subscribe` (новая подписка — не больше 1000 активных на аккаунт), `unsubscribe` (прогресс и история сохраняются), `set_shared`; - `start_session`, `checkpoint` (поколение не меняется, при более новом поколении возвращается `Superseded`), `seek`, `complete_if_current`, `restart`, `mark_played`, `mark_unplayed`; - `record_listen_session`. Каждое действие выполняется **одной транзакцией**: читает регистры, добавляет операцию в журнал синхронизации устройства и применяет ровно эту операцию. Добавление делает `devices::append_local_op`. Она резервирует следующий `seq`, задаёт `hlc_ms` позже предыдущей локальной операции и формирует `op_id = <device>:<seq>`. Журнал и регистры меняются только вместе. **Применение ленты (`apply_feed`).** - Идентификаторы выпусков вычисляются по правилу F1 (`ParsedFeed::resolve_episode_ids`) по всем известным выпускам, включая полученные через синхронизацию. - Обновляются метаданные и URL аудио. Пропавшие из ленты выпуски сохраняются с `in_feed = false`. - Постоянный редирект и `itunes:new-feed-url` превращаются в алиасы. Операция `podcast_feed_aliases_added` создаётся, только если набор алиасов изменился. - Регистры, прогресс и сеансы обновление **не трогает**. **Запросы для UI:** - список подкастов со счётчиками и `effective_share`; - сезоны; - выпуски с фильтрами, поиском по `normalize_name`, сортировками и постраничным выводом; - позиция продолжения; - `episode_ref` с `progress_generation`; - история прослушиваний; - `audio_source`. ### 2. Миграции и импорт данных MR-W1 (шаг 1) - **`m_0056_create_podcast_store`** создаёт таблицы. Обратная операция их удаляет. - **`m_0057_import_podcast_relay`** — SQL-импорт из `furumusic__fed_podcast_relay`, где 0.13 хранил регистры как JSON контракта, уже проверенные и слитые. - Переносятся подписки с алиасами, отложенные алиасы, публикация, прогресс и сеансы. - Записи с поколением больше `i64::MAX` пропускаются: хранилище тоже их отвергает. - Строки каталога (подкаст и выпуск, `source = 'sync'`) восстанавливаются из `PodcastEpisodeRef` в операциях журнала `furumusic__fed_sync_ops`. - Импорт идемпотентен (`ON CONFLICT DO NOTHING`). - **Relay-таблица остаётся**: она больше не читается и не пишется. Удалить её можно в одном из следующих релизов. ### 3. Синхронизация через хранилище (шаги 1 и 3) - В `devices.rs` подкастовые операции и секции snapshot применяются к `PodcastStore`. - Snapshot устройства заполняется из хранилища: сначала самые новые записи, ограничение по F1. Затем, как и раньше, ограничение по бюджету сообщения. - Позиция выпуска, которую браузер не знает (`position_unknown`), берётся из регистра прогресса. - В каждом исходящем состоянии воспроизведения `progress_generation` каждого выпуска в очереди поднимается до поколения его регистра. Так устройство, которое забирает воспроизведение, пишет своё явное действие выше всего, что видел веб. - Модуль `podcast_relay` удалён. - **Поведение на проводе не изменилось**: отсечка v4 (`ops_for_peer`, `SyncSnapshot::for_peer`, `playback_allowed_for_peer`) и ограничения snapshot прежние. ### 4. Защита исходящих запросов от SSRF (`src/podcasts/net.rs`, шаг 2 + ревью) Все запросы к лентам и аудио идут через один клиент — `SafeHttp`. - **Принимаются** только `http`/`https`, без `user:pass@` в URL, с хостом, **на портах 80, 443, 8080 и 8443**. Публичный адрес может оказаться адресом самого сервера, и его прочие сервисы (БД, админ-порты) часто доступны с самого хоста. В тестах разрешены любые порты. - **Имена хостов** разрешает `GuardedResolver`. Он отвергает **весь ответ DNS**, если хотя бы один адрес не публичный. Блокируются: - loopback, RFC 1918, CGNAT, link-local; - адреса метаданных облаков (`169.254.169.254`, `169.254.170.2`, `100.100.100.200`, `fd00:ec2::254`); - ULA, multicast, unspecified, broadcast; - документационные, benchmarking и зарезервированные диапазоны, всё вне `2000::/3`; - IPv4-mapped, NAT64 и 6to4 проверяются по вложенному IPv4; IPv4-compatible адреса и Teredo заблокированы. - **Защита от DNS rebinding.** Этот резолвер и есть резолвер коннектора: каждое соединение один раз разрешает имя, проверяет адреса и подключается ровно к ним. - **IP-литералы** проверяются до подключения. **Редиректы** обрабатываются вручную, не больше 5 переходов, и каждый переход проверяется. - **Отключены** системный прокси, cookies и `Referer`. Клиентские заголовки не пересылаются. - **Сообщения об ошибках.** - Пользователь видит только вид отказа: адрес не разрешён, не удалось подключиться, HTTP-статус, не лента, слишком большой, таймаут. Разрешённых адресов и цепочек транспортных ошибок он не видит, так что сервер нельзя использовать для разведки своей сети. - **«Адрес не разрешён»** (422) пользователь получает только за то, что видно в самом URL: схема, учётные данные, порт, IP-литерал. Имя хоста, которое разрешается во внутренний адрес, получает тот же ответ, что имя, которое не разрешается, и сервер, который не отвечает: 502 «не удалось подключиться». Поэтому по ответам нельзя узнать, какие имена есть во внутреннем DNS сервера (`GuardError::is_refusal`). - Подробности пишутся в лог сервера и в лог job, **без URL**: используется `reqwest::Error::without_url()`, а `Location` в ошибках редиректа не повторяется. URL лент и аудио часто содержат токены доступа. - В логе job — только id подкаста, без `user_id`. Лог прокси тоже без `user_id`. - **Loopback** доступен только в тестах (`AddressPolicy::test_allow_loopback()` под `#[cfg(test)]`). ### 5. Фоновое обновление RSS (шаг 2 + ревью) - **Job `podcast_refresh`** запускается каждые 5 минут, работает и при выключенном агенте. Одновременно идёт только один запуск. За запуск он берёт до 200 подкастов (до 2400 в час), одновременно выполняет не больше 4 запросов. - **Аккаунты обслуживаются по очереди**: сначала самый просроченный подкаст каждого аккаунта, потом второй и так далее. Аккаунт с множеством медленных лент не задерживает остальных. **Отдельного лимита на аккаунт нет**: если других просроченных лент нет, один аккаунт может занять весь запуск (например, после импорта OPML на 1000 подписок). - **Загрузка ленты:** - условные запросы; - лимиты: 32 MiB и 60 с; - `Retry-After` учитывается; - разбор общим парсером `music_dht`; - ленту переносит только цепочка постоянных редиректов (301/308). - **Расписание:** - исправная лента проверяется раз в час плюс разброс до 10 минут; - после ошибок интервал растёт: 15 мин × 2ⁿ⁻¹, максимум сутки; - ошибка одной ленты не мешает остальным и не очищает каталог; - аккаунты с одним URL делят один запрос. - **Аудио не скачивается.** - **Ручное обновление**: `POST /api/podcasts/{podcast_id}/refresh`. - Только для своей подписки: неизвестный подкаст — 404, без подписки — 409. - Не чаще раза в 30 с: иначе 429 с `Retry-After`. - **Лимиты запросов, которые запускают пользователи.** «Добавить RSS» и ручное обновление: не больше 2 одновременно на аккаунт и 16 на сервер. Сверх лимита — 429 с `Retry-After: 5`. ### 6. Доставка аудио и необязательный прокси (шаги 2, 3 + ревью) - **По умолчанию браузер берёт аудио напрямую у издателя.** - **Прокси** включает администратор: **Settings → Podcasts → Podcast audio proxy**, `FURU_PODCAST_AUDIO_PROXY_ENABLED`. По умолчанию он выключен. Плеер переходит на прокси, если прокси включён и выполнено одно из условий: - прямой URL — `http://` на `https://`-странице; - аудио не загрузилось. - **`GET /api/podcasts/episodes/{episode_id}/audio`**: - принимает **id выпуска, а не URL**. URL берётся из каталога вошедшего аккаунта: из его лент и из ссылок на выпуски, которые прислали его же клиенты (сопряжённые устройства или браузер при переносе выпуска, которого нет в каталоге). Оба источника контролирует сам пользователь: подписаться можно и на свою ленту. Поэтому **любой вошедший пользователь может заставить сервер скачать аудио с любого публичного URL**. Ограничивают это проверки ниже; в документации это сказано прямо; - пересылает только один очищенный byte-`Range`; 200, 206 и 416 проходят насквозь; - **только аудио**: `Content-Type` издателя должен быть аудио-типом. Если тип `application/octet-stream` или пустой, нужно аудио-расширение в URL или аудио-сигнатура в начале файла: MP3/ID3, ADTS, Ogg, FLAC, WAV, M4A/M4B. - Сигнатура читается из ответа, если он начинается с нулевого байта и в нём не меньше 16 байт. Иначе — отдельным запросом `bytes=0-15`. Так проходит и зонд Safari/AVFoundation `bytes=0-1`. - Голый заголовок кадра MPEG принимается, только если весь заголовок корректен: Layer II/III, допустимый индекс битрейта и частоты. Поэтому текст в UTF-16 (`FF FE`) и `FF FF` не проходят как `audio/mpeg`. У ADTS проверяется индекс частоты. - Тип вложения из ленты или ссылки не используется. `text/html` и `video/*` (включая MP4 с видео-брендом) отвергаются; - в ответе только очищенные заголовки, плюс `nosniff`, `CSP: default-src 'none'; sandbox` и `Cache-Control: private, no-store`; - лимиты: 1 GiB, 20 с до заголовков, 30 с простоя, 4 ч на ответ, **не больше 4 потоков на аккаунт и 64 на сервер** (иначе 429); - ошибки — общими словами, детали в логе без URL; - ничего не сохраняет. - Модель безопасности прокси описана в `docs/administration.md`. ### 7. HTTP API для UI и плеера (шаг 3 + ревью) Логика вынесена в `src/podcasts/api.rs` и не зависит от HTTP. `http.rs` только проверяет вход (сессия или bearer) и переводит результат в JSON (`Cache-Control: private, no-store`). **Тела запросов должны быть `application/json`**, иначе 415. Как и экстрактор `Json` у остальных эндпоинтов плеера, это требует CORS-preflight для чужих origin: `text/plain` и формы с соседнего поддомена с cookie SameSite=Lax больше не проходят. | Эндпоинт (`/api/podcasts`) | Что делает | | --- | --- | | `GET /feeds[?all=1]` | подписки со счётчиками и состоянием проверок; с `all` также без подписки | | `POST /feeds {url}` | «Добавить RSS»: сначала загрузка ленты, потом приватная подписка (`runner::subscribe_url`) | | `GET /feeds/{id}` | подкаст, сезоны, последние 20 сеансов истории | | `GET /feeds/{id}/episodes?season=&played=&q=&sort=&limit=&offset=` | страница выпусков с прогрессом и готовым элементом очереди | | `POST /feeds/{id}/subscribe`, `/unsubscribe` | повторная подписка; отписка с сохранением прогресса и истории | | `POST /episodes/{id}/restart`, `/played`, `/unplayed` | явные действия с прогрессом | | `POST /episodes/{id}/playback` | источник аудио, позиция продолжения и регистр (`register_generation`, `register_session_id`); с `start` — новый сеанс (явное действие выше `carried_generation`) | | `POST /episodes/{id}/progress` | checkpoint, pause, stop, handoff (поколение сеанса), seek (явное действие), завершение, запись сеанса прослушивания | Коды ответа `POST /feeds`: - неверный URL — 400; - 422 с причиной: лента непригодна, в самом URL не разрешены схема, порт или IP-адрес, достигнут лимит подписок; - 502: имя не разрешается или разрешается во внутренний адрес, не удалось подключиться, таймаут; - 429: слишком много одновременных загрузок. Подробности: - **Неизвестный выпуск из переноса.** Если выпуска нет в каталоге, `playback` записывает пришедший `PodcastEpisodeRef` как ссылку из синхронизации и не трогает строки из ленты. - Таких выпусков (`source = 'sync'`) у аккаунта может быть не больше 10 000. Новая ссылка сверх лимита — 422, строка не создаётся; известные выпуски играют как обычно. - Ссылки из операций собственных устройств аккаунта применяются всегда. - Каждый выпуск создаёт не больше одной строки подкаста, поэтому подкасты тоже ограничены. - **Позиция.** Без `position_ms` сервер берёт `resume_position_ms()` регистра. Браузер присылает позицию только при переносе и при собственной перемотке пользователя. - **Завершение** решает сервер: по концу потока или `reaches_completion` на длительности из `<audio>`, а если она неизвестна, то из каталога. `complete_if_current` проверяет `Superseded`/`AlreadyCompleted` и пишет в одной транзакции, поэтому эпизод не завершается дважды. - **Сеанс прослушивания** записывается на pause, stop, handoff и end, в том числе когда регистр уже перезаписан (`superseded`). `listened_ms` ограничивается реально прошедшим временем. «Прослушано» сеанс не создаёт. ### 8. UI подкастов в веб-плеере (шаг 3) - **Боковая панель → «Подкасты»** (десктоп и мобильное меню): - поле «Добавить RSS» с понятной причиной отказа и пояснение, что новые подписки приватны; - список подписок с числом непрослушанных и ошибкой последней проверки; - переключатель «Показать без подписки». - **Страница подкаста** (подкаст → сезоны → выпуски): - обложка, автор, счётчики, время и ошибка проверки, URL ленты; - «Обновить»; «Отписаться» с подтверждением, что прогресс и история сохранятся; «Подписаться» снова; - фишки сезонов, включая «Без сезона»; - поиск по выпускам, фильтр «Все / Не прослушано / Начато / Прослушано», сортировка, «Показать ещё»; - список «Недавно прослушано». - **Выпуск:** - дата, сезон и номер, длительность; - полоса прогресса «Сохранено на … · осталось …», отметка «Прослушано», число полных прослушиваний, «Больше нет в ленте»; - кнопки «Слушать»/«Продолжить», «Начать сначала», «Прослушано», «Не прослушано», «В очередь»; - «Слушать» ставит выпуск следующим и не заменяет очередь; - «Прослушано» и «Не прослушано» для выпуска, загруженного в этой вкладке, сначала сохраняют прослушанное, закрывают сеанс и ставят звук на паузу, так что плеер не перезапишет отметку. - **Очередь и плеер:** - в очереди выпуск помечен «Выпуск подкаста»; - имя подкаста ведёт на его страницу; - лайк и «поделиться» для выпусков скрыты; - в плеере видно «Готовим выпуск…» или ошибку источника. - Интерфейс переведён на английский и русский. ### 9. Воспроизведение и прогресс (шаг 3 + ревью) - **Обычный Play продолжает с позиции регистра**, то есть с самого нового сохранения любого устройства. - Это касается и перезагрузки страницы: сохранённая позиция самой страницы на сервер не отправляется. - Play после паузы сначала проверяет, что регистр всё ещё принадлежит этому сеансу (`register_session_id`). Если за это время выпуск слушали на другом устройстве или отметили, Play продолжает с регистра новым сеансом. - **Play после сбоя источника** заново готовит выпуск. Сначала он ждёт, пока финальный `stop` старого сеанса дойдёт до сервера, но не дольше 5 с. Поэтому сервер продолжает с места, где остановился звук, а не с последнего checkpoint. Более новые записи других устройств по-прежнему побеждают. - Позицию отправляют только перенос и собственная перемотка пользователя. Перемотка, сделанная во время подготовки источника, применяется, когда источник готов («Начать сначала» не теряется). - «Начать сначала» — отдельное явное действие. - **Запись прогресса идёт в фоне и не блокирует звук.** Поводы для записи: - checkpoint каждые 20 с; - пауза; - перемотка: явное действие после 600 мс без движения ползунка; - смена элемента; - закрытие страницы (`sendBeacon`) и скрытие вкладки (keepalive); - передача на другое устройство. - **Записи одного сеанса идут по очереди**, поколение берётся в момент отправки. Отчёт всегда несёт позицию своего выпуска. - **После `superseded`** периодические записи старого сеанса прекращаются, как требует контракт FRID. - Если пользователь продолжает слушать на этом устройстве, следующая запись — явное действие этого плеера (`_takeOverEpisode`): он записывает прослушанное старым сеансом и начинает новый сеанс выше всего увиденного. - При паузе, остановке и конце потока это происходит сразу. При периодической записи — через один интервал checkpoint, чтобы перенос, вызвавший `superseded`, успел завершить сеанс. - Конец потока при этом завершает выпуск без второго сеанса прослушивания. - **Устройство, потерявшее роль активного** (другое устройство забрало воспроизведение), отправляет один финальный `stop` с поколением своего сеанса. - Прослушанное попадает в историю, а явный старт нового устройства остаётся в регистре. - Если перенос начат с этой вкладки и прошёл, повторного отчёта нет. - Если перенос не прошёл (409 «устройство нужно обновить» или сетевая ошибка), вкладка продолжает играть. Прослушанное после этого записывается при остановке или потере роли. - **Prev в выпуске** после первых 3 с отматывает на 15 с локально, без явной записи; следующий checkpoint сохраняет позицию. В первые 3 с Prev переходит к предыдущему элементу. Кнопка гарнитуры или экрана блокировки (Media Session) больше не сбрасывает прогресс. - **Источник без перемотки.** Если сервер издателя не может перемотать к сохранённой позиции, плеер показывает это, остаётся на паузе и не затирает позицию. Play означает «слушать с начала» (явное действие в 0). - **Отмена устаревшего запуска.** Если пользователь выбрал другой элемент, ответ сервера для прежнего выпуска игнорируется, а отложенная подготовка не отправляется. - **Перенос воспроизведения:** - веб → другое устройство: финальный checkpoint с поколением сеанса, затем передача; - другое устройство → веб: выпуск, позиция и пауза сохраняются; при старте веб пишет явное действие выше `progress_generation` из элемента очереди. - **История музыки и Last.fm** выпуски не затрагивают. ### 10. Jam (MR-W1 + шаг 3) - Гости видят выпуски хоста только как приватные элементы: без названия, URL и длительности, проиграть их нельзя. - Гость не может добавлять, удалять или очищать выпуски хоста. На странице подкаста у гостя кнопки «Слушать» и «В очередь» заблокированы с пояснением. - Локальное зеркало Jam никогда не играет выпуски и не пишет по ним прогресс. - Хост слушает свои выпуски как обычно. ### 11. Документация - README: возможность «Follow podcasts». - `docs/administration.md`: - раздел «Podcasts»: работа с подкастами, продолжение и завершение, перезагрузка, Prev, отметки, перенос, отписка, приватность и что видит издатель; - «Podcast feeds and audio»: порты, общие сообщения об ошибках (и одинаковый ответ для внутренних и несуществующих имён), очередь аккаунтов без лимита на аккаунт, лимиты (подписки, ссылки на выпуски, одновременные запросы), честная модель безопасности прокси; - «Upgrading from 0.13». - `docs/development.md`: «Podcast store», «Feed refresh and audio delivery» (`is_refusal`, проверка начала файла в прокси), «Podcast UI and playback» (правила позиции, takeover, финальный отчёт и неудавшийся перенос, повторная подготовка после сбоя, JSON-тела), команды тестов. - CHANGELOG `v0.14.0`. ## Исправления по ревью ### Раунд 1 Проверены все 11 замечаний, исправлены все. Отклонены отдельные варианты исправлений (см. ниже). Новые коммиты: 1. `99b2935` — множества алиасов сравниваются в байтовом порядке на любой collation; тест на собственной ICU-базе. 2. `c51a9af` — пользователю показывается только вид ошибки, детали идут в лог без URL (`without_url`), порты ограничены 80/443/8080/8443. 3. `2eb27cf` — тела только `application/json` (415). 4. `cfebe18` — лимиты на одновременные загрузки лент и потоки прокси (на аккаунт и на сервер), не больше 1000 подписок, обновление по очереди аккаунтов. 5. `fc0befc` — прокси пропускает generic-ответ только по аудио-расширению или аудио-сигнатуре; тип из ленты не доверяется. 6. `4050214` — `playback` возвращает регистр (`register_generation`, `register_session_id`). 7. `9b43a25` — плеер: продолжение с регистра после перезагрузки и паузы, перемотка во время подготовки, takeover после `superseded`, финальный отчёт при потере роли, отметка загруженного выпуска, Prev. 8. `404d9cc` — CHANGELOG. Не сделано из предложенного в раунде 1: - **Ограничить прокси выпусками «только из ленты».** Пользователь и так контролирует источники (своя лента, своё устройство), а ограничение сломало бы перенос TUI → веб для выпуска, которого нет в каталоге. Риском был тип из ленты; это исправлено. - **Отдельная CSRF-защита** (Origin или заголовок) для POST без тела. Они ведут себя как существующие маршруты плеера без тела. - **Бюджет времени на запуск job.** Очередь аккаунтов не даёт голодать. Обоснование «квоты на выпуски не нужны» из раунда 1 было неполным: ссылки из браузера ограничены в раунде 2. ### Раунд 2 Проверены все 8 замечаний, все подтвердились. Замечания 6 и 7 описывают одну проблему. Исправлены все. Новые коммиты: 1. `2549e9e` — прокси: если диапазон с нуля короче 16 байт (зонд Safari/AVFoundation `bytes=0-1`), начало файла читается отдельным запросом `bytes=0-15`. Раньше такой зонд для ID3-MP3 с типом `octet-stream` получал 415 «не аудио». 2. `402ad0a` — сигнатура MPEG: Layer II/III, допустимые индексы битрейта и частоты; у ADTS — допустимый индекс частоты. `FF FE` (UTF-16) и `FF FF` больше не считаются аудио. 3. `62141c0` — имя хоста, разрешённое во внутренний адрес, получает тот же ответ (502 «не удалось подключиться»), что несуществующее имя и закрытый порт. «Адрес не разрешён» (422) — только за схему, учётные данные, порт или IP-литерал. 4. `0aead73` и `4fef5c2` (форматирование) — у запуска обновления больше нет лимита 25 лент на аккаунт. Очередь аккаунтов осталась, и один аккаунт может занять свободную ёмкость. Раньше при 1000 подписках лента проверялась раз в ~3,3 ч вместо часа. 5. `f87d70c` — не больше 10 000 выпусков из ссылок (`source = 'sync'`) на аккаунт через `playback` (422). Ссылки из операций собственных устройств не ограничены. 6. `056c53a` — неудавшийся перенос (409 или сетевая ошибка) больше не подавляет финальный отчёт: `select()` снимает `handedOff`, если передача не прошла. 7. `7214c57` — Play после сбоя источника ждёт финальный `stop` старого сеанса (не дольше 5 с) и только потом готовит выпуск. Раньше выпуск откатывался к последнему checkpoint. 8. `7aa2253` — документация и CHANGELOG. Не сделано из предложенного в раунде 2: - **Проверка двух последовательных кадров MPEG.** Для неё нужно ~400+ байт вместо 16 и ещё один запрос. Проверка всего первого заголовка и исключение Layer I уже отсекают текст UTF-16 и некорректные заголовки. Остаётся ложное срабатывание только для двоичного файла, который случайно начинается с корректного заголовка Layer II/III. - **Rate limit (429) на `playback`.** Вместо него сделана квота на число строк (422). Она ограничивает рост таблиц детерминированно и не требует состояния в памяти; повторные запросы для известных выпусков строк не создают. ## Решения и отступления **Шаг 1** - **Сезоны — представление**, а не таблица. Семантика как в F2, но устареть оно не может. - **Поиск.** В PostgreSQL нет `normalize_name`, поэтому у выпуска есть кэш `search_norm`. Семантика совпадает с F2. - **Метки локальных операций** ставит своя функция `append_local_op` по тому же правилу. Это не пробел в контракте: веб не использует `furumi-library`. - **Импорт прототипа** в вебе не нужен. «Наследие» — relay-таблица 0.13. - **Состояние проверок** хранится на аккаунт. - **Наблюдение по контракту.** Snapshot не содержит `podcast.description`, поэтому повторная операция подписки после восстановления из snapshot возвращает `Changed`. В F2 так же. - **Слияние checkpoint в исходящем журнале** (разрешено, не обязательно) не сделано. **Шаг 2** - Эндпоинты вынесены в отдельное приложение `PodcastsApp` на `/api/podcasts`. - Редиректы обрабатываются вручную. Разрешение DNS закреплено собственным резолвером коннектора. Один запрос на URL ленты за запуск. - Лимиты, интервалы и квоты — константы. Единственная настройка — `podcast_audio_proxy_enabled`. - Прокси не поддерживает `HEAD` и видео. - Тестовый HTTP-сервер и загрузка ленты перенесены из прототипа TUI как новый код. **Шаг 3 и ревью** - **Тесты обработчиков** вызывают `podcasts::api` напрямую: в PostgreSQL-тестах и unit-тестах. Встроенной обвязки для cot-обработчиков нет, а feature `test` у cot не включена: это изменило бы `Cargo.lock`. Слой `http.rs` проверен unit-тестом `json_body`, curl и браузерным smoke-тестом. - **`/episodes/{id}/source`** остаётся, но плеер использует `/playback`, который отдаёт те же поля. - **«Слушать» из списка** вставляет выпуск после текущего элемента. «Начать сначала» для играющего выпуска — явная перемотка в 0, для остальных — `restart`, затем воспроизведение. - **Поведение после `superseded`** теперь следует правилу FRID («the user keeps listening locally → next record explicit»). В шаге 3 оно было объявлено свободным выбором — это было неверно. Takeover откладывается на один интервал checkpoint, чтобы не перебить чужой перенос. - **Play после паузы** делает один лёгкий запрос (`playback` без `start`) перед звуком: так паузный сеанс не перезапишет более новое прослушивание с другого устройства. - **Повторная подготовка того же выпуска** (Play после сбоя источника и другие пути) ждёт записи старого сеанса не дольше 5 с, а не отправляет позицию явно. Так более новые записи других устройств не перезаписываются. - **Отметка играющего выпуска** ставит его на паузу. Иначе продолжение прослушивания по контракту снова перезаписало бы отметку. - **Prev** в выпуске отматывает на 15 с, а не к предыдущему элементу. - **Ссылки на выпуски.** `playback` может записать в каталог ссылку на выпуск, пришедшую с собственного клиента. Это расширяет источник URL прокси. Защита: - проверка содержимого, адресов и портов; - лимиты (раздел 6); - квота 10 000 ссылок на аккаунт (раздел 7). - **Порты 80/443/8080/8443** для лент и аудио на сервере. TUI загружает ленты сам и этим не ограничен. - **Внутренние имена.** Имя хоста, которое разрешается в заблокированный адрес, получает ответ «не удалось подключиться», как и несуществующее имя. Подробности остаются в логе. - **`progress_generation`** поднимается для всех выпусков исходящей очереди, а не только для текущего с неизвестной позицией. - **Обложки** берутся напрямую у издателя (`referrerpolicy=no-referrer`), серверного кэша нет. `set_cover_cache` — только в тестах. - **Переключателя «Поделиться в федерации» в вебе нет:** это MR-W3. Для `set_shared` оставлен точечный `allow(dead_code)`. - **Браузерный smoke-тест** — CDP-скрипт вне репозитория: Playwright не установлен, а `browser-*.cjs` от него зависят. Данные подкаста для него вставлены SQL: защита SSRF (правильно) не пускает сервер к локальной ленте. ## Зависимости и коммиты - Stacked MR поверх **MR-W1**. Ветка `Sanapach/furumi-web:podcasts/web` → `Furumi/furumi-web:podcasts/queue-source`, если эта ветка-основание есть в Furumi/furumi-web. Иначе MR открывается в `master`: он зависит от MR-W1, и его diff включает двенадцать коммитов MR-W1. - Требует **MR-F1** (frid `podcasts/contract`: `music_dht::podcast` с feature `podcast-feed`, `device_sync` v4). - От этого MR зависит **MR-W3**. - 33 коммита (`git log --oneline podcasts/queue-source..podcasts/web`, вершина `4fef5c2`). Ветка перебазирована на `podcasts/queue-source` с коммитом «Point frid deps at the fork branch» из MR-W1; по содержанию коммиты не изменились, кроме разрешённого конфликта в `Cargo.toml` первого коммита: - `cc17054` Enable the shared podcast feed parser - `7f07cb2` Add a PostgreSQL podcast store with relay import - `681ff7a` Sync podcast state through the store instead of the relay - `c262744` Document the podcast store and the relay import - `04ae7d5` Guard podcast HTTP requests against SSRF - `bf9a6ab` Refresh subscribed podcast feeds in a background job - `2c0c3d2` Proxy podcast audio from publishers on request - `5aaea8a` Document podcast feed refresh and the audio proxy - `1778942` Add the podcast HTTP API for the UI and the web player - `2c551c5` Carry the newest progress generation in outgoing playback states - `3ebfc45` Play podcast episodes in the web player - `9d1a46c` Add a podcasts section to the web player - `ff10f43` Document podcasts in the web player - `592d61d` Release 0.14.0 with podcasts in the web player - `bf69819` Refresh podcast counters when an episode changes status - `047fc9e` Keep the podcast API's 401 path out of a large Result - `99b2935` Compare podcast alias sets in byte order on any collation - `c51a9af` Keep network details and URLs out of podcast fetch errors - `2eb27cf` Accept only application/json bodies on podcast endpoints - `cfebe18` Bound user-started feed and audio requests per account - `fc0befc` Pass generic proxy responses through only when they start like audio - `4050214` Report the progress register in podcast playback answers - `9b43a25` Resume episodes from the progress register and keep saving after a takeover - `404d9cc` Note the podcast review fixes in the changelog - `2549e9e` Sniff the file head separately when the browser probes a short range - `402ad0a` Accept a bare MPEG frame only when its whole header is valid - `62141c0` Answer blocked host names like unreachable ones - `0aead73` Let one account use the whole refresh run when others have nothing due - `f87d70c` Bound the episodes the browser can add outside the account's feeds - `056c53a` Record the listening after a handoff that did not go through - `7214c57` Save the failed session's position before preparing the episode again - `7aa2253` Document the proxy head check and the playback handoff details - `4fef5c2` Format the refresh runner ## Совместимость и версии - **Версия `furumusic` — 0.14.0.** - `music-dht` 0.6.0 с feature `podcast-feed`. **`Cargo.lock` и `[patch]`:** ветка стоит на `podcasts/queue-source` с коммитом MR-W1 «Point frid deps at the fork branch»: `music-dht` берётся из форка (`git = "https://gt.hexor.cy/Sanapach/frid.git", branch = "podcasts/contract"`), у frid-крейтов в `Cargo.lock` стоит `source = "git+https://gt.hexor.cy/Sanapach/frid.git?branch=podcasts%2Fcontract#65d6ca2…"`. Этот MR использует ту же ветку frid, поэтому своего такого коммита у него нет: при rebase конфликт в `Cargo.toml` (feature `podcast-feed` рядом с секцией `[patch]`) разрешён в первом коммите `cc17054`. После публикации `music-dht 0.6.0` на crates.io `[patch]` удаляется, и lock перегенерируется ещё раз. Исправления по ревью `Cargo.toml`/`Cargo.lock` не меняли. - ALPN, версия протокола (4) и формат сообщений не меняются. Пиры v3 получают то же, что в MR-W1. - **БД:** - миграции `m_0056`, `m_0057`; `furumusic__fed_podcast_relay` остаётся. Исправления по ревью миграций не добавляли; - настройка `podcast_audio_proxy_enabled` (по умолчанию `false`); - job `podcast_refresh`. - Откат на 0.12 — как в MR-W1 (удалить `podcast_*` из журнала операций). **Откат на 0.13 не проверялся.** - **Исходящие запросы:** - сервер делает исходящие HTTP(S)-запросы к издателям подписанных лент, только на публичные адреса и порты 80/443/8080/8443. Ленты на других портах сервер теперь отвергает; - один аккаунт может занять весь запуск обновления (до 200 лент за 5 минут), если у других аккаунтов нет просроченных лент; - прокси добавляет трафик, только если его включить; - браузер пользователя обращается к издателю за аудио и обложками. - **Новые HTTP-эндпоинты** `/api/podcasts/…` перечислены в разделе 7. - Новые коды: 415 (не JSON), 429 (лимит одновременных запросов), 422 (лимит подписок или ссылок на выпуски). - «Добавить RSS» для имени, которое разрешается во внутренний адрес, отвечает 502 (раньше 422). - Существующие API плеера не изменились. В JSON элементов очереди у выпусков теперь `unavailable: false` и `cover_url` выпуска. ## Как проверено (macOS 26, arm64, rustc 1.100.0, node 24.15) - **Форматирование и сборка.** - `cargo fmt --all -- --check`: 20 диффов, все уже есть на master (`src/admin/mod.rs`, `src/agent/dedup.rs`, `src/jobs/inbox_process.rs`). - `cargo check --all-targets --locked`: 0 предупреждений. - Каждый новый Rust-коммит проверен отдельно из `git archive`, 0 предупреждений: раунд 2 — `2549e9e`, `402ad0a`, `62141c0`, `0aead73`, `f87d70c`; раунд 1 — `99b2935`, `c51a9af`, `2eb27cf`, `cfebe18`, `fc0befc`, `4050214`. Коммиты шагов 1–3 проверены так же раньше. - `cargo clippy --all-targets --locked`: 80 диагностик на базе `c1cd689` и 80 на ветке. Наборы (файл + сообщение) **совпадают**. - **`cargo test --all-targets --locked -- --skip real_transcodes_match_and_keep_distinct_bitrates`: 190 passed, 0 failed, 26 ignored.** - Новые тесты раунда 2: - зонд `bytes=0-1`, `bytes=0-99` без второго запроса, зонд не-аудио отвергается; - негативные сигнатуры `FF FE`/`FF FF`, недопустимые битрейт и частота, зарезервированная частота ADTS; - `internal_names_cannot_be_told_from_unreachable_ones` (ленты) и `proxy_answers_alike_for_internal_and_unreachable_names` (прокси): внутреннее имя, несуществующее имя и закрытый порт дают одинаковые вид, код и текст, а IP-литерал по-прежнему отвергается; - код 422 для лимита ссылок. - Тесты раунда 1: порты, отсутствие URL в ошибках, сигнатуры аудио, прокси без доверия к типу, JSON-тела (415), лимитер, коды ошибок API. `transport_errors_never_carry_the_url` падает без `without_url()`. - **`node --test tests/*.test.cjs`: 62 pass, 0 fail.** `tests/player_podcasts.test.cjs` проверяет продакшен-код плеера с заглушками аудио, fetch и таймеров (19 тестов). - Покрыто: - продолжение с позиции и checkpoint; - явная перемотка; - `superseded`; - устаревший ответ; - перенос; - переход на прокси и смешанный контент; - источник без перемотки; - отчёты pause, ended и stop; - зеркало Jam; - стор подкастов; - перезагрузка, Play после паузы, takeover, отметка играющего выпуска, финальный отчёт при потере роли, Prev, перемотка во время подготовки. - **Новые в раунде 2:** - продакшен-метод `devices.select()`: перенос с ответом 409, с сетевой ошибкой и успешный. В первых двух случаях после потери роли уходит финальный `stop` с полным `listened_ms`, в третьем — нет; - Play после сбоя источника: сначала `stop` на 655 с, `playback` без позиции — только после ответа. Неотвечающий `stop` задерживает подготовку только на таймер, а выбор другого элемента отменяет её. - **Регрессия.** Новые тесты раунда 2 запускались на старом коде: Rust-тест прокси, оба теста на внутренние имена, PostgreSQL-тест лимита ссылок и оба node-теста. Все они **падают** без исправлений. - **PostgreSQL** — временный контейнер `postgres:16-alpine` на случайном порту 127.0.0.1, после проверки удалён (`docker rm -f`). - `FURU_DEVICE_SYNC_TEST_DATABASE_URL=postgresql://… cargo test --locked postgres_tests -- --ignored`: **14 passed, 0 failed** — два прогона подряд на новой БД и ещё один на отдельной ICU-базе (`LOCALE_PROVIDER icu ICU_LOCALE 'en-US'`). - Новые и изменённые тесты: - **новый в раунде 2** `postgres_podcast_episode_references_from_the_browser_are_bounded`: до лимита ссылки добавляются; следующая новая — 422 и строки нет; известные выпуски играют; операция устройства добавляет ссылку и сверх лимита; - `postgres_podcast_refresh_takes_accounts_in_turns`: порядок по очереди аккаунтов без лимита на аккаунт, лимит подписок, повторная подписка; - `postgres_podcast_alias_sets_ignore_the_database_collation` — без исправления раунда 1 падает; - `postgres_podcast_playback_resumes_from_the_register`. - `FURU_METADATA_FIX_TEST_DATABASE_URL=… cargo test undo_accepts_playback_archives_written_before_the_typed_queue -- --ignored`: 1 passed. - **Браузерный smoke-тест** (раунд 1; после раунда 2 **не повторялся**). Headless Chrome через CDP, отладочная сборка v0.14.0 на `127.0.0.1:18077`, новая БД, локальный «издатель» WAV с Range и без него на `127.0.0.1:18079`. Результат: **40/40 проверок, ошибок JS нет**. - Перезагрузка — настоящий `Page.reload`. - Проверено: - список, отказ для локальной ленты общим текстом, сезоны, порядок, поиск; - прямое воспроизведение, checkpoint, явная перемотка; - перезагрузка, Prev; - запись «другого устройства» и продолжение с неё; - конец потока и «Прослушано»/«Не прослушано»; - источник без Range; - перенос между двумя вкладками; - отметка играющего выпуска; - отписка. - Отказ для локальной ленты в smoke-тесте шёл через IP-литерал `127.0.0.1` и по-прежнему даёт 422. - Chrome запускался с `--mute-audio` и `--autoplay-policy=no-user-gesture-required`. Alpine.js загружался с `cdn.jsdelivr.net`, как всегда делает страница плеера; всё остальное было локальным. - **Не запускались:** - остальные ignored-тесты, не относящиеся к MR: `admin::statistics`, `oidc`, `lastfm_popularity`, `torrents`, `import_playlists`, `agent::dedup`, `federation::devices::interop_tests::localhost_tui_peer` (нужны другие переменные окружения или реальный TUI); - `real_transcodes_match_and_keep_distinct_bitrates` (нужен ffmpeg); - Playwright `browser-*.cjs`; - interop с реальным TUI внутри репозитория (`localhost_tui_peer`); межклиентский прогон реальных процессов сделан вне репозитория, см. «Межклиентская проверка»; - curl-проверка кодов 415/429/422 на живом сервере (покрыты unit- и PostgreSQL-тестами); - реальный Safari с прокси (зонд `bytes=0-1` покрыт только тестом). ## Межклиентская проверка **Окружение.** macOS (Darwin 25.5, arm64), 20.11.2026, вершина всего стека: - веб 0.15.0 — `furumi-web` `podcasts/discovery` @ `0e985b4`, включает этот MR; - TUI 0.5.0 — `furumi-tui` `podcasts/discovery` @ `409188b`; - frid `podcasts/discovery` @ `9c82f6d` через локальный `[patch]`; - старые клиенты — веб 0.12.4 (`master` @ `9b92385`) и TUI 0.3.5 (`federation` @ `292f17f`), собранные из `git archive`. PostgreSQL — одноразовый `postgres:16-alpine` на 127.0.0.1, после прогона удалён. Браузер — headless Chrome через CDP. Каждый экземпляр со своими каталогами. Ленты и аудио отдают только локальные HTTP-серверы на 127.0.0.1. TUI играли на системное устройство с громкостью 0: тихого выхода в реальном бинарнике нет. Узлы iroh используют preset n0 и Mainline-DHT со случайным id сети на прогон, локального режима транспорта нет. Обход харнесса: веб по замыслу не загружает ленты с 127.0.0.1 (SafeHttp), поэтому каталог выпусков, который разобрал TUI, копируется в `furumusic__podcast_episode` SQL-запросом. Подписки, регистры и операции идут только через настоящие API и device sync. Харнесс не входит в репозиторий: он не герметичен (relay n0, Docker, tmux, headless Chrome). **Итог:** 37 pass, 3 info, 2 not run, 0 fail. | Сценарий | Клиенты | Результат | | --- | --- | --- | | S1. Подписки в одной группе: подписка в TUI появляется в вебе через 6 с с тем же `podcast_id`; другой аккаунт её не видит; checkpoint веба доходит до TUI; отписка и повторная подписка с обеих сторон сохраняют прогресс 120 000 мс | TUI 0.5.0 + веб 0.15.0 (аккаунты admin и bob) | pass | | S1. «Добавить RSS» с URL на 127.0.0.1 даёт 422 | веб 0.15.0 | info: так задумано | | S2. «Прослушано» и checkpoint из веба доходят до TUI; «Начать сначала» в TUI (1420 мс, поколение 2) побеждает поздний checkpoint веба (360 000); TUI продолжает с позиции веба (309 с), пауза TUI записывается в регистр веба | TUI 0.5.0 + веб 0.15.0 | pass | | S3. Браузер продолжает выпуск с регистра напрямую у издателя (Range, 206); перенос веб → TUI и TUI → веб сохраняет выпуск, очередь, позицию и паузу; издатель без Range: воспроизведение с 0, при продолжении с 60 с — сообщение «нельзя перемотать», регистр остаётся 60 000; device sync восстанавливается после перезапуска веба; ошибок JS нет | TUI 0.5.0 + headless Chrome на веб 0.15.0 | pass | | S3. Воспроизведение через прокси с локального издателя | — | not run: SafeHttp вне `cfg(test)` отвергает 127.0.0.1 (502, правильная SSRF-защита); путь данных прокси (Range, сервер без Range, редиректы, проверка аудио, лимиты) покрыт `src/podcasts/proxy_tests.rs` | | S4. Веб 0.12.4 в группе нового TUI: в его `pg_dump` 0 совпадений `pod1:`, `ep1:`, `podcast_` и адреса ленты; его плейлист доходит до TUI; перенос с выпуском на него отклонён «needs a Furumi update», TUI продолжает играть | TUI 0.5.0 + веб 0.12.4 | pass | | S4. TUI 0.3.5 в группе нового веба: в его файлах нет подкастовых данных; плейлист bob доходит до него; перенос из браузера отклонён «needs an update», браузер продолжает играть | веб 0.15.0 + TUI 0.3.5 | pass | | S5. Jam в вебе: очередь гостя — четыре «Private item · hidden by its owner», `media` пустой, в ответах `/jams/join` и `/devices/poll` нет названий, адресов и id | веб 0.15.0, хост и гость — два аккаунта в браузере | pass | | S5. Jam с хостом-TUI и гостем-вебом | — | not run: веб не поддерживает федеративный Jam (`capabilities.rs`, `without_protocol(JAM_ID)`); это отсутствующая функция, не дефект межклиентской работы | Наблюдение, не связанное с серией: исчезнувшее браузерное устройство остаётся «активным» (старое поведение хаба устройств). ## Ограничения - **С реальным TUI проверено только в составе всего стека** (веб 0.15.0 и TUI 0.5.0, см. «Межклиентская проверка»), на вершине этой ветки отдельно — нет. Takeover после `superseded` проверен там только косвенно: «Начать сначала» в TUI против позднего checkpoint веба (S2). - **Реальные издатели в интернете не проверялись** (HTTPS, CDN, редиректы, реальные размеры, сигнатуры реальных файлов). Переход браузера на прокси проверен только в unit-тесте: в сквозном прогоне защита SSRF сервера (правильно) не пускает к локальному «издателю». Успешное «Добавить RSS» покрыто PostgreSQL-тестом с тестовой политикой loopback, в браузере проверен только отказ. - **Ленты и аудио на нестандартных портах** (не 80/443/8080/8443) сервер не загружает. - **Оракул по времени.** Ответы для внутреннего и несуществующего имени теперь одинаковы по коду и тексту, но время ответа может различаться (DNS, попытка соединения). Эта разница не выравнивается. - **Сигнатура MPEG** без ID3 проверяется по одному заголовку кадра. Двоичный файл, который случайно начинается с корректного заголовка Layer II/III, пройдёт как `audio/mpeg`. - **Лимит ссылок на выпуски** (10 000) считает и ссылки, пришедшие с устройств аккаунта. У аккаунта с очень большой историей из TUI перенос выпуска, которого нет в каталоге, может получить 422; подписка на подкаст это обходит. - **Автовоспроизведение.** - В smoke-тесте Chrome запускался с разрешённым автовоспроизведением. - В обычном браузере вкладка, получившая перенос без взаимодействия с пользователем, может не запустить звук (как и для музыки). Выпуск тогда остаётся на паузе на переданной позиции. - Play после паузы ждёт короткий запрос к серверу до старта звука. Play после сбоя источника ждёт ещё и финальную запись, не дольше 5 с. - **Одновременное воспроизведение** одного выпуска на двух устройствах (например, TUI офлайн и веб) по контракту приводит к попеременным явным записям, пока одно не остановится. Отложенный takeover это смягчает, но не исключает. - **Jam с двумя аккаунтами** в браузере прогнан межклиентской проверкой (S5) только на вершине стека. Jam с хостом-TUI и гостем-вебом невозможен: веб не поддерживает федеративный Jam. - **Повтор «один»** для выпуска переигрывает его в том же сеансе: полное прослушивание не добавляется. - **Удаление истории** прослушиваний не предусмотрено (не входит в эту версию). Сеансы копятся без предела (G-set, как в F2); ограничивается только snapshot. - **Поиск** не убирает диакритику (как в F2). - **Запросы к публичным URL по замыслу.** Вошедший пользователь может заставить сервер запрашивать публичные URL: - ленты своих подписок; - при включённом прокси — аудио с любого публичного адреса (через свою ленту или ссылку своего клиента). Защита ограничивает это публичными адресами, веб-портами, аудио-содержимым и лимитами. - **Лимиты одновременных запросов** считаются в памяти одного процесса; при нескольких экземплярах сервера они действуют на каждый отдельно. - **Резолвер системный** (getaddrinfo). Ответы прокси дольше 4 ч или больше 1 GiB обрываются, браузер может продолжить новым Range-запросом. - **Проверено только на macOS arm64** (Chrome headless, мобильная ширина — эмуляцией). Не проверены Linux, Windows, Firefox и Safari, в том числе фоновое аудио iOS и `pagehide`/`sendBeacon` там. - **Уже есть на master, не из-за этого MR:** - `cargo fmt --check` (20 диффов) и `clippy -D warnings` (80 диагностик) не проходят; - тест транскодирования требует ffmpeg; - на полностью пустой БД планировщик падает при первом запуске (после перезапуска работает); - страница плеера грузит Alpine.js с CDN. 🤖 Generated with [Claude Code](https://claude.com/claude-code)
sanapach added 46 commits 2026-11-20 13:24:58 +00:00
The podcast contract and device-sync protocol v4 live in music-dht 0.6.
Cargo.lock currently resolves it from a local patch of the frid branch
podcasts/contract and must be regenerated against the published crate.

Co-Authored-By: Claude Opus 5.5 <noreply@anthropic.com>
Use the shared music_dht::device_sync types instead of private copies
(byte-identical for v3 content, checked against the 0.12.x types and a
golden fixture) and announce protocol 4, because every v4 element is
kept:

- podcast operations stay in the operation log and are relayed only to
  peers that reported v4; their registers and the podcast snapshot
  sections are merged with the shared rules into an opaque relay table
  and returned in this server's snapshots (m_0055);
- the browser bridge carries PlaybackTrack.source: items that are not
  library tracks keep the verbatim wire item, so podcast episodes and
  Jam placeholders survive the round trip; the player labels and skips
  them instead of dropping them;
- the typed queue is persisted in queue_items_json next to queue_json,
  which is still written for rollback (m_0054).

Peer versions come from self-reports (profile_protocol_version); relayed
profiles only raise them and DeviceProfileSet no longer stores this
server's constant. Invites carry the inviter's version and a
DeviceProfileSet announces v4 once. Handoffs of a podcast queue to a
device below v4 are refused with an update message, and its playback
commands are ignored while the queue has podcast items. Jam guests see
podcast items as private placeholders, which are mapped back on their
commands.

Co-Authored-By: Claude Opus 5.5 <noreply@anthropic.com>
Co-Authored-By: Claude Opus 5.5 <noreply@anthropic.com>
Co-Authored-By: Claude Opus 5.5 <noreply@anthropic.com>
Co-Authored-By: Claude Opus 5.5 <noreply@anthropic.com>
Co-Authored-By: Claude Opus 5.5 <noreply@anthropic.com>
Co-Authored-By: Claude Opus 5.5 <noreply@anthropic.com>
The web player only knows a podcast episode's position from a handoff or
a seek. When Next, auto-advance, a click or a play command makes an
episode current, it now reports `position_unknown` instead of 0, and the
server takes the resume position (and the register generation) from the
relayed progress register before it hands the state to another device.
Remote Next/Prev/play commands to a device do the same.

Next with repeat all or shuffle wraps past a trailing unplayable item
instead of stopping on it. Prev leaves an unplayable item instead of
"restarting" it, and seeking such an item moves its kept position.

Co-Authored-By: Claude Opus 5.5 <noreply@anthropic.com>
The server checked a participant's queue_remove/queue_clear against the
host state of the last report, but the host browser runs its pending
commands in one batch: after a move, a checked index can name a private
item. Participant commands are now stamped `jam_participant`, and the
host browser refuses to remove, clear, add or bring back its private
items for them, judged on the queue it is about to change.

A guest that stops controlling a Jam drops the host's private
placeholders from its own queue, so they are not saved or relayed as
the guest's queue.

Co-Authored-By: Claude Opus 5.5 <noreply@anthropic.com>
Release 0.12 fails a whole sync batch on a podcast operation kind, so
rolling back is only safe after the relayed podcast operations are
removed: document the step in docs/administration.md and run it in the
m_0055 backwards operation.

The typed queue now records the current track id and queue position
written with it, next to the legacy ids. A 0.12 release that only moved
to another track in the same queue no longer leaves a stale typed
position that the next upgrade would restore. Jam placeholders are never
stored in a user's own typed queue.

Co-Authored-By: Claude Opus 5.5 <noreply@anthropic.com>
Co-Authored-By: Claude Opus 5.5 <noreply@anthropic.com>
The ignored device-sync PostgreSQL test now also covers a handoff and a
remote Next onto an episode with an unknown position (the relayed
progress register supplies 1200 s and its generation), and checks that
0.12's operation types fail on a relayed podcast operation and read the
log again after the documented cleanup statement, which the m_0055
backwards operation now shares.

Co-Authored-By: Claude Opus 5.5 <noreply@anthropic.com>
Co-Authored-By: Claude Opus 5.5 <noreply@anthropic.com>
The podcast store resolves episode ids from parsed feeds with the
identity hints of music_dht::podcast::feed, which are part of the id
contract.

Co-Authored-By: Claude Opus 5.5 <noreply@anthropic.com>
PodcastStore implements the music_dht::podcast contract per account:
catalog, feed aliases, episodes with a derived season view, the
subscription, share and progress registers, listening sessions and the
local-only fetch state. Received operations, snapshot records and local
actions share one apply path (materializers plus merge functions) under
a per-account advisory lock. Local actions append their operation to the
device-sync log with the next stamp of the web device and apply exactly
that operation in the same transaction.

Migration m_0056 creates the tables; m_0057 imports the registers that
0.13 kept in furumusic__fed_podcast_relay and the catalog rows of the
episode references in the operation log. The relay table is kept.

Co-Authored-By: Claude Opus 5.5 <noreply@anthropic.com>
Received podcast operations and snapshot sections are applied to the
podcast store, this device's snapshots are filled from it, and an
unknown episode position resumes from its progress register. The
relay module is removed; operations, gating and snapshot bounds on the
wire are unchanged. The device-sync Postgres tests now migrate their
database themselves and cover locally emitted podcast operations.

Co-Authored-By: Claude Opus 5.5 <noreply@anthropic.com>
Co-Authored-By: Claude Opus 5.5 <noreply@anthropic.com>
Feed and enclosure URLs come from users and third-party feeds. SafeHttp
accepts only http(s) URLs without credentials, resolves names with a
resolver that refuses the whole answer unless every address is public
(loopback, private, CGNAT, link-local, cloud metadata, unique local,
multicast, reserved; IPv4-mapped, NAT64 and 6to4 judged by their IPv4
part), and connects to exactly the checked addresses, so DNS rebinding
cannot swap them. IP literals and every redirect hop are checked; system
proxies, cookies and Referer are off. Loopback is reachable only through a
#[cfg(test)] policy used by the local test server.

Co-Authored-By: Claude Opus 5.5 <noreply@anthropic.com>
The podcast_refresh job runs every five minutes and refreshes the podcasts
whose next check is due: conditional requests (ETag, Last-Modified), 32 MiB
and 60 s limits, the shared music-dht parser and PodcastStore::apply_feed.
A chain of permanent redirects moves the feed and becomes an alias.
Healthy feeds are checked hourly with a stable spread; failures back off
from 15 minutes up to a day, honouring Retry-After. Accounts subscribed to
the same feed URL share one request, at most four run at once, and one
run at a time holds an advisory lock. runner::refresh_now is the manual
refresh for one subscribed podcast, at most every 30 seconds.

Co-Authored-By: Claude Opus 5.5 <noreply@anthropic.com>
Browsers stream episode audio from the publisher by default. For
publishers they cannot play directly (CORS, mixed content), the
administrator can enable podcast_audio_proxy_enabled (admin Settings,
FURU_PODCAST_AUDIO_PROXY_ENABLED). The endpoints live in a new app at
/api/podcasts:

- GET /episodes/{episode_id}/audio streams an episode of the signed-in
  account. The URL comes from the account's catalog, never from the
  request. Requests go through SafeHttp with one sanitized byte Range and
  no client headers; 200/206/416 pass through, only audio content types
  are served, with nosniff and a sandbox CSP, and responses stop at 1 GiB
  or 4 hours.
- GET /episodes/{episode_id}/source returns the publisher URL and, when
  enabled, the proxy URL.
- POST /{podcast_id}/refresh refreshes one subscribed feed now.

Co-Authored-By: Claude Opus 5.5 <noreply@anthropic.com>
Co-Authored-By: Claude Opus 5.5 <noreply@anthropic.com>
/api/podcasts now lists subscriptions with counters and fetch state,
subscribes by feed URL (fetched first; nothing is stored for a URL that
is not a public feed), shows a podcast with its seasons and history,
pages and searches episodes, and runs the explicit progress actions
(start over, played, unplayed) and unsubscribe/subscribe again.

The web player gets two endpoints: playback returns the audio source
and the resume position and, when the browser starts playing, writes a
new listening session as an explicit action above the carried handoff
generation; progress stores checkpoints, pause, stop and handoff at the
session generation, a seek as an explicit action, completes the episode
once at the end or within the completion tail, and records the
listening session. Handlers delegate to podcasts::api, which the new
Postgres test drives directly.

Podcast queue items are no longer marked unavailable in browser JSON
and carry the episode artwork. The temporary dead-code allowance of the
podcast module is gone; helpers used only by tests are cfg(test) and
complete_session gave way to complete_if_current.

Co-Authored-By: Claude Opus 5.5 <noreply@anthropic.com>
A browser queue item keeps the handoff hint it arrived with, which is
older than the checkpoints this account has written since. Every
podcast episode in a playback state the web sends to a trusted device
now carries max(hint, register generation), so the device taking over
writes its explicit action above everything the web has seen. Which
state reads the resume position from the register is decided on the
converted queue, so the bridge itself stays testable without a
database.

Co-Authored-By: Claude Opus 5.5 <noreply@anthropic.com>
Episodes in the queue are no longer skipped. The player asks the
podcast API for the audio source and the resume position, plays the
publisher URL (or the same-origin proxy when the administrator enabled
it and the direct URL fails or is http:// on an https:// page) and
seeks before it starts, so it never reports a resumed episode that
plays from elsewhere: a server that cannot seek to the saved position
shows that and keeps the position until the user plays from the start.

Progress follows the contract: Play starts a listening session as an
explicit action above the handed-off generation, checkpoints go out
every 20 s and on pause, a seek is an explicit action, the end of the
stream completes the episode, and a stop, a page hide (beacon) or a
handoff saves the final position. Writes of a session run one after
another in the background; a superseded session stops writing, and a
device that loses the playback role ends its session without a report.
Reports always carry the position of their own episode.

Jam placeholders stay unplayable and episodes stay private for Jam
rules. A podcasts store holds the list, the podcast page and the
explicit episode actions for the UI of the next commit.

Co-Authored-By: Claude Opus 5.5 <noreply@anthropic.com>
The sidebar gets Podcasts: add an RSS feed (fetched by the server; a
refused or broken feed shows why), the subscriptions with unplayed
counts and the last fetch error, and a podcast page with seasons, an
episode search, played/sort filters, paging, manual refresh and
unsubscribe (the confirmation says progress and history are kept), or
subscribe again. Episodes show the saved position, the time left and a
played mark, with Play/Resume, Start over, Mark played, Mark unplayed
and Add to queue; Jam guests cannot add episodes. The podcast page also
lists the recent listening history.

The queue labels episodes, the podcast name of the current episode
opens its page, like and share are hidden for episodes, and the player
bar shows when an episode is loading or cannot be played or resumed.

Co-Authored-By: Claude Opus 5.5 <noreply@anthropic.com>
README and the administration guide describe the Podcasts section,
resume and completion, handoffs, unsubscribing, what stays private and
what the publisher sees, and the security model of the optional audio
proxy. The development guide lists the endpoints, how the player
writes progress and the node tests.

Co-Authored-By: Claude Opus 5.5 <noreply@anthropic.com>
Co-Authored-By: Claude Opus 5.5 <noreply@anthropic.com>
Playing, completing or restarting an episode from the player updated
its row but left the unplayed and in-progress counters of the podcast
page as they were loaded.

Co-Authored-By: Claude Opus 5.5 <noreply@anthropic.com>
Clippy flagged the helper that returned the 401 response as its error
variant (result_large_err); it now returns the account id as an Option.

Co-Authored-By: Claude Opus 5.5 <noreply@anthropic.com>
Co-Authored-By: Claude Opus 5.5 <noreply@anthropic.com>
Users see the kind of failure only; resolved addresses and transport
details go to the logs, without URLs. Feed and audio requests are
limited to the web ports.

Co-Authored-By: Claude Opus 5.5 <noreply@anthropic.com>
Co-Authored-By: Claude Opus 5.5 <noreply@anthropic.com>
Feed downloads and proxy streams have per-account and server-wide
limits, new subscriptions stop at 1000 per account, and scheduled
refreshes take accounts in turns.

Co-Authored-By: Claude Opus 5.5 <noreply@anthropic.com>
The enclosure type of a feed or of a client-sent episode reference no
longer makes an application/octet-stream response acceptable.

Co-Authored-By: Claude Opus 5.5 <noreply@anthropic.com>
The player checks it before continuing a paused session and resumes
from it after a reload.

Co-Authored-By: Claude Opus 5.5 <noreply@anthropic.com>
A reload or a Play after a pause continues from the register instead of
this page's saved position, a seek during preparation is kept, a player
that keeps listening after being superseded writes again as a new
session, a player that loses the playback role records its listening,
marking the loaded episode closes its session, and Prev no longer
resets an episode to 0.

Co-Authored-By: Claude Opus 5.5 <noreply@anthropic.com>
Co-Authored-By: Claude Opus 5.5 <noreply@anthropic.com>
Co-Authored-By: Claude Opus 5.5 <noreply@anthropic.com>
Co-Authored-By: Claude Opus 5.5 <noreply@anthropic.com>
Co-Authored-By: Claude Opus 5.5 <noreply@anthropic.com>
Co-Authored-By: Claude Opus 5.5 <noreply@anthropic.com>
Co-Authored-By: Claude Opus 5.5 <noreply@anthropic.com>
Co-Authored-By: Claude Opus 5.5 <noreply@anthropic.com>
Co-Authored-By: Claude Opus 5.5 <noreply@anthropic.com>
Co-Authored-By: Claude Opus 5.5 <noreply@anthropic.com>
Co-Authored-By: Claude Opus 5.5 <noreply@anthropic.com>
sanapach changed title from Podcasts/web to Подкасты в веб-плеере: хранилище PostgreSQL, обновление RSS, прокси, UI и воспроизведение (MR-W2) 2026-11-20 13:43:07 +00:00
You are not authorized to merge this pull request.
This pull request can be merged automatically.
View command line instructions

Checkout

From your project repository, check out a new branch and test the changes.
git fetch -u https://gt.hexor.cy/sanapach/furumi-web podcasts/web:sanapach-podcasts/web
git checkout sanapach-podcasts/web
Sign in to join this conversation.