MR-W3 из плана подкастов (PODCASTS_PLAN.md, решение Р7 для веба). Строится поверх MR-W2 (podcasts/web) и использует оверлей music_dht::podcast_dht из MR-F3.
Статус: оба шага выполнены, замечания двух раундов ревью исправлены отдельными коммитами. Межклиентская проверка с TUI нашла одну проблему приватности при перезапуске сервера, она исправлена (0e985b4). Всего в ветке 26 коммитов поверх podcasts/web.
Шаг 1:
оверлей на узле федерации сервера;
переключатель «Поделиться в федерации» с диалогом подтверждения приватности;
согласователь публикаций.
Шаг 2:
карточки подкастов в федеративном поиске вместе с музыкой;
просмотр сезонов и выпусков найденного подкаста;
«Подписаться» из карточки и отметка «Уже подписан»;
документация, версия 0.15.0.
Исправления по ревью:
справедливый лимит публикаций, который учитывает место в репликах;
отказоустойчивый отзыв карточек;
честные статусы публикации;
устойчивый представитель карточки, в том числе после перезапуска;
распознавание переехавших лент. Чужая лента не может переписать подкаст, на который аккаунт подписан, а текущая подписка важнее старой отменённой;
сбой поиска подкастов не ломает поиск музыки;
просмотр выпусков по сезонам;
отмена брошенных превью.
1. Оверлей podcast_dht на узле федерации (src/federation/podcast_discovery.rs)
Оверлей работает на том же iroh-узле и с той же идентичностью, что музыкальный DHT (как similarity_dht).
ALPN furumi-fd/podcast-dht/1 зарегистрирован как schema-independent.
Кэш хранится в podcast-dht.sqlite3 в каталоге данных федерации.
Задачи:
serve и maintenance;
согласователь публикаций;
зонд capability-манифестов: раз в 5 мин, каждый пир не чаще раза в час, после ответа вызывается note_peer_capabilities.
podcast_dht объявляется в манифесте, только пока оверлей работает.
Если кэш не открылся, отключается только обнаружение. В логе «public podcast discovery disabled», а Federation::podcast_discovery_unavailable() различает «федерация выключена» и «оверлей не запустился».
В статусе федерации в админке появились поля podcast_discovery и podcast_discovery_peers.
2. Кто публикует: правило для нескольких аккаунтов (src/podcasts/discovery.rs)
Веб многопользовательский, а подписать карточку он может только ключом узла сервера. Поэтому публикует сервер, а не аккаунт. В карточке нет ничего, что указывает на аккаунт.
Что публикуется. Подкаст публикуется, только если хотя бы один активный аккаунт явно им поделился (effective_share по слитым регистрам). Всё остальное приватно и не порождает сетевого трафика.
Одна карточка на подкаст. Её строят по данным аккаунта-представителя. Представитель выбирается так, по порядку:
аккаунт без предупреждений приватности;
действующий представитель. Это представитель прошлого раунда, а после перезапуска — аккаунт, чья карточка совпадает по тексту с активной карточкой из PodcastDht::published() (URL, заголовок, автор, описание, обложка, ссылка). Поэтому другой аккаунт, позже поделившийся тем же подкастом, не подменяет текст опубликованной карточки, в том числе после перезапуска сервера;
аккаунт, чьи метаданные сервер сам загрузил с исходного адреса подкаста (trusted_meta: meta_from_feed, и URL каталога — origin). Один флаг meta_from_feed доверия не даёт: аккаунт может синхронизировать в каталог любой URL до загрузки;
аккаунт с наименьшим id.
Отзыв. Выключение «Поделиться» или отписка на любом устройстве убирают аккаунт из набора. Когда подкастом больше не делится никто, карточка получает tombstone.
Поздние состояния устройств публикацию не возвращают: решают слитые регистры (LWW), а sync_shares декларативный.
Отказоустойчивость. Строка одного аккаунта, которая не декодируется (URL каталога или алиаса, JSON регистра, id), исключается из раунда и считается в unreadable. Её подкаст снимается, если им не делится кто-то ещё, а остальные подкасты согласуются как обычно. Раунд пропускается только при ошибке соединения или запроса.
Состав карточки — по образцу интеграции F2:
слитый регистр подписки с алиасами и регистр публикации;
PodcastCardSpec::from_subscription;
feed_url из каталога, id_feed_url — origin;
число выпусков и дата самого нового.
Прогресса, истории, имён устройств и данных аккаунта в карточке нет (проверено тестом).
Лимит: не больше 192 карточек на сервер, поровну между аккаунтами (allocate):
слоты раздаются по кругу;
в очереди аккаунта сначала его уже опубликованные подкасты, затем остальные по его собственному времени решения;
внутри круга опубликованные идут раньше новых.
Аккаунт, чьи подкасты помещаются в его долю (192 / число делящихся аккаунтов), никогда не теряет опубликованную карточку из-за других аккаунтов, какие бы времена hlc_ms ни присылали их устройства.
Место в репликах. Реплика хранит до 256 записей одного издателя, считая неистёкшие tombstone, и отказывает новым ключам сверх этого. Поэтому раунд берёт подкасты, которым нужен новый ключ, только пока есть место: Incumbents::key_headroom = 256 − активные карточки − живые tombstone, по данным dht.published(). Остальные ждут (over_limit), и ради них опубликованные карточки не снимаются. Повторная публикация подкаста с живым tombstone использует старый ключ. Перераспределение по справедливости поэтому идёт постепенно, по мере истечения tombstone (24 ч), и ни одна новая карточка не отклоняется репликами.
Когда работает согласователь: после изменений с задержкой 2 с и раз в 5 мин. Первый раунд после старта федерации ждёт первого раунда device-sync, не дольше 45 с (см. «Исправления после межклиентской проверки»). В лог пишутся только счётчики.
3. Подтверждение приватности (миграция m_0058)
privacy_confirmed хранится в furumusic__podcast_share_confirmation. Таблица локальная и никогда не синхронизируется.
Подтверждение привязано к решению о публикации (op_id) и к точным URL карточки.
Оно спрашивается заново:
при новом включении;
при переезде ленты;
при включении на другом устройстве.
Неподтверждённая карточка с предупреждениями сервером не публикуется. Если она была опубликована раньше, она снимается.
GET /api/player/federation/search/events запускает параллельно музыкальный DHT и PodcastDht::search (до 20 карточек, таймаут 20 с).
Музыкальные события идут первыми и не изменились:federation.track|artist|release. Добавлено только поле "type": "music".
Подкасты приходят следом событиями federation.podcast с "type": "podcast". В карточке:
podcast_id;
feed_url — только origin;
публичные поля карточки;
image_url и link — только абсолютные http(s) без учётных данных;
publisher_count;
rank и exact_match из merge_search_results;
subscribed и local_podcast_id для того, кто ищет.
Завершение поиска.search.completed содержит podcast_discovery (running / off / failed). Сбой поиска подкастов или подготовки его результатов для аккаунта (ошибка БД) только убирает подкасты и даёт failed. Музыка выдаётся полностью, браузер показывает «Поиск подкастов сейчас не ответил; результаты по музыке полные».
5. Просмотр и подписка из карточки
Оба запроса принимают тело {"podcast_id", "feed_url"}.
Проверки:
нужен JSON (иначе 415/400) и сессия или bearer-токен;
если id не выводится хешем из URL — 422;
действуют лимиты «Добавить RSS» (429).
POST /api/podcasts/discovery/preview: необязательное поле "season" ("N", "none", "all"; неверное значение — 400 до загрузки). Сервер читает ленту через SSRF-защищённый загрузчик и возвращает канал, число выпусков по сезонам, listed_count и 50 новейших выпусков выбранного сезона. Ничего не сохраняет.
POST /api/podcasts/discovery/subscribe создаёт собственную приватную подписку: загрузка по origin, затем runner::subscribe_fetched. Эту же функцию использует «Добавить RSS».
Какой подкаст. Берётся существующий подкаст аккаунта по id или по адресам из document_urls: origin, конец цепочки постоянных редиректов, itunes:new-feed-url самой ленты (search::known_podcast). Подкаст, на который аккаунт подписан, имеет приоритет над старой отменённой подпиской на ту же ленту. Если ни один адрес не известен, создаётся новый подкаст с id карточки.
Когда документ записывается. Загруженный документ записывается (ingest), только если подкаст новый или документ пришёл с собственного адреса загрузки этого подкаста: запрос был туда, или туда закончилась цепочка постоянных редиректов. В остальных случаях совпадение нашлось через другой алиас или через заявление itunes:new-feed-url чужого документа, и это может быть устаревшая копия или вообще другая лента. Тогда ничего из документа не пишется: ни выпуски, ни метаданные, ни валидаторы. Если подписка была отменена, подкаст подписывается снова со своими сохранёнными метаданными (как «Подписаться снова»), и задача обновления загрузит его собственный адрес.
Итог для переехавших лент. Аккаунт, подписанный на ленту только по новому адресу, получает в превью «Уже подписан» и «Открыть». «Подписаться» и «Добавить RSS» со старым адресом ничего не пишут и дубликата не создают.
Если аккаунт уже подписан (по id или известному URL, до или после загрузки), ничего не пишется.
Издатель карточки в подписке не участвует.
6. Интерфейс
Страница подкаста:
«Поделиться в федерации» / «Перестать делиться»;
«Проверить и опубликовать»;
диалог «Опубликовать адрес ленты?» с причинами и точным адресом;
строка состояния. Она различает: приватно; ждёт подтверждения; федерация выключена; поиск подкастов недоступен; публикуется; опубликовано этим сервером; не опубликовано из-за лимита сервера; сбой публикации.
Текст ожидания подтверждения поясняет, что не публикует только этот сервер: другие плееры, где пользователь уже подтвердил, могут публиковать карточку сами.
Список подписок: метка «Публикация включена». Это решение пользователя, а не факт публикации.
Поиск: ряд «Подкасты» с меткой «Подкаст» и отметкой «Уже подписан». Строка о сбое поиска подкастов.
Отмена запросов. Закрытие карточки, открытие другой или смена сезона отменяют идущий запрос превью (AbortController).
Недоверенные данные: браузер оставляет только типизированные поля, id вида pod1:…, проверенные http(s)-URL (обложки только по https). Всё выводится через x-text. Тексты на английском и русском.
Исправления после межклиентской проверки
После перезапуска сервер публикует карточки только после первого раунда device-sync (приватность, коммит 0e985b4). Сценарий 7c, где веб — устройство, которое было выключено: пока сервер стоял, на TUI выключили «Поделиться».
Проблема. Раньше согласователь сразу при старте вызывал sync_shares со старым shared = true из базы. С frid 9c82f6d первый вызов заново рассылает неизменённые карточки, поэтому отозванная карточка снова объявлялась, пока не придёт выключение. Воспроизведено реальными бинарниками tui-t3 и web-w3: первый раунд через 0,03 с после старта обнаружения дал unchanged=1 unpublished=0 pushed_records=1. Это было раньше первого «device sync round ok» (0,57 с), а tombstone ушёл только через 3,0 с.
Исправление.devices::sync_loop через watch сообщает о конце первого раунда (новый тип FirstSyncRound): все обмены первого полного списка доверенных устройств, плюс ещё идущие, ответили, упали или истекли (30 с). Без доверенных устройств раунд заканчивается сразу. Federation::start_mode создаёт канал и передаёт его в podcast_discovery::start и дальше в discovery::run. Первый раунд discovery::run ждёт сигнала не дольше FIRST_DEVICE_SYNC_WAIT (45 с), при таймауте пишет предупреждение. Новый run_rounds(..., first_wait, users) позволяет тестам ограничить аккаунты; помощник тестов meet() вынесен из loopback_scenario. Документация: модуль discovery.rs (Reconciler), docs/development.md, запись CHANGELOG v0.15.0.
После исправления (тот же сценарий): device sync через 0,56 с, затем первый раунд — unchanged=0 unpublished=1 pushed_records=1 remote_nodes=1, то есть отправлен только tombstone.
Ограничение (такое же, как в TUI): устройство, недоступное при старте, передаст выключение, только когда синхронизируется.
Решения и отступления
Публикует узел сервера, одна карточка на подкаст. Отзыв — когда подкастом не делится ни один аккаунт.
Лимит 192 делится между аккаунтами по справедливости, а не по порядку времени. Время решения (hlc_ms) задаёт клиент, поэтому оно упорядочивает только подкасты своего аккаунта. Аккаунт сверх своей доли может потерять самые новые карточки в пользу аккаунта в пределах доли. Это сознательный выбор: иначе один аккаунт с 192 карточками блокировал бы всех. Перераспределение ограничено местом в репликах, поэтому может растянуться до 24 ч.
Представитель. Действующий представитель важнее метаданных, загруженных сервером: кто первым опубликовал, тот и задаёт текст карточки, пока делится. Для новой карточки предпочитаются метаданные, загруженные сервером с исходного адреса подкаста. Если ни у кого их нет, карточка строится из синхронизированных данных (так же делает TUI). Отдельной таблицы для представителя нет: после перезапуска его узнают по тексту опубликованной карточки.
Память раунда (представители, over_limit, сбои) хранится в процессе. После перезапуска представителя восстанавливает сравнение с карточкой оверлея, а held пустой до первого раунда.
itunes:new-feed-url по-прежнему участвует в сопоставлении с подкастом аккаунта, но документ ленты-заявителя туда не записывается. Первое же обновление подписки на ленту, объявившую new-feed-url X, переводит её на X (так работает apply_feed из W2). Значит, подписка на неё и есть подписка на X, и сопоставление только убирает дубликат (§11). Остающийся эффект: для такой ленты превью показывает «Уже подписан» / «Открыть X».
Подтверждение привязано к решению и URL. Неподтверждённая карточка снимается. Это строже, чем sync_shares.
Формат поиска. Музыкальные события не переведены в FederatedSearchHit, чтобы не ломать контракт браузера. Тип передаётся полем type, порядок — полем rank.
Обложки карточек браузер загружает напрямую, только по https и с no-referrer. Прокси для них нет.
Пробелы контракта (предложения в frid):
Лимит 256 записей на издателя рассчитан на устройство. Нужен режим «многопользовательский узел» или подсчёт только активных карточек: на сервере tombstone расходуют общий запас, и веб сейчас ограничивает новые ключи сам.
Нет клиентского capabilities::request_manifest.
ParsedFeed не отдаёт language и categories.
В MusicDhtConfig нельзя отключить relay для loopback-тестов. В MR-F3 это не сделано (ломает API federation-net 0.3.1), предложение перенесено в follow-up federation-net 0.4.
PublishedPodcast не отдаёт локальный PodcastCardSpec. Веб сравнивает представителя с подписанной карточкой из record.card(). Было бы проще иметь spec в публичном API.
Совместимость и версии
Версия приложения 0.15.0, раздел v0.15.0 в CHANGELOG.
music-dht 0.6.0.Cargo.lock и [patch]: последний коммит этого MR, «Point frid deps at the fork branch», подключает неопубликованный frid из форка: в [patch.crates-io] в Cargo.tomlmusic-dht указывают на git = "https://gt.hexor.cy/Sanapach/frid.git", branch = "podcasts/discovery", а в Cargo.lock у frid-крейтов (включая federation-net) стоит source = "git+https://gt.hexor.cy/Sanapach/frid.git?branch=…#<sha>". Ветка стоит на podcasts/web (с таким же коммитом MR-W1) и только меняет branch = "podcasts/contract" на branch = "podcasts/discovery". Сам MR в Cargo.lock меняет ещё версию furumusic. После публикации крейтов на crates.io эти строки удаляются, и lock перегенерируется ещё раз.
API. Музыкальные события поиска совместимы (новое поле type), добавлены событие federation.podcast и поле podcast_discovery. Новые эндпоинты:
POST /api/podcasts/feeds/{id}/share;
POST /api/podcasts/discovery/preview (необязательное поле season);
POST /api/podcasts/discovery/subscribe.
ShareView:
новое поле held (over_limit | failed | null). over_limit теперь означает и «ждёт места в репликах»;
discovery может быть unavailable;
published относится только к узлу этого сервера.
Изменение поведения «Добавить RSS» (из W2):
адрес, который ведёт редиректом или itunes:new-feed-url на уже известную аккаунту ленту, не создаёт второй подкаст;
документ, загруженный не с собственного адреса существующего подкаста (через алиас или заявление ленты), в этот подкаст больше не записывается. Раньше в W2 запрос по алиасу записывал документ.
Протоколы. Device-sync v4 и музыкальный DHT не менялись.
Как проверено (macOS, Darwin 25.5)
На вершине 0e985b4 (CARGO_TARGET_DIR=…/.targets/web-w3, music-dht из frid podcasts/discovery @ 9c82f6d через локальный [patch]):
cargo fmt --all -- --check: отличия только в старых файлах src/admin/mod.rs, src/agent/dedup.rs, src/jobs/inbox_process.rs (они такие же на базе); изменённые файлы отформатированы.
cargo clippy --all-targets: распределение предупреждений по файлам совпадает с вершиной до исправления (abd100d); новых нет.
Unit-тесты federation::devices::first_round_tests (2) для FirstSyncRound.
PostgreSQL (одноразовый postgres:16-alpine на 127.0.0.1, FURU_DEVICE_SYNC_TEST_DATABASE_URL, --ignored): federation::devices::postgres_tests (3) и podcasts::discovery_tests (5) — 8/8.
Новый Postgres + loopback тест podcasts::discovery_tests::postgres_a_restarted_server_publishes_only_after_the_first_device_sync, ignored по умолчанию, как соседние. Сервер публикует два подкаста и останавливается, затем поднимается из того же каталога, встречает постороннего и запускает run_rounds с закрытым шлюзом. Через 5 с посторонний не находит ни одной карточки ни по id, ни по тексту. Выключение «Поделиться» приходит с другого устройства через apply_remote_op, шлюз открывается, и посторонний находит только оставшуюся карточку (издатель — узел веба), а отозванная — tombstone. 3 из 3 прогонов (около 14 с), без ожидания тест падает («a card was announced before the first device-sync round»).
Сквозная проверка реальными бинарниками (tui-t3 + web-w3, сценарий 7c для веба): до исправления — FAIL, после — PASS (см. «Межклиентская проверка»).
Предыдущий раунд (вершина abd100d):
cargo fmt --check: расхождения только в файлах, которые расходятся и на базе (admin/mod.rs, agent/dedup.rs, jobs/inbox_process.rs).
cargo clippy --all-targets: отсортированный и нормализованный список из 80 предупреждений совпадает с базой podcasts/web (diff пустой). Новых нет.
cargo check --all-targets: проходит без предупреждений на каждом из 4 новых коммитов этого раунда и на HEAD. Остальные коммиты проверены на прошлых шагах.
cargo test --all-targets -- --skip real_transcodes_match_and_keep_distinct_bitrates: 208 passed, 0 failed, 34 ignored. Новые unit-тесты этого раунда:
перераспределение не просит у реплик больше ключей, чем они примут. B опубликовал 192, A поделился 96: A получает 64, B сохраняет 128, следующий раунд ничего не двигает, а после истечения tombstone выходит 96/96. В каждом раунде живые ключи плюс новые ≤ 256;
подкаст с живым tombstone публикуется снова на старом ключе, когда нового места нет;
опубликованная карточка сохраняет представителя по памяти и после перезапуска по тексту карточки. Действующий представитель важнее метаданных, загруженных сервером у другого аккаунта;
метаданные, загруженные с выбранного аккаунтом URL (не origin), не считаются доверенными.
Тесты прошлого раунда тоже проходят: 300 решений другого аккаунта с hlc≈0 ничего не снимают, справедливая доля, порядок внутри аккаунта, причина held, сбой подготовки поиска даёт failed, превью по сезону.
node --test tests/*.test.cjs: 67/67.
PostgreSQL: одноразовый контейнер postgres:16-alpine на 127.0.0.1, удалён после прогона. FURU_DEVICE_SYNC_TEST_DATABASE_URL=postgresql://… cargo test --bin furumusic -- --ignored — проходят все 22 теста, которым тогда была нужна эта переменная. Новые:
postgres_a_feed_claiming_a_followed_address_never_rewrites_that_podcast. Аккаунт подписан на real.xml. Застывшая копия stub.xml и чужая evil.xml объявляют itunes:new-feed-url = real.xml. После «Добавить RSS» обеих и «Подписаться» на карточку evil.xml:
каталог (заголовок, описание, meta_from_feed), выпуски и in_feed не изменились, журнал не вырос, активная подписка одна;
после отписки заявление evil.xml подписывает подкаст снова с его же метаданными регистра, без записи документа;
подкаст hash(evil) не создаётся;
собственный адрес по-прежнему записывается как обновление;
postgres_a_current_subscription_wins_over_an_old_unsubscribed_podcast. У аккаунта отменённый hash(old) и действующий hash(new). known_podcast и превью дают hash(new) и «Уже подписан». Подписка из карточки и «Добавить RSS» old.xml возвращают already_subscribed для hash(new), журнал не меняется, активная подписка одна, hash(old) остаётся отменённым.
Оба теста падают на прежнем коде (проверено откатом runner.rs/search.rs) и проходят с исправлениями. Также проходят loopback-тесты публикации, тест на нечитаемую строку, расширенный postgres_subscribing_from_a_card_keeps_the_card_id, миграции и все подкастовые и devices-тесты W2.
Тесты, которым нужны другие переменные или запущенный TUI (Last.fm, OIDC, статистика, metadata fix, import, dedup, torrents, localhost_tui_peer), не запускались, как и на базе.
Визуально в браузере (шаг 2): проверено на подставленном состоянии сохранённой страницы — ряд «Подкасты», диалог, ширина 375 px. Изменения прошлого раунда в браузере не проверялись: кнопки сезонов, строка о сбое поиска, метка списка, тексты статуса. Их покрывают только node-тесты. В этом раунде интерфейс не менялся.
Межклиентская проверка
Окружение — то же, что в MR-W2. Вершина стека: веб 0.15.0 (0e985b4), TUI 0.5.0 (409188b), frid 9c82f6d через локальный [patch]. PostgreSQL в одноразовом контейнере, headless Chrome через CDP, ленты только с 127.0.0.1. Узлы iroh используют preset n0 и Mainline-DHT со случайным FURU_FEDERATION_NETWORK_ID, локального режима транспорта нет. Весь прогон: 37 pass, 3 info, 2 not run, 0 fail. Сценарии S1–S5 (подписки, прогресс, перенос, старые пиры, Jam) — в таблице MR-W2. Здесь — обнаружение и перезапуск.
Сценарий
Клиенты
Результат
S6. bob делится подкастом → карточка опубликована сервером; TUI находит «[podcast] … 1 publisher», подписывается из карточки тем же podcast_id («✓ subscribed», «Уже подписан»); подписка синхронизируется в веб-аккаунт группы как subscribed=true, shared=false, и его поиск в вебе показывает «Уже подписан»
веб 0.15.0 (admin, bob) + TUI 0.5.0 в группе admin
pass
S6. Одиночный TUI делится → поиск bob в вебе находит карточку; выключение в TUI сразу убирает её из поиска веба
веб 0.15.0 + TUI 0.5.0 вне группы
pass
S6. bob выключает «Поделиться» → карточка пропадает из поиска TUI за 15 с, подписка TUI остаётся
веб 0.15.0 + TUI 0.5.0
pass
S6. Shift+F в TUI группы синхронизируется в веб-аккаунт, и сервер публикует тоже (2 издателя); выключение в вебе выключает и в TUI, обе карточки пропадают
веб 0.15.0 + TUI 0.5.0 в группе
pass
S6. Приватные подкасты не находятся ни в вебе (оба аккаунта), ни в TUI; в кэшах DHT только общие карточки
все
pass
7c для веба: веб остановлен, TUI выключил «Поделиться», веб перезапущен
TUI 0.5.0 + веб 0.15.0
до 0e985b4 — FAIL (первый раунд через 0,03 с: unchanged=1, pushed_records=1); на 0e985b4 — pass: веб узнал о выключении через 2,2 с, первый раунд через 3,0 с — shared=0 published=0 unchanged=0 unpublished=1
Не прогонялись:
путь данных прокси с локальным издателем: SSRF-защита отвергает 127.0.0.1, путь покрыт proxy_tests;
Jam с хостом-TUI и гостем-вебом: веб не поддерживает федеративный Jam.
Наблюдение (frid, без исправления в этой серии): первая находка карточки одиночного TUI в вебе — через 311 с после «Поделиться» («remote_nodes=0» в первом проходе TUI). Харнесс опрашивал поиск только в начале сценария, поэтому точная задержка не измерена; механизм (bootstrap оверлея раз в 10 мин) и предложение описаны в MR-F3.
Ограничения
Сквозная проверка в репозитории неполная. SSE-обработчик с реальным Federation::start_mode и зонд манифестов по сети не покрыты интеграционным тестом в репозитории. Их проверил межклиентский прогон реальных процессов (см. выше), но харнесс не герметичен и в репозиторий не входит. Сетевой путь в репозитории проверен loopback-тестами на PodcastDht и функциях веба. Relay iroh (preset N0) может обращаться к серверам n0, как и тесты frid.
Публикация после перезапуска ждёт первый раунд device-sync (не дольше 45 с). Устройство, недоступное при старте, передаст выключение «Поделиться», только когда синхронизируется.
Комментарий модуля src/podcasts/discovery.rs неточен для старта: «при ошибке БД раунд пропускается, карточки переиздаёт maintenance» верно только после первого успешного раунда. Если БД недоступна с самого старта, frid 9c82f6d не отправляет свои карточки прошлой сессии, пока раунд не пройдёт, и в худшем случае они истекают через 12 ч. Это безопасная сторона. Комментарий можно уточнить отдельным коммитом по желанию ревьюера.
Справедливый лимит и место в репликах проверены unit-тестами aggregate_share_states. Postgres-теста на 192+ реальных подписках и на многодневное истечение tombstone нет. Место считается по локальному списку публикаций узла. Записи, о которых узел не знает (например, после удаления кэша podcast-dht.sqlite3), не учитываются.
Восстановление представителя после перезапуска (Incumbents::from_published) проверено unit-тестом на уровне сравнения текста. Перезапуск с реальным оверлеем не тестировался. Если текст представителя меняется одновременно с перезапуском, карточку может начать давать другой делящийся аккаунт.
Повторная подписка по заявлению или алиасу не загружает ленту сразу: подкаст загрузит задача обновления, когда наступит его срок (как у «Подписаться снова»).
Отметка в списке результатов. Если аккаунт подписан только на новый адрес переехавшей ленты, список результатов (без загрузки ленты) не показывает «Уже подписан». Это видно только после открытия карточки.
Освобождение слота загрузки при отмене превью зависит от того, что HTTP-сервер прекращает обработку запроса при закрытии соединения. Это не проверено. Проверена только отмена в браузере.
Смена сезона загружает ленту заново (один запрос), пока идёт загрузка, показываются прежние выпуски.
Отзыв карточки — eventual consistency: пир, пропустивший tombstone, может показывать карточку до 12 ч.
Не проверено: Linux и Windows. Межклиентская работа с TUI проверена только в составе стека и вне репозитория (см. «Межклиентская проверка»).
Мелкие недоделки: если start_mode падает после запуска оверлея, его задачи не останавливаются (как у similarity_dht); прокси для обложек карточек нет.
Cargo.lock перед merge перегенерируется против запушенной ветки форка frid, а позже — против опубликованного music-dht 0.6.0 (см. «Совместимость и версии»).
Параллельно идёт MR-T3: та же функция в TUI (поверх T2).
Ветка Sanapach/furumi-web:podcasts/discovery → Furumi/furumi-web:podcasts/web, если эта ветка-основание есть в Furumi/furumi-web. Иначе MR открывается в master: он зависит от MR-W1 и MR-W2, и его diff включает их коммиты.
27 коммитов (git log --oneline podcasts/web..podcasts/discovery, вершина 5d29b61). Ветка перебазирована на новую вершину MR-W2; по содержанию коммиты не изменились, сменились только хеши. Последний коммит — «Point frid deps at the fork branch» (5d29b61):
e0f39f5 Store local podcast share confirmations
0400a08 Decide which shared podcasts the server publishes
c17cd79 Run public podcast discovery on the federation node
588ea4e Add the podcast share endpoint with privacy confirmation
74ad88d Add the share toggle and privacy dialog to the podcast page
675a63a Test podcast sharing across accounts and publication over loopback
27fc2c5 Document public podcast discovery in the web server
d4b4543 Rank public podcast hits for the searching account
4c5ba3f Stream public podcast hits in the federated search
659307b Preview and subscribe to podcasts found in the federation
20bf30e Test podcast search events and subscribing from a card
59d9420 Show public podcasts in the federated search and subscribe from a card
88af307 Document finding and subscribing to shared podcasts
3fb85a4 Release 0.15.0
14f310f Keep revoking other podcasts when one shared row does not decode
5b2973f Share the publication budget fairly and keep published cards stable
3a1c50e Tell the account why its shared podcast is not published
678c7b8 Recognize a found podcast the account follows at its new address
2ea3f7b Report a failed podcast search without ending the music search
12617a6 Browse a found podcast by season and cancel abandoned previews
4b45aa5 Document fair publication limits, share states and moved feeds
767134d Keep replica room for the cards a rebalance publishes
bbdac75 Keep a published card's representative across restarts
c5f3b3c Never ingest another feed's document into a followed podcast
abd100d Prefer the account's current subscription for a moved feed
0e985b4 Publish podcasts after the first device sync on restart
> **Серия «Подкасты»:** MR-F1 Furumi/frid#1 · MR-F2 Furumi/frid#2 · MR-F3 Furumi/frid#3 · MR-0 Furumi/furumi-tui#1 · MR-T1 Furumi/furumi-tui#2 · MR-T2 Furumi/furumi-tui#3 · MR-T3 Furumi/furumi-tui#4 · MR-W1 Furumi/furumi-web#10 · MR-W2 Furumi/furumi-web#11 · **MR-W3 Furumi/furumi-web#12** (этот). Порядок merge и зависимости — в разделе зависимостей ниже.
## Что сделано
MR-W3 из плана подкастов (`PODCASTS_PLAN.md`, решение Р7 для веба). Строится поверх MR-W2 (`podcasts/web`) и использует оверлей `music_dht::podcast_dht` из MR-F3.
**Статус:** оба шага выполнены, замечания двух раундов ревью исправлены отдельными коммитами. Межклиентская проверка с TUI нашла одну проблему приватности при перезапуске сервера, она исправлена (`0e985b4`). Всего в ветке 26 коммитов поверх `podcasts/web`.
- **Шаг 1:**
- оверлей на узле федерации сервера;
- переключатель «Поделиться в федерации» с диалогом подтверждения приватности;
- согласователь публикаций.
- **Шаг 2:**
- карточки подкастов в федеративном поиске вместе с музыкой;
- просмотр сезонов и выпусков найденного подкаста;
- «Подписаться» из карточки и отметка «Уже подписан»;
- документация, версия 0.15.0.
- **Исправления по ревью:**
- справедливый лимит публикаций, который учитывает место в репликах;
- отказоустойчивый отзыв карточек;
- честные статусы публикации;
- устойчивый представитель карточки, в том числе после перезапуска;
- распознавание переехавших лент. Чужая лента не может переписать подкаст, на который аккаунт подписан, а текущая подписка важнее старой отменённой;
- сбой поиска подкастов не ломает поиск музыки;
- просмотр выпусков по сезонам;
- отмена брошенных превью.
### 1. Оверлей `podcast_dht` на узле федерации (`src/federation/podcast_discovery.rs`)
Оверлей работает на том же iroh-узле и с той же идентичностью, что музыкальный DHT (как `similarity_dht`).
- ALPN `furumi-fd/podcast-dht/1` зарегистрирован как schema-independent.
- Кэш хранится в `podcast-dht.sqlite3` в каталоге данных федерации.
- Задачи:
- `serve` и `maintenance`;
- согласователь публикаций;
- зонд capability-манифестов: раз в 5 мин, каждый пир не чаще раза в час, после ответа вызывается `note_peer_capabilities`.
- `podcast_dht` объявляется в манифесте, только пока оверлей работает.
- Если кэш не открылся, отключается только обнаружение. В логе «public podcast discovery disabled», а `Federation::podcast_discovery_unavailable()` различает «федерация выключена» и «оверлей не запустился».
- В статусе федерации в админке появились поля `podcast_discovery` и `podcast_discovery_peers`.
### 2. Кто публикует: правило для нескольких аккаунтов (`src/podcasts/discovery.rs`)
Веб многопользовательский, а подписать карточку он может только ключом узла сервера. Поэтому **публикует сервер**, а не аккаунт. В карточке нет ничего, что указывает на аккаунт.
- **Что публикуется.** Подкаст публикуется, только если хотя бы один **активный** аккаунт явно им поделился (`effective_share` по слитым регистрам). Всё остальное приватно и не порождает сетевого трафика.
- **Одна карточка на подкаст.** Её строят по данным аккаунта-представителя. Представитель выбирается так, по порядку:
1. аккаунт без предупреждений приватности;
2. **действующий представитель.** Это представитель прошлого раунда, а после перезапуска — аккаунт, чья карточка совпадает по тексту с активной карточкой из `PodcastDht::published()` (URL, заголовок, автор, описание, обложка, ссылка). Поэтому другой аккаунт, позже поделившийся тем же подкастом, не подменяет текст опубликованной карточки, в том числе после перезапуска сервера;
3. аккаунт, чьи метаданные сервер сам загрузил **с исходного адреса подкаста** (`trusted_meta`: `meta_from_feed`, и URL каталога — origin). Один флаг `meta_from_feed` доверия не даёт: аккаунт может синхронизировать в каталог любой URL до загрузки;
4. аккаунт с наименьшим id.
- **Отзыв.** Выключение «Поделиться» или отписка на любом устройстве убирают аккаунт из набора. Когда подкастом больше не делится никто, карточка получает tombstone.
- **Поздние состояния устройств** публикацию не возвращают: решают слитые регистры (LWW), а `sync_shares` декларативный.
- **Отказоустойчивость.** Строка одного аккаунта, которая не декодируется (URL каталога или алиаса, JSON регистра, id), исключается из раунда и считается в `unreadable`. Её подкаст снимается, если им не делится кто-то ещё, а остальные подкасты согласуются как обычно. Раунд пропускается только при ошибке соединения или запроса.
- **Состав карточки** — по образцу интеграции F2:
- слитый регистр подписки с алиасами и регистр публикации;
- `PodcastCardSpec::from_subscription`;
- `feed_url` из каталога, `id_feed_url` — origin;
- число выпусков и дата самого нового.
Прогресса, истории, имён устройств и данных аккаунта в карточке нет (проверено тестом).
- **Лимит: не больше 192 карточек на сервер**, поровну между аккаунтами (`allocate`):
- слоты раздаются по кругу;
- в очереди аккаунта сначала его уже опубликованные подкасты, затем остальные по его собственному времени решения;
- внутри круга опубликованные идут раньше новых.
Аккаунт, чьи подкасты помещаются в его долю (192 / число делящихся аккаунтов), никогда не теряет опубликованную карточку из-за других аккаунтов, какие бы времена `hlc_ms` ни присылали их устройства.
- **Место в репликах.** Реплика хранит до 256 записей одного издателя, считая неистёкшие tombstone, и отказывает новым ключам сверх этого. Поэтому раунд берёт подкасты, которым нужен новый ключ, только пока есть место: `Incumbents::key_headroom` = 256 − активные карточки − живые tombstone, по данным `dht.published()`. Остальные ждут (`over_limit`), и ради них опубликованные карточки не снимаются. Повторная публикация подкаста с живым tombstone использует старый ключ. Перераспределение по справедливости поэтому идёт постепенно, по мере истечения tombstone (24 ч), и ни одна новая карточка не отклоняется репликами.
- **Когда работает согласователь:** после изменений с задержкой 2 с и раз в 5 мин. Первый раунд после старта федерации ждёт первого раунда device-sync, не дольше 45 с (см. «Исправления после межклиентской проверки»). В лог пишутся только счётчики.
### 3. Подтверждение приватности (миграция `m_0058`)
- `privacy_confirmed` хранится в `furumusic__podcast_share_confirmation`. Таблица локальная и никогда не синхронизируется.
- Подтверждение привязано к решению о публикации (`op_id`) и к **точным** URL карточки.
- Оно спрашивается заново:
- при новом включении;
- при переезде ленты;
- при включении на другом устройстве.
- Неподтверждённая карточка с предупреждениями сервером не публикуется. Если она была опубликована раньше, она снимается.
### 4. Федеративный поиск: карточки подкастов (`src/podcasts/search.rs`, `src/federation/client.rs`)
- `GET /api/player/federation/search/events` запускает параллельно музыкальный DHT и `PodcastDht::search` (до 20 карточек, таймаут 20 с).
- **Музыкальные события идут первыми и не изменились:** `federation.track|artist|release`. Добавлено только поле `"type": "music"`.
- **Подкасты приходят следом** событиями `federation.podcast` с `"type": "podcast"`. В карточке:
- `podcast_id`;
- `feed_url` — **только origin**;
- публичные поля карточки;
- `image_url` и `link` — только абсолютные `http(s)` без учётных данных;
- `publisher_count`;
- `rank` и `exact_match` из `merge_search_results`;
- `subscribed` и `local_podcast_id` для того, кто ищет.
- **Завершение поиска.** `search.completed` содержит `podcast_discovery` (`running` / `off` / `failed`). Сбой поиска подкастов или подготовки его результатов для аккаунта (ошибка БД) только убирает подкасты и даёт `failed`. Музыка выдаётся полностью, браузер показывает «Поиск подкастов сейчас не ответил; результаты по музыке полные».
### 5. Просмотр и подписка из карточки
Оба запроса принимают тело `{"podcast_id", "feed_url"}`.
- **Проверки:**
- нужен JSON (иначе 415/400) и сессия или bearer-токен;
- если id не выводится хешем из URL — 422;
- действуют лимиты «Добавить RSS» (429).
- **`POST /api/podcasts/discovery/preview`**: необязательное поле `"season"` (`"N"`, `"none"`, `"all"`; неверное значение — 400 до загрузки). Сервер читает ленту через SSRF-защищённый загрузчик и возвращает канал, число выпусков по сезонам, `listed_count` и 50 новейших выпусков выбранного сезона. **Ничего не сохраняет.**
- **`POST /api/podcasts/discovery/subscribe`** создаёт **собственную приватную подписку**: загрузка по origin, затем `runner::subscribe_fetched`. Эту же функцию использует «Добавить RSS».
- **Какой подкаст.** Берётся существующий подкаст аккаунта по id или по адресам из `document_urls`: origin, конец цепочки постоянных редиректов, `itunes:new-feed-url` самой ленты (`search::known_podcast`). **Подкаст, на который аккаунт подписан, имеет приоритет** над старой отменённой подпиской на ту же ленту. Если ни один адрес не известен, создаётся новый подкаст с id карточки.
- **Когда документ записывается.** Загруженный документ записывается (ingest), только если подкаст новый или документ пришёл с собственного адреса загрузки этого подкаста: запрос был туда, или туда закончилась цепочка постоянных редиректов. В остальных случаях совпадение нашлось через другой алиас или через заявление `itunes:new-feed-url` чужого документа, и это может быть устаревшая копия или вообще другая лента. Тогда ничего из документа не пишется: ни выпуски, ни метаданные, ни валидаторы. Если подписка была отменена, подкаст подписывается снова со своими сохранёнными метаданными (как «Подписаться снова»), и задача обновления загрузит его собственный адрес.
- **Итог для переехавших лент.** Аккаунт, подписанный на ленту только по новому адресу, получает в превью «Уже подписан» и «Открыть». «Подписаться» и «Добавить RSS» со старым адресом ничего не пишут и дубликата не создают.
- Если аккаунт уже подписан (по id или известному URL, до или после загрузки), ничего не пишется.
- Издатель карточки в подписке не участвует.
### 6. Интерфейс
- **Страница подкаста:**
- «Поделиться в федерации» / «Перестать делиться»;
- «Проверить и опубликовать»;
- диалог «Опубликовать адрес ленты?» с причинами и точным адресом;
- строка состояния. Она различает: приватно; ждёт подтверждения; федерация выключена; поиск подкастов недоступен; публикуется; **опубликовано этим сервером**; не опубликовано из-за лимита сервера; сбой публикации.
Текст ожидания подтверждения поясняет, что не публикует только этот сервер: другие плееры, где пользователь уже подтвердил, могут публиковать карточку сами.
- **Список подписок:** метка «Публикация включена». Это решение пользователя, а не факт публикации.
- **Поиск:** ряд «Подкасты» с меткой «Подкаст» и отметкой «Уже подписан». Строка о сбое поиска подкастов.
- **Карточка:**
- метаданные и адрес ленты;
- пояснение о недоверенных данных;
- **чипы сезонов**: показывают выпуски выбранного сезона, повторное нажатие — все сезоны;
- «и ещё N», «Лента переехала»;
- ошибка с кнопкой «Повторить»;
- «Подписаться» / «Открыть».
- **Отмена запросов.** Закрытие карточки, открытие другой или смена сезона отменяют идущий запрос превью (`AbortController`).
- **Недоверенные данные:** браузер оставляет только типизированные поля, id вида `pod1:…`, проверенные `http(s)`-URL (обложки только по `https`). Всё выводится через `x-text`. Тексты на английском и русском.
## Исправления после межклиентской проверки
1. **После перезапуска сервер публикует карточки только после первого раунда device-sync** (приватность, коммит `0e985b4`). Сценарий 7c, где веб — устройство, которое было выключено: пока сервер стоял, на TUI выключили «Поделиться».
- **Проблема.** Раньше согласователь сразу при старте вызывал `sync_shares` со старым `shared = true` из базы. С frid `9c82f6d` первый вызов заново рассылает неизменённые карточки, поэтому отозванная карточка снова объявлялась, пока не придёт выключение. Воспроизведено реальными бинарниками tui-t3 и web-w3: первый раунд через 0,03 с после старта обнаружения дал `unchanged=1 unpublished=0 pushed_records=1`. Это было раньше первого «device sync round ok» (0,57 с), а tombstone ушёл только через 3,0 с.
- **Исправление.** `devices::sync_loop` через `watch` сообщает о конце первого раунда (новый тип `FirstSyncRound`): все обмены первого полного списка доверенных устройств, плюс ещё идущие, ответили, упали или истекли (30 с). Без доверенных устройств раунд заканчивается сразу. `Federation::start_mode` создаёт канал и передаёт его в `podcast_discovery::start` и дальше в `discovery::run`. Первый раунд `discovery::run` ждёт сигнала не дольше `FIRST_DEVICE_SYNC_WAIT` (45 с), при таймауте пишет предупреждение. Новый `run_rounds(..., first_wait, users)` позволяет тестам ограничить аккаунты; помощник тестов `meet()` вынесен из `loopback_scenario`. Документация: модуль `discovery.rs` (Reconciler), `docs/development.md`, запись CHANGELOG v0.15.0.
- **После исправления** (тот же сценарий): device sync через 0,56 с, затем первый раунд — `unchanged=0 unpublished=1 pushed_records=1 remote_nodes=1`, то есть отправлен только tombstone.
- **Ограничение** (такое же, как в TUI): устройство, недоступное при старте, передаст выключение, только когда синхронизируется.
## Решения и отступления
- **Публикует узел сервера, одна карточка на подкаст.** Отзыв — когда подкастом не делится ни один аккаунт.
- **Лимит 192 делится между аккаунтами по справедливости, а не по порядку времени.** Время решения (`hlc_ms`) задаёт клиент, поэтому оно упорядочивает только подкасты своего аккаунта. Аккаунт сверх своей доли может потерять самые новые карточки в пользу аккаунта в пределах доли. Это сознательный выбор: иначе один аккаунт с 192 карточками блокировал бы всех. Перераспределение ограничено местом в репликах, поэтому может растянуться до 24 ч.
- **Представитель.** Действующий представитель важнее метаданных, загруженных сервером: кто первым опубликовал, тот и задаёт текст карточки, пока делится. Для новой карточки предпочитаются метаданные, загруженные сервером с исходного адреса подкаста. Если ни у кого их нет, карточка строится из синхронизированных данных (так же делает TUI). Отдельной таблицы для представителя нет: после перезапуска его узнают по тексту опубликованной карточки.
- **Память раунда** (представители, `over_limit`, сбои) хранится в процессе. После перезапуска представителя восстанавливает сравнение с карточкой оверлея, а `held` пустой до первого раунда.
- **`itunes:new-feed-url` по-прежнему участвует в сопоставлении с подкастом аккаунта, но документ ленты-заявителя туда не записывается.** Первое же обновление подписки на ленту, объявившую `new-feed-url` X, переводит её на X (так работает `apply_feed` из W2). Значит, подписка на неё и есть подписка на X, и сопоставление только убирает дубликат (§11). Остающийся эффект: для такой ленты превью показывает «Уже подписан» / «Открыть X».
- **Подтверждение** привязано к решению и URL. Неподтверждённая карточка снимается. Это строже, чем `sync_shares`.
- **Формат поиска.** Музыкальные события не переведены в `FederatedSearchHit`, чтобы не ломать контракт браузера. Тип передаётся полем `type`, порядок — полем `rank`.
- **Обложки карточек** браузер загружает напрямую, только по https и с `no-referrer`. Прокси для них нет.
- **Пробелы контракта (предложения в frid):**
1. Лимит 256 записей на издателя рассчитан на устройство. Нужен режим «многопользовательский узел» или подсчёт только активных карточек: на сервере tombstone расходуют общий запас, и веб сейчас ограничивает новые ключи сам.
2. Нет клиентского `capabilities::request_manifest`.
3. `ParsedFeed` не отдаёт `language` и `categories`.
4. В `MusicDhtConfig` нельзя отключить relay для loopback-тестов. В MR-F3 это не сделано (ломает API `federation-net 0.3.1`), предложение перенесено в follow-up `federation-net 0.4`.
5. `PublishedPodcast` не отдаёт локальный `PodcastCardSpec`. Веб сравнивает представителя с подписанной карточкой из `record.card()`. Было бы проще иметь `spec` в публичном API.
## Совместимость и версии
- **Версия приложения 0.15.0**, раздел `v0.15.0` в CHANGELOG.
- **`music-dht` 0.6.0.** **`Cargo.lock` и `[patch]`:** последний коммит этого MR, «Point frid deps at the fork branch», подключает неопубликованный frid из форка: в `[patch.crates-io]` в `Cargo.toml` `music-dht` указывают на `git = "https://gt.hexor.cy/Sanapach/frid.git", branch = "podcasts/discovery"`, а в `Cargo.lock` у frid-крейтов (включая `federation-net`) стоит `source = "git+https://gt.hexor.cy/Sanapach/frid.git?branch=…#<sha>"`. Ветка стоит на `podcasts/web` (с таким же коммитом MR-W1) и только меняет `branch = "podcasts/contract"` на `branch = "podcasts/discovery"`. Сам MR в `Cargo.lock` меняет ещё версию furumusic. После публикации крейтов на crates.io эти строки удаляются, и lock перегенерируется ещё раз.
- **Миграция `m_0058_create_podcast_share_confirmation`.** Откат удаляет таблицу.
- **API.** Музыкальные события поиска совместимы (новое поле `type`), добавлены событие `federation.podcast` и поле `podcast_discovery`. Новые эндпоинты:
- `POST /api/podcasts/feeds/{id}/share`;
- `POST /api/podcasts/discovery/preview` (необязательное поле `season`);
- `POST /api/podcasts/discovery/subscribe`.
- **`ShareView`:**
- новое поле `held` (`over_limit` | `failed` | `null`). `over_limit` теперь означает и «ждёт места в репликах»;
- `discovery` может быть `unavailable`;
- `published` относится только к узлу этого сервера.
- **Изменение поведения «Добавить RSS» (из W2):**
- адрес, который ведёт редиректом или `itunes:new-feed-url` на уже известную аккаунту ленту, не создаёт второй подкаст;
- документ, загруженный не с собственного адреса существующего подкаста (через алиас или заявление ленты), в этот подкаст больше не записывается. Раньше в W2 запрос по алиасу записывал документ.
- **Протоколы.** Device-sync v4 и музыкальный DHT не менялись.
## Как проверено (macOS, Darwin 25.5)
**На вершине `0e985b4`** (`CARGO_TARGET_DIR=…/.targets/web-w3`, `music-dht` из frid `podcasts/discovery` @ `9c82f6d` через локальный `[patch]`):
- `cargo fmt --all -- --check`: отличия только в старых файлах `src/admin/mod.rs`, `src/agent/dedup.rs`, `src/jobs/inbox_process.rs` (они такие же на базе); изменённые файлы отформатированы.
- `cargo clippy --all-targets`: распределение предупреждений по файлам совпадает с вершиной до исправления (`abd100d`); новых нет.
- `cargo test --all-targets -- --skip real_transcodes_match_and_keep_distinct_bitrates`: **210 passed, 0 failed, 35 ignored**.
- `node --test tests/*.test.cjs`: 67/67.
- Unit-тесты `federation::devices::first_round_tests` (2) для `FirstSyncRound`.
- PostgreSQL (одноразовый `postgres:16-alpine` на 127.0.0.1, `FURU_DEVICE_SYNC_TEST_DATABASE_URL`, `--ignored`): `federation::devices::postgres_tests` (3) и `podcasts::discovery_tests` (5) — 8/8.
- Новый Postgres + loopback тест `podcasts::discovery_tests::postgres_a_restarted_server_publishes_only_after_the_first_device_sync`, ignored по умолчанию, как соседние. Сервер публикует два подкаста и останавливается, затем поднимается из того же каталога, встречает постороннего и запускает `run_rounds` с закрытым шлюзом. Через 5 с посторонний не находит ни одной карточки ни по id, ни по тексту. Выключение «Поделиться» приходит с другого устройства через `apply_remote_op`, шлюз открывается, и посторонний находит только оставшуюся карточку (издатель — узел веба), а отозванная — tombstone. 3 из 3 прогонов (около 14 с), без ожидания тест падает («a card was announced before the first device-sync round»).
- Сквозная проверка реальными бинарниками (tui-t3 + web-w3, сценарий 7c для веба): до исправления — FAIL, после — PASS (см. «Межклиентская проверка»).
**Предыдущий раунд (вершина `abd100d`):**
- **`cargo fmt --check`:** расхождения только в файлах, которые расходятся и на базе (`admin/mod.rs`, `agent/dedup.rs`, `jobs/inbox_process.rs`).
- **`cargo clippy --all-targets`:** отсортированный и нормализованный список из 80 предупреждений совпадает с базой `podcasts/web` (`diff` пустой). Новых нет.
- **`cargo check --all-targets`:** проходит без предупреждений на каждом из 4 новых коммитов этого раунда и на HEAD. Остальные коммиты проверены на прошлых шагах.
- **`cargo test --all-targets -- --skip real_transcodes_match_and_keep_distinct_bitrates`:** 208 passed, 0 failed, 34 ignored. Новые unit-тесты этого раунда:
- перераспределение не просит у реплик больше ключей, чем они примут. B опубликовал 192, A поделился 96: A получает 64, B сохраняет 128, следующий раунд ничего не двигает, а после истечения tombstone выходит 96/96. В каждом раунде живые ключи плюс новые ≤ 256;
- подкаст с живым tombstone публикуется снова на старом ключе, когда нового места нет;
- опубликованная карточка сохраняет представителя по памяти и после перезапуска по тексту карточки. Действующий представитель важнее метаданных, загруженных сервером у другого аккаунта;
- метаданные, загруженные с выбранного аккаунтом URL (не origin), не считаются доверенными.
Тесты прошлого раунда тоже проходят: 300 решений другого аккаунта с `hlc≈0` ничего не снимают, справедливая доля, порядок внутри аккаунта, причина `held`, сбой подготовки поиска даёт `failed`, превью по сезону.
- **`node --test tests/*.test.cjs`:** 67/67.
- **PostgreSQL:** одноразовый контейнер `postgres:16-alpine` на 127.0.0.1, удалён после прогона. `FURU_DEVICE_SYNC_TEST_DATABASE_URL=postgresql://… cargo test --bin furumusic -- --ignored` — проходят **все 22** теста, которым тогда была нужна эта переменная. Новые:
- **`postgres_a_feed_claiming_a_followed_address_never_rewrites_that_podcast`.** Аккаунт подписан на `real.xml`. Застывшая копия `stub.xml` и чужая `evil.xml` объявляют `itunes:new-feed-url` = `real.xml`. После «Добавить RSS» обеих и «Подписаться» на карточку `evil.xml`:
- каталог (заголовок, описание, `meta_from_feed`), выпуски и `in_feed` не изменились, журнал не вырос, активная подписка одна;
- после отписки заявление `evil.xml` подписывает подкаст снова с его же метаданными регистра, без записи документа;
- подкаст `hash(evil)` не создаётся;
- собственный адрес по-прежнему записывается как обновление;
- **`postgres_a_current_subscription_wins_over_an_old_unsubscribed_podcast`.** У аккаунта отменённый `hash(old)` и действующий `hash(new)`. `known_podcast` и превью дают `hash(new)` и «Уже подписан». Подписка из карточки и «Добавить RSS» `old.xml` возвращают `already_subscribed` для `hash(new)`, журнал не меняется, активная подписка одна, `hash(old)` остаётся отменённым.
Оба теста **падают на прежнем коде** (проверено откатом `runner.rs`/`search.rs`) и проходят с исправлениями. Также проходят loopback-тесты публикации, тест на нечитаемую строку, расширенный `postgres_subscribing_from_a_card_keeps_the_card_id`, миграции и все подкастовые и devices-тесты W2.
Тесты, которым нужны другие переменные или запущенный TUI (Last.fm, OIDC, статистика, metadata fix, import, dedup, torrents, `localhost_tui_peer`), не запускались, как и на базе.
- **Визуально в браузере (шаг 2):** проверено на подставленном состоянии сохранённой страницы — ряд «Подкасты», диалог, ширина 375 px. Изменения прошлого раунда в браузере не проверялись: кнопки сезонов, строка о сбое поиска, метка списка, тексты статуса. Их покрывают только node-тесты. В этом раунде интерфейс не менялся.
## Межклиентская проверка
**Окружение** — то же, что в MR-W2. Вершина стека: веб 0.15.0 (`0e985b4`), TUI 0.5.0 (`409188b`), frid `9c82f6d` через локальный `[patch]`. PostgreSQL в одноразовом контейнере, headless Chrome через CDP, ленты только с 127.0.0.1. Узлы iroh используют preset n0 и Mainline-DHT со случайным `FURU_FEDERATION_NETWORK_ID`, локального режима транспорта нет. Весь прогон: 37 pass, 3 info, 2 not run, 0 fail. Сценарии S1–S5 (подписки, прогресс, перенос, старые пиры, Jam) — в таблице MR-W2. Здесь — обнаружение и перезапуск.
| Сценарий | Клиенты | Результат |
| --- | --- | --- |
| S6. bob делится подкастом → карточка опубликована сервером; TUI находит «[podcast] … 1 publisher», подписывается из карточки тем же `podcast_id` («✓ subscribed», «Уже подписан»); подписка синхронизируется в веб-аккаунт группы как `subscribed=true, shared=false`, и его поиск в вебе показывает «Уже подписан» | веб 0.15.0 (admin, bob) + TUI 0.5.0 в группе admin | pass |
| S6. Одиночный TUI делится → поиск bob в вебе находит карточку; выключение в TUI сразу убирает её из поиска веба | веб 0.15.0 + TUI 0.5.0 вне группы | pass |
| S6. bob выключает «Поделиться» → карточка пропадает из поиска TUI за 15 с, подписка TUI остаётся | веб 0.15.0 + TUI 0.5.0 | pass |
| S6. `Shift+F` в TUI группы синхронизируется в веб-аккаунт, и сервер публикует тоже (2 издателя); выключение в вебе выключает и в TUI, обе карточки пропадают | веб 0.15.0 + TUI 0.5.0 в группе | pass |
| S6. Приватные подкасты не находятся ни в вебе (оба аккаунта), ни в TUI; в кэшах DHT только общие карточки | все | pass |
| 7c для веба: веб остановлен, TUI выключил «Поделиться», веб перезапущен | TUI 0.5.0 + веб 0.15.0 | до `0e985b4` — FAIL (первый раунд через 0,03 с: `unchanged=1, pushed_records=1`); на `0e985b4` — pass: веб узнал о выключении через 2,2 с, первый раунд через 3,0 с — `shared=0 published=0 unchanged=0 unpublished=1` |
Не прогонялись:
- путь данных прокси с локальным издателем: SSRF-защита отвергает 127.0.0.1, путь покрыт `proxy_tests`;
- Jam с хостом-TUI и гостем-вебом: веб не поддерживает федеративный Jam.
Наблюдение (frid, без исправления в этой серии): первая находка карточки одиночного TUI в вебе — через 311 с после «Поделиться» («remote_nodes=0» в первом проходе TUI). Харнесс опрашивал поиск только в начале сценария, поэтому точная задержка не измерена; механизм (bootstrap оверлея раз в 10 мин) и предложение описаны в MR-F3.
## Ограничения
- **Сквозная проверка в репозитории неполная.** SSE-обработчик с реальным `Federation::start_mode` и зонд манифестов по сети не покрыты интеграционным тестом в репозитории. Их проверил межклиентский прогон реальных процессов (см. выше), но харнесс не герметичен и в репозиторий не входит. Сетевой путь в репозитории проверен loopback-тестами на `PodcastDht` и функциях веба. Relay iroh (preset N0) может обращаться к серверам n0, как и тесты frid.
- **Публикация после перезапуска ждёт первый раунд device-sync** (не дольше 45 с). Устройство, недоступное при старте, передаст выключение «Поделиться», только когда синхронизируется.
- **Комментарий модуля `src/podcasts/discovery.rs` неточен для старта:** «при ошибке БД раунд пропускается, карточки переиздаёт maintenance» верно только после первого успешного раунда. Если БД недоступна с самого старта, frid `9c82f6d` не отправляет свои карточки прошлой сессии, пока раунд не пройдёт, и в худшем случае они истекают через 12 ч. Это безопасная сторона. Комментарий можно уточнить отдельным коммитом по желанию ревьюера.
- **Справедливый лимит и место в репликах проверены unit-тестами `aggregate_share_states`.** Postgres-теста на 192+ реальных подписках и на многодневное истечение tombstone нет. Место считается по локальному списку публикаций узла. Записи, о которых узел не знает (например, после удаления кэша `podcast-dht.sqlite3`), не учитываются.
- **Восстановление представителя после перезапуска** (`Incumbents::from_published`) проверено unit-тестом на уровне сравнения текста. Перезапуск с реальным оверлеем не тестировался. Если текст представителя меняется одновременно с перезапуском, карточку может начать давать другой делящийся аккаунт.
- **Повторная подписка по заявлению или алиасу** не загружает ленту сразу: подкаст загрузит задача обновления, когда наступит его срок (как у «Подписаться снова»).
- **Отметка в списке результатов.** Если аккаунт подписан только на новый адрес переехавшей ленты, список результатов (без загрузки ленты) не показывает «Уже подписан». Это видно только после открытия карточки.
- **Освобождение слота загрузки** при отмене превью зависит от того, что HTTP-сервер прекращает обработку запроса при закрытии соединения. Это не проверено. Проверена только отмена в браузере.
- **Смена сезона** загружает ленту заново (один запрос), пока идёт загрузка, показываются прежние выпуски.
- **Отзыв карточки — eventual consistency:** пир, пропустивший tombstone, может показывать карточку до 12 ч.
- **Не проверено:** Linux и Windows. Межклиентская работа с TUI проверена только в составе стека и вне репозитория (см. «Межклиентская проверка»).
- **Мелкие недоделки:** если `start_mode` падает после запуска оверлея, его задачи не останавливаются (как у `similarity_dht`); прокси для обложек карточек нет.
- **`Cargo.lock`** перед merge перегенерируется против запушенной ветки форка frid, а позже — против опубликованного `music-dht 0.6.0` (см. «Совместимость и версии»).
## Зависимости и стек
- frid **MR-F3**, ветка `podcasts/discovery`: контракт `podcast` → хранилище → оверлей `podcast_dht`.
- **MR-W2**, `podcasts/web`: хранилище подкастов в PostgreSQL, обновление RSS, SSRF-защищённый загрузчик, прокси, UI.
- Параллельно идёт **MR-T3**: та же функция в TUI (поверх T2).
- Ветка `Sanapach/furumi-web:podcasts/discovery` → `Furumi/furumi-web:podcasts/web`, если эта ветка-основание есть в Furumi/furumi-web. Иначе MR открывается в `master`: он зависит от MR-W1 и MR-W2, и его diff включает их коммиты.
- 27 коммитов (`git log --oneline podcasts/web..podcasts/discovery`, вершина `5d29b61`). Ветка перебазирована на новую вершину MR-W2; по содержанию коммиты не изменились, сменились только хеши. Последний коммит — «Point frid deps at the fork branch» (`5d29b61`):
- `e0f39f5` Store local podcast share confirmations
- `0400a08` Decide which shared podcasts the server publishes
- `c17cd79` Run public podcast discovery on the federation node
- `588ea4e` Add the podcast share endpoint with privacy confirmation
- `74ad88d` Add the share toggle and privacy dialog to the podcast page
- `675a63a` Test podcast sharing across accounts and publication over loopback
- `27fc2c5` Document public podcast discovery in the web server
- `d4b4543` Rank public podcast hits for the searching account
- `4c5ba3f` Stream public podcast hits in the federated search
- `659307b` Preview and subscribe to podcasts found in the federation
- `20bf30e` Test podcast search events and subscribing from a card
- `59d9420` Show public podcasts in the federated search and subscribe from a card
- `88af307` Document finding and subscribing to shared podcasts
- `3fb85a4` Release 0.15.0
- `14f310f` Keep revoking other podcasts when one shared row does not decode
- `5b2973f` Share the publication budget fairly and keep published cards stable
- `3a1c50e` Tell the account why its shared podcast is not published
- `678c7b8` Recognize a found podcast the account follows at its new address
- `2ea3f7b` Report a failed podcast search without ending the music search
- `12617a6` Browse a found podcast by season and cancel abandoned previews
- `4b45aa5` Document fair publication limits, share states and moved feeds
- `767134d` Keep replica room for the cards a rebalance publishes
- `bbdac75` Keep a published card's representative across restarts
- `c5f3b3c` Never ingest another feed's document into a followed podcast
- `abd100d` Prefer the account's current subscription for a moved feed
- `0e985b4` Publish podcasts after the first device sync on restart
- `5d29b61` Point frid deps at the fork branch
🤖 Generated with [Claude Code](https://claude.com/claude-code)
The podcast contract and device-sync protocol v4 live in music-dht 0.6.
Cargo.lock currently resolves it from a local patch of the frid branch
podcasts/contract and must be regenerated against the published crate.
Co-Authored-By: Claude Opus 5.5 <noreply@anthropic.com>
Use the shared music_dht::device_sync types instead of private copies
(byte-identical for v3 content, checked against the 0.12.x types and a
golden fixture) and announce protocol 4, because every v4 element is
kept:
- podcast operations stay in the operation log and are relayed only to
peers that reported v4; their registers and the podcast snapshot
sections are merged with the shared rules into an opaque relay table
and returned in this server's snapshots (m_0055);
- the browser bridge carries PlaybackTrack.source: items that are not
library tracks keep the verbatim wire item, so podcast episodes and
Jam placeholders survive the round trip; the player labels and skips
them instead of dropping them;
- the typed queue is persisted in queue_items_json next to queue_json,
which is still written for rollback (m_0054).
Peer versions come from self-reports (profile_protocol_version); relayed
profiles only raise them and DeviceProfileSet no longer stores this
server's constant. Invites carry the inviter's version and a
DeviceProfileSet announces v4 once. Handoffs of a podcast queue to a
device below v4 are refused with an update message, and its playback
commands are ignored while the queue has podcast items. Jam guests see
podcast items as private placeholders, which are mapped back on their
commands.
Co-Authored-By: Claude Opus 5.5 <noreply@anthropic.com>
The web player only knows a podcast episode's position from a handoff or
a seek. When Next, auto-advance, a click or a play command makes an
episode current, it now reports `position_unknown` instead of 0, and the
server takes the resume position (and the register generation) from the
relayed progress register before it hands the state to another device.
Remote Next/Prev/play commands to a device do the same.
Next with repeat all or shuffle wraps past a trailing unplayable item
instead of stopping on it. Prev leaves an unplayable item instead of
"restarting" it, and seeking such an item moves its kept position.
Co-Authored-By: Claude Opus 5.5 <noreply@anthropic.com>
The server checked a participant's queue_remove/queue_clear against the
host state of the last report, but the host browser runs its pending
commands in one batch: after a move, a checked index can name a private
item. Participant commands are now stamped `jam_participant`, and the
host browser refuses to remove, clear, add or bring back its private
items for them, judged on the queue it is about to change.
A guest that stops controlling a Jam drops the host's private
placeholders from its own queue, so they are not saved or relayed as
the guest's queue.
Co-Authored-By: Claude Opus 5.5 <noreply@anthropic.com>
Release 0.12 fails a whole sync batch on a podcast operation kind, so
rolling back is only safe after the relayed podcast operations are
removed: document the step in docs/administration.md and run it in the
m_0055 backwards operation.
The typed queue now records the current track id and queue position
written with it, next to the legacy ids. A 0.12 release that only moved
to another track in the same queue no longer leaves a stale typed
position that the next upgrade would restore. Jam placeholders are never
stored in a user's own typed queue.
Co-Authored-By: Claude Opus 5.5 <noreply@anthropic.com>
The ignored device-sync PostgreSQL test now also covers a handoff and a
remote Next onto an episode with an unknown position (the relayed
progress register supplies 1200 s and its generation), and checks that
0.12's operation types fail on a relayed podcast operation and read the
log again after the documented cleanup statement, which the m_0055
backwards operation now shares.
Co-Authored-By: Claude Opus 5.5 <noreply@anthropic.com>
The podcast store resolves episode ids from parsed feeds with the
identity hints of music_dht::podcast::feed, which are part of the id
contract.
Co-Authored-By: Claude Opus 5.5 <noreply@anthropic.com>
PodcastStore implements the music_dht::podcast contract per account:
catalog, feed aliases, episodes with a derived season view, the
subscription, share and progress registers, listening sessions and the
local-only fetch state. Received operations, snapshot records and local
actions share one apply path (materializers plus merge functions) under
a per-account advisory lock. Local actions append their operation to the
device-sync log with the next stamp of the web device and apply exactly
that operation in the same transaction.
Migration m_0056 creates the tables; m_0057 imports the registers that
0.13 kept in furumusic__fed_podcast_relay and the catalog rows of the
episode references in the operation log. The relay table is kept.
Co-Authored-By: Claude Opus 5.5 <noreply@anthropic.com>
Received podcast operations and snapshot sections are applied to the
podcast store, this device's snapshots are filled from it, and an
unknown episode position resumes from its progress register. The
relay module is removed; operations, gating and snapshot bounds on the
wire are unchanged. The device-sync Postgres tests now migrate their
database themselves and cover locally emitted podcast operations.
Co-Authored-By: Claude Opus 5.5 <noreply@anthropic.com>
Feed and enclosure URLs come from users and third-party feeds. SafeHttp
accepts only http(s) URLs without credentials, resolves names with a
resolver that refuses the whole answer unless every address is public
(loopback, private, CGNAT, link-local, cloud metadata, unique local,
multicast, reserved; IPv4-mapped, NAT64 and 6to4 judged by their IPv4
part), and connects to exactly the checked addresses, so DNS rebinding
cannot swap them. IP literals and every redirect hop are checked; system
proxies, cookies and Referer are off. Loopback is reachable only through a
#[cfg(test)] policy used by the local test server.
Co-Authored-By: Claude Opus 5.5 <noreply@anthropic.com>
The podcast_refresh job runs every five minutes and refreshes the podcasts
whose next check is due: conditional requests (ETag, Last-Modified), 32 MiB
and 60 s limits, the shared music-dht parser and PodcastStore::apply_feed.
A chain of permanent redirects moves the feed and becomes an alias.
Healthy feeds are checked hourly with a stable spread; failures back off
from 15 minutes up to a day, honouring Retry-After. Accounts subscribed to
the same feed URL share one request, at most four run at once, and one
run at a time holds an advisory lock. runner::refresh_now is the manual
refresh for one subscribed podcast, at most every 30 seconds.
Co-Authored-By: Claude Opus 5.5 <noreply@anthropic.com>
Browsers stream episode audio from the publisher by default. For
publishers they cannot play directly (CORS, mixed content), the
administrator can enable podcast_audio_proxy_enabled (admin Settings,
FURU_PODCAST_AUDIO_PROXY_ENABLED). The endpoints live in a new app at
/api/podcasts:
- GET /episodes/{episode_id}/audio streams an episode of the signed-in
account. The URL comes from the account's catalog, never from the
request. Requests go through SafeHttp with one sanitized byte Range and
no client headers; 200/206/416 pass through, only audio content types
are served, with nosniff and a sandbox CSP, and responses stop at 1 GiB
or 4 hours.
- GET /episodes/{episode_id}/source returns the publisher URL and, when
enabled, the proxy URL.
- POST /{podcast_id}/refresh refreshes one subscribed feed now.
Co-Authored-By: Claude Opus 5.5 <noreply@anthropic.com>
/api/podcasts now lists subscriptions with counters and fetch state,
subscribes by feed URL (fetched first; nothing is stored for a URL that
is not a public feed), shows a podcast with its seasons and history,
pages and searches episodes, and runs the explicit progress actions
(start over, played, unplayed) and unsubscribe/subscribe again.
The web player gets two endpoints: playback returns the audio source
and the resume position and, when the browser starts playing, writes a
new listening session as an explicit action above the carried handoff
generation; progress stores checkpoints, pause, stop and handoff at the
session generation, a seek as an explicit action, completes the episode
once at the end or within the completion tail, and records the
listening session. Handlers delegate to podcasts::api, which the new
Postgres test drives directly.
Podcast queue items are no longer marked unavailable in browser JSON
and carry the episode artwork. The temporary dead-code allowance of the
podcast module is gone; helpers used only by tests are cfg(test) and
complete_session gave way to complete_if_current.
Co-Authored-By: Claude Opus 5.5 <noreply@anthropic.com>
A browser queue item keeps the handoff hint it arrived with, which is
older than the checkpoints this account has written since. Every
podcast episode in a playback state the web sends to a trusted device
now carries max(hint, register generation), so the device taking over
writes its explicit action above everything the web has seen. Which
state reads the resume position from the register is decided on the
converted queue, so the bridge itself stays testable without a
database.
Co-Authored-By: Claude Opus 5.5 <noreply@anthropic.com>
Episodes in the queue are no longer skipped. The player asks the
podcast API for the audio source and the resume position, plays the
publisher URL (or the same-origin proxy when the administrator enabled
it and the direct URL fails or is http:// on an https:// page) and
seeks before it starts, so it never reports a resumed episode that
plays from elsewhere: a server that cannot seek to the saved position
shows that and keeps the position until the user plays from the start.
Progress follows the contract: Play starts a listening session as an
explicit action above the handed-off generation, checkpoints go out
every 20 s and on pause, a seek is an explicit action, the end of the
stream completes the episode, and a stop, a page hide (beacon) or a
handoff saves the final position. Writes of a session run one after
another in the background; a superseded session stops writing, and a
device that loses the playback role ends its session without a report.
Reports always carry the position of their own episode.
Jam placeholders stay unplayable and episodes stay private for Jam
rules. A podcasts store holds the list, the podcast page and the
explicit episode actions for the UI of the next commit.
Co-Authored-By: Claude Opus 5.5 <noreply@anthropic.com>
The sidebar gets Podcasts: add an RSS feed (fetched by the server; a
refused or broken feed shows why), the subscriptions with unplayed
counts and the last fetch error, and a podcast page with seasons, an
episode search, played/sort filters, paging, manual refresh and
unsubscribe (the confirmation says progress and history are kept), or
subscribe again. Episodes show the saved position, the time left and a
played mark, with Play/Resume, Start over, Mark played, Mark unplayed
and Add to queue; Jam guests cannot add episodes. The podcast page also
lists the recent listening history.
The queue labels episodes, the podcast name of the current episode
opens its page, like and share are hidden for episodes, and the player
bar shows when an episode is loading or cannot be played or resumed.
Co-Authored-By: Claude Opus 5.5 <noreply@anthropic.com>
README and the administration guide describe the Podcasts section,
resume and completion, handoffs, unsubscribing, what stays private and
what the publisher sees, and the security model of the optional audio
proxy. The development guide lists the endpoints, how the player
writes progress and the node tests.
Co-Authored-By: Claude Opus 5.5 <noreply@anthropic.com>
Playing, completing or restarting an episode from the player updated
its row but left the unplayed and in-progress counters of the podcast
page as they were loaded.
Co-Authored-By: Claude Opus 5.5 <noreply@anthropic.com>
Clippy flagged the helper that returned the 401 response as its error
variant (result_large_err); it now returns the account id as an Option.
Co-Authored-By: Claude Opus 5.5 <noreply@anthropic.com>
Users see the kind of failure only; resolved addresses and transport
details go to the logs, without URLs. Feed and audio requests are
limited to the web ports.
Co-Authored-By: Claude Opus 5.5 <noreply@anthropic.com>
Feed downloads and proxy streams have per-account and server-wide
limits, new subscriptions stop at 1000 per account, and scheduled
refreshes take accounts in turns.
Co-Authored-By: Claude Opus 5.5 <noreply@anthropic.com>
The enclosure type of a feed or of a client-sent episode reference no
longer makes an application/octet-stream response acceptable.
Co-Authored-By: Claude Opus 5.5 <noreply@anthropic.com>
A reload or a Play after a pause continues from the register instead of
this page's saved position, a seek during preparation is kept, a player
that keeps listening after being superseded writes again as a new
session, a player that loses the playback role records its listening,
marking the loaded episode closes its session, and Prev no longer
resets an episode to 0.
Co-Authored-By: Claude Opus 5.5 <noreply@anthropic.com>
Replicas count unexpired tombstones toward the 256 records per
publisher and refuse new keys beyond it. A round now admits at most as
many podcasts that need a new key as that room allows, so a fair-share
rebalance never displaces cards for newcomers the replicas would refuse.
Co-Authored-By: Claude Opus 5.5 <noreply@anthropic.com>
The account that provides a published card stays its representative
ahead of server-fetched metadata, and after a restart it is recognized
by the text of the active card. Server-fetched metadata only counts as
trusted when the catalog URL is the podcast's origin, since an account
can point its synced catalog URL anywhere.
Co-Authored-By: Claude Opus 5.5 <noreply@anthropic.com>
Subscribing from a URL that maps onto an existing podcast only through
an alias or the feed's itunes:new-feed-url claim no longer writes that
document into the podcast: its episodes, metadata and validators stay,
and an unsubscribed podcast is subscribed again with its stored
metadata. The document is ingested only for a new podcast or when it
came from the podcast's own fetch URL.
Co-Authored-By: Claude Opus 5.5 <noreply@anthropic.com>
An old, unsubscribed podcast of the same feed no longer hides the
podcast the account follows now: the preview marks the card as already
subscribed, and subscribing from the card or by URL no longer
resubscribes the old podcast next to the current one.
Co-Authored-By: Claude Opus 5.5 <noreply@anthropic.com>
sanapach
changed title from Podcasts/discovery to Публичное обнаружение подкастов в вебе: публикация с сервера, поиск карточек и подписка из федерации (MR-W3)2026-11-20 13:44:04 +00:00
You are not authorized to merge this pull request.
This pull request can be merged automatically.
View command line instructions
Checkout
From your project repository, check out a new branch and test the changes.
Blocking a user prevents them from interacting with repositories, such as opening or commenting on pull requests or issues. Learn more about blocking a user.
Что сделано
MR-W3 из плана подкастов (
PODCASTS_PLAN.md, решение Р7 для веба). Строится поверх MR-W2 (podcasts/web) и использует оверлейmusic_dht::podcast_dhtиз MR-F3.Статус: оба шага выполнены, замечания двух раундов ревью исправлены отдельными коммитами. Межклиентская проверка с TUI нашла одну проблему приватности при перезапуске сервера, она исправлена (
0e985b4). Всего в ветке 26 коммитов поверхpodcasts/web.1. Оверлей
podcast_dhtна узле федерации (src/federation/podcast_discovery.rs)Оверлей работает на том же iroh-узле и с той же идентичностью, что музыкальный DHT (как
similarity_dht).furumi-fd/podcast-dht/1зарегистрирован как schema-independent.podcast-dht.sqlite3в каталоге данных федерации.serveиmaintenance;note_peer_capabilities.podcast_dhtобъявляется в манифесте, только пока оверлей работает.Federation::podcast_discovery_unavailable()различает «федерация выключена» и «оверлей не запустился».podcast_discoveryиpodcast_discovery_peers.2. Кто публикует: правило для нескольких аккаунтов (
src/podcasts/discovery.rs)Веб многопользовательский, а подписать карточку он может только ключом узла сервера. Поэтому публикует сервер, а не аккаунт. В карточке нет ничего, что указывает на аккаунт.
Что публикуется. Подкаст публикуется, только если хотя бы один активный аккаунт явно им поделился (
effective_shareпо слитым регистрам). Всё остальное приватно и не порождает сетевого трафика.Одна карточка на подкаст. Её строят по данным аккаунта-представителя. Представитель выбирается так, по порядку:
PodcastDht::published()(URL, заголовок, автор, описание, обложка, ссылка). Поэтому другой аккаунт, позже поделившийся тем же подкастом, не подменяет текст опубликованной карточки, в том числе после перезапуска сервера;trusted_meta:meta_from_feed, и URL каталога — origin). Один флагmeta_from_feedдоверия не даёт: аккаунт может синхронизировать в каталог любой URL до загрузки;Отзыв. Выключение «Поделиться» или отписка на любом устройстве убирают аккаунт из набора. Когда подкастом больше не делится никто, карточка получает tombstone.
Поздние состояния устройств публикацию не возвращают: решают слитые регистры (LWW), а
sync_sharesдекларативный.Отказоустойчивость. Строка одного аккаунта, которая не декодируется (URL каталога или алиаса, JSON регистра, id), исключается из раунда и считается в
unreadable. Её подкаст снимается, если им не делится кто-то ещё, а остальные подкасты согласуются как обычно. Раунд пропускается только при ошибке соединения или запроса.Состав карточки — по образцу интеграции F2:
PodcastCardSpec::from_subscription;feed_urlиз каталога,id_feed_url— origin;Прогресса, истории, имён устройств и данных аккаунта в карточке нет (проверено тестом).
Лимит: не больше 192 карточек на сервер, поровну между аккаунтами (
allocate):Аккаунт, чьи подкасты помещаются в его долю (192 / число делящихся аккаунтов), никогда не теряет опубликованную карточку из-за других аккаунтов, какие бы времена
hlc_msни присылали их устройства.Место в репликах. Реплика хранит до 256 записей одного издателя, считая неистёкшие tombstone, и отказывает новым ключам сверх этого. Поэтому раунд берёт подкасты, которым нужен новый ключ, только пока есть место:
Incumbents::key_headroom= 256 − активные карточки − живые tombstone, по даннымdht.published(). Остальные ждут (over_limit), и ради них опубликованные карточки не снимаются. Повторная публикация подкаста с живым tombstone использует старый ключ. Перераспределение по справедливости поэтому идёт постепенно, по мере истечения tombstone (24 ч), и ни одна новая карточка не отклоняется репликами.Когда работает согласователь: после изменений с задержкой 2 с и раз в 5 мин. Первый раунд после старта федерации ждёт первого раунда device-sync, не дольше 45 с (см. «Исправления после межклиентской проверки»). В лог пишутся только счётчики.
3. Подтверждение приватности (миграция
m_0058)privacy_confirmedхранится вfurumusic__podcast_share_confirmation. Таблица локальная и никогда не синхронизируется.op_id) и к точным URL карточки.4. Федеративный поиск: карточки подкастов (
src/podcasts/search.rs,src/federation/client.rs)GET /api/player/federation/search/eventsзапускает параллельно музыкальный DHT иPodcastDht::search(до 20 карточек, таймаут 20 с).federation.track|artist|release. Добавлено только поле"type": "music".federation.podcastс"type": "podcast". В карточке:podcast_id;feed_url— только origin;image_urlиlink— только абсолютныеhttp(s)без учётных данных;publisher_count;rankиexact_matchизmerge_search_results;subscribedиlocal_podcast_idдля того, кто ищет.search.completedсодержитpodcast_discovery(running/off/failed). Сбой поиска подкастов или подготовки его результатов для аккаунта (ошибка БД) только убирает подкасты и даётfailed. Музыка выдаётся полностью, браузер показывает «Поиск подкастов сейчас не ответил; результаты по музыке полные».5. Просмотр и подписка из карточки
Оба запроса принимают тело
{"podcast_id", "feed_url"}.POST /api/podcasts/discovery/preview: необязательное поле"season"("N","none","all"; неверное значение — 400 до загрузки). Сервер читает ленту через SSRF-защищённый загрузчик и возвращает канал, число выпусков по сезонам,listed_countи 50 новейших выпусков выбранного сезона. Ничего не сохраняет.POST /api/podcasts/discovery/subscribeсоздаёт собственную приватную подписку: загрузка по origin, затемrunner::subscribe_fetched. Эту же функцию использует «Добавить RSS».document_urls: origin, конец цепочки постоянных редиректов,itunes:new-feed-urlсамой ленты (search::known_podcast). Подкаст, на который аккаунт подписан, имеет приоритет над старой отменённой подпиской на ту же ленту. Если ни один адрес не известен, создаётся новый подкаст с id карточки.itunes:new-feed-urlчужого документа, и это может быть устаревшая копия или вообще другая лента. Тогда ничего из документа не пишется: ни выпуски, ни метаданные, ни валидаторы. Если подписка была отменена, подкаст подписывается снова со своими сохранёнными метаданными (как «Подписаться снова»), и задача обновления загрузит его собственный адрес.6. Интерфейс
«Поделиться в федерации» / «Перестать делиться»;
«Проверить и опубликовать»;
диалог «Опубликовать адрес ленты?» с причинами и точным адресом;
строка состояния. Она различает: приватно; ждёт подтверждения; федерация выключена; поиск подкастов недоступен; публикуется; опубликовано этим сервером; не опубликовано из-за лимита сервера; сбой публикации.
Текст ожидания подтверждения поясняет, что не публикует только этот сервер: другие плееры, где пользователь уже подтвердил, могут публиковать карточку сами.
AbortController).pod1:…, проверенныеhttp(s)-URL (обложки только поhttps). Всё выводится черезx-text. Тексты на английском и русском.Исправления после межклиентской проверки
0e985b4). Сценарий 7c, где веб — устройство, которое было выключено: пока сервер стоял, на TUI выключили «Поделиться».sync_sharesсо старымshared = trueиз базы. С frid9c82f6dпервый вызов заново рассылает неизменённые карточки, поэтому отозванная карточка снова объявлялась, пока не придёт выключение. Воспроизведено реальными бинарниками tui-t3 и web-w3: первый раунд через 0,03 с после старта обнаружения далunchanged=1 unpublished=0 pushed_records=1. Это было раньше первого «device sync round ok» (0,57 с), а tombstone ушёл только через 3,0 с.devices::sync_loopчерезwatchсообщает о конце первого раунда (новый типFirstSyncRound): все обмены первого полного списка доверенных устройств, плюс ещё идущие, ответили, упали или истекли (30 с). Без доверенных устройств раунд заканчивается сразу.Federation::start_modeсоздаёт канал и передаёт его вpodcast_discovery::startи дальше вdiscovery::run. Первый раундdiscovery::runждёт сигнала не дольшеFIRST_DEVICE_SYNC_WAIT(45 с), при таймауте пишет предупреждение. Новыйrun_rounds(..., first_wait, users)позволяет тестам ограничить аккаунты; помощник тестовmeet()вынесен изloopback_scenario. Документация: модульdiscovery.rs(Reconciler),docs/development.md, запись CHANGELOG v0.15.0.unchanged=0 unpublished=1 pushed_records=1 remote_nodes=1, то есть отправлен только tombstone.Решения и отступления
hlc_ms) задаёт клиент, поэтому оно упорядочивает только подкасты своего аккаунта. Аккаунт сверх своей доли может потерять самые новые карточки в пользу аккаунта в пределах доли. Это сознательный выбор: иначе один аккаунт с 192 карточками блокировал бы всех. Перераспределение ограничено местом в репликах, поэтому может растянуться до 24 ч.over_limit, сбои) хранится в процессе. После перезапуска представителя восстанавливает сравнение с карточкой оверлея, аheldпустой до первого раунда.itunes:new-feed-urlпо-прежнему участвует в сопоставлении с подкастом аккаунта, но документ ленты-заявителя туда не записывается. Первое же обновление подписки на ленту, объявившуюnew-feed-urlX, переводит её на X (так работаетapply_feedиз W2). Значит, подписка на неё и есть подписка на X, и сопоставление только убирает дубликат (§11). Остающийся эффект: для такой ленты превью показывает «Уже подписан» / «Открыть X».sync_shares.FederatedSearchHit, чтобы не ломать контракт браузера. Тип передаётся полемtype, порядок — полемrank.no-referrer. Прокси для них нет.capabilities::request_manifest.ParsedFeedне отдаётlanguageиcategories.MusicDhtConfigнельзя отключить relay для loopback-тестов. В MR-F3 это не сделано (ломает APIfederation-net 0.3.1), предложение перенесено в follow-upfederation-net 0.4.PublishedPodcastне отдаёт локальныйPodcastCardSpec. Веб сравнивает представителя с подписанной карточкой изrecord.card(). Было бы проще иметьspecв публичном API.Совместимость и версии
v0.15.0в CHANGELOG.music-dht0.6.0.Cargo.lockи[patch]: последний коммит этого MR, «Point frid deps at the fork branch», подключает неопубликованный frid из форка: в[patch.crates-io]вCargo.tomlmusic-dhtуказывают наgit = "https://gt.hexor.cy/Sanapach/frid.git", branch = "podcasts/discovery", а вCargo.lockу frid-крейтов (включаяfederation-net) стоитsource = "git+https://gt.hexor.cy/Sanapach/frid.git?branch=…#<sha>". Ветка стоит наpodcasts/web(с таким же коммитом MR-W1) и только меняетbranch = "podcasts/contract"наbranch = "podcasts/discovery". Сам MR вCargo.lockменяет ещё версию furumusic. После публикации крейтов на crates.io эти строки удаляются, и lock перегенерируется ещё раз.m_0058_create_podcast_share_confirmation. Откат удаляет таблицу.type), добавлены событиеfederation.podcastи полеpodcast_discovery. Новые эндпоинты:POST /api/podcasts/feeds/{id}/share;POST /api/podcasts/discovery/preview(необязательное полеseason);POST /api/podcasts/discovery/subscribe.ShareView:held(over_limit|failed|null).over_limitтеперь означает и «ждёт места в репликах»;discoveryможет бытьunavailable;publishedотносится только к узлу этого сервера.itunes:new-feed-urlна уже известную аккаунту ленту, не создаёт второй подкаст;Как проверено (macOS, Darwin 25.5)
На вершине
0e985b4(CARGO_TARGET_DIR=…/.targets/web-w3,music-dhtиз fridpodcasts/discovery@9c82f6dчерез локальный[patch]):cargo fmt --all -- --check: отличия только в старых файлахsrc/admin/mod.rs,src/agent/dedup.rs,src/jobs/inbox_process.rs(они такие же на базе); изменённые файлы отформатированы.cargo clippy --all-targets: распределение предупреждений по файлам совпадает с вершиной до исправления (abd100d); новых нет.cargo test --all-targets -- --skip real_transcodes_match_and_keep_distinct_bitrates: 210 passed, 0 failed, 35 ignored.node --test tests/*.test.cjs: 67/67.federation::devices::first_round_tests(2) дляFirstSyncRound.postgres:16-alpineна 127.0.0.1,FURU_DEVICE_SYNC_TEST_DATABASE_URL,--ignored):federation::devices::postgres_tests(3) иpodcasts::discovery_tests(5) — 8/8.podcasts::discovery_tests::postgres_a_restarted_server_publishes_only_after_the_first_device_sync, ignored по умолчанию, как соседние. Сервер публикует два подкаста и останавливается, затем поднимается из того же каталога, встречает постороннего и запускаетrun_roundsс закрытым шлюзом. Через 5 с посторонний не находит ни одной карточки ни по id, ни по тексту. Выключение «Поделиться» приходит с другого устройства черезapply_remote_op, шлюз открывается, и посторонний находит только оставшуюся карточку (издатель — узел веба), а отозванная — tombstone. 3 из 3 прогонов (около 14 с), без ожидания тест падает («a card was announced before the first device-sync round»).Предыдущий раунд (вершина
abd100d):cargo fmt --check: расхождения только в файлах, которые расходятся и на базе (admin/mod.rs,agent/dedup.rs,jobs/inbox_process.rs).cargo clippy --all-targets: отсортированный и нормализованный список из 80 предупреждений совпадает с базойpodcasts/web(diffпустой). Новых нет.cargo check --all-targets: проходит без предупреждений на каждом из 4 новых коммитов этого раунда и на HEAD. Остальные коммиты проверены на прошлых шагах.cargo test --all-targets -- --skip real_transcodes_match_and_keep_distinct_bitrates: 208 passed, 0 failed, 34 ignored. Новые unit-тесты этого раунда:Тесты прошлого раунда тоже проходят: 300 решений другого аккаунта с
hlc≈0ничего не снимают, справедливая доля, порядок внутри аккаунта, причинаheld, сбой подготовки поиска даётfailed, превью по сезону.node --test tests/*.test.cjs: 67/67.PostgreSQL: одноразовый контейнер
postgres:16-alpineна 127.0.0.1, удалён после прогона.FURU_DEVICE_SYNC_TEST_DATABASE_URL=postgresql://… cargo test --bin furumusic -- --ignored— проходят все 22 теста, которым тогда была нужна эта переменная. Новые:postgres_a_feed_claiming_a_followed_address_never_rewrites_that_podcast. Аккаунт подписан наreal.xml. Застывшая копияstub.xmlи чужаяevil.xmlобъявляютitunes:new-feed-url=real.xml. После «Добавить RSS» обеих и «Подписаться» на карточкуevil.xml:meta_from_feed), выпуски иin_feedне изменились, журнал не вырос, активная подписка одна;evil.xmlподписывает подкаст снова с его же метаданными регистра, без записи документа;hash(evil)не создаётся;postgres_a_current_subscription_wins_over_an_old_unsubscribed_podcast. У аккаунта отменённыйhash(old)и действующийhash(new).known_podcastи превью даютhash(new)и «Уже подписан». Подписка из карточки и «Добавить RSS»old.xmlвозвращаютalready_subscribedдляhash(new), журнал не меняется, активная подписка одна,hash(old)остаётся отменённым.Оба теста падают на прежнем коде (проверено откатом
runner.rs/search.rs) и проходят с исправлениями. Также проходят loopback-тесты публикации, тест на нечитаемую строку, расширенныйpostgres_subscribing_from_a_card_keeps_the_card_id, миграции и все подкастовые и devices-тесты W2.Тесты, которым нужны другие переменные или запущенный TUI (Last.fm, OIDC, статистика, metadata fix, import, dedup, torrents,
localhost_tui_peer), не запускались, как и на базе.Визуально в браузере (шаг 2): проверено на подставленном состоянии сохранённой страницы — ряд «Подкасты», диалог, ширина 375 px. Изменения прошлого раунда в браузере не проверялись: кнопки сезонов, строка о сбое поиска, метка списка, тексты статуса. Их покрывают только node-тесты. В этом раунде интерфейс не менялся.
Межклиентская проверка
Окружение — то же, что в MR-W2. Вершина стека: веб 0.15.0 (
0e985b4), TUI 0.5.0 (409188b), frid9c82f6dчерез локальный[patch]. PostgreSQL в одноразовом контейнере, headless Chrome через CDP, ленты только с 127.0.0.1. Узлы iroh используют preset n0 и Mainline-DHT со случайнымFURU_FEDERATION_NETWORK_ID, локального режима транспорта нет. Весь прогон: 37 pass, 3 info, 2 not run, 0 fail. Сценарии S1–S5 (подписки, прогресс, перенос, старые пиры, Jam) — в таблице MR-W2. Здесь — обнаружение и перезапуск.podcast_id(«✓ subscribed», «Уже подписан»); подписка синхронизируется в веб-аккаунт группы какsubscribed=true, shared=false, и его поиск в вебе показывает «Уже подписан»Shift+Fв TUI группы синхронизируется в веб-аккаунт, и сервер публикует тоже (2 издателя); выключение в вебе выключает и в TUI, обе карточки пропадают0e985b4— FAIL (первый раунд через 0,03 с:unchanged=1, pushed_records=1); на0e985b4— pass: веб узнал о выключении через 2,2 с, первый раунд через 3,0 с —shared=0 published=0 unchanged=0 unpublished=1Не прогонялись:
proxy_tests;Наблюдение (frid, без исправления в этой серии): первая находка карточки одиночного TUI в вебе — через 311 с после «Поделиться» («remote_nodes=0» в первом проходе TUI). Харнесс опрашивал поиск только в начале сценария, поэтому точная задержка не измерена; механизм (bootstrap оверлея раз в 10 мин) и предложение описаны в MR-F3.
Ограничения
Federation::start_modeи зонд манифестов по сети не покрыты интеграционным тестом в репозитории. Их проверил межклиентский прогон реальных процессов (см. выше), но харнесс не герметичен и в репозиторий не входит. Сетевой путь в репозитории проверен loopback-тестами наPodcastDhtи функциях веба. Relay iroh (preset N0) может обращаться к серверам n0, как и тесты frid.src/podcasts/discovery.rsнеточен для старта: «при ошибке БД раунд пропускается, карточки переиздаёт maintenance» верно только после первого успешного раунда. Если БД недоступна с самого старта, frid9c82f6dне отправляет свои карточки прошлой сессии, пока раунд не пройдёт, и в худшем случае они истекают через 12 ч. Это безопасная сторона. Комментарий можно уточнить отдельным коммитом по желанию ревьюера.aggregate_share_states. Postgres-теста на 192+ реальных подписках и на многодневное истечение tombstone нет. Место считается по локальному списку публикаций узла. Записи, о которых узел не знает (например, после удаления кэшаpodcast-dht.sqlite3), не учитываются.Incumbents::from_published) проверено unit-тестом на уровне сравнения текста. Перезапуск с реальным оверлеем не тестировался. Если текст представителя меняется одновременно с перезапуском, карточку может начать давать другой делящийся аккаунт.start_modeпадает после запуска оверлея, его задачи не останавливаются (как уsimilarity_dht); прокси для обложек карточек нет.Cargo.lockперед merge перегенерируется против запушенной ветки форка frid, а позже — против опубликованногоmusic-dht 0.6.0(см. «Совместимость и версии»).Зависимости и стек
podcasts/discovery: контрактpodcast→ хранилище → оверлейpodcast_dht.podcasts/web: хранилище подкастов в PostgreSQL, обновление RSS, SSRF-защищённый загрузчик, прокси, UI.Sanapach/furumi-web:podcasts/discovery→Furumi/furumi-web:podcasts/web, если эта ветка-основание есть в Furumi/furumi-web. Иначе MR открывается вmaster: он зависит от MR-W1 и MR-W2, и его diff включает их коммиты.git log --oneline podcasts/web..podcasts/discovery, вершина5d29b61). Ветка перебазирована на новую вершину MR-W2; по содержанию коммиты не изменились, сменились только хеши. Последний коммит — «Point frid deps at the fork branch» (5d29b61):e0f39f5Store local podcast share confirmations0400a08Decide which shared podcasts the server publishesc17cd79Run public podcast discovery on the federation node588ea4eAdd the podcast share endpoint with privacy confirmation74ad88dAdd the share toggle and privacy dialog to the podcast page675a63aTest podcast sharing across accounts and publication over loopback27fc2c5Document public podcast discovery in the web serverd4b4543Rank public podcast hits for the searching account4c5ba3fStream public podcast hits in the federated search659307bPreview and subscribe to podcasts found in the federation20bf30eTest podcast search events and subscribing from a card59d9420Show public podcasts in the federated search and subscribe from a card88af307Document finding and subscribing to shared podcasts3fb85a4Release 0.15.014f310fKeep revoking other podcasts when one shared row does not decode5b2973fShare the publication budget fairly and keep published cards stable3a1c50eTell the account why its shared podcast is not published678c7b8Recognize a found podcast the account follows at its new address2ea3f7bReport a failed podcast search without ending the music search12617a6Browse a found podcast by season and cancel abandoned previews4b45aa5Document fair publication limits, share states and moved feeds767134dKeep replica room for the cards a rebalance publishesbbdac75Keep a published card's representative across restartsc5f3b3cNever ingest another feed's document into a followed podcastabd100dPrefer the account's current subscription for a moved feed0e985b4Publish podcasts after the first device sync on restart5d29b61Point frid deps at the fork branch🤖 Generated with Claude Code
Browsers stream episode audio from the publisher by default. For publishers they cannot play directly (CORS, mixed content), the administrator can enable podcast_audio_proxy_enabled (admin Settings, FURU_PODCAST_AUDIO_PROXY_ENABLED). The endpoints live in a new app at /api/podcasts: - GET /episodes/{episode_id}/audio streams an episode of the signed-in account. The URL comes from the account's catalog, never from the request. Requests go through SafeHttp with one sanitized byte Range and no client headers; 200/206/416 pass through, only audio content types are served, with nosniff and a sandbox CSP, and responses stop at 1 GiB or 4 hours. - GET /episodes/{episode_id}/source returns the publisher URL and, when enabled, the proxy URL. - POST /{podcast_id}/refresh refreshes one subscribed feed now. Co-Authored-By: Claude Opus 5.5 <noreply@anthropic.com>Podcasts/discoveryto Публичное обнаружение подкастов в вебе: публикация с сервера, поиск карточек и подписка из федерации (MR-W3)View command line instructions
Checkout
From your project repository, check out a new branch and test the changes.