Реализовано решение Р7: публичное обнаружение подкастов, которыми пользователь явно поделился. Это отдельный подписанный оверлей music_dht::podcast_dht, устроенный по образцу similarity_dht.
Транспорт и хранение. Свой ALPN furumi-fd/podcast-dht/1 (schema-independent), своя версия протокола и записей 1, свой SQLite-кэш (user_version = 2; более новая схема отвергается) и свои контакты маршрутизации. Музыкальный DHT music-dht-v5, federation-net и device-sync v4 не менялись.
Карточка PodcastCard. Это только публичная проекция подкаста: podcast_id, канонический feed_url, id_feed_url (есть только после переезда ленты), название, автор, описание, обложка, сайт, язык, категории, episode_count, latest_episode_at_ms, ключ устройства-издателя, монотонная revision, issued_at_ms и expires_at_ms. Прогресса, истории, регистров (generation, hlc_ms, op_id), имён устройств и выпусков в карточке нет. Длины полей ограничены, запись целиком не больше 24 KiB.
Подпись. Карточка подписывается ed25519-ключом iroh-устройства поверх явного канонического кодирования с доменом furumi-podcast-card:v1. Точная раскладка описана в PODCASTS.md, а BLAKE3-векторы зафиксированы в тестах.
Tombstone. Подписывается с доменом furumi-podcast-card-tombstone:v1 и получает ревизию previous + 1. Он побеждает карточки того же (podcast_id, publisher) с ревизией меньше или равной своей и хранится до истечения своего TTL.
TTL и частота. Используются константы основного DHT: ACTIVE_RECORD_TTL 12 ч для карточек, TOMBSTONE_TTL 24 ч для tombstone, republish каждые 10 мин, очистка каждую минуту.
Порядок записей одного издателя. Больше ревизия → при равной ревизии tombstone → позже issued_at → позже expires_at → лексикографически больший канонический вход подписи. Порядок полный, поэтому реплики сходятся при любом порядке доставки. Повтор старой ревизии игнорируется. Записи разных издателей этими полями не сравниваются.
Проверка. Каждая запись проверяется при получении и при каждом чтении из кэша: границы, сеть, принадлежность ключу, время жизни, сдвиг часов не больше 5 мин, подпись и размер.
Хранение на реплике (устойчивость к sybil):
запись принимается только от её издателя: реплики записи не пересылают, поэтому подложить или повторить чужую запись нельзя;
на (podcast_id, publisher) хранится один payload, ключи индексируются отдельно;
размещение принимается, только если ближе к ключу меньше 2·K проверенных и не находящихся в бэкоффе контактов;
под ключом не больше 128 записей, из них не больше 32 tombstone — ровно столько, сколько несёт один ответ FindValue, поэтому всё принятое отдаётся;
полный ключ принимает новичка, вытесняя случайное размещение другого владельца из младшей половины ключа (по времени первой индексации; при переполнении бюджета tombstone — только tombstone). Старшая половина ради новичков не вытесняется: записи, лежавшие до флуда, остаются и обновляются на месте. Ёмкость больше не достаётся навсегда тому, кто пришёл первым;
tombstone ложится под текстовый ключ только вместо записи того же владельца, и такое превращение карточки в tombstone на месте учитывается в бюджете tombstone так же, как новый tombstone;
на издателя до 256 записей (сверх — отказ), всего до 4096 записей и 32 MiB; полный кэш принимает новую запись, вытесняя не больше 16 случайных записей из младшей половины кэша, а если этого мало — ничего не вытесняет и отказывает.
Контакты оверлея. Контакты из ответов других узлов — только кандидаты для lookup и bootstrap; в таблицу маршрутизации и сохранённые контакты узел попадает, только ответив на запрос сам или прислав запрос как аутентифицированный requester. Контакт, трижды подряд не ответивший (каждый раз после бэкоффа 30 с), удаляется.
Публикация:
publish отказывает, если не выполняется effective_share;
sync_shares декларативный и идемпотентный, снимает с публикации всё, чем больше не поделились;
sync_shares безопасен при отзыве: каждый подкаст обрабатывается отдельно, ошибки собираются в failed, такой подкаст снимается с публикации и не мешает отзыву других;
карточки с предупреждениями о приватности придерживаются (held_back) до подтверждения пользователем (privacy_confirmed) или если эти же URL уже опубликованы;
unpublish выпускает tombstone; для подкаста, который это устройство не публиковало, ничего не отправляется;
republish и maintenance обновляют свои записи;
после перезапуска свои карточки из сохранённого кэша не переиздаются и не отдаются в FindValue, пока клиент не вызвал sync_shares в этом процессе (см. «Исправления после интеграции в клиенты»);
если реплика отказала в батче (stored = 0) или не ответила, его размещения один раз предлагаются следующему по близости узлу того же ключа (по одному на каждый отказ).
Поиск.
search ищет по нормализованным токенам названия и автора. Реплика фильтрует по всем токенам запроса.
lookup_podcast ищет по podcast_id.
Карточки разных устройств склеиваются по podcast_id в PodcastSearchHit. Его feed_url — origin URL, от которого хешируется id; только по нему и следует подписываться.
URL переехавшей ленты попадают в claimed_feed_urls как непроверенные заявления.
Число издателей не влияет на ранжирование и не считается признаком доверия.
Новые FederatedSearchHit ({"type":"music"|"podcast","hit":…}), SearchHitKind (artist|release|track|podcast) и merge_search_results объединяют подкасты с музыкальными результатами. SearchOutcome не изменился.
Capability.podcast_dht = 1 объявляется по желанию: метод CapabilityManifest::with_podcast_dht(), в frid() этой записи нет. Также добавлены CapabilityManifest::protocol_version и supports_podcast_dht. Пир без оверлея не попадает в его таблицу маршрутизации; note_peer_capabilities исключает такого пира по манифесту и перестаёт к нему дозваниваться.
Предупреждение о приватности.feed_url_privacy_warning(&FeedUrl) срабатывает на имена параметров запроса (token, key, auth, secret, sig/signature, uid, user, pass, session, access, private и т. п.), на известные хосты платных лент и на длинные высокоэнтропийные значения запроса или сегменты пути. Функция рекомендательная: UI обязан спросить пользователя перед публикацией.
Ограничения на ресурсы:
запрос до 512 KiB, ответ до 4 MiB;
батч до 16 записей, у каждой до 33 ключей;
в ответе до 128 записей;
один lookup хранит до 512 владельцев, и каждый ответ (и локальный кэш) добавляет не больше 64 новых (512 / K);
одновременно обрабатывается до 64 входящих запросов, от одного пира до 8, каждый до 10 с;
сохраняется до 1024 контактов;
упавший пир пропускается 30 с.
Документация. Раздел «Public discovery (podcast_dht)» в PODCASTS.md: формат карточки, вход подписи, ключи, порядок записей, новые подразделы «Wire protocol» и «Replica storage», публикация, поиск, лимиты, гарантии приватности. Также обновлены ARCHITECTURE.md, README music-dht (шаги подключения) и отдельный подраздел CHANGELOG.
Связка с хранилищем MR-F2 (коммит Reconcile podcast store and discovery). PODCASTS.md, ARCHITECTURE.md и README furumi-library теперь ссылаются друг на друга: PodcastStore только записывает решение «Поделиться», а публикует и отзывает карточку PodcastDht::sync_shares. SQLite-клиент собирает PodcastShareState из PodcastStore::subscription (слитый регистр вместе с набором алиасов, где всегда есть origin URL) и PodcastStore::share. Флаг privacy_confirmed хранилище не сохраняет, его держит клиент. Новый тест store_registers_drive_discovery_publication в furumi-library проверяет всю цепочку: подписка без «Поделиться» не публикуется; после set_shared карточка собирается и is_shared() == PodcastSummary::shared; после постоянного переезда ленты карточка остаётся привязанной к podcast_id, а карточка для нового URL получает id_feed_url = origin; после отписки публиковать нечего.
Исправления по повторному ревью
Коммиты c0def74 (код и тесты) и 912527a (документация).
Ёмкость реплики доставалась навсегда тому, кто сохранил первым (высокая важность, подтверждено).
Проблема. Приём без вытеснения: sybil, заполнившие ключ (256) или кэш (4096 записей / 32 MiB) первыми, держали его, обновляя записи на месте. Поздние честные карточки отвергались, в том числе карточка устройства, вернувшегося после 12+ ч офлайна. Кроме того, под ключом принималось до 256 записей, а ответ несёт 128 (старейшие первыми), так что позднюю карточку принимали, но никогда не отдавали.
Исправление. Под ключом не больше 128 записей и 32 tombstone — столько, сколько несёт один ответ (проверяется const-утверждением), поэтому всё принятое отдаётся. Полный ключ или кэш вытесняет случайную запись другого владельца из младшей половины (для кэша — не больше 16 записей, иначе отказ без вытеснения). Тесты sybils_planted_first_cannot_lock_a_late_card_out_of_a_key, a_card_back_after_expiring_gets_into_a_cache_full_of_sybils, cache_full_key_admits_newcomers_from_its_younger_half, обновлённые cache_enforces_publisher_record_and_byte_quotas и sybil_tombstones_cannot_suppress_a_card.
Не сделано из предложенного: proof of work и снижение лимита на издателя (см. «Решения»).
Непроверенные контакты в окне ответственности (средняя важность, подтверждено).
Проблема. Lookup и bootstrap добавляли в таблицу маршрутизации все контакты из ответов. Тикет не подписан, поэтому один ответ с выдуманными контактами рядом с ключом заставлял честную реплику отказываться от ключа (цензура id-ключа и текстовых ключей подкаста); выдуманные контакты вытесняли честные из корзин.
Исправление. Контакты из ответов — только кандидаты; в таблицу и сохранённые контакты попадает лишь ответивший узел или аутентифицированный requester. Bootstrap делает второй проход по новым кандидатам и добавляет ответивших. is_responsible учитывает только контакты вне бэкоффа. Контакт, трижды подряд не ответивший, удаляется. Отказанные (stored = 0) или неудачные батчи один раз повторяются на следующих по близости узлах. Документация note_peer_capabilities исправлена. Тесты: интеграционный fabricated_contacts_never_join_the_overlay, unit refused_placements_fall_back_to_the_next_closest_nodes.
Лимит владельцев lookup решал порядок ответов (средняя важность, подтверждено).
Проблема. Первые 512 владельцев принимались, остальные отбрасывались; четыре ранних атакующих ответа по 128 записей вытесняли все честные.
Исправление. Каждый ответ (и локальный кэш) добавляет не больше MAX_PODCAST_LOOKUP_OWNERS_PER_RESPONSE = 512 / K = 64 новых владельцев; общий лимит 512 остаётся (память). Тест lookups_give_each_response_a_bounded_share_of_owners.
Обход бюджета tombstone через превращение на месте (низкая важность, подтверждено).
Проблема. Карточка, затем tombstone того же владельца превращались на месте мимо бюджета; заранее посаженные sybil-tombstone занимали 32 места ответа, и отзыв честного издателя не отдавался.
Исправление. Превращение на месте учитывается в бюджете tombstone каждого ключа, где запись остаётся; сверх бюджета вытесняется случайный tombstone другого владельца из младшей половины. Так как бюджет равен месту в ответе, все tombstone ключа отдаются. Тест sybil_tombstones_planted_first_cannot_hide_a_revocation. Предложенный дополнительный адресный запрос (FindValue с фильтром владельца) не добавлялся: он менял бы протокол, а после исправления отзыв не вытесняется из ответа.
Исправления после интеграции в клиенты
Коммит 9c82f6d (код, тест и документация). Найдено при подключении MR-F3 в MR-T3 и MR-W3 и в межклиентской проверке.
Устаревшая карточка переиздавалась при старте (приватность, исправлено).
Проблема.PodcastDht::maintenance после первого bootstrap, нашедшего пиров, вызывал republish, и тот переподписывал все локально активные карточки из сохранённого кэша — раньше, чем клиент успевал вызвать sync_shares. Если «Поделиться» выключили на другом доверенном устройстве, пока это было офлайн, устройство при старте снова отправляло старую карточку со свежим сроком жизни. Кроме того, узел отдавал свою устаревшую карточку из кэша в ответах FindValue.
Исправление. API для клиентов не менялся. Пока в этом процессе не прошёл первый успешный sync_shares, republish (и через него maintenance) отправляет только tombstone и карточки, опубликованные в этом процессе явным publish; остальные свои карточки ждут. Ответы FindValue до этого момента не содержат своих карточек (в кэше они остаются, локальный поиск их видит). Первый sync_shares в процессе отзывает то, чем больше не делятся, и заодно один раз отправляет неизменённые карточки как есть (они считаются в unchanged, а записи — в push), чтобы пиры, найденные bootstrap до синхронизации, не ждали 10 мин до следующего republish. Флаг ставится после сверки с локальными публикациями; если sync_shares упал раньше (ошибка чтения кэша), ничего не разблокируется.
Клиенты. API не менялся, и оба клиента вызывают sync_shares при старте сами. Межклиентская проверка (сценарий 7c) показала, что одного этого исправления мало: первый sync_shares клиента шёл по регистрам, сохранённым до остановки, раньше первой синхронизации устройств, и после этого исправления заново отправлял отозванную на другом устройстве карточку (как неизменённую). Поэтому оба клиента теперь откладывают первый sync_shares до синхронизации с группой:
TUI, MR-T3 409188b: пока DeviceSync::podcast_registers_current не станет true, проходы только отзывают карточки и sync_shares не вызывают;
веб, MR-W3 0e985b4: первый раунд ждёт конца первого раунда device-sync, не дольше 45 с.
С обоими исправлениями сценарий 7c проходит в реальных бинарниках. Уточнение для MR-W3: комментарий модуля src/podcasts/discovery.rs («при ошибке БД раунд пропускается, карточки переиздаёт maintenance») верен только после первого успешного раунда. Если БД недоступна с самого старта, свои карточки не отправляются, пока раунд не пройдёт, и в худшем случае истекают через 12 ч. Это безопасная сторона (записано в ограничениях MR-W3).
Тест. Интеграционный restarted_device_waits_for_sync_shares_before_resending_cards (два узла): A публикует два подкаста, оставаясь один, и останавливается; затем A поднимается из того же каталога, находит B, запускает maintenance. До sync_shares явный republish отправляет 0 записей, B не находит ни одной карточки A ни по id, ни по тексту. Первый sync_shares (один подкаст по-прежнему общий, второй отозван «другим устройством») даёт unchanged = 1, unpublished = 1, push.records = 2; B находит только оставшийся подкаст, следующий republish отправляет карточку и tombstone. На коде до исправления тест падает: republish до sync_shares отправляет 2 записи.
Остаётся.sync_shares доверяет регистрам, которые ему передали. Если при старте у клиента ещё старые регистры (device sync не успел доставить отзыв), неизменённая карточка переподписывается, только когда израсходовала половину срока; в первый раз она отправляется как есть, без продления срока. Клиенты повторяют sync_shares после применения операций синхронизации, и тогда отзыв доходит. Окно при старте TUI и веб закрывают сами, откладывая первый sync_shares до синхронизации устройств (см. выше). Предложение сделать это нормой контракта — в «Предложениях на потом».
Герметичный транспорт для loopback-тестов (не сделано).
Опция «без relay и без DNS-lookup n0» не маленькая и не безопасная для этого MR. NetworkConfig в federation-net — структура с публичными полями без #[non_exhaustive], поэтому новое поле ломает API federation-net 0.3.1; этот стек federation-net не повышает, а клиенты подключают его по требованию 0.3. Путь без нового поля (отдельный метод запуска) добавляет вторую публичную точку входа в транспортный слой. Кроме того, NetworkEngine::ticket() ждёт endpoint.online(), а без relay это ожидание не завершается — каждый тикет ждал бы request_timeout; нужно отдельно решить, откуда брать прямые адреса и отключать ли portmapper (UPnP/PCP/NAT-PMP тоже выходит в локальную сеть). Это задача отдельного MR в federation-net (см. предложения ниже). Тесты frid и клиентов по-прежнему используют presets::N0 и могут обращаться к relay и DNS n0; сам трафик оверлея между тестовыми узлами идёт по loopback.
Решения и отступления от плана
В tombstone дополнительно подписываются version, network_id и index_keys — хеши текстовых ключей отозванной карточки, а не сами токены. index_keys сами по себе места на реплике не создают: tombstone индексируется под текстовым ключом только вместо уже лежащей там записи того же владельца.
В карточке есть id_feed_url, а podcast_id обязан совпадать с хешем id_feed_url (или feed_url). К подкасту привязан только origin URL. Утверждение предыдущей версии «чужой podcast_id нельзя приписать произвольной ленте» было неверным: feed_url переехавшей ленты — непроверяемое заявление. Поэтому поиск отдаёт origin URL, а заявленные URL показывает отдельно. Клиент принимает новый URL как алиас, только если к нему ведут редиректы или itunes:new-feed-url самой ленты по origin URL.
Ревизия новой карточки равна max(previous + 1, now_ms). Она остаётся монотонной даже при потере кэша. Republish сохраняет ревизию, unpublish ставит ровно previous + 1.
Счётчик подписчиков не реализован: из карточек его не вывести. Вместо него publishers — список устройств-издателей. Это не признак доверия, потому что идентичности бесплатны.
Каждое устройство публикует под своим ключом, а поиск склеивает карточки по podcast_id (вопрос 6 плана).
Ключ издателя — транспортная идентичность устройства. Карточку можно связать с сетевым адресом устройства и его музыкальными записями; это прямо описано в гарантиях приватности. Отдельный ключ публикации потребовал бы нового протокола синхронизации ключей и в этот MR не входит.
Политика «только приём, без вытеснения» из первого раунда заменена: она отдавала ёмкость навсегда тому, кто сохранил первым (см. повторное ревью). Теперь полный ключ или кэш вытесняет случайную запись из младшей половины. Старшая половина защищена от флуда, младшая всегда открыта для новичков. Случайность берётся из random() SQLite (сид из ОС), её нельзя предсказать удалённо.
Лимит на издателя (256) не снижен: при 16 и меньше узлах каждый узел отвечает за все ключи, и честное устройство, поделившееся N подкастами, держит на реплике N записей. При бесплатных идентичностях меньший лимит sybil не ограничил бы.
Proof of work (на ключ издателя или на запись) не введён: он меняет подписываемый формат записи и вход подписи протокола 1, ключ издателя — это уже существующий ключ устройства iroh, а цена, ощутимая для атакующего, легла бы и на телефоны, переподписывающие карточки каждые 10 минут. Это записано как ограничение.
Предупреждения о приватности проверяют только feed_url и id_feed_url, но не обложку и ссылку на сайт. Подписанные CDN-URL обложек часто встречаются и в публичных лентах и давали бы ложные срабатывания.
podcast_dht в манифесте включается явно, а не через удаление из frid(). Так приложения, ещё не запускающие оверлей (до MR-T3 и MR-W3), не объявят протокол, которого не обслуживают.
Добавлен вариант ошибки MusicDhtError::PodcastPublication; enum #[non_exhaustive].
Предложения на потом (не входят в этот MR)
Собраны по отступлениям, записанным в MR-T3 и MR-W3. Ни одно не меняет протокол оверлея.
ParsedFeed: язык и категории. Сейчас music_dht::podcast::ParsedFeed не отдаёт <language> и <itunes:category>, каталог их не хранит, поэтому TUI и веб публикуют карточки без language и categories, хотя поля в PodcastCard есть (и показываются, если их прислал другой издатель). Предложение: добавить в ParsedFeed поля language: Option<String> (как в ленте, с обрезкой до MAX_CARD_LANGUAGE_BYTES) и categories: Vec<String> (верхний уровень и вложенные itunes:category text, без повторов, не больше MAX_CARD_CATEGORIES), сохранить их в каталоге PodcastStore (миграция схемы furumi-library) и заполнять из них PodcastCardSpec::from_subscription или общий конструктор карточки по каталогу. Добавление полей в ParsedFeed ломает построение структуры литералом, поэтому это минорное повышение music-dht (или #[non_exhaustive] заранее).
Клиентский capabilities::request_manifest. В music_dht::capabilities есть ALPN furumi/capabilities/1, write_message и read_message, но нет функции «спросить манифест у пира». Веб и TUI пишут свой зонд (открыть поток, отправить запрос, прочитать строку с лимитом MAX_CAPABILITIES_LINE, проверить validate), чтобы передавать манифесты в PodcastDht::note_peer_capabilities. Предложение: pub async fn request_manifest(service: &MusicDhtService, ticket: &PeerTicket, timeout: Duration) -> Result<CapabilityManifest> рядом с серверной частью, с тем же лимитом строки и проверкой, плюс интеграционный тест на совместимый и несовместимый пир. Чистое добавление API.
Лимит записей на издателя для многопользовательского узла. Реплика хранит до MAX_PODCAST_RECORDS_PER_PUBLISHER = 256 записей одного издателя, считая живые tombstone. Для устройства этого достаточно, но веб-сервер публикует под одним ключом за всех пользователей, и tombstone отозванных подкастов 24 ч расходуют общий запас; веб поэтому сам ограничивает новые ключи (Incumbents::key_headroom) и перераспределяет их постепенно. Предложение: считать в квоте издателя только активные карточки и ограничить tombstone отдельным, меньшим бюджетом на издателя (tombstone и так ограничены на ключ MAX_PODCAST_TOMBSTONES_PER_KEY), а также экспортировать функцию «сколько новых ключей ещё примут реплики» по published(), чтобы веб не повторял формулу. Поведение реплик меняется, формат на проводе — нет; нужен тест на флуд tombstone одним издателем.
PodcastDhtSyncStats::active. По PodcastDhtSyncStats клиент не знает, какие подкасты после раунда действительно опубликованы этим устройством: TUI и веб для статуса «опубликовано / не отозвано» дополнительно вызывают published() и сопоставляют с held_back и failed. Предложение: добавить active: Vec<PodcastId> (свои активные карточки после раунда, по возрастанию id) и отдельный счётчик неудавшихся отзывов (revocation_failed), чтобы UI мог честно писать «может быть ещё не отозвано». Добавление поля в структуру с публичными полями — изменение API, поэтому вместе с #[non_exhaustive] для PodcastDhtSyncStats.
PodcastStore::subscribed_podcast_for. Отметку «уже подписан» в результатах поиска клиенты собирают сами: resolve_podcast_id(hit.feed_url), hit.podcast_id, заявленные claimed_feed_urls и список подписок; подписавшись по новому адресу, устройство не знает старый. Предложение: PodcastStore::subscribed_podcast_for(&PodcastSearchHit) -> Option<PodcastId> в furumi-library (id карточки, затем алиасы origin URL, затем заявленные URL только как подсказка), а при обновлении ленты записывать itunes:new-feed-url как алиас того же id, чтобы отметка работала в обе стороны без чтения ленты. Веб на PostgreSQL получил бы ту же логику через общую чистую функцию в music_dht::podcast.
Первый sync_shares после синхронизации устройств — норма контракта. Сейчас это правило реализовано в каждом клиенте отдельно: DeviceSync::podcast_registers_current в TUI и FirstSyncRound в вебе. Предложение: записать его в PODCASTS.md («первый sync_shares в процессе — только после обмена с доверенным устройством v4 или когда ждать некого») и дать в music_dht::device_sync общий помощник, который отвечает, «актуальны ли регистры».
Задержка обнаружения пиров оверлея.note_peer_capabilities только исключает пиров без оверлея и не добавляет пиров с ним, а bootstrap оверлея запускается раз в PODCAST_BOOTSTRAP_INTERVAL (10 мин) или при поиске без известных пиров. Если поделиться подкастом, пока оверлей не знает ни одного пира, карточка первым проходом ложится только в локальную реплику. До других узлов она доходит после следующего bootstrap и republish, до ~10 мин (в межклиентском прогоне «remote_nodes=0», первая находка на вебе — через 311 с, но харнесс опрашивал поиск только в начале сценария). Предложение: запускать bootstrap, когда note_peer_capabilities видит пира с podcast_dht, и сокращать первый интервал после старта.
Герметичный транспорт для тестов.federation-net 0.4: #[non_exhaustive] для NetworkConfig и NetworkConfigBuilder::transport(TransportMode::LocalOnly) (presets::Minimal, RelayMode::Disabled, без address lookup и portmapper, привязка к loopback), ticket() без ожидания online() в этом режиме; проброс через MusicDhtConfigBuilder. Тесты frid, TUI и веба переводятся на этот режим.
Совместимость и версии
music-dht 0.6.0 и furumi-library 0.3.0 остаются как в MR-F1 и MR-F2. Изменения аддитивные: новый модуль, новый вариант ошибки, новые методы манифеста; в furumi-library публичный API не менялся.
Новые ALPN, домены подписи и домен ключей заморожены на версии v1. Формат на проводе и вход подписи после ревью не изменились, BLAKE3-векторы те же.
Схема кэша 2. Таблица реплик предрелизной версии 1 при открытии удаляется (кэш заменяемый), собственные публикации сохраняются. Изменения повторного ревью схему не меняют: возраст записи считается как минимум first_stored_at_ms по её размещениям.
Изменения повторного ревью не трогают формат на проводе и вход подписи. Меняется только поведение узлов: MAX_PODCAST_RECORDS_PER_KEY теперь 128 (было 256), MAX_PODCAST_TOMBSTONES_PER_KEY считает и превращения на месте. Новая публичная константа MAX_PODCAST_LOOKUP_OWNERS_PER_RESPONSE = 64.
CapabilityManifest::frid() не объявляет podcast_dht. Приложение, которое запускает оверлей, добавляет его через with_podcast_dht().
Как проверено (macOS, rustc 1.100)
Вершина ветки 9c82f6d на podcasts/store (MR-F2, вершина d2530dc), CARGO_TARGET_DIR=/Users/krypton/furumi/gitea/.targets/frid-f3:
cargo fmt --all -- --check # OK
cargo check --workspace --all-targets --all-features # OK
cargo clippy --workspace --all-targets --all-features -- -D warnings \
-A clippy::chunks_exact_to_as_chunks # OK, без предупреждений
RUSTDOCFLAGS="-D warnings" cargo doc --no-deps --all-features \
-p music-dht -p furumi-library # OK
cargo test --workspace # все тесты прошли
cargo test --workspace --all-features # все тесты прошли
Clippy. Без -A падает только старое clippy::chunks_exact_to_as_chunks в crates/furumi-library/src/lib.rs:3502 (rustc 1.100); оно есть и без этого MR. Cargo также выводит старые предупреждения манифеста о неиспользуемых workspace-зависимостях clap и tracing-subscriber.
Число тестов (одинаково без и с --all-features): federation-net 31 + 10, furumi-library 63 (62 из MR-F2 и store_registers_drive_discovery_publication), music-dht 225 unit-тестов (furumi-library из MR-F2 включает podcast-feed, поэтому feature есть и в обычной сборке), integration 3, content_id_lookup 2, podcast_dht 4 (добавлен restarted_device_waits_for_sync_shares_before_resending_cards), similarity_dht 1, doctests 1 + 1 + 5.
cargo check --workspace --all-targets --all-features на каждом коммите стека от 35115ec до 912527a: ок.
После 9c82f6d: cargo test -p music-dht --all-features --test podcast_dht — 3 прогона подряд, 3/3 успешно (около 29 с). Новый тест на коде до исправления падает (republish до sync_shares отправляет 2 записи вместо 0).
Клиенты против 9c82f6d (через локальный [patch.crates-io]): в TUI (tui-t3) cargo test --all-targets publication — 11 тестов прошли; в вебе (web-w3) cargo check --all-targets — ок, cargo test --all-targets discovery — 14 прошли, и 4 теста discovery_tests::postgres_* с --ignored на одноразовом postgres:16-alpine (127.0.0.1, контейнер удалён) — 4/4, включая postgres_web_node_publishes_shared_podcasts_to_another_node.
До 9c82f6d: cargo test -p music-dht --test podcast_dht — 3 прогона подряд, 3/3 успешно (около 30 с; основной сценарий занимает около 30 с и на вершине ветки до этих изменений, на этой машине). Unit-тесты podcast_dht — 3 прогона подряд, 3/3 успешно.
Регрессионные тесты повторного ревью на прежнем коде. С прежним store.rs падают 6 тестов: sybils_planted_first_cannot_lock_a_late_card_out_of_a_key, a_card_back_after_expiring_gets_into_a_cache_full_of_sybils, sybil_tombstones_planted_first_cannot_hide_a_revocation, cache_full_key_admits_newcomers_from_its_younger_half, обновлённые cache_enforces_publisher_record_and_byte_quotas и sybil_tombstones_cannot_suppress_a_card. С прежним mod.rs интеграционный тест fabricated_contacts_never_join_the_overlay падает: у A 9 контактов (M и 8 выдуманных) вместо 1.
Unit-тесты: 43 в podcast_dht и 1 в capabilities. Они покрывают:
границы полей на пределе и на значении сразу за ним;
истечение срока, время из будущего и слишком долгий TTL;
приоритет tombstone, повтор старой ревизии, сходимость при любом порядке доставки, удаление устаревших текстовых ключей;
повреждённые записи в кэше, миграцию схемы 1 → 2 и отказ открыть более новую схему;
256 sybil-tombstone и 300 sybil-карточек с issued_at из будущего против одной легитимной карточки;
sybil, пришедшие раньше жертвы: 128 карточек под ключом rust до карточки жертвы — жертва принята, отдаётся и находится в rank_hits; кэш, заполненный sybil, и жертва, вернувшаяся после 12+ ч офлайна, — принята; 64 sybil-tombstone, превращённых на месте, до публикации и отзыва жертвы — под каждым ключом не больше 32 tombstone, отзыв жертвы отдаётся и перекрывает устаревшую копию карточки;
полный ключ: каждый из 64 новичков принят, старшая половина цела, обновление на месте ничего не вытесняет; квоты на издателя (отказ), на число записей и на байты (вытеснение из младшей половины, две самые старые записи остаются); запись больше всего бюджета ничего не вытесняет; один payload на владельца;
проверку ответственности за ключ, лимит запросов на пира;
lookup: 4 атакующих ответа по 128 владельцев занимают только 256 мест, честный ответ после них добавляет своих владельцев, общий лимит 512 соблюдается, новая версия известного владельца заменяет старую;
выбор реплик и запасных узлов (8 ближайших, следующие 8, свой узел никогда не запасной) и повтор отказанных размещений на следующих по близости узлах;
запрет сохранять чужие записи, лимиты батча и фильтра;
перехват podcast_id через id_feed_url и sybil-голоса, ранжирование без учёта числа издателей;
отсутствие приватных данных в карточке, предупреждения о приватности URL;
склейку результатов и JSON-форму FederatedSearchHit.
Интеграционный тест tests/podcast_dht.rs поднимает настоящие iroh-узлы.
Сценарий из четырёх узлов:
A публикует подкаст.
B — второе устройство того же пользователя с теми же регистрами, включая приватный подкаст. B публикует тот же подкаст, и C видит publishers = {A, B}.
B снимает публикацию, и C видит только A. После остановки B C по-прежнему находит карточку A.
C — посторонний узел без device-sync-сопряжения. Он находит подкаст по названию, по автору и по id.
Подкаст, которым не делились, не находится нигде, а publish для него отказывает.
Повторный sync_shares ничего не публикует (идемпотентность).
Отвергаются: поддельная карточка, чужая настоящая карточка, присланная не издателем, изменённая карточка, мусорный запрос, запрос больше лимита и запрос с другой версией протокола. Собственная карточка C принимается.
После отзыва публикации карточку не видит никто. Повтор старой карточки самим A даёт stored = 0; повторить её может только A.
До D (узел только музыкального DHT) дозванивается bootstrap, но в оверлей D не попадает. Исключение пира по манифесту и его возврат работают.
Тест на одном узле: в одном вызове sync_shares первый подкаст перестали шарить, а карточку второго собрать нельзя. Оба получают tombstone, republish их не возвращает. URL с token= придерживается до privacy_confirmed, а после публикации не требует повторного подтверждения.
Тест на двух узлах restarted_device_waits_for_sync_shares_before_resending_cards: см. «Исправления после интеграции в клиенты».
Тест на двух узлах (fabricated_contacts_never_join_the_overlay): узел M отвечает на любой запрос оверлея восемью выдуманными контактами (настоящие node_id, тикеты без адресов). После bootstrap, lookup и повторного bootstrap у A ровно один контакт — M.
Ограничения
Отзыв публикации распространяется не мгновенно. Реплика, не получившая tombstone, отдаёт старую карточку до её истечения (не больше 12 ч). Это касается и реплик, хранивших только текстовые ключи старого названия.
Защита от sybil-атак частичная, потому что идентичности бесплатны и proof of work нет. Записи из старшей половины ключа или кэша флудом не вытесняются, а новичок всегда попадает в младшую половину, но атакующий с множеством идентичностей может снова вытеснить его оттуда до следующего republish (каждые 10 мин). Узлы атакующего, сгенерированные рядом с ключом, по-прежнему могут оказаться среди его реплик (eclipse), а при K и более атакующих ответчиках в первых раундах lookup они займут его лимит владельцев. Метаданные карточки (название, описание) остаются заявлением издателя.
Повтор отказанных размещений идёт по батчам: если узел сохранил хотя бы одно размещение батча, остальные размещения этого батча не повторяются на других узлах. Повтор выполняется один раз за публикацию; следующий republish строит план заново.
Повтор на запасные узлы проверен unit-тестами плана; отдельного сетевого теста нет, потому что для него нужно больше K = 8 узлов.
Ключ издателя связывается с сетевым адресом устройства и его музыкальными записями.
Поиск ищет только точные совпадения токенов, все токены обязательны; префиксного и нечёткого поиска нет.
Эвристика приватности URL возможна как с ложными срабатываниями, так и с пропусками; ссылки на обложку и сайт не проверяются.
PodcastStore из MR-F2 не хранит подтверждение privacy_confirmed и не вызывает sync_shares сам: это остаётся задачей клиента (MR-T3, MR-W3).
Проверено только на macOS; Linux и Windows не проверялись. Интеграционные тесты используют реальные iroh-соединения с presets::N0 и могут обращаться к relay и DNS n0 (локального режима транспорта нет, см. предложения).
До первого sync_shares в процессе свои карточки не переиздаются. Клиент, который вообще не вызывает sync_shares и публикует только через publish, переиздаёт лишь опубликованное в этом процессе; остальные его карточки истекают через 12 ч.
sync_shares доверяет переданным регистрам: не отправить отозванную карточку при старте клиент может, только если откладывает первый вызов до синхронизации устройств (так делают MR-T3 и MR-W3).
Новая карточка может дойти до других узлов только через ~10 мин, если при публикации оверлей ещё не знал пиров (см. «Предложения на потом»).
Зависимости от других MR
Стек линейный: podcasts/contract (MR-F1) ← podcasts/store (MR-F2) ← podcasts/discovery (этот MR). Ветка перенесена на podcasts/store командой git rebase --onto podcasts/store podcasts/contract podcasts/discovery, поэтому MR открывается в podcasts/store и сливается после MR-F2.
К этому MR относятся девять коммитов (git log --oneline podcasts/store..podcasts/discovery):
d27155b Add signed public podcast discovery overlay
2fcb5f1 Test podcast discovery across three loopback nodes
fef155d Document public podcast discovery
81ccd92 Harden podcast discovery against sybil and hijack records (исправления по ревью)
5a4d418 Document podcast discovery wire protocol and replica limits (документация по ревью)
71e3f1f Reconcile podcast store and discovery (связка с MR-F2: документация и интеграционный тест)
c0def74 Evict podcast replicas fairly and trust only verified contacts (исправления по повторному ревью)
912527a Document podcast replica eviction and contact verification (документация по повторному ревью)
9c82f6d Withhold persisted podcast cards until the first share sync (исправление после интеграции в клиенты)
Коммиты от d2530dc (вершина podcasts/store) вниз до 65d6ca2, не включая его, относятся к MR-F2; 65d6ca2 (вершина podcasts/contract) и всё ниже — к MR-F1. После двух новых коммитов MR-F2 (b8d8b53, d2530dc) ветка ещё раз перенесена командой git rebase podcasts/store без конфликтов, поэтому хеши первых шести коммитов этого MR изменились.
При первом rebase конфликт был только в таблице «Responsibilities» в PODCASTS.md: сохранены обе строки, music_dht::podcast_dht из этого MR и furumi_library::podcasts::PodcastStore из MR-F2. CHANGELOG и ARCHITECTURE слились автоматически: подраздел «Unreleased — podcast discovery» отделён от записей MR-F2 в «Unreleased — podcast contract», абзацы в ARCHITECTURE стоят в разных разделах. Код MR-F2 и MR-F3 не пересекается: MR-F2 меняет только furumi-library, этот MR — только music-dht, а effective_share оба берут из music_dht::podcast (MR-F1). Из коммитов этого MR в furumi-library что-то меняет только 71e3f1f (README и тесты).
Используют этот MR: MR-T3 (TUI) и MR-W3 (веб) — переключатель «Поделиться», поиск с типом podcast, «Подписаться» по hit.feed_url. Им нужно вызывать with_podcast_dht(), note_peer_capabilities, обрабатывать held_back и failed и откладывать первый sync_shares до синхронизации устройств. MR-T2 и MR-W2 после обновления frid ничего удалять из манифеста не должны.
Ветка Sanapach/frid:podcasts/discovery → Furumi/frid:podcasts/store, если эта ветка-основание есть в Furumi/frid. Иначе MR открывается в main: он зависит от MR-F1 и MR-F2, и его diff включает их 15 коммитов.
Cargo.lock и [patch]
В самом frid [patch] нет, этот MR Cargo.lock не меняет.
MR-T3 и MR-W3 собираются против этой ветки через локальный .cargo/config.toml с [patch.crates-io] на путь рабочей копии. Файл исключён из git и в коммиты не попадает. Перед merge их Cargo.lock перегенерируется против запушенной ветки форка: git-зависимость https://gt.hexor.cy/Sanapach/frid.git, branch = "podcasts/discovery", последний коммит каждого клиентского MR — «Point frid deps at the fork branch». После публикации music-dht 0.6.0 и furumi-library 0.3.0 lock перегенерируется против crates.io, а [patch] удаляется.
Межклиентская проверка
Оверлей проверен реальными бинарниками на вершине стека: TUI 0.5.0 (409188b) и веб 0.15.0 (0e985b4) на frid 9c82f6d, узлы iroh с preset n0 и Mainline-DHT, ленты только с 127.0.0.1.
Сценарий
Клиенты
Результат
Посторонний находит карточку, подписывается из неё тем же podcast_id; приватный подкаст не находится; tombstone убирает карточку, подписка остаётся
TUI A, B (группа) + TUI E вне группы
pass
Публикация, отозванная до перезапуска, не возвращается после него (7b)
TUI A, B, E
pass
Устройство было офлайн во время отзыва на другом устройстве, после перезапуска не публикует (7c)
TUI A, B, E
на 9c82f6d без 409188b — FAIL, с 409188b — pass
То же для веба: TUI отозвал, пока веб стоял (7c для веба)
TUI + веб
до 0e985b4 — FAIL (unchanged=1, pushed_records=1), после — pass (unpublished=1)
Обнаружение в обе стороны TUI ↔ веб, отзыв с любой стороны, приватные не находятся
TUI 0.5.0 (в группе и вне её) + веб 0.15.0 (два аккаунта)
pass
Наблюдение без исправления: задержка обнаружения до ~10 мин, если поделиться до того, как оверлей узнал пиров (см. «Предложения на потом»). Полные таблицы — в MR-T3 и MR-W3.
> **Серия «Подкасты»:** MR-F1 Furumi/frid#1 · MR-F2 Furumi/frid#2 · **MR-F3 Furumi/frid#3** (этот) · MR-0 Furumi/furumi-tui#1 · MR-T1 Furumi/furumi-tui#2 · MR-T2 Furumi/furumi-tui#3 · MR-T3 Furumi/furumi-tui#4 · MR-W1 Furumi/furumi-web#10 · MR-W2 Furumi/furumi-web#11 · MR-W3 Furumi/furumi-web#12. Порядок merge и зависимости — в разделе зависимостей ниже.
## Что сделано
Реализовано решение **Р7**: публичное обнаружение подкастов, которыми пользователь явно поделился. Это отдельный подписанный оверлей `music_dht::podcast_dht`, устроенный по образцу `similarity_dht`.
- **Транспорт и хранение.** Свой ALPN `furumi-fd/podcast-dht/1` (schema-independent), своя версия протокола и записей `1`, свой SQLite-кэш (`user_version = 2`; более новая схема отвергается) и свои контакты маршрутизации. Музыкальный DHT `music-dht-v5`, `federation-net` и device-sync v4 не менялись.
- **Карточка `PodcastCard`.** Это только публичная проекция подкаста: `podcast_id`, канонический `feed_url`, `id_feed_url` (есть только после переезда ленты), название, автор, описание, обложка, сайт, язык, категории, `episode_count`, `latest_episode_at_ms`, ключ устройства-издателя, монотонная `revision`, `issued_at_ms` и `expires_at_ms`. Прогресса, истории, регистров (`generation`, `hlc_ms`, `op_id`), имён устройств и выпусков в карточке нет. Длины полей ограничены, запись целиком не больше 24 KiB.
- **Подпись.** Карточка подписывается ed25519-ключом iroh-устройства поверх явного канонического кодирования с доменом `furumi-podcast-card:v1`. Точная раскладка описана в PODCASTS.md, а BLAKE3-векторы зафиксированы в тестах.
- **Tombstone.** Подписывается с доменом `furumi-podcast-card-tombstone:v1` и получает ревизию `previous + 1`. Он побеждает карточки того же `(podcast_id, publisher)` с ревизией меньше или равной своей и хранится до истечения своего TTL.
- **TTL и частота.** Используются константы основного DHT: `ACTIVE_RECORD_TTL` 12 ч для карточек, `TOMBSTONE_TTL` 24 ч для tombstone, republish каждые 10 мин, очистка каждую минуту.
- **Порядок записей одного издателя.** Больше ревизия → при равной ревизии tombstone → позже `issued_at` → позже `expires_at` → лексикографически больший канонический вход подписи. Порядок полный, поэтому реплики сходятся при любом порядке доставки. Повтор старой ревизии игнорируется. Записи разных издателей этими полями не сравниваются.
- **Проверка.** Каждая запись проверяется при получении и при каждом чтении из кэша: границы, сеть, принадлежность ключу, время жизни, сдвиг часов не больше 5 мин, подпись и размер.
- **Хранение на реплике (устойчивость к sybil):**
- запись принимается только от её издателя: реплики записи не пересылают, поэтому подложить или повторить чужую запись нельзя;
- на `(podcast_id, publisher)` хранится один payload, ключи индексируются отдельно;
- размещение принимается, только если ближе к ключу меньше `2·K` проверенных и не находящихся в бэкоффе контактов;
- под ключом не больше 128 записей, из них не больше 32 tombstone — ровно столько, сколько несёт один ответ `FindValue`, поэтому всё принятое отдаётся;
- полный ключ принимает новичка, вытесняя случайное размещение другого владельца из **младшей половины** ключа (по времени первой индексации; при переполнении бюджета tombstone — только tombstone). Старшая половина ради новичков не вытесняется: записи, лежавшие до флуда, остаются и обновляются на месте. Ёмкость больше не достаётся навсегда тому, кто пришёл первым;
- tombstone ложится под текстовый ключ только вместо записи того же владельца, и такое превращение карточки в tombstone на месте учитывается в бюджете tombstone так же, как новый tombstone;
- на издателя до 256 записей (сверх — отказ), всего до 4096 записей и 32 MiB; полный кэш принимает новую запись, вытесняя не больше 16 случайных записей из младшей половины кэша, а если этого мало — ничего не вытесняет и отказывает.
- **Контакты оверлея.** Контакты из ответов других узлов — только кандидаты для lookup и bootstrap; в таблицу маршрутизации и сохранённые контакты узел попадает, только ответив на запрос сам или прислав запрос как аутентифицированный requester. Контакт, трижды подряд не ответивший (каждый раз после бэкоффа 30 с), удаляется.
- **Публикация:**
- `publish` отказывает, если не выполняется `effective_share`;
- `sync_shares` декларативный и идемпотентный, снимает с публикации всё, чем больше не поделились;
- `sync_shares` безопасен при отзыве: каждый подкаст обрабатывается отдельно, ошибки собираются в `failed`, такой подкаст снимается с публикации и не мешает отзыву других;
- карточки с предупреждениями о приватности придерживаются (`held_back`) до подтверждения пользователем (`privacy_confirmed`) или если эти же URL уже опубликованы;
- `unpublish` выпускает tombstone; для подкаста, который это устройство не публиковало, ничего не отправляется;
- `republish` и `maintenance` обновляют свои записи;
- после перезапуска свои карточки из сохранённого кэша не переиздаются и не отдаются в `FindValue`, пока клиент не вызвал `sync_shares` в этом процессе (см. «Исправления после интеграции в клиенты»);
- если реплика отказала в батче (`stored = 0`) или не ответила, его размещения один раз предлагаются следующему по близости узлу того же ключа (по одному на каждый отказ).
- **Поиск.**
- `search` ищет по нормализованным токенам названия и автора. Реплика фильтрует по **всем** токенам запроса.
- `lookup_podcast` ищет по `podcast_id`.
- Карточки разных устройств склеиваются по `podcast_id` в `PodcastSearchHit`. Его `feed_url` — origin URL, от которого хешируется id; только по нему и следует подписываться.
- URL переехавшей ленты попадают в `claimed_feed_urls` как непроверенные заявления.
- Число издателей не влияет на ранжирование и не считается признаком доверия.
- Новые `FederatedSearchHit` (`{"type":"music"|"podcast","hit":…}`), `SearchHitKind` (`artist|release|track|podcast`) и `merge_search_results` объединяют подкасты с музыкальными результатами. `SearchOutcome` не изменился.
- **Capability.** `podcast_dht = 1` объявляется по желанию: метод `CapabilityManifest::with_podcast_dht()`, в `frid()` этой записи нет. Также добавлены `CapabilityManifest::protocol_version` и `supports_podcast_dht`. Пир без оверлея не попадает в его таблицу маршрутизации; `note_peer_capabilities` исключает такого пира по манифесту и перестаёт к нему дозваниваться.
- **Предупреждение о приватности.** `feed_url_privacy_warning(&FeedUrl)` срабатывает на имена параметров запроса (`token`, `key`, `auth`, `secret`, `sig`/`signature`, `uid`, `user`, `pass`, `session`, `access`, `private` и т. п.), на известные хосты платных лент и на длинные высокоэнтропийные значения запроса или сегменты пути. Функция рекомендательная: UI обязан спросить пользователя перед публикацией.
- **Ограничения на ресурсы:**
- запрос до 512 KiB, ответ до 4 MiB;
- батч до 16 записей, у каждой до 33 ключей;
- в ответе до 128 записей;
- один lookup хранит до 512 владельцев, и каждый ответ (и локальный кэш) добавляет не больше 64 новых (`512 / K`);
- одновременно обрабатывается до 64 входящих запросов, от одного пира до 8, каждый до 10 с;
- сохраняется до 1024 контактов;
- упавший пир пропускается 30 с.
- **Документация.** Раздел «Public discovery (podcast_dht)» в PODCASTS.md: формат карточки, вход подписи, ключи, порядок записей, новые подразделы «Wire protocol» и «Replica storage», публикация, поиск, лимиты, гарантии приватности. Также обновлены ARCHITECTURE.md, README music-dht (шаги подключения) и отдельный подраздел CHANGELOG.
- **Связка с хранилищем MR-F2** (коммит `Reconcile podcast store and discovery`). PODCASTS.md, ARCHITECTURE.md и README furumi-library теперь ссылаются друг на друга: `PodcastStore` только записывает решение «Поделиться», а публикует и отзывает карточку `PodcastDht::sync_shares`. SQLite-клиент собирает `PodcastShareState` из `PodcastStore::subscription` (слитый регистр вместе с набором алиасов, где всегда есть origin URL) и `PodcastStore::share`. Флаг `privacy_confirmed` хранилище не сохраняет, его держит клиент. Новый тест `store_registers_drive_discovery_publication` в furumi-library проверяет всю цепочку: подписка без «Поделиться» не публикуется; после `set_shared` карточка собирается и `is_shared() == PodcastSummary::shared`; после постоянного переезда ленты карточка остаётся привязанной к `podcast_id`, а карточка для нового URL получает `id_feed_url` = origin; после отписки публиковать нечего.
## Исправления по повторному ревью
Коммиты `c0def74` (код и тесты) и `912527a` (документация).
1. **Ёмкость реплики доставалась навсегда тому, кто сохранил первым** (высокая важность, подтверждено).
- **Проблема.** Приём без вытеснения: sybil, заполнившие ключ (256) или кэш (4096 записей / 32 MiB) первыми, держали его, обновляя записи на месте. Поздние честные карточки отвергались, в том числе карточка устройства, вернувшегося после 12+ ч офлайна. Кроме того, под ключом принималось до 256 записей, а ответ несёт 128 (старейшие первыми), так что позднюю карточку принимали, но никогда не отдавали.
- **Исправление.** Под ключом не больше 128 записей и 32 tombstone — столько, сколько несёт один ответ (проверяется `const`-утверждением), поэтому всё принятое отдаётся. Полный ключ или кэш вытесняет случайную запись другого владельца из младшей половины (для кэша — не больше 16 записей, иначе отказ без вытеснения). Тесты `sybils_planted_first_cannot_lock_a_late_card_out_of_a_key`, `a_card_back_after_expiring_gets_into_a_cache_full_of_sybils`, `cache_full_key_admits_newcomers_from_its_younger_half`, обновлённые `cache_enforces_publisher_record_and_byte_quotas` и `sybil_tombstones_cannot_suppress_a_card`.
- **Не сделано из предложенного:** proof of work и снижение лимита на издателя (см. «Решения»).
2. **Непроверенные контакты в окне ответственности** (средняя важность, подтверждено).
- **Проблема.** Lookup и bootstrap добавляли в таблицу маршрутизации все контакты из ответов. Тикет не подписан, поэтому один ответ с выдуманными контактами рядом с ключом заставлял честную реплику отказываться от ключа (цензура id-ключа и текстовых ключей подкаста); выдуманные контакты вытесняли честные из корзин.
- **Исправление.** Контакты из ответов — только кандидаты; в таблицу и сохранённые контакты попадает лишь ответивший узел или аутентифицированный requester. Bootstrap делает второй проход по новым кандидатам и добавляет ответивших. `is_responsible` учитывает только контакты вне бэкоффа. Контакт, трижды подряд не ответивший, удаляется. Отказанные (`stored = 0`) или неудачные батчи один раз повторяются на следующих по близости узлах. Документация `note_peer_capabilities` исправлена. Тесты: интеграционный `fabricated_contacts_never_join_the_overlay`, unit `refused_placements_fall_back_to_the_next_closest_nodes`.
3. **Лимит владельцев lookup решал порядок ответов** (средняя важность, подтверждено).
- **Проблема.** Первые 512 владельцев принимались, остальные отбрасывались; четыре ранних атакующих ответа по 128 записей вытесняли все честные.
- **Исправление.** Каждый ответ (и локальный кэш) добавляет не больше `MAX_PODCAST_LOOKUP_OWNERS_PER_RESPONSE = 512 / K = 64` новых владельцев; общий лимит 512 остаётся (память). Тест `lookups_give_each_response_a_bounded_share_of_owners`.
4. **Обход бюджета tombstone через превращение на месте** (низкая важность, подтверждено).
- **Проблема.** Карточка, затем tombstone того же владельца превращались на месте мимо бюджета; заранее посаженные sybil-tombstone занимали 32 места ответа, и отзыв честного издателя не отдавался.
- **Исправление.** Превращение на месте учитывается в бюджете tombstone каждого ключа, где запись остаётся; сверх бюджета вытесняется случайный tombstone другого владельца из младшей половины. Так как бюджет равен месту в ответе, все tombstone ключа отдаются. Тест `sybil_tombstones_planted_first_cannot_hide_a_revocation`. Предложенный дополнительный адресный запрос (FindValue с фильтром владельца) не добавлялся: он менял бы протокол, а после исправления отзыв не вытесняется из ответа.
## Исправления после интеграции в клиенты
Коммит `9c82f6d` (код, тест и документация). Найдено при подключении MR-F3 в MR-T3 и MR-W3 и в межклиентской проверке.
1. **Устаревшая карточка переиздавалась при старте** (приватность, исправлено).
- **Проблема.** `PodcastDht::maintenance` после первого bootstrap, нашедшего пиров, вызывал `republish`, и тот переподписывал все локально активные карточки из сохранённого кэша — раньше, чем клиент успевал вызвать `sync_shares`. Если «Поделиться» выключили на другом доверенном устройстве, пока это было офлайн, устройство при старте снова отправляло старую карточку со свежим сроком жизни. Кроме того, узел отдавал свою устаревшую карточку из кэша в ответах `FindValue`.
- **Исправление.** API для клиентов не менялся. Пока в этом процессе не прошёл первый успешный `sync_shares`, `republish` (и через него `maintenance`) отправляет только tombstone и карточки, опубликованные в этом процессе явным `publish`; остальные свои карточки ждут. Ответы `FindValue` до этого момента не содержат своих карточек (в кэше они остаются, локальный поиск их видит). Первый `sync_shares` в процессе отзывает то, чем больше не делятся, и заодно один раз отправляет неизменённые карточки как есть (они считаются в `unchanged`, а записи — в `push`), чтобы пиры, найденные bootstrap до синхронизации, не ждали 10 мин до следующего republish. Флаг ставится после сверки с локальными публикациями; если `sync_shares` упал раньше (ошибка чтения кэша), ничего не разблокируется.
- **Клиенты.** API не менялся, и оба клиента вызывают `sync_shares` при старте сами. Межклиентская проверка (сценарий 7c) показала, что одного этого исправления мало: первый `sync_shares` клиента шёл по регистрам, сохранённым до остановки, раньше первой синхронизации устройств, и после этого исправления заново отправлял отозванную на другом устройстве карточку (как неизменённую). Поэтому оба клиента теперь откладывают первый `sync_shares` до синхронизации с группой:
- TUI, MR-T3 `409188b`: пока `DeviceSync::podcast_registers_current` не станет true, проходы только отзывают карточки и `sync_shares` не вызывают;
- веб, MR-W3 `0e985b4`: первый раунд ждёт конца первого раунда device-sync, не дольше 45 с.
С обоими исправлениями сценарий 7c проходит в реальных бинарниках. Уточнение для MR-W3: комментарий модуля `src/podcasts/discovery.rs` («при ошибке БД раунд пропускается, карточки переиздаёт maintenance») верен только после первого успешного раунда. Если БД недоступна с самого старта, свои карточки не отправляются, пока раунд не пройдёт, и в худшем случае истекают через 12 ч. Это безопасная сторона (записано в ограничениях MR-W3).
- **Тест.** Интеграционный `restarted_device_waits_for_sync_shares_before_resending_cards` (два узла): A публикует два подкаста, оставаясь один, и останавливается; затем A поднимается из того же каталога, находит B, запускает `maintenance`. До `sync_shares` явный `republish` отправляет 0 записей, B не находит ни одной карточки A ни по id, ни по тексту. Первый `sync_shares` (один подкаст по-прежнему общий, второй отозван «другим устройством») даёт `unchanged = 1`, `unpublished = 1`, `push.records = 2`; B находит только оставшийся подкаст, следующий `republish` отправляет карточку и tombstone. На коде до исправления тест падает: `republish` до `sync_shares` отправляет 2 записи.
- **Остаётся.** `sync_shares` доверяет регистрам, которые ему передали. Если при старте у клиента ещё старые регистры (device sync не успел доставить отзыв), неизменённая карточка переподписывается, только когда израсходовала половину срока; в первый раз она отправляется как есть, без продления срока. Клиенты повторяют `sync_shares` после применения операций синхронизации, и тогда отзыв доходит. Окно при старте TUI и веб закрывают сами, откладывая первый `sync_shares` до синхронизации устройств (см. выше). Предложение сделать это нормой контракта — в «Предложениях на потом».
2. **Герметичный транспорт для loopback-тестов** (не сделано).
- Опция «без relay и без DNS-lookup n0» не маленькая и не безопасная для этого MR. `NetworkConfig` в `federation-net` — структура с публичными полями без `#[non_exhaustive]`, поэтому новое поле ломает API `federation-net 0.3.1`; этот стек `federation-net` не повышает, а клиенты подключают его по требованию `0.3`. Путь без нового поля (отдельный метод запуска) добавляет вторую публичную точку входа в транспортный слой. Кроме того, `NetworkEngine::ticket()` ждёт `endpoint.online()`, а без relay это ожидание не завершается — каждый тикет ждал бы `request_timeout`; нужно отдельно решить, откуда брать прямые адреса и отключать ли portmapper (UPnP/PCP/NAT-PMP тоже выходит в локальную сеть). Это задача отдельного MR в `federation-net` (см. предложения ниже). Тесты frid и клиентов по-прежнему используют `presets::N0` и могут обращаться к relay и DNS n0; сам трафик оверлея между тестовыми узлами идёт по loopback.
## Решения и отступления от плана
- В tombstone дополнительно подписываются `version`, `network_id` и `index_keys` — хеши текстовых ключей отозванной карточки, а не сами токены. `index_keys` сами по себе места на реплике не создают: tombstone индексируется под текстовым ключом только вместо уже лежащей там записи того же владельца.
- В карточке есть `id_feed_url`, а `podcast_id` обязан совпадать с хешем `id_feed_url` (или `feed_url`). К подкасту привязан **только** origin URL. Утверждение предыдущей версии «чужой `podcast_id` нельзя приписать произвольной ленте» было неверным: `feed_url` переехавшей ленты — непроверяемое заявление. Поэтому поиск отдаёт origin URL, а заявленные URL показывает отдельно. Клиент принимает новый URL как алиас, только если к нему ведут редиректы или `itunes:new-feed-url` самой ленты по origin URL.
- Ревизия новой карточки равна `max(previous + 1, now_ms)`. Она остаётся монотонной даже при потере кэша. Republish сохраняет ревизию, unpublish ставит ровно `previous + 1`.
- Счётчик подписчиков не реализован: из карточек его не вывести. Вместо него `publishers` — список устройств-издателей. Это не признак доверия, потому что идентичности бесплатны.
- Каждое устройство публикует под своим ключом, а поиск склеивает карточки по `podcast_id` (вопрос 6 плана).
- Ключ издателя — транспортная идентичность устройства. Карточку можно связать с сетевым адресом устройства и его музыкальными записями; это прямо описано в гарантиях приватности. Отдельный ключ публикации потребовал бы нового протокола синхронизации ключей и в этот MR не входит.
- Политика «только приём, без вытеснения» из первого раунда заменена: она отдавала ёмкость навсегда тому, кто сохранил первым (см. повторное ревью). Теперь полный ключ или кэш вытесняет случайную запись из младшей половины. Старшая половина защищена от флуда, младшая всегда открыта для новичков. Случайность берётся из `random()` SQLite (сид из ОС), её нельзя предсказать удалённо.
- Лимит на издателя (256) не снижен: при 16 и меньше узлах каждый узел отвечает за все ключи, и честное устройство, поделившееся N подкастами, держит на реплике N записей. При бесплатных идентичностях меньший лимит sybil не ограничил бы.
- Proof of work (на ключ издателя или на запись) не введён: он меняет подписываемый формат записи и вход подписи протокола 1, ключ издателя — это уже существующий ключ устройства iroh, а цена, ощутимая для атакующего, легла бы и на телефоны, переподписывающие карточки каждые 10 минут. Это записано как ограничение.
- Предупреждения о приватности проверяют только `feed_url` и `id_feed_url`, но не обложку и ссылку на сайт. Подписанные CDN-URL обложек часто встречаются и в публичных лентах и давали бы ложные срабатывания.
- `podcast_dht` в манифесте включается явно, а не через удаление из `frid()`. Так приложения, ещё не запускающие оверлей (до MR-T3 и MR-W3), не объявят протокол, которого не обслуживают.
- Добавлен вариант ошибки `MusicDhtError::PodcastPublication`; enum `#[non_exhaustive]`.
## Предложения на потом (не входят в этот MR)
Собраны по отступлениям, записанным в MR-T3 и MR-W3. Ни одно не меняет протокол оверлея.
- **`ParsedFeed`: язык и категории.** Сейчас `music_dht::podcast::ParsedFeed` не отдаёт `<language>` и `<itunes:category>`, каталог их не хранит, поэтому TUI и веб публикуют карточки без `language` и `categories`, хотя поля в `PodcastCard` есть (и показываются, если их прислал другой издатель). Предложение: добавить в `ParsedFeed` поля `language: Option<String>` (как в ленте, с обрезкой до `MAX_CARD_LANGUAGE_BYTES`) и `categories: Vec<String>` (верхний уровень и вложенные `itunes:category text`, без повторов, не больше `MAX_CARD_CATEGORIES`), сохранить их в каталоге `PodcastStore` (миграция схемы furumi-library) и заполнять из них `PodcastCardSpec::from_subscription` или общий конструктор карточки по каталогу. Добавление полей в `ParsedFeed` ломает построение структуры литералом, поэтому это минорное повышение `music-dht` (или `#[non_exhaustive]` заранее).
- **Клиентский `capabilities::request_manifest`.** В `music_dht::capabilities` есть ALPN `furumi/capabilities/1`, `write_message` и `read_message`, но нет функции «спросить манифест у пира». Веб и TUI пишут свой зонд (открыть поток, отправить запрос, прочитать строку с лимитом `MAX_CAPABILITIES_LINE`, проверить `validate`), чтобы передавать манифесты в `PodcastDht::note_peer_capabilities`. Предложение: `pub async fn request_manifest(service: &MusicDhtService, ticket: &PeerTicket, timeout: Duration) -> Result<CapabilityManifest>` рядом с серверной частью, с тем же лимитом строки и проверкой, плюс интеграционный тест на совместимый и несовместимый пир. Чистое добавление API.
- **Лимит записей на издателя для многопользовательского узла.** Реплика хранит до `MAX_PODCAST_RECORDS_PER_PUBLISHER = 256` записей одного издателя, считая живые tombstone. Для устройства этого достаточно, но веб-сервер публикует под одним ключом за всех пользователей, и tombstone отозванных подкастов 24 ч расходуют общий запас; веб поэтому сам ограничивает новые ключи (`Incumbents::key_headroom`) и перераспределяет их постепенно. Предложение: считать в квоте издателя только активные карточки и ограничить tombstone отдельным, меньшим бюджетом на издателя (tombstone и так ограничены на ключ `MAX_PODCAST_TOMBSTONES_PER_KEY`), а также экспортировать функцию «сколько новых ключей ещё примут реплики» по `published()`, чтобы веб не повторял формулу. Поведение реплик меняется, формат на проводе — нет; нужен тест на флуд tombstone одним издателем.
- **`PodcastDhtSyncStats::active`.** По `PodcastDhtSyncStats` клиент не знает, какие подкасты после раунда действительно опубликованы этим устройством: TUI и веб для статуса «опубликовано / не отозвано» дополнительно вызывают `published()` и сопоставляют с `held_back` и `failed`. Предложение: добавить `active: Vec<PodcastId>` (свои активные карточки после раунда, по возрастанию id) и отдельный счётчик неудавшихся отзывов (`revocation_failed`), чтобы UI мог честно писать «может быть ещё не отозвано». Добавление поля в структуру с публичными полями — изменение API, поэтому вместе с `#[non_exhaustive]` для `PodcastDhtSyncStats`.
- **`PodcastStore::subscribed_podcast_for`.** Отметку «уже подписан» в результатах поиска клиенты собирают сами: `resolve_podcast_id(hit.feed_url)`, `hit.podcast_id`, заявленные `claimed_feed_urls` и список подписок; подписавшись по новому адресу, устройство не знает старый. Предложение: `PodcastStore::subscribed_podcast_for(&PodcastSearchHit) -> Option<PodcastId>` в furumi-library (id карточки, затем алиасы origin URL, затем заявленные URL только как подсказка), а при обновлении ленты записывать `itunes:new-feed-url` как алиас того же id, чтобы отметка работала в обе стороны без чтения ленты. Веб на PostgreSQL получил бы ту же логику через общую чистую функцию в `music_dht::podcast`.
- **Первый `sync_shares` после синхронизации устройств — норма контракта.** Сейчас это правило реализовано в каждом клиенте отдельно: `DeviceSync::podcast_registers_current` в TUI и `FirstSyncRound` в вебе. Предложение: записать его в PODCASTS.md («первый `sync_shares` в процессе — только после обмена с доверенным устройством v4 или когда ждать некого») и дать в `music_dht::device_sync` общий помощник, который отвечает, «актуальны ли регистры».
- **Задержка обнаружения пиров оверлея.** `note_peer_capabilities` только исключает пиров без оверлея и не добавляет пиров с ним, а bootstrap оверлея запускается раз в `PODCAST_BOOTSTRAP_INTERVAL` (10 мин) или при поиске без известных пиров. Если поделиться подкастом, пока оверлей не знает ни одного пира, карточка первым проходом ложится только в локальную реплику. До других узлов она доходит после следующего bootstrap и republish, до ~10 мин (в межклиентском прогоне «remote_nodes=0», первая находка на вебе — через 311 с, но харнесс опрашивал поиск только в начале сценария). Предложение: запускать bootstrap, когда `note_peer_capabilities` видит пира с `podcast_dht`, и сокращать первый интервал после старта.
- **Герметичный транспорт для тестов.** `federation-net 0.4`: `#[non_exhaustive]` для `NetworkConfig` и `NetworkConfigBuilder::transport(TransportMode::LocalOnly)` (`presets::Minimal`, `RelayMode::Disabled`, без address lookup и portmapper, привязка к loopback), `ticket()` без ожидания `online()` в этом режиме; проброс через `MusicDhtConfigBuilder`. Тесты frid, TUI и веба переводятся на этот режим.
## Совместимость и версии
- `music-dht 0.6.0` и `furumi-library 0.3.0` остаются как в MR-F1 и MR-F2. Изменения аддитивные: новый модуль, новый вариант ошибки, новые методы манифеста; в furumi-library публичный API не менялся.
- Новые ALPN, домены подписи и домен ключей заморожены на версии `v1`. Формат на проводе и вход подписи после ревью не изменились, BLAKE3-векторы те же.
- Схема кэша `2`. Таблица реплик предрелизной версии `1` при открытии удаляется (кэш заменяемый), собственные публикации сохраняются. Изменения повторного ревью схему не меняют: возраст записи считается как минимум `first_stored_at_ms` по её размещениям.
- Изменения повторного ревью не трогают формат на проводе и вход подписи. Меняется только поведение узлов: `MAX_PODCAST_RECORDS_PER_KEY` теперь 128 (было 256), `MAX_PODCAST_TOMBSTONES_PER_KEY` считает и превращения на месте. Новая публичная константа `MAX_PODCAST_LOOKUP_OWNERS_PER_RESPONSE = 64`.
- `CapabilityManifest::frid()` не объявляет `podcast_dht`. Приложение, которое запускает оверлей, добавляет его через `with_podcast_dht()`.
## Как проверено (macOS, rustc 1.100)
Вершина ветки `9c82f6d` на `podcasts/store` (MR-F2, вершина `d2530dc`), `CARGO_TARGET_DIR=/Users/krypton/furumi/gitea/.targets/frid-f3`:
```
cargo fmt --all -- --check # OK
cargo check --workspace --all-targets --all-features # OK
cargo clippy --workspace --all-targets --all-features -- -D warnings \
-A clippy::chunks_exact_to_as_chunks # OK, без предупреждений
RUSTDOCFLAGS="-D warnings" cargo doc --no-deps --all-features \
-p music-dht -p furumi-library # OK
cargo test --workspace # все тесты прошли
cargo test --workspace --all-features # все тесты прошли
```
- **Clippy.** Без `-A` падает только старое `clippy::chunks_exact_to_as_chunks` в `crates/furumi-library/src/lib.rs:3502` (rustc 1.100); оно есть и без этого MR. Cargo также выводит старые предупреждения манифеста о неиспользуемых workspace-зависимостях `clap` и `tracing-subscriber`.
- **Число тестов** (одинаково без и с `--all-features`): federation-net 31 + 10, furumi-library 63 (62 из MR-F2 и `store_registers_drive_discovery_publication`), music-dht 225 unit-тестов (furumi-library из MR-F2 включает `podcast-feed`, поэтому feature есть и в обычной сборке), integration 3, content_id_lookup 2, podcast_dht 4 (добавлен `restarted_device_waits_for_sync_shares_before_resending_cards`), similarity_dht 1, doctests 1 + 1 + 5.
- `cargo check --workspace --all-targets --all-features` на каждом коммите стека от `35115ec` до `912527a`: ок.
- После `9c82f6d`: `cargo test -p music-dht --all-features --test podcast_dht` — 3 прогона подряд, 3/3 успешно (около 29 с). Новый тест на коде до исправления падает (`republish` до `sync_shares` отправляет 2 записи вместо 0).
- **Клиенты против `9c82f6d`** (через локальный `[patch.crates-io]`): в TUI (`tui-t3`) `cargo test --all-targets publication` — 11 тестов прошли; в вебе (`web-w3`) `cargo check --all-targets` — ок, `cargo test --all-targets discovery` — 14 прошли, и 4 теста `discovery_tests::postgres_*` с `--ignored` на одноразовом `postgres:16-alpine` (127.0.0.1, контейнер удалён) — 4/4, включая `postgres_web_node_publishes_shared_podcasts_to_another_node`.
- До `9c82f6d`: `cargo test -p music-dht --test podcast_dht` — 3 прогона подряд, 3/3 успешно (около 30 с; основной сценарий занимает около 30 с и на вершине ветки до этих изменений, на этой машине). Unit-тесты `podcast_dht` — 3 прогона подряд, 3/3 успешно.
- **Регрессионные тесты повторного ревью на прежнем коде.** С прежним `store.rs` падают 6 тестов: `sybils_planted_first_cannot_lock_a_late_card_out_of_a_key`, `a_card_back_after_expiring_gets_into_a_cache_full_of_sybils`, `sybil_tombstones_planted_first_cannot_hide_a_revocation`, `cache_full_key_admits_newcomers_from_its_younger_half`, обновлённые `cache_enforces_publisher_record_and_byte_quotas` и `sybil_tombstones_cannot_suppress_a_card`. С прежним `mod.rs` интеграционный тест `fabricated_contacts_never_join_the_overlay` падает: у A 9 контактов (M и 8 выдуманных) вместо 1.
Unit-тесты: 43 в `podcast_dht` и 1 в `capabilities`. Они покрывают:
- подпись, подмену полей, чужой ключ, чужую сеть;
- стабильность канонического кодирования (BLAKE3-векторы);
- границы полей на пределе и на значении сразу за ним;
- истечение срока, время из будущего и слишком долгий TTL;
- приоритет tombstone, повтор старой ревизии, сходимость при любом порядке доставки, удаление устаревших текстовых ключей;
- повреждённые записи в кэше, миграцию схемы 1 → 2 и отказ открыть более новую схему;
- 256 sybil-tombstone и 300 sybil-карточек с `issued_at` из будущего против одной легитимной карточки;
- sybil, пришедшие **раньше** жертвы: 128 карточек под ключом `rust` до карточки жертвы — жертва принята, отдаётся и находится в `rank_hits`; кэш, заполненный sybil, и жертва, вернувшаяся после 12+ ч офлайна, — принята; 64 sybil-tombstone, превращённых на месте, до публикации и отзыва жертвы — под каждым ключом не больше 32 tombstone, отзыв жертвы отдаётся и перекрывает устаревшую копию карточки;
- полный ключ: каждый из 64 новичков принят, старшая половина цела, обновление на месте ничего не вытесняет; квоты на издателя (отказ), на число записей и на байты (вытеснение из младшей половины, две самые старые записи остаются); запись больше всего бюджета ничего не вытесняет; один payload на владельца;
- проверку ответственности за ключ, лимит запросов на пира;
- lookup: 4 атакующих ответа по 128 владельцев занимают только 256 мест, честный ответ после них добавляет своих владельцев, общий лимит 512 соблюдается, новая версия известного владельца заменяет старую;
- выбор реплик и запасных узлов (8 ближайших, следующие 8, свой узел никогда не запасной) и повтор отказанных размещений на следующих по близости узлах;
- запрет сохранять чужие записи, лимиты батча и фильтра;
- перехват `podcast_id` через `id_feed_url` и sybil-голоса, ранжирование без учёта числа издателей;
- отсутствие приватных данных в карточке, предупреждения о приватности URL;
- склейку результатов и JSON-форму `FederatedSearchHit`.
Интеграционный тест `tests/podcast_dht.rs` поднимает настоящие iroh-узлы.
Сценарий из четырёх узлов:
1. A публикует подкаст.
2. B — второе устройство того же пользователя с теми же регистрами, включая приватный подкаст. B публикует тот же подкаст, и C видит `publishers = {A, B}`.
3. B снимает публикацию, и C видит только A. После остановки B C по-прежнему находит карточку A.
4. C — посторонний узел без device-sync-сопряжения. Он находит подкаст по названию, по автору и по id.
5. Подкаст, которым не делились, не находится нигде, а `publish` для него отказывает.
6. Повторный `sync_shares` ничего не публикует (идемпотентность).
7. Отвергаются: поддельная карточка, чужая настоящая карточка, присланная не издателем, изменённая карточка, мусорный запрос, запрос больше лимита и запрос с другой версией протокола. Собственная карточка C принимается.
8. После отзыва публикации карточку не видит никто. Повтор старой карточки самим A даёт `stored = 0`; повторить её может только A.
9. До D (узел только музыкального DHT) дозванивается bootstrap, но в оверлей D не попадает. Исключение пира по манифесту и его возврат работают.
Тест на одном узле: в одном вызове `sync_shares` первый подкаст перестали шарить, а карточку второго собрать нельзя. Оба получают tombstone, republish их не возвращает. URL с `token=` придерживается до `privacy_confirmed`, а после публикации не требует повторного подтверждения.
Тест на двух узлах `restarted_device_waits_for_sync_shares_before_resending_cards`: см. «Исправления после интеграции в клиенты».
Тест на двух узлах (`fabricated_contacts_never_join_the_overlay`): узел M отвечает на любой запрос оверлея восемью выдуманными контактами (настоящие `node_id`, тикеты без адресов). После bootstrap, lookup и повторного bootstrap у A ровно один контакт — M.
## Ограничения
- Отзыв публикации распространяется не мгновенно. Реплика, не получившая tombstone, отдаёт старую карточку до её истечения (не больше 12 ч). Это касается и реплик, хранивших только текстовые ключи старого названия.
- Защита от sybil-атак частичная, потому что идентичности бесплатны и proof of work нет. Записи из старшей половины ключа или кэша флудом не вытесняются, а новичок всегда попадает в младшую половину, но атакующий с множеством идентичностей может снова вытеснить его оттуда до следующего republish (каждые 10 мин). Узлы атакующего, сгенерированные рядом с ключом, по-прежнему могут оказаться среди его реплик (eclipse), а при `K` и более атакующих ответчиках в первых раундах lookup они займут его лимит владельцев. Метаданные карточки (название, описание) остаются заявлением издателя.
- Повтор отказанных размещений идёт по батчам: если узел сохранил хотя бы одно размещение батча, остальные размещения этого батча не повторяются на других узлах. Повтор выполняется один раз за публикацию; следующий republish строит план заново.
- Повтор на запасные узлы проверен unit-тестами плана; отдельного сетевого теста нет, потому что для него нужно больше `K` = 8 узлов.
- Ключ издателя связывается с сетевым адресом устройства и его музыкальными записями.
- Поиск ищет только точные совпадения токенов, все токены обязательны; префиксного и нечёткого поиска нет.
- Эвристика приватности URL возможна как с ложными срабатываниями, так и с пропусками; ссылки на обложку и сайт не проверяются.
- `PodcastStore` из MR-F2 не хранит подтверждение `privacy_confirmed` и не вызывает `sync_shares` сам: это остаётся задачей клиента (MR-T3, MR-W3).
- Проверено только на macOS; Linux и Windows не проверялись. Интеграционные тесты используют реальные iroh-соединения с `presets::N0` и могут обращаться к relay и DNS n0 (локального режима транспорта нет, см. предложения).
- До первого `sync_shares` в процессе свои карточки не переиздаются. Клиент, который вообще не вызывает `sync_shares` и публикует только через `publish`, переиздаёт лишь опубликованное в этом процессе; остальные его карточки истекают через 12 ч.
- `sync_shares` доверяет переданным регистрам: не отправить отозванную карточку при старте клиент может, только если откладывает первый вызов до синхронизации устройств (так делают MR-T3 и MR-W3).
- Новая карточка может дойти до других узлов только через ~10 мин, если при публикации оверлей ещё не знал пиров (см. «Предложения на потом»).
## Зависимости от других MR
- Стек линейный: `podcasts/contract` (**MR-F1**) ← `podcasts/store` (**MR-F2**) ← `podcasts/discovery` (этот MR). Ветка перенесена на `podcasts/store` командой `git rebase --onto podcasts/store podcasts/contract podcasts/discovery`, поэтому MR открывается в `podcasts/store` и сливается после MR-F2.
- К этому MR относятся девять коммитов (`git log --oneline podcasts/store..podcasts/discovery`):
- `d27155b` Add signed public podcast discovery overlay
- `2fcb5f1` Test podcast discovery across three loopback nodes
- `fef155d` Document public podcast discovery
- `81ccd92` Harden podcast discovery against sybil and hijack records (исправления по ревью)
- `5a4d418` Document podcast discovery wire protocol and replica limits (документация по ревью)
- `71e3f1f` Reconcile podcast store and discovery (связка с MR-F2: документация и интеграционный тест)
- `c0def74` Evict podcast replicas fairly and trust only verified contacts (исправления по повторному ревью)
- `912527a` Document podcast replica eviction and contact verification (документация по повторному ревью)
- `9c82f6d` Withhold persisted podcast cards until the first share sync (исправление после интеграции в клиенты)
- Коммиты от `d2530dc` (вершина `podcasts/store`) вниз до `65d6ca2`, не включая его, относятся к MR-F2; `65d6ca2` (вершина `podcasts/contract`) и всё ниже — к MR-F1. После двух новых коммитов MR-F2 (`b8d8b53`, `d2530dc`) ветка ещё раз перенесена командой `git rebase podcasts/store` без конфликтов, поэтому хеши первых шести коммитов этого MR изменились.
- При первом rebase конфликт был только в таблице «Responsibilities» в PODCASTS.md: сохранены обе строки, `music_dht::podcast_dht` из этого MR и `furumi_library::podcasts::PodcastStore` из MR-F2. CHANGELOG и ARCHITECTURE слились автоматически: подраздел «Unreleased — podcast discovery» отделён от записей MR-F2 в «Unreleased — podcast contract», абзацы в ARCHITECTURE стоят в разных разделах. Код MR-F2 и MR-F3 не пересекается: MR-F2 меняет только furumi-library, этот MR — только music-dht, а `effective_share` оба берут из `music_dht::podcast` (MR-F1). Из коммитов этого MR в furumi-library что-то меняет только `71e3f1f` (README и тесты).
- Используют этот MR: **MR-T3** (TUI) и **MR-W3** (веб) — переключатель «Поделиться», поиск с типом `podcast`, «Подписаться» по `hit.feed_url`. Им нужно вызывать `with_podcast_dht()`, `note_peer_capabilities`, обрабатывать `held_back` и `failed` и откладывать первый `sync_shares` до синхронизации устройств. MR-T2 и MR-W2 после обновления frid ничего удалять из манифеста не должны.
- Ветка `Sanapach/frid:podcasts/discovery` → `Furumi/frid:podcasts/store`, если эта ветка-основание есть в Furumi/frid. Иначе MR открывается в `main`: он зависит от MR-F1 и MR-F2, и его diff включает их 15 коммитов.
## `Cargo.lock` и `[patch]`
- В самом frid `[patch]` нет, этот MR `Cargo.lock` не меняет.
- MR-T3 и MR-W3 собираются против этой ветки через локальный `.cargo/config.toml` с `[patch.crates-io]` на путь рабочей копии. Файл исключён из git и в коммиты не попадает. Перед merge их `Cargo.lock` перегенерируется против запушенной ветки форка: git-зависимость `https://gt.hexor.cy/Sanapach/frid.git`, `branch = "podcasts/discovery"`, последний коммит каждого клиентского MR — «Point frid deps at the fork branch». После публикации `music-dht 0.6.0` и `furumi-library 0.3.0` lock перегенерируется против crates.io, а `[patch]` удаляется.
## Межклиентская проверка
Оверлей проверен реальными бинарниками на вершине стека: TUI 0.5.0 (`409188b`) и веб 0.15.0 (`0e985b4`) на frid `9c82f6d`, узлы iroh с preset n0 и Mainline-DHT, ленты только с 127.0.0.1.
| Сценарий | Клиенты | Результат |
| --- | --- | --- |
| Посторонний находит карточку, подписывается из неё тем же `podcast_id`; приватный подкаст не находится; tombstone убирает карточку, подписка остаётся | TUI A, B (группа) + TUI E вне группы | pass |
| Публикация, отозванная до перезапуска, не возвращается после него (7b) | TUI A, B, E | pass |
| Устройство было офлайн во время отзыва на другом устройстве, после перезапуска не публикует (7c) | TUI A, B, E | на `9c82f6d` без `409188b` — FAIL, с `409188b` — pass |
| То же для веба: TUI отозвал, пока веб стоял (7c для веба) | TUI + веб | до `0e985b4` — FAIL (`unchanged=1, pushed_records=1`), после — pass (`unpublished=1`) |
| Обнаружение в обе стороны TUI ↔ веб, отзыв с любой стороны, приватные не находятся | TUI 0.5.0 (в группе и вне её) + веб 0.15.0 (два аккаунта) | pass |
Наблюдение без исправления: задержка обнаружения до ~10 мин, если поделиться до того, как оверлей узнал пиров (см. «Предложения на потом»). Полные таблицы — в MR-T3 и MR-W3.
🤖 Generated with [Claude Code](https://claude.com/claude-code)
Introduce music_dht::podcast, a pure module (no SQLite, HTTP or clock)
that every Furumi client uses for podcast identity and personal state:
- FeedUrl canonicalization that keeps the path and every query
parameter byte-for-byte, PodcastId/EpisodeId derivation with
domain-separated BLAKE3, feed aliases and the documented no-GUID
episode identity rule;
- bounded PodcastMeta, EpisodeMeta and the self-contained
PodcastEpisodeRef queue item;
- convergent merge rules for subscriptions (LWW, unsubscribe is state),
share decisions (false is a tombstone), progress registers ordered by
a Lamport generation, and listening sessions (G-set, one completion
per session).
Tests cover every delivery permutation of small operation sets, late
checkpoints of old sessions, concurrent offline sessions and RSS
metadata updates that must not touch progress.
Co-Authored-By: Claude Opus 5.5 <noreply@anthropic.com>
Port the tolerant RSS 2.0 / RSS 1.0 / Atom parser of the original
furumi-tui podcast work into music_dht::podcast::feed behind the
optional podcast-feed feature (quick-xml, encoding_rs, url). Episode
identity depends on what the parser extracts, so it must be shared by
all clients.
The port keeps its robustness (BOM and declared encodings, entities,
mismatched tags, depth and size limits, lenient dates, http(s)-only
media) and adds itunes:season, itunes:episode, itunes:episodeType,
guid isPermaLink and itunes:new-feed-url. Missing GUIDs stay absent
instead of falling back to the enclosure URL, and parsed items produce
identity hints and contract metadata.
Co-Authored-By: Claude Opus 5.5 <noreply@anthropic.com>
Bump DEVICE_SYNC_PROTOCOL_VERSION to 4 (ALPN unchanged) and carry the
podcast contract between trusted devices:
- podcast_subscription_set, podcast_share_set, podcast_progress_set and
podcast_listen_recorded operations with record materializers and
validation; unsubscribe is LWW state, share=false is a tombstone;
- bounded podcast sections in SyncSnapshot, the recovery path for peers
that upgrade after operations were hidden from them;
- PlaybackTrack.source with PlaybackSource::{Music, PodcastEpisode,
Private}, reserved PlaybackStateWire.playback_rate and an optional
self-reported protocol_version in DeviceProfileSet;
- gating helpers for peers below v4 (op_allowed_for_peer,
playback_allowed_for_peer, playback_command_allowed_from_peer,
SyncSnapshot::for_peer) and Jam privacy (redact_for_jam,
redact_jam_snapshot, jam_command_allowed, restore_jam_private_items).
Tests show that a v3-shaped enum rejects a whole batch containing a new
kind, which is why gating is mandatory, and that legacy JSON still
parses and music-only messages keep their v3 shape.
Co-Authored-By: Claude Opus 5.5 <noreply@anthropic.com>
Add PODCASTS.md as the normative podcast contract: identity and URL
canonicalization, the no-GUID rule, synced versus local versus public
data, operation kinds and merge rules with examples, snapshot recovery,
version gating for peers below v4, Jam privacy and the reserved
playback_rate. Update PLAYBACK_PROTOCOL.md, ARCHITECTURE.md, the crate
READMEs and CHANGELOG.md.
Bump music-dht to 0.6.0 and furumi-library to 0.3.0: new public enum
variants and struct fields are breaking changes for 0.x, and
furumi-library re-exposes music-dht types.
Co-Authored-By: Claude Opus 5.5 <noreply@anthropic.com>
Run the no-GUID matching stages across the whole document so a weak
date+title match of an earlier item cannot take a known episode that a
later item matches by enclosure. Keep feed links verbatim (trimmed only)
because they are identity material, and stop html_to_text from scanning
to the end of the text at every '<' when no '>' follows.
Co-Authored-By: Claude Opus 5.5 <noreply@anthropic.com>
- Order subscription and share registers by a per-podcast Lamport
generation before hlc_ms (next_podcast_generation), so clock skew
cannot undo an observed unsubscribe or share decision.
- share=false is register state, not a compactable tombstone.
- Add podcast_feed_aliases_added so refreshes can sync aliases without
touching the registers; SubscriptionRecord::feed_urls keeps the current
feed URL resolvable beyond the alias bound.
- Carry progress_generation on queue items for handoff.
- Distinguish self-reported and relayed peer versions, and gate
PairRequest by an optional inviter version in InviteWire.
- Give each podcast snapshot section its own byte budget, drop channel
descriptions from snapshots and allow a caller-provided budget.
- Reject one-slash http(s) typos in FeedUrl::from_user_input.
- Pin that malformed ids and feed URLs reject the whole message.
Co-Authored-By: Claude Opus 5.5 <noreply@anthropic.com>
TrackItem gains `podcast: Option<PodcastEpisodeRef>` with
`TrackItem::podcast_episode`, `is_podcast` and `podcast_episode_ref`.
Library queries keep returning music only (`podcast: None`); the library
database is unchanged. Music-only code paths must check `is_podcast`.
Co-Authored-By: Claude Opus 5.5 <noreply@anthropic.com>
New `furumi_library::podcasts::PodcastStore` in its own podcasts.sqlite3:
- user_version migrations in immediate transactions; version 1 is the
prototype schema of the original podcast PR, version 2 renames its tables
to legacy_* and imports feeds, episodes and fetch state with contract
ids; unimportable rows go to legacy_quarantine; newer or foreign files
are refused before anything is written;
- catalog (podcasts, feed aliases, seasons, episodes), subscription, share
and progress registers, listening sessions and local-only fetch state;
- local actions that apply and return podcast sync operations, remote
operation and snapshot application through the music-dht materializers
and merge functions, bounded snapshot export;
- RSS refresh ingestion with stable episode ids and alias learning that
never touches personal state, and queries for the UI.
Co-Authored-By: Claude Opus 5.5 <noreply@anthropic.com>
PODCASTS.md gains the "SQLite reference store" section (migrations,
prototype import, tables, invariants); ARCHITECTURE.md, the
furumi-library README and the changelog describe PodcastStore and
TrackItem.podcast.
Co-Authored-By: Claude Opus 5.5 <noreply@anthropic.com>
TrackItem::podcast_episode used id 0, release_id 0 and artist id 0, which
clients treat as library rows. Podcast items now get a negative id derived
from the episode id (TrackItem::podcast_track_id, at most
PODCAST_TRACK_ID_MAX, below pending federated ids) and release/artist id -1,
so existing id < 0 / release_id < 0 checks skip them.
Co-Authored-By: Claude Opus 5.5 <noreply@anthropic.com>
The prototype kept one row per enclosure URL for GUID-less items, so stale
rows could change which identity key is unique and give imported episodes
ids a fresh device never derives. The import now collapses rows of one item
seen under several enclosure URLs, and the first refresh re-keys imported
GUID-less episodes without progress or sessions to the ids the current feed
gives.
Fetch-state writes read and write the row under one lock and one immediate
transaction, so concurrent writers no longer lose columns or failure counts.
Co-Authored-By: Claude Opus 5.5 <noreply@anthropic.com>
The per-episode negative ids (TrackItem::podcast_track_id below
PODCAST_TRACK_ID_MAX) were a magic id range in shared code, which the
podcast requirements forbid. Podcast items now use the fixed sentinel
TrackItem::NOT_A_LIBRARY_ROW (-1) as id, release_id and artist id; it
carries no identity. Their identity is TrackItem.podcast alone.
Add TrackItem::key returning a typed TrackItemKey (library row, federated
owner and item id, podcast episode id, or transient), with the stable
string forms lib:<id>, fed:<owner>:<item_id>, ep:<episode id> and
tmp:<id>, so clients key queue items by source instead of by numeric id.
Co-Authored-By: Claude Opus 5.5 <noreply@anthropic.com>
A provisional imported GUID-less episode whose feed item id is already
held by an episode that stays (typically one a remote operation created
before this device's first refresh) is now deleted instead of kept as a
second, never re-keyed copy. The same applies when its legacy GUID turns
out to be the item's real GUID. Such episodes carry no personal state.
Co-Authored-By: Claude Opus 5.5 <noreply@anthropic.com>
Add TrackItem::from_playback_track and PlaybackItem: a received podcast
episode becomes TrackItem::podcast_episode (sentinel ids) and a Jam
private placeholder gets no TrackItem, so the wire ids (0 for both) are
never copied. Narrow the TrackItem::key guidance: it is the source
identity, episodes must never be keyed by id, and content-first music
matching stays as it is. Document how TrackItem::podcast_episode differs
from the wire form.
Co-Authored-By: Claude Opus 5.5 <noreply@anthropic.com>
New music_dht::podcast_dht: a schema-independent Kademlia overlay on
furumi-fd/podcast-dht/1 (version 1) with its own SQLite cache. Devices
publish signed public podcast cards only where effective_share holds,
retract them with signed tombstones of the next revision, and search by
normalized title/author tokens or podcast id. Records are verified on
every receive and cache read. Adds typed federated search hits, the
advisory feed_url_privacy_warning helper, the podcast_dht capability and
MusicDhtError::PodcastPublication.
Co-Authored-By: Claude Opus 5.5 <noreply@anthropic.com>
A publishes, an unrelated peer C finds the card by text and id while A's
trusted device B is offline, a never-shared podcast stays invisible, a
tombstone hides the card, and forged, tampered, replayed, malformed,
oversized and wrong-version requests are rejected. A peer without the
overlay never joins its routing table.
Co-Authored-By: Claude Opus 5.5 <noreply@anthropic.com>
Replicas now accept records only from their publisher, keep one payload
per (podcast, publisher), store placements only for keys they are close
to, and admit records within per-key, per-tombstone, per-publisher and
total budgets without ever evicting existing records. Tombstones cannot
claim text keys without their owner's card. Search offers only the feed
URL the podcast id hashes from and reports moved-feed URLs as claims;
publisher counts no longer rank. sync_shares handles each podcast on its
own, always revokes, and holds back cards with privacy warnings. Lookups
and inbound requests per peer are bounded, persisted contacts are capped,
and the podcast_dht capability is opt-in.
Co-Authored-By: Claude Opus 5.5 <noreply@anthropic.com>
Cross-reference the SQLite podcast store and the podcast_dht overlay in
PODCASTS.md, ARCHITECTURE.md and the furumi-library README, and test that
the store's merged subscription and share registers build the share state
and cards PodcastDht::sync_shares publishes, including after a feed move
and after unsubscribing.
Co-Authored-By: Claude Opus 5.5 <noreply@anthropic.com>
Replicas no longer hand capacity to whoever stored first: a key holds at
most one FindValue response worth of records (128, 32 tombstones), so
every admitted record is served, and a full key or cache admits a
newcomer by evicting a random record from its younger half. In-place
card-to-tombstone conversions count against the tombstone budget.
Contacts returned by peers are only lookup and bootstrap candidates
until they answer; replica responsibility counts verified contacts that
are not backed off, and contacts that keep failing are dropped. Refused
store batches fall back to the next closest nodes once. Each lookup
response may add at most 64 new owners.
Co-Authored-By: Claude Opus 5.5 <noreply@anthropic.com>
After a restart, PodcastDht::maintenance republished every locally active
card as soon as its first bootstrap found peers, before the client could
reconcile with sync_shares, so a share revoked on another trusted device
while this one was offline was re-sent from the stale cache. Own cards are
now neither republished nor served to FindValue until the first
sync_shares of the process (or an explicit publish of that podcast);
tombstones are still sent. The first sync_shares re-sends unchanged cards.
Co-Authored-By: Claude Opus 5.5 <noreply@anthropic.com>
sanapach
changed title from Podcasts/discovery to Подкасты в FRID: публичное обнаружение podcast_dht — подписанные карточки, tombstone и поиск (MR-F3)2026-11-20 13:34:13 +00:00
Blocking a user prevents them from interacting with repositories, such as opening or commenting on pull requests or issues. Learn more about blocking a user.
Что сделано
Реализовано решение Р7: публичное обнаружение подкастов, которыми пользователь явно поделился. Это отдельный подписанный оверлей
music_dht::podcast_dht, устроенный по образцуsimilarity_dht.furumi-fd/podcast-dht/1(schema-independent), своя версия протокола и записей1, свой SQLite-кэш (user_version = 2; более новая схема отвергается) и свои контакты маршрутизации. Музыкальный DHTmusic-dht-v5,federation-netи device-sync v4 не менялись.PodcastCard. Это только публичная проекция подкаста:podcast_id, каноническийfeed_url,id_feed_url(есть только после переезда ленты), название, автор, описание, обложка, сайт, язык, категории,episode_count,latest_episode_at_ms, ключ устройства-издателя, монотоннаяrevision,issued_at_msиexpires_at_ms. Прогресса, истории, регистров (generation,hlc_ms,op_id), имён устройств и выпусков в карточке нет. Длины полей ограничены, запись целиком не больше 24 KiB.furumi-podcast-card:v1. Точная раскладка описана в PODCASTS.md, а BLAKE3-векторы зафиксированы в тестах.furumi-podcast-card-tombstone:v1и получает ревизиюprevious + 1. Он побеждает карточки того же(podcast_id, publisher)с ревизией меньше или равной своей и хранится до истечения своего TTL.ACTIVE_RECORD_TTL12 ч для карточек,TOMBSTONE_TTL24 ч для tombstone, republish каждые 10 мин, очистка каждую минуту.issued_at→ позжеexpires_at→ лексикографически больший канонический вход подписи. Порядок полный, поэтому реплики сходятся при любом порядке доставки. Повтор старой ревизии игнорируется. Записи разных издателей этими полями не сравниваются.(podcast_id, publisher)хранится один payload, ключи индексируются отдельно;2·Kпроверенных и не находящихся в бэкоффе контактов;FindValue, поэтому всё принятое отдаётся;publishотказывает, если не выполняетсяeffective_share;sync_sharesдекларативный и идемпотентный, снимает с публикации всё, чем больше не поделились;sync_sharesбезопасен при отзыве: каждый подкаст обрабатывается отдельно, ошибки собираются вfailed, такой подкаст снимается с публикации и не мешает отзыву других;held_back) до подтверждения пользователем (privacy_confirmed) или если эти же URL уже опубликованы;unpublishвыпускает tombstone; для подкаста, который это устройство не публиковало, ничего не отправляется;republishиmaintenanceобновляют свои записи;FindValue, пока клиент не вызвалsync_sharesв этом процессе (см. «Исправления после интеграции в клиенты»);stored = 0) или не ответила, его размещения один раз предлагаются следующему по близости узлу того же ключа (по одному на каждый отказ).searchищет по нормализованным токенам названия и автора. Реплика фильтрует по всем токенам запроса.lookup_podcastищет поpodcast_id.podcast_idвPodcastSearchHit. Егоfeed_url— origin URL, от которого хешируется id; только по нему и следует подписываться.claimed_feed_urlsкак непроверенные заявления.FederatedSearchHit({"type":"music"|"podcast","hit":…}),SearchHitKind(artist|release|track|podcast) иmerge_search_resultsобъединяют подкасты с музыкальными результатами.SearchOutcomeне изменился.podcast_dht = 1объявляется по желанию: методCapabilityManifest::with_podcast_dht(), вfrid()этой записи нет. Также добавленыCapabilityManifest::protocol_versionиsupports_podcast_dht. Пир без оверлея не попадает в его таблицу маршрутизации;note_peer_capabilitiesисключает такого пира по манифесту и перестаёт к нему дозваниваться.feed_url_privacy_warning(&FeedUrl)срабатывает на имена параметров запроса (token,key,auth,secret,sig/signature,uid,user,pass,session,access,privateи т. п.), на известные хосты платных лент и на длинные высокоэнтропийные значения запроса или сегменты пути. Функция рекомендательная: UI обязан спросить пользователя перед публикацией.512 / K);Reconcile podcast store and discovery). PODCASTS.md, ARCHITECTURE.md и README furumi-library теперь ссылаются друг на друга:PodcastStoreтолько записывает решение «Поделиться», а публикует и отзывает карточкуPodcastDht::sync_shares. SQLite-клиент собираетPodcastShareStateизPodcastStore::subscription(слитый регистр вместе с набором алиасов, где всегда есть origin URL) иPodcastStore::share. Флагprivacy_confirmedхранилище не сохраняет, его держит клиент. Новый тестstore_registers_drive_discovery_publicationв furumi-library проверяет всю цепочку: подписка без «Поделиться» не публикуется; послеset_sharedкарточка собирается иis_shared() == PodcastSummary::shared; после постоянного переезда ленты карточка остаётся привязанной кpodcast_id, а карточка для нового URL получаетid_feed_url= origin; после отписки публиковать нечего.Исправления по повторному ревью
Коммиты
c0def74(код и тесты) и912527a(документация).const-утверждением), поэтому всё принятое отдаётся. Полный ключ или кэш вытесняет случайную запись другого владельца из младшей половины (для кэша — не больше 16 записей, иначе отказ без вытеснения). Тестыsybils_planted_first_cannot_lock_a_late_card_out_of_a_key,a_card_back_after_expiring_gets_into_a_cache_full_of_sybils,cache_full_key_admits_newcomers_from_its_younger_half, обновлённыеcache_enforces_publisher_record_and_byte_quotasиsybil_tombstones_cannot_suppress_a_card.is_responsibleучитывает только контакты вне бэкоффа. Контакт, трижды подряд не ответивший, удаляется. Отказанные (stored = 0) или неудачные батчи один раз повторяются на следующих по близости узлах. Документацияnote_peer_capabilitiesисправлена. Тесты: интеграционныйfabricated_contacts_never_join_the_overlay, unitrefused_placements_fall_back_to_the_next_closest_nodes.MAX_PODCAST_LOOKUP_OWNERS_PER_RESPONSE = 512 / K = 64новых владельцев; общий лимит 512 остаётся (память). Тестlookups_give_each_response_a_bounded_share_of_owners.sybil_tombstones_planted_first_cannot_hide_a_revocation. Предложенный дополнительный адресный запрос (FindValue с фильтром владельца) не добавлялся: он менял бы протокол, а после исправления отзыв не вытесняется из ответа.Исправления после интеграции в клиенты
Коммит
9c82f6d(код, тест и документация). Найдено при подключении MR-F3 в MR-T3 и MR-W3 и в межклиентской проверке.Проблема.
PodcastDht::maintenanceпосле первого bootstrap, нашедшего пиров, вызывалrepublish, и тот переподписывал все локально активные карточки из сохранённого кэша — раньше, чем клиент успевал вызватьsync_shares. Если «Поделиться» выключили на другом доверенном устройстве, пока это было офлайн, устройство при старте снова отправляло старую карточку со свежим сроком жизни. Кроме того, узел отдавал свою устаревшую карточку из кэша в ответахFindValue.Исправление. API для клиентов не менялся. Пока в этом процессе не прошёл первый успешный
sync_shares,republish(и через негоmaintenance) отправляет только tombstone и карточки, опубликованные в этом процессе явнымpublish; остальные свои карточки ждут. ОтветыFindValueдо этого момента не содержат своих карточек (в кэше они остаются, локальный поиск их видит). Первыйsync_sharesв процессе отзывает то, чем больше не делятся, и заодно один раз отправляет неизменённые карточки как есть (они считаются вunchanged, а записи — вpush), чтобы пиры, найденные bootstrap до синхронизации, не ждали 10 мин до следующего republish. Флаг ставится после сверки с локальными публикациями; еслиsync_sharesупал раньше (ошибка чтения кэша), ничего не разблокируется.Клиенты. API не менялся, и оба клиента вызывают
sync_sharesпри старте сами. Межклиентская проверка (сценарий 7c) показала, что одного этого исправления мало: первыйsync_sharesклиента шёл по регистрам, сохранённым до остановки, раньше первой синхронизации устройств, и после этого исправления заново отправлял отозванную на другом устройстве карточку (как неизменённую). Поэтому оба клиента теперь откладывают первыйsync_sharesдо синхронизации с группой:409188b: покаDeviceSync::podcast_registers_currentне станет true, проходы только отзывают карточки иsync_sharesне вызывают;0e985b4: первый раунд ждёт конца первого раунда device-sync, не дольше 45 с.С обоими исправлениями сценарий 7c проходит в реальных бинарниках. Уточнение для MR-W3: комментарий модуля
src/podcasts/discovery.rs(«при ошибке БД раунд пропускается, карточки переиздаёт maintenance») верен только после первого успешного раунда. Если БД недоступна с самого старта, свои карточки не отправляются, пока раунд не пройдёт, и в худшем случае истекают через 12 ч. Это безопасная сторона (записано в ограничениях MR-W3).Тест. Интеграционный
restarted_device_waits_for_sync_shares_before_resending_cards(два узла): A публикует два подкаста, оставаясь один, и останавливается; затем A поднимается из того же каталога, находит B, запускаетmaintenance. Доsync_sharesявныйrepublishотправляет 0 записей, B не находит ни одной карточки A ни по id, ни по тексту. Первыйsync_shares(один подкаст по-прежнему общий, второй отозван «другим устройством») даётunchanged = 1,unpublished = 1,push.records = 2; B находит только оставшийся подкаст, следующийrepublishотправляет карточку и tombstone. На коде до исправления тест падает:republishдоsync_sharesотправляет 2 записи.Остаётся.
sync_sharesдоверяет регистрам, которые ему передали. Если при старте у клиента ещё старые регистры (device sync не успел доставить отзыв), неизменённая карточка переподписывается, только когда израсходовала половину срока; в первый раз она отправляется как есть, без продления срока. Клиенты повторяютsync_sharesпосле применения операций синхронизации, и тогда отзыв доходит. Окно при старте TUI и веб закрывают сами, откладывая первыйsync_sharesдо синхронизации устройств (см. выше). Предложение сделать это нормой контракта — в «Предложениях на потом».NetworkConfigвfederation-net— структура с публичными полями без#[non_exhaustive], поэтому новое поле ломает APIfederation-net 0.3.1; этот стекfederation-netне повышает, а клиенты подключают его по требованию0.3. Путь без нового поля (отдельный метод запуска) добавляет вторую публичную точку входа в транспортный слой. Кроме того,NetworkEngine::ticket()ждётendpoint.online(), а без relay это ожидание не завершается — каждый тикет ждал быrequest_timeout; нужно отдельно решить, откуда брать прямые адреса и отключать ли portmapper (UPnP/PCP/NAT-PMP тоже выходит в локальную сеть). Это задача отдельного MR вfederation-net(см. предложения ниже). Тесты frid и клиентов по-прежнему используютpresets::N0и могут обращаться к relay и DNS n0; сам трафик оверлея между тестовыми узлами идёт по loopback.Решения и отступления от плана
version,network_idиindex_keys— хеши текстовых ключей отозванной карточки, а не сами токены.index_keysсами по себе места на реплике не создают: tombstone индексируется под текстовым ключом только вместо уже лежащей там записи того же владельца.id_feed_url, аpodcast_idобязан совпадать с хешемid_feed_url(илиfeed_url). К подкасту привязан только origin URL. Утверждение предыдущей версии «чужойpodcast_idнельзя приписать произвольной ленте» было неверным:feed_urlпереехавшей ленты — непроверяемое заявление. Поэтому поиск отдаёт origin URL, а заявленные URL показывает отдельно. Клиент принимает новый URL как алиас, только если к нему ведут редиректы илиitunes:new-feed-urlсамой ленты по origin URL.max(previous + 1, now_ms). Она остаётся монотонной даже при потере кэша. Republish сохраняет ревизию, unpublish ставит ровноprevious + 1.publishers— список устройств-издателей. Это не признак доверия, потому что идентичности бесплатны.podcast_id(вопрос 6 плана).random()SQLite (сид из ОС), её нельзя предсказать удалённо.feed_urlиid_feed_url, но не обложку и ссылку на сайт. Подписанные CDN-URL обложек часто встречаются и в публичных лентах и давали бы ложные срабатывания.podcast_dhtв манифесте включается явно, а не через удаление изfrid(). Так приложения, ещё не запускающие оверлей (до MR-T3 и MR-W3), не объявят протокол, которого не обслуживают.MusicDhtError::PodcastPublication; enum#[non_exhaustive].Предложения на потом (не входят в этот MR)
Собраны по отступлениям, записанным в MR-T3 и MR-W3. Ни одно не меняет протокол оверлея.
ParsedFeed: язык и категории. Сейчасmusic_dht::podcast::ParsedFeedне отдаёт<language>и<itunes:category>, каталог их не хранит, поэтому TUI и веб публикуют карточки безlanguageиcategories, хотя поля вPodcastCardесть (и показываются, если их прислал другой издатель). Предложение: добавить вParsedFeedполяlanguage: Option<String>(как в ленте, с обрезкой доMAX_CARD_LANGUAGE_BYTES) иcategories: Vec<String>(верхний уровень и вложенныеitunes:category text, без повторов, не большеMAX_CARD_CATEGORIES), сохранить их в каталогеPodcastStore(миграция схемы furumi-library) и заполнять из нихPodcastCardSpec::from_subscriptionили общий конструктор карточки по каталогу. Добавление полей вParsedFeedломает построение структуры литералом, поэтому это минорное повышениеmusic-dht(или#[non_exhaustive]заранее).capabilities::request_manifest. Вmusic_dht::capabilitiesесть ALPNfurumi/capabilities/1,write_messageиread_message, но нет функции «спросить манифест у пира». Веб и TUI пишут свой зонд (открыть поток, отправить запрос, прочитать строку с лимитомMAX_CAPABILITIES_LINE, проверитьvalidate), чтобы передавать манифесты вPodcastDht::note_peer_capabilities. Предложение:pub async fn request_manifest(service: &MusicDhtService, ticket: &PeerTicket, timeout: Duration) -> Result<CapabilityManifest>рядом с серверной частью, с тем же лимитом строки и проверкой, плюс интеграционный тест на совместимый и несовместимый пир. Чистое добавление API.MAX_PODCAST_RECORDS_PER_PUBLISHER = 256записей одного издателя, считая живые tombstone. Для устройства этого достаточно, но веб-сервер публикует под одним ключом за всех пользователей, и tombstone отозванных подкастов 24 ч расходуют общий запас; веб поэтому сам ограничивает новые ключи (Incumbents::key_headroom) и перераспределяет их постепенно. Предложение: считать в квоте издателя только активные карточки и ограничить tombstone отдельным, меньшим бюджетом на издателя (tombstone и так ограничены на ключMAX_PODCAST_TOMBSTONES_PER_KEY), а также экспортировать функцию «сколько новых ключей ещё примут реплики» поpublished(), чтобы веб не повторял формулу. Поведение реплик меняется, формат на проводе — нет; нужен тест на флуд tombstone одним издателем.PodcastDhtSyncStats::active. ПоPodcastDhtSyncStatsклиент не знает, какие подкасты после раунда действительно опубликованы этим устройством: TUI и веб для статуса «опубликовано / не отозвано» дополнительно вызываютpublished()и сопоставляют сheld_backиfailed. Предложение: добавитьactive: Vec<PodcastId>(свои активные карточки после раунда, по возрастанию id) и отдельный счётчик неудавшихся отзывов (revocation_failed), чтобы UI мог честно писать «может быть ещё не отозвано». Добавление поля в структуру с публичными полями — изменение API, поэтому вместе с#[non_exhaustive]дляPodcastDhtSyncStats.PodcastStore::subscribed_podcast_for. Отметку «уже подписан» в результатах поиска клиенты собирают сами:resolve_podcast_id(hit.feed_url),hit.podcast_id, заявленныеclaimed_feed_urlsи список подписок; подписавшись по новому адресу, устройство не знает старый. Предложение:PodcastStore::subscribed_podcast_for(&PodcastSearchHit) -> Option<PodcastId>в furumi-library (id карточки, затем алиасы origin URL, затем заявленные URL только как подсказка), а при обновлении ленты записыватьitunes:new-feed-urlкак алиас того же id, чтобы отметка работала в обе стороны без чтения ленты. Веб на PostgreSQL получил бы ту же логику через общую чистую функцию вmusic_dht::podcast.sync_sharesпосле синхронизации устройств — норма контракта. Сейчас это правило реализовано в каждом клиенте отдельно:DeviceSync::podcast_registers_currentв TUI иFirstSyncRoundв вебе. Предложение: записать его в PODCASTS.md («первыйsync_sharesв процессе — только после обмена с доверенным устройством v4 или когда ждать некого») и дать вmusic_dht::device_syncобщий помощник, который отвечает, «актуальны ли регистры».note_peer_capabilitiesтолько исключает пиров без оверлея и не добавляет пиров с ним, а bootstrap оверлея запускается раз вPODCAST_BOOTSTRAP_INTERVAL(10 мин) или при поиске без известных пиров. Если поделиться подкастом, пока оверлей не знает ни одного пира, карточка первым проходом ложится только в локальную реплику. До других узлов она доходит после следующего bootstrap и republish, до ~10 мин (в межклиентском прогоне «remote_nodes=0», первая находка на вебе — через 311 с, но харнесс опрашивал поиск только в начале сценария). Предложение: запускать bootstrap, когдаnote_peer_capabilitiesвидит пира сpodcast_dht, и сокращать первый интервал после старта.federation-net 0.4:#[non_exhaustive]дляNetworkConfigиNetworkConfigBuilder::transport(TransportMode::LocalOnly)(presets::Minimal,RelayMode::Disabled, без address lookup и portmapper, привязка к loopback),ticket()без ожиданияonline()в этом режиме; проброс черезMusicDhtConfigBuilder. Тесты frid, TUI и веба переводятся на этот режим.Совместимость и версии
music-dht 0.6.0иfurumi-library 0.3.0остаются как в MR-F1 и MR-F2. Изменения аддитивные: новый модуль, новый вариант ошибки, новые методы манифеста; в furumi-library публичный API не менялся.v1. Формат на проводе и вход подписи после ревью не изменились, BLAKE3-векторы те же.2. Таблица реплик предрелизной версии1при открытии удаляется (кэш заменяемый), собственные публикации сохраняются. Изменения повторного ревью схему не меняют: возраст записи считается как минимумfirst_stored_at_msпо её размещениям.MAX_PODCAST_RECORDS_PER_KEYтеперь 128 (было 256),MAX_PODCAST_TOMBSTONES_PER_KEYсчитает и превращения на месте. Новая публичная константаMAX_PODCAST_LOOKUP_OWNERS_PER_RESPONSE = 64.CapabilityManifest::frid()не объявляетpodcast_dht. Приложение, которое запускает оверлей, добавляет его черезwith_podcast_dht().Как проверено (macOS, rustc 1.100)
Вершина ветки
9c82f6dнаpodcasts/store(MR-F2, вершинаd2530dc),CARGO_TARGET_DIR=/Users/krypton/furumi/gitea/.targets/frid-f3:-Aпадает только староеclippy::chunks_exact_to_as_chunksвcrates/furumi-library/src/lib.rs:3502(rustc 1.100); оно есть и без этого MR. Cargo также выводит старые предупреждения манифеста о неиспользуемых workspace-зависимостяхclapиtracing-subscriber.--all-features): federation-net 31 + 10, furumi-library 63 (62 из MR-F2 иstore_registers_drive_discovery_publication), music-dht 225 unit-тестов (furumi-library из MR-F2 включаетpodcast-feed, поэтому feature есть и в обычной сборке), integration 3, content_id_lookup 2, podcast_dht 4 (добавленrestarted_device_waits_for_sync_shares_before_resending_cards), similarity_dht 1, doctests 1 + 1 + 5.cargo check --workspace --all-targets --all-featuresна каждом коммите стека от35115ecдо912527a: ок.9c82f6d:cargo test -p music-dht --all-features --test podcast_dht— 3 прогона подряд, 3/3 успешно (около 29 с). Новый тест на коде до исправления падает (republishдоsync_sharesотправляет 2 записи вместо 0).9c82f6d(через локальный[patch.crates-io]): в TUI (tui-t3)cargo test --all-targets publication— 11 тестов прошли; в вебе (web-w3)cargo check --all-targets— ок,cargo test --all-targets discovery— 14 прошли, и 4 тестаdiscovery_tests::postgres_*с--ignoredна одноразовомpostgres:16-alpine(127.0.0.1, контейнер удалён) — 4/4, включаяpostgres_web_node_publishes_shared_podcasts_to_another_node.9c82f6d:cargo test -p music-dht --test podcast_dht— 3 прогона подряд, 3/3 успешно (около 30 с; основной сценарий занимает около 30 с и на вершине ветки до этих изменений, на этой машине). Unit-тестыpodcast_dht— 3 прогона подряд, 3/3 успешно.store.rsпадают 6 тестов:sybils_planted_first_cannot_lock_a_late_card_out_of_a_key,a_card_back_after_expiring_gets_into_a_cache_full_of_sybils,sybil_tombstones_planted_first_cannot_hide_a_revocation,cache_full_key_admits_newcomers_from_its_younger_half, обновлённыеcache_enforces_publisher_record_and_byte_quotasиsybil_tombstones_cannot_suppress_a_card. С прежнимmod.rsинтеграционный тестfabricated_contacts_never_join_the_overlayпадает: у A 9 контактов (M и 8 выдуманных) вместо 1.Unit-тесты: 43 в
podcast_dhtи 1 вcapabilities. Они покрывают:issued_atиз будущего против одной легитимной карточки;rustдо карточки жертвы — жертва принята, отдаётся и находится вrank_hits; кэш, заполненный sybil, и жертва, вернувшаяся после 12+ ч офлайна, — принята; 64 sybil-tombstone, превращённых на месте, до публикации и отзыва жертвы — под каждым ключом не больше 32 tombstone, отзыв жертвы отдаётся и перекрывает устаревшую копию карточки;podcast_idчерезid_feed_urlи sybil-голоса, ранжирование без учёта числа издателей;FederatedSearchHit.Интеграционный тест
tests/podcast_dht.rsподнимает настоящие iroh-узлы.Сценарий из четырёх узлов:
publishers = {A, B}.publishдля него отказывает.sync_sharesничего не публикует (идемпотентность).stored = 0; повторить её может только A.Тест на одном узле: в одном вызове
sync_sharesпервый подкаст перестали шарить, а карточку второго собрать нельзя. Оба получают tombstone, republish их не возвращает. URL сtoken=придерживается доprivacy_confirmed, а после публикации не требует повторного подтверждения.Тест на двух узлах
restarted_device_waits_for_sync_shares_before_resending_cards: см. «Исправления после интеграции в клиенты».Тест на двух узлах (
fabricated_contacts_never_join_the_overlay): узел M отвечает на любой запрос оверлея восемью выдуманными контактами (настоящиеnode_id, тикеты без адресов). После bootstrap, lookup и повторного bootstrap у A ровно один контакт — M.Ограничения
Kи более атакующих ответчиках в первых раундах lookup они займут его лимит владельцев. Метаданные карточки (название, описание) остаются заявлением издателя.K= 8 узлов.PodcastStoreиз MR-F2 не хранит подтверждениеprivacy_confirmedи не вызываетsync_sharesсам: это остаётся задачей клиента (MR-T3, MR-W3).presets::N0и могут обращаться к relay и DNS n0 (локального режима транспорта нет, см. предложения).sync_sharesв процессе свои карточки не переиздаются. Клиент, который вообще не вызываетsync_sharesи публикует только черезpublish, переиздаёт лишь опубликованное в этом процессе; остальные его карточки истекают через 12 ч.sync_sharesдоверяет переданным регистрам: не отправить отозванную карточку при старте клиент может, только если откладывает первый вызов до синхронизации устройств (так делают MR-T3 и MR-W3).Зависимости от других MR
podcasts/contract(MR-F1) ←podcasts/store(MR-F2) ←podcasts/discovery(этот MR). Ветка перенесена наpodcasts/storeкомандойgit rebase --onto podcasts/store podcasts/contract podcasts/discovery, поэтому MR открывается вpodcasts/storeи сливается после MR-F2.git log --oneline podcasts/store..podcasts/discovery):d27155bAdd signed public podcast discovery overlay2fcb5f1Test podcast discovery across three loopback nodesfef155dDocument public podcast discovery81ccd92Harden podcast discovery against sybil and hijack records (исправления по ревью)5a4d418Document podcast discovery wire protocol and replica limits (документация по ревью)71e3f1fReconcile podcast store and discovery (связка с MR-F2: документация и интеграционный тест)c0def74Evict podcast replicas fairly and trust only verified contacts (исправления по повторному ревью)912527aDocument podcast replica eviction and contact verification (документация по повторному ревью)9c82f6dWithhold persisted podcast cards until the first share sync (исправление после интеграции в клиенты)d2530dc(вершинаpodcasts/store) вниз до65d6ca2, не включая его, относятся к MR-F2;65d6ca2(вершинаpodcasts/contract) и всё ниже — к MR-F1. После двух новых коммитов MR-F2 (b8d8b53,d2530dc) ветка ещё раз перенесена командойgit rebase podcasts/storeбез конфликтов, поэтому хеши первых шести коммитов этого MR изменились.music_dht::podcast_dhtиз этого MR иfurumi_library::podcasts::PodcastStoreиз MR-F2. CHANGELOG и ARCHITECTURE слились автоматически: подраздел «Unreleased — podcast discovery» отделён от записей MR-F2 в «Unreleased — podcast contract», абзацы в ARCHITECTURE стоят в разных разделах. Код MR-F2 и MR-F3 не пересекается: MR-F2 меняет только furumi-library, этот MR — только music-dht, аeffective_shareоба берут изmusic_dht::podcast(MR-F1). Из коммитов этого MR в furumi-library что-то меняет только71e3f1f(README и тесты).podcast, «Подписаться» поhit.feed_url. Им нужно вызыватьwith_podcast_dht(),note_peer_capabilities, обрабатыватьheld_backиfailedи откладывать первыйsync_sharesдо синхронизации устройств. MR-T2 и MR-W2 после обновления frid ничего удалять из манифеста не должны.Sanapach/frid:podcasts/discovery→Furumi/frid:podcasts/store, если эта ветка-основание есть в Furumi/frid. Иначе MR открывается вmain: он зависит от MR-F1 и MR-F2, и его diff включает их 15 коммитов.Cargo.lockи[patch][patch]нет, этот MRCargo.lockне меняет..cargo/config.tomlс[patch.crates-io]на путь рабочей копии. Файл исключён из git и в коммиты не попадает. Перед merge ихCargo.lockперегенерируется против запушенной ветки форка: git-зависимостьhttps://gt.hexor.cy/Sanapach/frid.git,branch = "podcasts/discovery", последний коммит каждого клиентского MR — «Point frid deps at the fork branch». После публикацииmusic-dht 0.6.0иfurumi-library 0.3.0lock перегенерируется против crates.io, а[patch]удаляется.Межклиентская проверка
Оверлей проверен реальными бинарниками на вершине стека: TUI 0.5.0 (
409188b) и веб 0.15.0 (0e985b4) на frid9c82f6d, узлы iroh с preset n0 и Mainline-DHT, ленты только с 127.0.0.1.podcast_id; приватный подкаст не находится; tombstone убирает карточку, подписка остаётся9c82f6dбез409188b— FAIL, с409188b— pass0e985b4— FAIL (unchanged=1, pushed_records=1), после — pass (unpublished=1)Наблюдение без исправления: задержка обнаружения до ~10 мин, если поделиться до того, как оверлей узнал пиров (см. «Предложения на потом»). Полные таблицы — в MR-T3 и MR-W3.
🤖 Generated with Claude Code
Bump DEVICE_SYNC_PROTOCOL_VERSION to 4 (ALPN unchanged) and carry the podcast contract between trusted devices: - podcast_subscription_set, podcast_share_set, podcast_progress_set and podcast_listen_recorded operations with record materializers and validation; unsubscribe is LWW state, share=false is a tombstone; - bounded podcast sections in SyncSnapshot, the recovery path for peers that upgrade after operations were hidden from them; - PlaybackTrack.source with PlaybackSource::{Music, PodcastEpisode, Private}, reserved PlaybackStateWire.playback_rate and an optional self-reported protocol_version in DeviceProfileSet; - gating helpers for peers below v4 (op_allowed_for_peer, playback_allowed_for_peer, playback_command_allowed_from_peer, SyncSnapshot::for_peer) and Jam privacy (redact_for_jam, redact_jam_snapshot, jam_command_allowed, restore_jam_private_items). Tests show that a v3-shaped enum rejects a whole batch containing a new kind, which is why gating is mandatory, and that legacy JSON still parses and music-only messages keep their v3 shape. Co-Authored-By: Claude Opus 5.5 <noreply@anthropic.com>Podcasts/discoveryto Подкасты в FRID: публичное обнаружение podcast_dht — подписанные карточки, tombstone и поиск (MR-F3)