get_reestr_preresolved : нужна коллективная помощь

[bol-van]

Решил сделать свой сервис по обработке выгрузки реестра РКН.
Главная мотивация - отсутствие ipv6 в решениях от antifilter.network
Для получения листов используйте get_reestr_preresolved.sh и get_reestr_preresolved_smart.sh

На данный момент листы формируются из 4 источников :

1. Ресолвятся все домены из реестра блокированных сайтов РКН
2. Подход 1 не может учесть поддомены , не перечисленные в реестре. Их список приходится вести вручную.
   Потому если вы вдруг встретились с таким случаем, что блокируемый поддомен не учтен в ipset, можете постить сюда название. Поддомены легко выявить в броузере по кнопке F12.
3. Всегда может быть преднамеренная зловредность в форме помещения в DNS IP адресов других сервисов типа сбербанка. Все бы ничего, ведь мы не блокируем, а наоборот - пробиваем блокировку. Однако, не всем сайтам или их системам защиты от DDoS атак понравятся методы атаки на DPI. Сайт может сломаться. Такие случаи собираюсь обыгрывать в виде белого списка либо по IP, если он статический, либо по автономным системам, если он прыгающий. Но от вас нужна информация какие незаблокированные РКН сайты ломаются от обхода блокировок и с какими параметрами пытались обходить. Это тот случай, когда большинство ресурсов работает нормально, кроме некоторых незаблокированных. Если оно не работает массово - это не тот случай.
   Актуально, даже если вы не пользуетесь скриптами get_reestr_preresolved, а проблема возникла при применении zapret или GoodByeDPI в других настройках. Потому что сегодня, предположим, сбербанка нет среди заресолвленного ip листа, а завтра он появится. Чтобы проблема не появилась внезапно.
4. Крупные сайты и хостинги используют прыгающие IP адреса. Что это такое ? Это когда вы заресолвили rutracker.org, и вам выдало одно. Через час - то же самое. А через день - другое. С другого провайдера или страны - другое.
   Прыгание может идти как по geoip, так и просто ради балансировки нагрузки через DNS.
   В этом случае ipset будет работать нестабильно. Я не знаю иного способа надежно решить вопрос, кроме как добавлять полностью диапазоны IP автономных систем.
   На данный момент это cloudflare, twitter, facebook.
   Если у вас есть что добавить к этому пункту - пишите.

get_reestr_preresolved.sh - это пункты 1, 2, 3
get_reestr_preresolved_smart.sh - это пункты 1, 2, 3, 4

листы уже пре-обработаны ip2net

[disappointed72]

Кстати заметил в дефолтной смарт выгрузке с антифильтра несколько префиксов гугла. Похоже кто-то забавляется с заблоченными доменами. Случайно заметил в режиме дебага nfqws. Пришлось выносить эти сети в exclude.

[bol-van]

Да, правда, это недостаток метода ресолва, с которым бороться достаточно сложно.
На этом в свое время погорел РКН, когда стали вносить IP адреса сбера, вконтакте и прочее.
Но в нашем случае самое плохое, что может случиться, это будет применено дурение к тому, к чему не должно.
Если это вызывает проблему - можно добавить в exclude

[rockenren]

Для Twitter:
abs-0.twimg.com
abs-zero.twimg.com
abs.twimg.com
api.twitter.com
cdn.syndication.twimg.com
pbs-ak.twimg.com
pbs.twimg.com
platform.twitter.com
video-ak.twimg.com
video.twimg.com

Это как минимум.

Только с ними, в сочетании с get_reestr_preresolved_smart.sh, Twitter начал хотя бы открываться и частично начинает показывать emdedded. И это без учета CDN с которых они видео показывают.

Я пытался ловить тупо через F12 в браузере в свое время, устал где-то на 100 записи в доменах, и это были только Facebook, Twitter, Instagram (все то, что показывает пустые квадраты вместо emdedded содержимого на большинстве сайтов).

Никаких нормальных вариантов получить тупо все поддомены для домена X я не нашел. Никаких crowdsourced списков тоже в итоге не нашел, все кто заявляли (например Censor Tracker) что добавили в свои списки "все диапазоны Twitter" в нормальном виде нигде эти списки не публиковали.

Я не знаю, может это только для меня проблема, но по факту опять приходится возвращаться (как было во времена когда реестр был небольшой) к policy-based заворачиванию через прокси/ss на уровне браузера или заворачиванию всего трафика в vpn на уровне устройства (как во времена войны с Telegram)...

[bol-van]

Это как минимум.

принято

Я не знаю, может это только для меня проблема, но по факту опять приходится возвращаться (как было во времена когда реестр был небольшой) к policy-based заворачиванию через прокси/ss на уровне браузера или заворачиванию всего трафика в vpn на уровне устройства (как во времена войны с Telegram)...

можно использовать в zapret фильтрацию по хост листу вместо ip листа
там поддомены учитываются автоматом

[rockenren]

можно использовать в zapret фильтрацию по хост листу вместо ip листа
там поддомены учитываются автоматом

да у меня даже с учетом обновленного роутера hostlist (и это только reestr_hostname_resolvable_ip4.txt) практически кладет его на лопатки по RAM.
OpenWrt 22.03.x, nftables и все его проблемы.

Спасибо за наводку, посмотрю как будет себя вести в режиме hostlist, при таких раскладах ipset просто теряет актуальность - самые "нужные" сайты в принципе сломаны из-за заблокированных технических поддоменов.

Еще для bbc.com:
gn-web-assets.api.bbc.com
emp.bbci.co.uk
gn-flagpoles.api.bbci.co.uk
idcta.api.bbc.co.uk
mybbc-analytics.files.bbci.co.uk
a1.api.bbc.co.uk
emp.bbc.com

Без них сайт до конца не загружается (стили, изображения, js).

[bol-van]

кладет его на лопатки по RAM

Есть 10-тысячник с antizapret. Он на nftables и 128 RAM нормально живет.
Если совсем плохо, можно отказаться от загружаемых листов и вручную набивать в юзер листы
Или по exclude работать, если что-то ломается с обходом

[bol-van]

Домен nethub.fi убился, поэтому листы переехали на гитхаб в репозиторий rulist.
Скрипты ipset обновлены