PFsense 2.7.2 не смог запустить решение.

[mikeSerg]

Подскажите что я делаю не так (названия интерфейсов уже мои)

1. бинарник dvtws закинул в /usr/local/sbin
2. /usr/local/etc/rc.d/zapret.sh (cmod +x) сделал
3. отредактировал /usr/local/etc/rc.d/zapret.sh
   `#!/bin/sh

kldload ipfw
kldload ipdivert

for older pfsense versions. newer do not have these sysctls

sysctl net.inet.ip.pfil.outbound=ipfw,pf
sysctl net.inet.ip.pfil.inbound=ipfw,pf
sysctl net.inet6.ip6.pfil.outbound=ipfw,pf
sysctl net.inet6.ip6.pfil.inbound=ipfw,pf

ipfw delete 100
ipfw add 100 divert 989 tcp from any to any 80,443 out not diverted not sockarg xmit em0
pkill ^dvtws$
dvtws --daemon --port 989 --dpi-desync=split2

required for newer pfsense versions (2.6.0 tested) to return ipfw to functional state

pfctl -d ; pfctl -e

pfctl -a zapret -f /etc/zapret.anchor
pkill ^tpws$
tpws --daemon --port=988 --enable-pf --bind-addr=127.0.0.1 --bind-iface6=hn0 --bind-linklocal=force --split-http-req=method --split-pos=2`

4. в файл filter.ini внес изменения

   update_filter_reload_status(gettext("Setting up TFTP helper"));
   /* MOD */
   $natrules .= "# ZAPRET redirection\n";
   $natrules .= "rdr-anchor "zapret"\n";

   $natrules .= "# TFTP proxy\n";
   $natrules .= "rdr-anchor "tftp-proxy/*"\n";

5. Напишите файл с содержимым anchor-а (например, /etc/zapret.anchor):
   rdr pass on hn0 inet proto tcp to port {80,443} -> 127.0.0.1 port 988

6. Добавьте в автозапуск /usr/local/etc/rc.d/zapret.sh
   pfctl -a zapret -f /etc/zapret.anchor
   pkill ^tpws$
   tpws --daemon --port=988 --enable-pf --bind-addr=127.0.0.1 --bind-iface6=hn0 --bind-linklocal=force --split-http-req=method --split-pos=2`

7.reboot

и ничего.
общие правила появляются
pfctl -s nat

а вот
pfctl -s nat -a zapret
пусто.

[bol-van]

с пф надо только для тпвс
для двтвс это лишнее
он работает через ipfw

[mikeSerg]

вот состав моего zapret.sh
#!/bin/sh

kldload ipfw
kldload ipdivert

required for newer pfsense versions (2.6.0 tested) to return ipfw to functional state

pfctl -d ; pfctl -e

pfctl -a zapret -f /etc/zapret.anchor
pkill ^tpws$
tpws --daemon --port=988 --enable-pf --bind-addr=127.0.0.1 --bind-linklocal=force --split-http-req=method --split-pos=2

правила и якоря создались.
/etc/zapret.anchor
rdr pass on hn0 inet proto tcp to port {80,443} -> 127.0.0.1 port 988

pfctl -s nat -a zapret
rdr pass on hn0 inet proto tcp from any to any port = http -> 127.0.0.1 port 988
rdr pass on hn0 inet proto tcp from any to any port = https -> 127.0.0.1 port 988

в /usr/local/sbin
лежат бинари и tpws и все остальные для frebsd

не хочет работать..
похоже, нет доступа к 80\443 на любые адреса во вне

[bol-van]

tpws c --debug и без --daemon в консоли покажет что он делает

[bol-van]

ссылка в корневом якоре есть на якорь запрет ?
pfctl -s nat

[mikeSerg]

no nat proto carp all
nat-anchor "natearly/" all
nat-anchor "natrules/" all
nat on hn1 inet from 192.168.50.11 to any -> x.x.x.x static-port
nat on hn1 inet from to any port = isakmp -> x.x.x.x static-port
nat on hn1 inet6 from to any port = isakmp -> (hn1) round-robin static-port
nat on hn1 inet from to any -> x.x.x.x port 1024:65535
nat on hn1 inet6 from to any -> (hn1) port 1024:65535 round-robin
no rdr proto carp all
rdr-anchor "zapret" all
rdr-anchor "tftp-proxy/*" all

есть

[bol-van]

стоит попробовать сделать zapret/*
как соседние
вроде уже всплывала такая проблема

[mikeSerg]

решилось , заработало
у меня не было прав на tpws файл

[mikeSerg]

все работает, спасибо!
вариант только для ipv4:

1. Копируем только tpws в /usr/local/sbin
2. создаем zapret.sh в /usr/local/etc/rc.d правим его :

#!/bin/sh

kldload ipfw
kldload ipdivert

pfctl -d ; pfctl -e

pfctl -a zapret -f /etc/zapret.anchor
pkill ^tpws$
tpws --daemon --port=988 --enable-pf --bind-addr=127.0.0.1 --bind-linklocal=force --split-http-req=method --split-pos=2

3. добавляем строчки в файл /etc/inc/filter.inc
   (вставить над строкой):
   $natrules .= "# TFTP proxy\n";

   /* MOD */
   $natrules .= "# ZAPRET redirection\n";
   $natrules .= "rdr-anchor "zapret"\n";

4. создаем файл /etc/zapret.anchor
   туда вписываем строчку (интерфейс заменить на свой (ipv4 вариант):
   rdr pass on hn0 inet proto tcp to port {80,443} -> 127.0.0.1 port 988

5. chmod +x /usr/local/sbin/tpws
   chmod +x /usr/local/etc/rc.d/zapret.sh

6. Перезагрузка.

[MasterHome]

Для чего подключать ipfw, если он не используется? А ipdivert в 2.7.2 вроде уже собран в ядро.

[bol-van]

в случае tpws он не нужен
pf не умеет дивертить

[MasterHome]

в случае tpws он не нужен pf не умеет дивертить

divert-to port
Used to divert(4) packets to the given divert port. Historically
OpenBSD pf has another meaning for this, and FreeBSD pf uses this
syntax to support divert(4) instead. Hence, host has no meaning
and can be set to anything like 127.0.0.1. If a packet is re-in-
jected and does not change direction then it will not be re-di-
verted.

Вроде сделали, надо пробовать.

[bol-van]

кто-то уже пробовал и у него редивертилось
если получится опишите действия
обновлю доку

[MasterHome]

Фокус не удался, работает только в OpenBSD.

[bol-van]

фишка тут в чем может быть
dvtws не только реинжектит пакеты в диверт сокет
он еще генерит свои
ipv4 шлется через raw сокет. и вот тут то он точно попадет обратно
потому что нет в pf not sockarg
есть идея глянуть что будет, если слать все дивертом
может не будет реинжекта
попробую как будет возможность

[mikeSerg]

один момент, что начинают игнориться запрещающие правила на 80\443 на любые хосты c LAN to ANY
не понял как это решить..

[bol-van]

после tpws это уже не фром лан
это от самого роутера в ван

[viva-chegevara]

друзья, подскажите пожалуйста,
сделал как написано выше - pfsense 2.7.2, tpws
не совсем понятно используется ли при этом файл /opt/zapret/ipset/zapret-hosts-user.txt ?
обычные сайты вроде бы открываются, а youtube.com не прогружается

зы: на pfsense используется squid со ссылкой на вышестоящий прокси
cache_peer localhost parent 988 0 default

[bol-van]

на bsd скрипты запуска zapret не работают
соответственно и хостлисты в ipset не будут работать, если их не указать в параметрах
все только руками

tpws это не http proxy. в связке со squid не работает

[viva-chegevara]

на домашней виртуалке в контейнере запускал tpws-socks и socks прокси dante - ютуб ожил
думал такой же финт возможен на pfsense со squid со ссылкой на zapret:988

[bol-van]

если скуид умеет работать с апстримом сокс и тпвс в режиме сокс, тогда сработает
но некоторые путают прозрачные режимы скуида и тпвс
они совсем разные
тпвс это тцп прокси

[viva-chegevara]

соответственно надо будет изменить в автозагурзке
tpws --daemon --port=988 --enable-pf --bind-addr=127.0.0.1 --bind-linklocal=force --split-http-req=method --split-pos=2

на аргумент --socks видимо ?, попробую

[bol-van]

enable-pf не нужен для сокс
насколько я знаю скуид сокс не уиеет
сначала разберитесь с этим

[bol-van]

для переделки сокс в хттп прокси можно использовать привокси

[viva-chegevara]

спасибо вам за помощь!! погуглю и поэксперементирую

[Miles1727]

Так все-таки есть полная инструкция с самого начала? как на PfSense 2.7.2 накатить zapret ?

[mikeSerg]

#231 (comment)

[mikeSerg]

Так все-таки есть полная инструкция с самого начала? как на PfSense 2.7.2 накатить zapret ?

Копируем только tpws в /usr/local/sbin
создаем zapret.sh в /usr/local/etc/rc.d правим его :

#!/bin/sh

pfctl -d ; pfctl -e
pfctl -a zapret -f /etc/zapret.anchor
pkill ^tpws$
tpws --daemon --port=988 --enable-pf --bind-addr=127.0.0.1 --bind-linklocal=force --split-http-req=method --split-pos=2

добавляем строчки в файл /etc/inc/filter.inc
(вставить над строкой):
$natrules .= "# TFTP proxy\n";

/* MOD */
$natrules .= "# ZAPRET redirection\n";
$natrules .= "rdr-anchor "zapret"\n";

создаем файл /etc/zapret.anchor
туда вписываем строчку (интерфейс заменить на свой (ipv4 вариант):
rdr pass on hn0 inet proto tcp to port {80,443} -> 127.0.0.1 port 988

chmod +x /usr/local/sbin/tpws
chmod +x /usr/local/etc/rc.d/zapret.sh

Перезагрузка.

[Miles1727]

Parse error: syntax error, unexpected identifier "zapret" in /etc/inc/filter.inc on line 2596
Ругается на строку $natrules .= "rdr-anchor "zapret"\n";
Если так перезагрузить то интерфейсы падают и не встают приходится комментировать строку.

[mikeSerg]

/* MOD */
$natrules .= "# ZAPRET redirection\n";
$natrules .= "rdr-anchor "zapret"\n";

[Miles1727]

Спасибо исправил ошибка ушла add в инструкцию _))

[Miles1727]

При запуске скрипта ошибка
[2.7.2-RELEASE][[email protected]]/root: /usr/local/etc/rc.d/zapret.sh
pf disabled
pf enabled
/etc/zapret.anchor:1: syntax error
pfctl: Syntax error in config file: pf rules not loaded

Бинарник брал из binaries\freebsd-x64\tpws

2 интерфейса WAN xl0 и LAN xl1

Содержание файла zapret.anchor :
rdr pass on xl1 inet proto tcp to port {80,443} -> 127.0.0.1 port 988

в первых версиях zapret.sh инструкции было написано так
pfctl -a zapret -f /etc/zapret.anchor
pkill ^tpws$
tpws --daemon --port=988 --enable-pf --bind-addr=127.0.0.1 --bind-iface6=hn0 --bind-linklocal=force --split-http-req=method --split-pos=2

[kost2000]

В файле /etc/zapret.anchor в конце строки должен быть перевод строки.

[Miles1727]

Сегодня попробую. Просто уже забыл о всех этих правилах.

[kost2000]

PFsense 2.7.2. Такой вопрос: после настройки tpws перестают работать правила для перенаправления трафика определенных сайтов в VPN ( Firewall / Rules / LAN ). Можно ли совместить?

[Miles1727]

Переустановил всё как нужно по феншую youtube не тормозит x com тоже открывается

[bol-van]

там некоторые ип заблочены
если прописать в хостс рабочие может заработать
кое кто днс меняет на те, что выдают неблоченые ип

[Miles1727]

Играюсь с днс серверами выставил на ПК на прямую днс яндекса вроде всё открывает
А вот например на zyxel keenetic в порте WAN поставил 1.1.1.1 всё работает отлично. Но вот с провайдером ростелеком такое не проходит на pfsense.

[bol-van]

заресолвить домен через произвольный днс и затем проверить доступность порта сложностей не представляет

[Miles1727]

Да. но на ростелекоме 1.1.1.1 работает криво увы. Подобрал другие днс

[MasterHome]

А правила в pf на диверт проседают
pass in quick on igb0 proto tcp from any to any port = http flags S/SA keep state divert-to 989
pass in quick on igb0 proto tcp from any to any port = https flags S/SA keep state divert-to 989

[bol-van]

видимо множества сделаны на уровне pfctl
он их переводит в однотипные правила, которые понимает ядро

[MasterHome]

Как всё это запустить на pfSense из вебинтерфейса.

Скачиваем исходники и распаковываем.
В pfSense переходим в Diagnostics / Command Prompt, в разделе Upload File нажимаем кнопку выбора файла и выбираем .\binaries\freebsd-x64\tpws из исходников. Жмём Upload.
Здесь же, в разделе Execute Shell Command вводим команду:
mv /tmp/tpws /usr/local/bin/tpws
Жмём Execute.
Вводим команду.
chmod +x /usr/local/bin/tpws
Жмём Execute.

В System / Advanced / Admin Access в разделе webConfigurator убеждаемся, что TCP port вебконфигуратора pfSense отличается от 80 и 443 (иначе можно будет потерять доступ к конфигуратору, если tpws упадёт).

В Firewall / NAT / Port Forward прописываем следующие правила:

Так выглядит правило внутри (аналогично и для порта 443):

Обратите внимание, что NAT reflection = Disable, а Filter rule association по необходимости, если с этого интерфейса и так разрешены запросы на any с портами 80,443, то можно выставить в none.

Теперь делаем автоматический запуск tpws после перезагрузки через Cron. Для того, чтобы настраивать Cron из вебинтерфейса ставим его из пакетов в System / Package Manager / Available Packages. Затем в Services / Cron / Settings добавляем правило где в графе Minute прописываем событие @reboot (читаем внимательно подсказки под полями).
В поле User указываем root, всё равно tpws запускается под своим UID, GID.
В поле Commаnd пишем строку запуска:
/usr/local/bin/tpws --daemon --port 988 --enable-pf --bind-addr=127.0.0.1 --bind-linklocal=force --split-http-req=method --split-pos=2
Жмём Save.

Идём в Diagnostics / Reboot, чтобы не ждать полной перезагрузки можно выбрать "Reroot" и жмём Submit.

После перезагрузки всё должно заработать. Проверить можно перейдя в Diagnostics / System Activity и найти там (в браузере жмём Ctrl+F и ищем tpws) строку:
/usr/local/bin/tpws --daemon --port 988 --enable-pf --bind-addr=127.0.0.1 --bind-linklocal=force --split-http-req=method --split-pos=2
если она есть - значит всё получилось.

Если необходимо работать по спискам хостов, подгружаем файлы списков и добавляем в строку запуска
--hostlist=/usr/local/etc/zapret-hosts.txt --hostlist-exclude=/usr/local/etc/zapret-hosts-exclude.txt
ВНИМАНИЕ! Если hostlist и hostlist-exclude не применяются, эти файлы списков не подгружаются (отсутствуют), то из строки запуска их надо обязательно убрать, иначе tpws не запустится!

[tribalRu]

Ребут и всё взлетит.

к сожалению не взлетело. Пока вернулся на dvtws. Чуть позже попробую еще поковырять

[Miles1727]

Попробуй запустить скриптом без дополнительных списков хостов или из консоли по SSH тогда служба 100% запустится и разложить по нужным директориям файл tpws сделать запускаемым chmod +x /usr/local/bin/tpws а по картинкам от [MasterHome] настроить правила NAT и еще проверить запущен ли DNS резольвер пригодится, в Diagnostics / System Activity , проверить наличие tpws --daemon --port 988 --enable-pf --bind-addr=127.0.0.1 --bind-linklocal=force --split-http-req=method --split-pos=2

По идее всего то нужно на pFsense скопировать файлы с хостами в /usr/local/etc/zapret-hosts.txt
/usr/local/etc/zapret-hosts-exclude.txt и файл tpws в /usr/local/bin/ Задать на нем права на запуск далее создать правило NAT с переправлением трафика http и https на ip 127.0.0.1 порт 988 и записать правило CRON с автозапуском при перезагрузке @reboot далее в поле Command: прописываем /usr/local/bin/tpws --daemon --port 988 --enable-pf --bind-addr=127.0.0.1 --bind-linklocal=force --split-http-req=method --split-pos=2 --hostlist=/usr/local/etc/zapret-hosts.txt --hostlist-exclude=/usr/local/etc/zapret-hosts-exclude.txt

Вот и вся установка на pFsense 2.7.2-RELEASE (amd64)

[tribalRu]

Вот и вся установка

это я все сделал, у меня просто метод split не работает, а с disorded хоть и начинается загрузка, но застряет на загрузке видео. В общем нужно ковырять дальше, видимо dpi попался кусячий). А на dvtws я подобрал, что работает не только для компа но и мобильного клиента и АТВ. Но с наскока не увидел всех аналогов этих ключей для tpws

[Miles1727]

На keenetic у меня youtube хорошо работает split2.

[bol-van]

dvtws и tpws имеют общие методы дурения,но не все
что-то можно сделать только на уровне потока. тогда нужен tpws.
а что-то на уровне пакетов. для пакетов dvtws
но можно их сочетать при необходимости
сначала должен отработать tpws, затем dvtws.

[ub9ybi]

было бы круто если кто подробную инструкцию сделал или еще круче видео создал.

[max-arturo]

Выправил мануал #231 (comment) если уж и по нему не получится, то и видео не поможет :)

Респект! Вообще, использование GUI pfSense явно добавило элегантности решению с tpws. Дополнительный вопрос: а возможно ли правило dvtws вида
ipfw add 100 divert 989 tcp from any to any 80,443 out not diverted not sockarg xmit em0
также оформить средствами графического интерфейса pfSense?

[MasterHome]

Выправил мануал #231 (comment) если уж и по нему не получится, то и видео не поможет :)

Респект! Вообще, использование GUI pfSense явно добавило элегантности решению с tpws. Дополнительный вопрос: а возможно ли правило dvtws вида ipfw add 100 divert 989 tcp from any to any 80,443 out not diverted not sockarg xmit em0 также оформить средствами графического интерфейса pfSense?

ipfw не используется в pfSense, название напрямую говорит, что используется pf (Packet Filter), а в pf divert-to вроде бы есть, но у меня не получилось, чтобы это правило работало, да и прописать его из вебконфига не представляется возможным. Нагородить можно, но придётся делать сервис.

[ub9ybi]

Огромное спасибо за инструкцию. все получилось только в разделе Execute Shell Command в итоге fatyal error. пришлось команды через putty_portable вводить. по спискам хостов еще бы по подробнее как делать.

[ub9ybi]

самое забавное когда сделал все настройки и сделал перезагрузку инет пропал, думал ну вот опять не получилось.

[Miles1727]

Там обычный текстовый файл на каждую строчку по хосту откройте и удалите лишнее в goodbyedpi-0.2.3rc1 для винды там 2 мегабайта не нужной ерунды если почистить то останется строк 20 вот например так.
youtube.com
youtu.be
googlevideo.com
facebook.com
fbcdn.net
fb.com
messenger.com
twitter.com
twimg.com
t.co
x.com
instagram.com
cdninstagram.com
yt3.ggpht.com
play.google.com
play.google.ru

[bol-van]

Вообщем что у нас с divert-to в pf.
Сломан он, увы. Проблема известная, кто-то даже выкатил патч
но в релизе freebsd-14 все такой же infinite loop
Я отказался от raw сокетов на BSD полностью. Заменил их на divert. Уже в сорцах, пока еще не в бинариках.
Но это не помогает. Оно циклит.
Так что пока , увы, никак без ipfw

[ub9ybi]

на компах в итоге работает, на ТВ не хочет, чего то нехватает. по спискам хостов так пока и не понял как именно делать что бы не сломать. текстовые файлы куда то заливать и прописывать тут пока непонятно.

[ub9ybi]

не работает ссылка((

[max-arturo]

не работает ссылка((

поправил ссылку

[ub9ybi]

почитал дело в процессе значит еще.

[Miles1727]

Может кому поможет. С крона запускаю скрипт zapret через него работает безотказно при перезагрузке. В чем баг Я хз.
pfctl -d ; pfctl -e
pkill ^tpws$
tpws --daemon --port=988 --enable-pf --bind-addr=127.0.0.1 --bind-iface6=hn0 --bind-linklocal=force --split-http-req=method --split-pos=2`

[bol-van]

с крона можно запускать и без скрипта.
достаточно команду с tpws
pf -d -e дергать не надо, это надо только для восстановления работоспособности ipfw, который для tpws не нужен
а если даже и tpws запустится повторно, то порт занят, и он сразу завершится

[Miles1727]

Вопрос к знатокам !???!
Через мобильные приложения Ютуб бывает очень тупит на половине ролика встаЁт как будто сессия прерывается, Но если смотреть через браузер то всё ровно и без затыков.

[ub9ybi]

сначала должен отработать tpws, затем dvtws. подскажите как это сделать.

[bol-van]

tpws способом из docs/bsd.txt (с якорем) или отсюда
dvtws только способом из инструкции через ipfw.
dvtws будет работать с трафиком, исходящим с самой системы pfsense

[ub9ybi]

tpws через Cron у меня работает если я правильно понял инструкцию выше. dvtws только способом из инструкции через ipfw. можно рассписать как это делать или где эта интсрукция.

[ub9ybi]

госуслуги в итоге не работают. код вводиш и дальше висит.

[ub9ybi]

mv /tmp/zapret-hosts.txt /usr/local/etc/zapret-hosts.txt сложно стало с годами. правильно получилось?

[MasterHome]

mv /tmp/zapret-hosts.txt /usr/local/etc/zapret-hosts.txt сложно стало с годами. правильно получилось?

Если он туда переместился - значит всё верно :)

[MasterHome]

И надо понимать, что это файл, если он будет указан в параметре --hostlist=/usr/local/etc/zapret-hosts.txt для работы по хостам, которые в нём содержатся, все остальные пойдут напрямую.

[ub9ybi]

огромное спасибо за помощь все получилось.. один файл только закинул в итоге zapret-hosts.txt добавил туда
help.keenetic.com а сайт всеравно не открывается.

[ub9ybi]

dvtws осталось понять как поставить.

[ub9ybi]

dvtws это сложно или мне по силам?

[Miles1727]

Tсть еще стратегии для tpws ? split2 на ростелеком больше не пашет ((

[ub9ybi]

да перестало работать.

[Miles1727]

Под виндой меняем —fake-gen 5 на —fake-gen 29 А тут нет такой возможности

[ub9ybi]

гуру заняты или нет решения.

[dmshel]

Коллеги, поделитесь рабочими стратегиями актуальными на сегодняшний день пожалуйста. Перестало работать, как у всех. Подбирал.... в итоге то открывается, то нет видеопоток, как то через раз(

[Miles1727]

с TPWS ни кто не играет нужно другие фильтры пытаться прикручивать более популярные.

[Miles1727]

С PFsense пока вижу только один выход перед ним ставить Linux машину с двумя сетевыми интерфейсами и прикрученным NFQWS увы.......

[Tatara666]

Если у вас работает NFQWS то почему надо ставить отдельную машину, если на PF можно накатить DVTWS
Цитата из readme "Для BSD систем существует адаптированный вариант - dvtws, собираемый из тех же исходников (см. bsd.txt)."
Другое дело что у меня стратегии подобранные для NFQWS не работают корректно, они либо сеть кладут, либо ограничения не снимают, одна из них с fake требует доработки, тк подбирал на ПК, соответственно кол-во hop отличается

P.S. Поделитесь пожалуйста рабочей стратегией для РТК, попробую реализовать силами PFsense

[Miles1727]

Сегодня попробую DVTWS прикрутить и посмотреть что выйдет.

[bol-van]

dvtws умеет все то же самое.
но фря имеет баг, не позволяющий его прикрутить к pf
потому только уживать pf с ipfw

[Miles1727]

Не дошли руки ещё, может кто уже обкатал поделитесь камнями при установке ?

[Miles1727]

Увы РТК стратегии для TPWS нет только для винды goodbyedpi.exe -9 --fake-gen 29 --fake-from-hex.........

[sedakovaa]

Я так понимаю все привет! и это забанили? или я тупой? :) с ПФ-кой прям приятно было очень

[Miles1727]

Просто один tpws не вывозит переходим на DVTWS

Следим тут #440

[Miles1727]

Кто нибудь новые способы пробовал?