Блокировка рекламы через dns на роутере

Общие сведения

Настройка службы DNS

Для включения сервиса необходимо перейти в меню Сервисы — Службы DNS — включить службу DNS Proxy, а также Включить фильтрацию DNS.

После включения службы статус «Отключено» изменится на «Работает«. Сам сервис фильтрации при запуске изменит свой статус на «Запускается«, что говорит о том, что маршрутизатор подготавливает списки для фильтрации контент рекламы. На загрузку списков может потребоваться несколько минут(зависит от вашего тарифного плана). После того как списки загружены сервис изменит свой статус на «Работает«.

Период обновления списков фильтрации составляет 24 часа. 

На этом конфигурация фильтра нежелательной рекламы заканчивается. Теперь, если сравнить результаты до включения сервиса и после, то можем увидеть следующий результат:

Слева — страничка, которая попала под блокировку, справа — страничка без блокировки рекламы. Стоит обратить внимание на то, что реклама блокируется и на ресурсах с онлайн кинотеатрами.

Настройка исключений блокировки рекламы

Не исключены случаи когда под блокировку попадают доверенные ресурсы, и чтобы повторно получить доступ к доверенному ресурсу, нужно добавить разрешающее правило в разделе Исключения блокировки рекламы

Принудительная блокировка нежелательной рекламы

Блокировка производится по тому же принципу что и исключения из блокировки, но на этот раз в качестве действия необходимо «Блокировать», а не «Разрешить».

Например: если мы хотим заблокировать доступ к сайту e1.ru или Яндекс.Директ(an.yandex.ru) со своей рекламой, то достаточно добавить два правила: 

После внесения правил, страницы находящиеся под блокировкой для пользователей открываться не будут.

Нужно понимать, что блокировка рекламы с помощью блокировки доменов никогда не будет столь же эффективным способом борьбы с рекламой, как AdblockPlus/uBlock в браузере. Бывают случаи, когда реклама загружается с того же домена, что и полезный контент. Либо адреса рекламных доменов меняются так часто, что их невозможно блокировать все (YouTube). Браузерные дополнения борются с этим, скрывая такую рекламу непосредственно перед отрисовкой на экране, чего роутер сделать, по понятным причинам, не может. Тем не менее, блокировка рекламы с помощью блокировки доменов имеет смысл — например, если на клиентском устройстве реклама показывается в какой-нибудь мобильной игре или приложении, куда браузерный Adblock не установишь. Просто не нужно ожидать, что такая блокировка будет настолько же хороша, как при использовании AdblockPlus/uBlock и торопиться удалять эти дополнения из браузера.

1. Установите поддержку репозитория Entware по инструкции.

2. Установите AdGuard Home:

   opkg update
   opkg install adguardhome-go
   

3. Отключите DNS-сервер, встроенный в прошивку Keenetic. Подключитесь к CLI (не путайте с SSH-сервером из Entware, который на порту 222):

   opkg dns-override
   system configuration save
   

   после этого пропадёт доступ в Интернет, это нормально (ведь родной dns-proxy кинетика вы только что отключили, а AdGuard Home займёт его место лишь после прохождения первоначальной настройки).

4. Запустите AdGuard Home:

   /opt/etc/init.d/S99adguardhome start
   

5. Откройте в браузере мастер первоначальной настройки AdGuard Home по адресу http://IP-адрес-роутера:3000. В дальнейшем будем считать, что этот адрес — http://192.168.1.1:3000

6. Произведите первоначальную настройку. Веб-интерфейс повесьте на Все интерфейсы, порт 1234, DNS-сервер повесьте на Все интерфейсы, порт 53. Также придумайте логин и пароль (чтобы не усложнять, можно использовать логин/пароль от админки роутера).

7. Зайдите по адресу http://IP-адрес-роутера:1234 (в нашем примере — http://192.168.1.1:1234) и настройте остальное (подписки, фильтры, upstream DNS) по вкусу.

Решение популярных проблем

Не обновляются подписки по HTTPS

При установке AdGuard Home должен был автоматически установиться пакет ca-bundle, если он не установлен, то установите его (либо можно установить пакет ca-certificates):

opkg update
opkg install ca-bundle

Периодически перестают открываться веб-страницы. В веб-интерфейсе управления роутером видна загрузка процессора на 98-99%

Отключите в настройках AdGuard Home безопасную навигацию и родительский контроль. Если поможет, то это означает, что процессор роутера не справляется с нагрузкой, создаваемой этими функциями.

Использование с VPN Antizapret

1) убедитесь, что Antizapret настроен по этой инструкции.

2) в «http://192.168.1.1:1234/#dns → Upstream DNS-серверы» удалите все имеющиеся там адреса и впишите те, которые вы указывали в свойствах подключения к провайдеру (прошивка 3.7) или в профиле AntiZapret (прошивка 3.8 и новее).

Добавление домена в белый список

Почитайте про пользовательские фильтры в раздел настроек «Фильтры → Пользовательское правило фильтрации» и добавьте туда фильтр, который разблокирует доступ к нужному вам домену.

Удаление AdGuard Home:

1) остановите его:

/opt/etc/init.d/S99adguardhome stop

2) удалите AdGuard Home:

opkg remove adguardhome-go

3) включите DNS-сервер, встроенный в прошивку Keenetic. Подключитесь к CLI (не путайте с SSH-сервером из Entware, который на порту 222):

no opkg dns-override
system configuration save

Время на прочтение
6 мин

Количество просмотров 137K

Данная статья является логическим завершением небольшой дискуссии с тов. vvzvlad, которая развернулась под топиком «Чистим домашний интернет от очень назойливой рекламы (Ad’s blocker для OpenWRT)», где автор с помощью wget, sed и cron на OpenWRT успешно сливает файлы рекламных хостов, парсит и подсовывает dns-серверу dnsmasq.

Переадресовывая клиента при запросе «рекламного» домена, например, на loopback (127.0.0.1 — 127.255.255.255), вместо котента рекламы клиент получит благодатное «ничего» (разумеется, при условии, что у нас не работает локальный веб-сервер который слушает локалхост). Механизм фильтрации довольно старый и не лишен недостатков. Например, нельзя указать маски хостов (*.ad-domain.tld) или «вырезать» рекламу, баннеры которой хостятся на запрашиваемых ресурсах. Но зато не привязан к какому-то либо протоколу и довольно прост в эксплуатации. Более того, если его использовать, например, на домашнем или офисном маршрутизаторе, который используется в качестве DNS сервера, реклама успешно порежется на всех гаджетах, где IP нашей железки прописан первым в качестве DNS сервера.

Но что если у нас вместо роутера с кастомной прошивкой используется… MikroTik (RouterOS), функционал которого накладывает некоторые ограничения? Под катом вы узнаете каким образом удалось успешно «сконвертировать» файл хостов в пригодный для него формат, как автоматизировать это дело и что для хабралюдей в качестве бонуса был создан небольшой сервис как раз для автоматизации этого процесса (маленький, абсолютно бесплатный и с открытыми исходниками).

Настраиваем MikroTik

Настройка самой железки вряд ли вызовет какие-либо трудности. Укажем IP маршрутизатора в качестве первого DNS сервера в DHCP — «IP» → «DHCP Server» → «Networks» → %default config%. Первым прописываем IP самого MikroTik-а, нажимаем «OK»:

DNS сервер работает «из коробки», и можно даже не менять его стоковые настройки:

Единственная интересная для нас кнопка — «Static» («Статические маршруты»), в которых мы должны прописать «рекламные» домены, указав куда такие запросы перенаправлять.

Конвертируем файл хостов

Файл хостов имеет формат:

# Any comments
127.0.0.1 localhost
127.0.0.1 domain-a.tld
127.0.0.1 domain-b.tld

Формат скрипта для MikroTik, использующий статические DNS маршруты:

# Any comments
/ip dns static
add address=127.0.0.1 name=localhost
add address=127.0.0.1 name=domain-a.tld
add address=127.0.0.1 name=domain-b.tld

Для получения актуальных списков первого и преобразования их во второй мы выполним простые команды в шелле на, например, десктопе (bash):

1. Скачиваем списки и аккуратно складываем их под именами ./hosts_list.1, ./hosts_list.2 и т.д.:

   $ src=('http://pgl.yoyo.org/adservers/serverlist.php?hostformat=hosts&showintro=0&mimetype=plaintext' 'https://adaway.org/hosts.txt'); i=0; for file in ${src[*]}; do i=$((i+1)); wget --no-check-certificate -O "./hosts_list.$i" "$file"; done;

2. Грепаем всё что начинается на ‘127.0.0.1 ‘, удаляем комменты, оставляем только имена доменов, убираем дубликаты, убираем пустые строки и оформляем каждый домен в виде команды для импорта:

   $ in="./hosts_list.*" && out="./adblock_dns.rsc" && host='127.0.0.1'; echo "/ip dns static" > $out && grep '127.0.0.1 ' $in | grep -v '^#' | cut -d' ' -f 2 | sort -u | grep . | sed "s/^/add address=$host name=/" >> $out && rm -f $in; wc -l $out;

   Да, надо бы использовать регулярку и вообще всё переделать, но самое главное — я передал тебе свою мысль, дальше дело за тобой

На выходе у нас получится файл adblock_dns.rsc, который не лишним будет дополнительно проверить на корректность содержимого.

Импортируем в MikroTik

Для того, чтобы импортировать полученный файл, мы цепляемся к маршрутизатору по ftp, заливаем adblock_dns.rsc, после чего цепляемся по ssh или открываем терминал, в котором выполняем:

1. Делаем резервную копию (полученный бэкап лучше сохранить у себя на машине):

   /system backup save

2. Если у тебя в таблице нет важных маршрутов, то можем грохнуть все имеющиеся записи:

   /ip dns static remove [/ip dns static find]

3. Импортируем загруженный файл:

   /import adblock_dns.rsc

4. Убираем за собой:

   /file remove adblock_dns.rsc

Теперь можешь (опционально) перезагрузить MikroTik, проверить корректность получения адресов DNS серверов по DHCP и попытаться открыть какой-либо ресурс, который ранее был наводнен рекламой — её должно стать ощутимо меньше.

Эмпирически доказано что при импортировании ~5500 записей Mikrotik hAP lite (650MHz @ RAM 32 Mb) встает почти колом при попытке в GUI открыть таблицу статических маршрутов. Перезагрузка помогает

Автоматизация

Один из простейших вариантов автоматизации — скрипт на баше, который по крону поддерживает в актуальном состоянии adblock_dns.rsc, находящийся в открытом доступе по, скажем, ftp. Его основа была уже описана выше, осталось только оформить его по твоему усмотрению (необходима отдельная машина).

Ещё один вариант — это использование MetaRouter на самом или соседнем MikroTik-е, на котором установлен тот же OpenWRT (избавляемся от необходимости в отдельной машине; этот вариант не расписан подробно за неимением достойного MikroTik-а под руками).

Второй скрипт (на MikroTik) забирает его (adblock_dns.rsc), делает бэкап и, если и файл скачался успешно, и бэкап сохранился успешно, его импортирует, предварительно (внимание) грохнув все имеющиеся маршруты:

:local hostScriptUrl "ftp://user:login@ftp_host:21/adblock_dns.rsc";

:local scriptName "adblock_dns.rsc";
:local backupFileName "before_stopad";
:local logPrefix "[StopAD]";

do {
 /tool fetch mode=ftp url=$hostScriptUrl dst-path=("./".$scriptName);
 :if ([:len [/file find name=$scriptName]] > 0) do={
   /system backup save name=$backupFileName;
   :delay 1s;
   :if ([:len [/file find name=($backupFileName.".backup")]] > 0) do={
     /ip dns static remove [/ip dns static find];
     /import file-name=$scriptName;
     /file remove $scriptName;
     :log info "$logPrefix AD block script imported, backup file (\"$backupFileName.backup\") created";
   } else={
     :log warning "$logPrefix Backup file not created, importing AD block script stopped";
   }
 } else={
   :log warning "$logPrefix Backup file not downloaded, script stopped";
 }
} on-error={
 :log warning "$logPrefix AD block script download FAILED";
};

Бонус для хабралюдей

А что делать, если у тебя дома/офисе/гараже стоит MikroTik и хочется или просто порезать рекламу, или автоматизировать обновление хостов, не поднимая никакие метароутеры и хосты с файлами по ftp, вот чтоб просто и без заморочек?
Правильно, нужно чтобы это поднял кто то за тебя. И в качестве бонуса — такая штука уже поднята.

Смысл заключается в следующем — тебе достаточно перейти на нужную страницу, указать свои настройки и получить URL, по которому будет доступен скрипт с указанными тобой настройками. Там же будет предоставлен и исходник готового скрипта для тебя. Возможности, которые реализованы на данный момент:

• Выбор из списка публичных файлов-хостов (спасибо AdAway для Android);
• Хочется указать свои источники? Без проблем! (можно, например, указать три публичных хост-файла и два своих, расположенных на том-же gist.github.com, получив таким образом довольное удобное средство управления статическими маршрутами на подопечных маршрутизаторах);
• Настраиваемый адрес (IP v4) перенаправления;
• Указание ограничения (лимита) количества записей в итоговом скрипте (для того чтоб «случайно» не положить «слабую» железку);
• Указание своих маршрутов (будут просто добавлены первыми в генерируемый скрипт);
• Возможность указания исключений — нужные домены никогда не будут «заблокированы»;
• Довольно удобная генерация готового скрипта для MikroTik;

Парсер написан на PHP (потребует php5-curl)

Приложение написано на golang, лицензия MIT, исходники доступны по ссылке mikrotik-hosts-parser. Сколько сервис проживет — не берусь загадывать, но надеюсь что достаточно долго. Стойкую к хабраэффекту площадку любезно предоставил тов. drakmail, за что спасибо ему и команде cgood.ru.

Ссылка: MikroTik DNS Stop AD

ВНИМАНИЕ! Если вы ранее пользовались скриптом по ссылке выше, и у вас внезапно он перестал работать — знайте, причина в его обновлении. Первым делом попробуйте всё там же просто взять его обновленную редакцию, после этого всё должно успешно заработать. Приношу свои извинения за возможные неудобства!

Диклеймер: 1. Команда cgood.ru не имеет отношения к сервису. 2. Не хорошо допускать кого-либо к исполнению кода на твоих маршрутизаторах. Поэтому призываю пользоваться им исключительно в ознакомительных целях. Если всё нравится, сделай форк, настрой под себя да пользуйся на здоровье. За возможные перебои в работе, хабраэффект или ошибки ответственности никто не несет. 3. Я приложу все усилия, чтобы всё работало «как надо» максимально продолжительное время, но нужно понимать степень ответственности.

При обнаружении ошибок в работе сервиса или опечаток в тексте — пожалуйста, сообщайте об этом в личку. Заранее спасибо!

Update!

Исходник скрипта переписан чуть более, чем полностью. Теперь это полноценное приложение на Lumen, и все-все исходники лежат в репозитории.
«stopad.generate.club» лег навсегда, к сожалению. Но не всё так плохо! Подняты 2 зеркала (одно от команды «cgood.ru»; довольно мощное), второе — на моей скромной VDS-ке. Та, что моя — правда, более чем скромная, юзайте её с осторожностью.

Update 2!

Приложение вновь переписано, но уже на golang. Колоссальный прирост производительности и «облегчение» веса приложения. Все детали — в репозитории.

Ссылочки:
Новый адрес (от команды cgood.ru): stopad.cgood.ru
Резервная площадка: stopad.hook.sh