Чем и какими программами нагружена моя сеть Интернет, куда пропадает трафик? Ограничение скорости загрузки и отдачи для любой из программ
Вопрос от пользователя
Здравствуйте.
Подскажите, как узнать какие программы нагружают мой интернет-канал? Дело в том, что у меня хоть и безлимитный трафик, но очень медленный скоростной тариф (всего 500 КБ/c, т.е. каждый килобайт на счету ☝).
Раньше у меня торрент всегда качал со скоростью примерно в 500 КБ/c, а сейчас что-то случилось, как будто кто-то «съедает» мой трафик. Что можно сделать?
Доброго времени суток.
Будем надеяться, что Илон Маск поскорее запустит свой бесплатный высокоскоростной спутниковый интернет и покроет им всю Землю.
Вообще, у вашего вопроса есть некоторая подоплека: дело в том, что снижение скорости могло произойти и не из-за того, что какая-то программа начала скрытно использовать вашу сеть (хотя возможно и это. ) .
Поэтому, в этой статье я покажу не только, как можно найти программу «ворующую» незаметно трафик, и как ограничить ее «аппетиты», но и также укажу на те моменты, которые могут быть тоже причиной нагрузки на сеть.
Узнаем, какими программами и службами нагружена сеть
Способ №1: через диспетчер задач
Если у вас Windows 10 — то в диспетчере задач можно в одном и том же окне узнать сразу и загрузку ЦП, и памяти, и диска, и сети (что очень удобно!) . Например, на скрине ниже отсортированы приложения в зависимости от нагрузки на сеть: как видно, основным источником является uTorrent (4,2 Мбит/с).
Примечание : для вызова диспетчера задач используйте сочетание кнопок Ctrl+Alt+Del или Ctrl+Shift+Esc.
Приложения отсортированы по графе сеть
Но вообще, конечно, согласен со многими, что диспетчер задач не информативен, часто не показывает всей картины. К тому же в нем нет никаких возможностей для ограничения и «тонкой» настройки использования сети.
Поэтому, я всем порекомендовал бы в дополнении к диспетчеру воспользоваться вторым способом (а именно с помощью спец. утилиты �� NetLimiter).
Способ №2: спец. утилиты
Вообще, подобных утилит достаточно много. Каждый второй брандмауэр также сможет вам показать какие приложения выходят в сеть. Однако, в этой статье хочу остановиться на одной очень умелой утилите — NetLimiter!
NetLimiter
Сайт: https://www.netlimiter.com/
Одна из самых лучших программ для контроля за сетевым трафиком. После установки программы, она следит абсолютно за всеми приложениями, обращающимися за доступом к Интернету.
С ее помощью можно управлять трафиком (ограничивать его, блокировать) для каждого приложения в отдельности.
Кроме этого, NetLimiter ведет статистику по всем соединениям, и вы всегда можете обратиться к утилите за просмотром графиков и таблиц.
После установки и запуска NetLimiter, нажмите по колонке «DL Rate» , и вы увидите все наиболее «прожорливые» программы (в плане трафика) в данный момент.
Пример представлен на скриншоте ниже: как видно, львиную долю трафика использует uTorrent. ��
Сортируем по скорости загрузки — NetLimiter
В общем-то, внимательно ознакомившись со списком программ, представленных в NetLimiter, вы узнаете какие приложения нагружают вашу сеть и «обнуляют» трафик. Ниже рассмотрим, как можно ограничить аппетиты какой-нибудь программы.
Как ограничить скорость загрузки/отдачи в интернет любой программы
Допустим, в списке в NetLimiter вы нашли ту «зловещую» программу, которая съедает весь ваш трафик. Для своего примера я возьму uTorrent и ограничу его скорость загрузки .
Обратите внимание, что в NetLimiter есть спец. колонка «Статус правила» — в ней можно задать лимиты на скорость загрузки и отдачи, или вовсе заблокировать весь входящий и выходящий трафик.
Напротив каждого приложения — горят свои галочки, и можно в один клик мышкой поставить ограничение для любой из программ списка!
Допустим, я хочу ограничить скорость загрузки uTorrent до 100 КБ/c (все-таки скорость по умолчанию подойдет далеко не всегда) .
Для начала нужно кликнуть левой кнопкой мышки по входящему трафику, и в всплывшем окне установить конкретное ограничение — 100 КБ/с (см. пример ниже ��).
Ограничение на доступ в интернет
Далее вы заметите, как программа начала ограничивать скорость загрузки в uTorrent (она будет меньше указанного вами предела).
Примечание : обратите внимание, что есть также возможность ограничить и скорость отдачи (чтобы никто не мог «забить» ваш канал сверх лимита. ).
Кстати, чтобы удалить ограничение — достаточно снова кликнуть по «яркому цветному» значку со стрелкой и выбрать пункт «Удалить» . Пример ниже. ��
Покажу на всякий случай скриншот (см. ниже ��) для наглядного представления из самого uTorrent — общая скорость загрузки всех добавленных торрентов не превышает 100 КБ/с (несмотря на наличие большого числа сидов и высокоскоростного доступа в интернет) .
Скорость не превышает 100 Кб в сек.
После того, как в NetLimiter ограничение было снято, скорость загрузки тут же начала возрастать (см. скрин ниже ��) . Т.е. программа очень эффективно позволяет ограничивать и «регулировать» скорость доступа приложений к сети.
Ограничение было снято
Пару слов о роутере, провайдере, и самой программе uTorrent
Хочу обратить ваше внимание на то, что все вышеперечисленные настройки могут не дать практического результата, и ваша скорость сети Интернет будет оставлять желать лучшего. Почему?
1) Возможно есть сбои у провайдера
Нередко, когда скорость загрузки в том же uTorrent падает из-за сбоя у провайдера (например, вас могут переключить на аварийную ветку, пока основная находится в ремонте) .
Кроме этого, если у вашего провайдера достаточно много клиентов в вашем доме/районе — не исключено, что например, в вечерние часы вы будете видеть «просадки» по скорости загрузки (дело в том, что вечером и по выходным основная масса народа выходит в сеть, и не всегда пропускной способности хватает на всех. ).
�� В помощь!
Как узнать скорость интернета на компьютере — см. заметку —>
2) Обратите внимание на роутер (и на другие устройства, которые у вас подключены к сети)
Если у вас подключено несколько устройств к интернету (например, кроме ПК может быть еще ноутбук, телефон, планшет и пр.) — обратите внимание и на них тоже.
Обратите внимание на роутер (если вы используете его): как правило, в его настройках можно узнать какие устройства подключены к нему, как они используют сеть и т.д. Там же часто можно ограничить аппетиты любого из устройств, подключенных к нему.
�� Для справки!
Подробная установка и настройка роутера — см. инструкцию
Статус работы роутера: сколько подключено устройств, какая скорость загрузки и отдачи / TENDA
3) Обратите внимание на саму программу uTorrent
Стоит признать, что порой uTorrent очень капризная программа, которая может просто «отказываться» загружать файл с нормальной скоростью. Причин этому может быть много: как выбранная не та версия программы, так и не заданные оптимальные настройки.
У меня есть несколько статей на блоге, посвященных этой тематике. Поэтому, если вы проверили и настроили все вышеперечисленное — а результата нет, рекомендую ознакомиться с парочкой материалов, ссылки на которые указал чуть ниже.
�� В помощь!
1) Почему uTorrent качает с маленькой скоростью: торренты очень долго загружаются
2) Аналоги uTorrent: выбираем программу чтобы скачивать торренты
Первая публикация: 17.04.2018
Актуальные методы проверки работоспособности больших и высоконагруженных сетей. Протоколы мониторинга
В данной статье мы рассмотрим актуальные методы проверки работоспособности сетевого оборудования. Конкретно в этой статье мы поговорим про протоколы мониторинга. Статья является переваренным опытом компании Netopia, которая занимается разработкой программного обеспечения для сетей. Цель статьи – найти единомышленников, которым интересны сетевые технологии, для обсуждения актуальных проблем. Планируется цикл статей, и мы постараемся не сильно растягивать удовольствие.
Введение. Описание общего подхода в работе с сетевым оборудованием
Рассмотрим общий подход к процессу работы с сетевым оборудованием:
Мы видим стандартный цикл PDCA с учетом сетевой специфики. Первым элементом системы является источник правды (source of truth), это в каком-то формате ipam- система, мы тут храним полный перечень сетевого оборудования (не обязательно только сетевого, но в нашем контексте важно именно сетевое), подсети, актуальные используемые ip адреса, vlan и тд., все что нам необходимо для описания текущего состояния сетевой инфраструктуры. Важное условие – данные в нашей системе должны быть актуальными и консистентными, то есть мы должны опираться на эти данные и не сомневаться в них (поэтому мы называем его источником правды).
На основании вносимых изменений в эти данные мы производим изменения в сети вручную или с помощью различных инструментов автоматизации, Ansible, Nornir, Netbrain, кому что больше нравится и подходит для решения конкретной задачи.
Хорошо, мы раскатили изменения в сети. Что происходит дальше? Дальше мы как-то должны понять, что все раскатилось хорошо и сеть работает. Сеть работает так, как мы и запланировали, в соответствии с источником правды.
Постановка проблемы
Обратимся к опыту крупных компаний по настройке сетевого оборудования, чтобы понять в среднем температуру по больнице.
Для компании Cisco готовят различные исследования по сетевым технологиям. В рамках исследования авторы статьи пообщались с сетевыми инженерами из крупных компаний, в частности с одной из компаний Fortune 50 (Это Wallmart, Amazon, Apple, Alphabet, Microsoft и тд). (Если кто-то захочет прочитать оригинал)
Свободный перевод из документа выше: «После того как мы запушили изменения в сеть, мы ждем, когда наша система мониторинга получит snmp-trap, который говорит нам о том, что сеть легла. Если через 15 минут после того как мы внесли изменения ничего не произошло, мы считаем, что изменения прошли успешно.»
Как мы видим — жизнь такова какова она есть и больше никакова. (цитаты великих)
Собственно, задача, которую мы перед собой поставим, это понимание актуального состояния сети на основании различных проверок и срезов данных, которые нам показывают отклонения от источника правды.
Существует определенная сложность в контроле того, что происходит с сетью, и насколько она соответствуем тем настройкам, которые сетевые инженеры хотели заложить в работу оборудования. Такому положению дел есть много причин:
- Размеры сети (сотни-тысячи единиц сетевого оборудования)
- Большая нагрузка на эту сеть (дополнительная нагрузка не приветствуется)
- Растянутая во времени настройка (сегодня один инженер настраивал по-своему, через год другой инженер по-своему)
- Где-то надо было быстро накостылить, оставили как есть (работает же)
- Как ни странно, сложность сети, количество взаимодействий и протоколов очень большое (можно выгрузить таблицу маршрутизации из bgp и уже приуныть)
Мы бы хотели выделить три проблемы, которые на наш взгляд охватывают большую часть решаемых задач:
- актуальный срез состояния сети
- консистентная конфигурация сетевого оборудования
- проходимость данных по сети
В данной статье мы рассмотрим первую задачу – актуальный срез состояния сети, здесь мы подразумеваем мониторинг.
Актуальный срез состояния сети
- Происходит много событий, которые могут влиять на работу сети и привести к сбою/снижению производительности
- Нужна актуальная «кардиограмма» сети, чтобы понимать, что происходит
- Среднее время сбора данных через SNMP 5-10 минут в нагруженных сетях (ссылка).
Тут мы никакой Америки не открыли. Это то, с чем приходится сталкиваться сетевому инженеру в рамках своей работы. Самым распространенным протоколом по сбору телеметрии является протокол SNMP. Можно ли собрать по SNMP актуальную информацию в режиме онлайн? Для больших сетей похоже, что нет.
Рассмотрим альтернативные способы получения данных.
Потоковая телеметрия
Потоковая телеметрия какое-то время назад уже пришла в нашу жизнь, но наверняка не все в курсе, о чем речь, поэтому дадим небольшое пояснение по этому вопросу.
Потоковая телеметрия – это зонтичный термин, под которым собраны различные технологии по сбору телеметрии. Ключевые особенности этого подхода:
- Скорость обработки информации. Сетевое оборудование само отправляет данные (метод push, а не pull как в snmp, где надо постоянно делать запросы на получение данных), это приводит нас к тому, что уменьшается нагрузка на оборудование, и увеличивается частота сбора данных
Исследования показывают, что среднее время обработки запроса через snmp и через потоковую телеметрию значительно отличается.
- Простота и полнота получаемых данных
Все вы прекрасно представляете, как выглядят шаблоны Zabbix для любого сетевого оборудования. Обычно сложно найти подходящие шаблоны, если нет нужных параметров, то написание шаблона — это отдельная головная боль. Поиск самих параметров (oid) тоже дело нетривиальное. Дерево значений oid оставляет желать лучшего.
Сравним с тем, как это выглядит при сборе потоковой телеметрии по протоколу gRPC в формате JSON.
На картинке представлен сэмпл потока данных, полученного с сетевого оборудования Cisco с операционной системой IOS XE. Вот, например, мы хотим посмотреть данные по интерфейсам, открыли любой интерфейс (к примеру, GE1). Можем отфильтровать данные по vrf, по ipv4 или ipv6, хотим посмотреть статистику по конкретному интерфейсу– пожалуйста. Здесь есть понятная иерархическая структура, перечень получаемых данных понятен и прозрачен, сразу есть значения.
Дальше просто отфильтровываем нужные параметры, они у нас справа. Выбранные данные сохраняются в базу данных. Все, готово, данные уже собираются, осталось построить график. То есть нет никаких шаблонов, не надо погружаться в создание шаблонов, не надо искать OID, в этом плане гораздо удобнее. Вот графики, построенные на полученных данных.
SSH\Netconf
Данная конструкция не нова и в принципе применяется на практике, но здесь добавилось немного гибкости. Мы делаем запрос данных с помощью команд по ssh или netconf. При этом запросить эти данные через SNMP нет возможности. Результат вывода надо распарсить и сложить в базу данных для дальнейшего вывода. Понятная ситуация, когда из неструктурированных данных надо сделать структурированные. Существует модуль, разработанный Google, который называется TextFSM. Он решает данную задачу. Пример, команды и шаблон textFSM представлены ниже.
Получаем структурированные данные
По ним можно построить таблицу мак адресов
Данные из лаборатории, поэтому просим строго не судить по однотипности данных.
Syslog
Syslog-ом сложно удивить, но и тут есть небольшая интересность. Мы вам рассказывали про потоковую телеметрию. Теперь появилась возможность отправлять syslog через протоколы потоковой телеметрии в структурированном виде.
Для NX-OS это доступно по следующим путям:
- Cisco-NX-OS-Syslog-oper:syslog
- Cisco-NX-OS-Syslog-oper:syslog/messages·
Принципиальная разница по сравнению с обычным сислогом – данные прилетают в структурированном виде (json\gpb) и не надо делать парсинг.
Sample JSON Output
Единая консоль как вывод
Собирая данные по этим протоколам, мы сможем мониторить:
- end-to-end connectivity физики
- underlay- сети
- overlay-сети
По физике строим мозаику-матрицу на основании grpc потоков по состоянию интерфейсов, в потоках выбрать нужное оборудование, нужные интерфейсы. Между любой парой устройств если линк свалится — сразу квадрат другого цвета станет. Другие метрики — рост ошибок на интерфейсах и срабатывание триггера по превышению скорости роста этих ошибок.
По underlay — смотрим информацию с потоков по состоянию ospf, bgp neighborship и уже на эти данные ориентируемся, показатель — живая сессия или упала.
С overlay (сервисы) примерно то же что с bgp и ospf — сильно зависит от сервиса — смотрим сигнализацию по l2, l3 vpn, например, состояния нужных сессий address-family в bgp, ну и какие-то специфичные метрики конкретного сервиса — на наличие нужных маршрутов в таблицах маршрутизации и т. п.
Получается единая консоль для сбора различных срезов состояния сети, которой так не хватало.
Чем лучше мониторить загрузку сети?
Есть парк компьютеров (35 штук Win7), 2 свитча, роутер и 2 сервера (Win2k8). топология сети, как на картинке
Внутри сети 1GB/s наружу 5MB/s. Свичи не упрвляемые.
У пользователей периодически или пропадает сеть, или сильно просаживается скорость при закачке файлов. Насколько мне известно, некоторые пользователи (неизвестно кто) часто заглядывают на youtube, для просмотра роликов, в VK — стриминг музыки/видео или слушают онлайн-радио (про торренты мне неизвестно).
Есть ли система мониторинга (Желательно под Win), что бы узнать какая машина в данный момент загружает канал?
В качестве системы мониторинга сейчас стоит OpManager (free), но у него ограничение на 10 машин.
- Вопрос задан более трёх лет назад
- 15299 просмотров
3 комментария
Оценить 3 комментария
Как произвести анализ загруженности локальной сети и выявить источник большого трафика?
В качестве внешнего шлюза в локальной сети предприятия используется межсетевой экран D-link DFL860e. Проанализировав его загрузку, я обнаружил, что в недавнем времени она резко и значительно возросла (увеличился трафик и количество соединений), хотя предпосылок к этому вроде как не было. В сети несколько VLAN’ов, десяток управляемых L2 коммутаторов и около двух сотен устройств с различным типом трафика, поэтому так просто источник не выявить. Можно, конечно, отключать по порядку узлами, мониторя загрузку и сужая круг поиска; также теоретически можно установить proxy, но хотелось бы более простое и технологичное решение, к тому же, давно поглядываю в сторону Wireshark.
Что вы могли бы посоветовать в этой ситуации? Если акулу, то на чем ее запускать, чтобы иметь возможность захватить все пакеты хотя бы одного VLAN’а, и как именно через Wireshark выявить источник?
- Вопрос задан более трёх лет назад
- 7471 просмотр
Комментировать
Решения вопроса 0
Ответы на вопрос 3
1) Настроить мониторинг своих свичей, и смотреть по графикам, на каких портах максимум трафика. Начать с аплинк-портов — сколько трафика уходит в направлении «север-юг» (т.е. с коммутатора «наверх», к маршутизатору). Затем искать, в какой порт этот трафик вошёл.
2) Ваш роутер не поддерживает netflow. Поменяйте его на какой-нибудь микротик, он умеет netflow. Анализируя netflow, можно понять, какой трафик превалирует, с каких локальных адресов и куда.
Ответ написан более трёх лет назад
Нравится 3 1 комментарий
Raul Duke @dushako Автор вопроса
Первый способ — да, спасибо, что-то не подумал, что можно и не отключать, надо будет только слегка повозиться с настройками мониторинга. Микротика (или другой железки с поддержкой netflow), к сожалению, в наличии не имеется.
antonkovich @antonkovich
Быстрый просмотр руководства D-Link не выявил возможности зеркалировать порты (port mirroring) 🙁
Увы и ах. Для wireshark неплохо-бы иметь свич с такой возможностью, ставить его в разрыв, занимая два порта и зеркалировать трафик на третий порт. Большинство последних управляемых D-Link-ов на это способны, возможно найдется у вас такой. К порту, выступающему в качестве зеркала, и цеплять ноут или ПК для мониторинга. В wireshark после захвата пакетов легче всего провести анализ через Conversations. Это в меню Statistics. Там в таблице можно отфильтровать трафик по пакетам или байтам. Сразу станет ясно, кто грузит больше всего.
Как вариант, если нет железки с зеркалированием, может подойти хаб. Но это сейчас большааая редкость. И при его использовании пропускная способность на время сбора пакетов упадет.
Ответ написан более трёх лет назад
Нравится 1 1 комментарий
Raul Duke @dushako Автор вопроса
Port Mirroring в DFL действительно отсутствует, однако эта функция есть во всех моих управляемых коммутаторах D-Link, так что попробую, спасибо!
с 1997 года
Поднимите программный маршрутизатор/межсетевой экран на МикроТик x86 (придётся таки потратиться на лицуху). Там всё и увидите. В Torch. Или выделяя правила на firewall по трафикам.
Ответ написан более трёх лет назад
Комментировать
Нравится Комментировать
Ваш ответ на вопрос
Войдите, чтобы написать ответ
- Компьютерные сети
- +4 ещё
Сетевой инженер: каковы особенности данной профессии?
- 2 подписчика
- вчера
- 561 просмотр