nfcapd - Интернет в облаке

ПРОГРАММА:

ИМЯ

nfcapd - демон захвата netflow

СИНТАКСИС

nfcapd [опции]

ОПИСАНИЕ

nfcapd это демон захвата netflow инструментов nfdump. Он считывает данные netflow из
сеть и хранит его в файлах. Выходной файл автоматически поворачивается и переименовывается.
каждые n минут - обычно 5 минут - в соответствии с меткой времени ГГГГММддччмм интервала
например, nfcapd.201107110845 содержит данные с 11 июля 2011 г. 08:45 и далее.

Netflow версии v1, v5, v7 и v9 и IPFIX прозрачно поддерживаются.

Расширения: nfcapd поддерживает большое количество тегов v9. Чтобы оптимизировать дисковое пространство и
производительности, теги v9 сгруппированы в несколько расширений, которые могут или не могут быть
хранится в файле данных. Поэтому шаблоны v9, настроенные на экспортере, могут быть
настроен по коллекционеру. В данных сохраняются только те теги, которые являются общими для обоих.
файлы.

Выборка: по умолчанию частота дискретизации установлена ​​на 1 (без дискретизации) или на любое заданное значение.
указывается параметром строки -s cmd. Если информация о выборке найдена в netflow
stream, он перезаписывает значение по умолчанию. Выборка автоматически распознается, когда
заявлено в шаблонах опций v9 (теги # 34, # 35 или # 48, # 49, # 50) или в неофициальной версии v5
хакерский заголовок. Примечание. Не все платформы (или версии IOS / JunOS) поддерживают экспорт выборки.
информация в данных netflow, даже если настроена выборка. Количество байтов / пакетов
в каждой записи нетто-потока автоматически умножается на частоту дискретизации. Общее количество
потоков не изменяется, так как это недостаточно точно. (Маленькие потоки против больших потоков)
Если частота дискретизации по умолчанию, заданная -s, отрицательна, это приведет к жесткой перезаписи любого устройства.
конкретные заявленные частоты дискретизации.

Поддержка NSEL / ASA: nfcapd может быть скомпилирован с включенной поддержкой NSEL / ASA. См. Примечания к
NSEL / ASA

NEL (регистрация событий NAT): nfcapd может быть скомпилирован с включенной поддержкой CISCO NEL. Видеть
примечания к NEL.

ДОПОЛНИТЕЛЬНЫЕ ОПЦИИ

-p портнум
Задает номер порта для прослушивания. Порт по умолчанию - 9995

-b привязка
Задает имя хоста / IPv4 / IPv6-адрес для привязки для прослушивания. Это может быть IP
адрес или имя хоста, преобразуясь в IP-адрес, прикрепленный к интерфейсу. По умолчанию
к любому доступному интерфейсу IPv4, если не указан.

-4 Заставляет nfcapd прослушивать только адреса IPv4. Может использоваться вместе с -b, если
имя хоста имеет запись адреса IPv4 и IPv6.

-6 Заставляет nfcapd прослушивать только адреса IPv6. Может использоваться вместе с -b, если
имя хоста имеет запись адреса IPv4 и IPv6. В зависимости от реализации сокета -6
также принимает данные IPv4.

-j Многоадресная группа
Присоединитесь к указанной группе многоадресной рассылки IPv4 или IPv6 для прослушивания.

-R хост [/ порт}
Включите повторитель пакетов. Отправить все входящие пакеты другому кашель и порт. кашель is
либо действительный адрес IPv4 / IPv6, либо действительное символическое имя хоста, которое преобразуется в
Адрес IPv6 или IPv4. порт может быть опущен и по умолчанию используется порт 9995. Примечание.
Принимаемые адреса IPv4 / IPv6, разделитель портов - «/».

-I ИдентСтрока ( инвестиции в проект письмо i )
Задает строку идентификатора, которая описывает источник, например, имя маршрутизатора. Этот
Строка помещается в статистическую запись для идентификации источника. По умолчанию «нет». Это
для совместимости с nfdump 1.5.x и используется для указания единственного источника netflow. Видеть -n

-l базовый_каталог ( письмо ELL )
Задает базовый каталог для хранения выходных файлов. Если подчиненная иерархия
указанный с помощью -S, последний каталог объединяется с base_directory / sub_hierarchy.
Это сделано для совместимости с nfdump 1.5.x и используется для указания одного сетевого потока.
источник. Видеть -n

-n
Настраивает источник netflow с именем идент и определяется исходным IP-адресом IP,
базовый каталог для файлов потока базовый_каталог. Если указана подиерархия
с -S последний каталог объединяется с base_directory / sub_hierarchy. Многочисленные
поток данных, передающихся по сети источники be указано. Все данным is послать в то же порт указанный by -p.
Примечание: нельзя смешивать опцию -n с -I и -l. Используйте любой синтаксис.

-f
Чтение пакетов netflow из раздачи pcap_file вместо сети. Для этого требуется nfcapd
должен быть скомпилирован с опцией pcap и предназначен только для отладки.

-s
Применить частоту дискретизации по умолчанию скорость ко всем записям netflow, если частота выборки не
объявлено экспортирующим устройством. В этом случае применяется заявленная частота дискретизации.
Если отрицательный, это приведет к серьезной перезаписи любой объявленной выборки для конкретного устройства.
ставки.

-S
Позволяет указать дополнительную иерархию каталогов для хранения файлов данных. В
по умолчанию - 0, никакой подиерархии, что означает, что файлы попадают непосредственно в базовый каталог.
(-l). Базовый каталог (-l) объединяется с указанным форматом подиерархии
чтобы сформировать окончательный каталог данных. Определены следующие иерархии:
0 по умолчанию без уровней иерархии
1% Y /% m /% d год / месяц / день
2% Y /% m /% d /% H год / месяц / день / час
3% Y /% W /% u год / неделя_ года / день_ недели
4% Y /% W /% u /% H год / неделя_ года / день_недели / час
5% г /% j год / день года
6% Y /% j /% H год / день года / час
7% Y-% m-% d год-месяц-день
8% Y-% m-% d /% H год-месяц-день / час

-T <расширение список>
Задает список расширений, которые будут храниться в файле netflow. Независимо от
список расширений, следующие данные netflow хранятся для каждой записи: first, last, fwd
статус, флаги tcp, протокол, (src) tos, порт src, порт dst, src ipaddr, dst ipaddr,
in (пакеты), in (байты). Кроме того, nfcapd распознает расширения, как описано
ниже. Некоторые из них действительны для v5 / v7 / v9, но большинство из них имеет смысл только для v9. Любой
указанные расширения, которых нет во входных записях netflow, игнорируются.

Расширения:
Расширения v5 / v7 / v9 / IPFIX:
1 интерфейс ввода / вывода номеров SNMP.
2 номера AS src / dst.
3 маска src / dst, (dst) TOS, направление.
4 строка Строка IP-адреса следующего перехода
5-строчная строка IP-адреса следующего перехода BGP
6 меток src / dst vlan id
7 выходных пакетов счетчика
8 байтов вывода счетчика
9 встречных агрегированных потоков
10 in_src / out_dst MAC-адрес
11 in_dst / out_src MAC-адрес
12 этикеток MPLS 1-10
13 Экспорт IPv4 / IPv6-адреса маршрутизатора
14 Экспорт идентификатора маршрутизатора
15 BGP смежная предыдущая / следующая AS
16 потоков временных меток, полученных сборщиком
Расширения NSEL / ASA / NAT
26 Событие NSEL ASA, расширенное событие, тип / код ICMP
27 портов NSEL / NAT xlate
28 NSEL / NAT xlate адрес IPv4 / IPv6
29 NSEL ASA ACL ID входящего / исходящего ACL
30 NSEL ASA имя пользователя
Расширения NEL / NAT
31 событие NAT, входящий выход vrfid
32 Назначение портов блока NAT - начало, конечный шаг и размер блока
расширения nprobe
64 nprobe клиент / сервер / задержка приложения "},

ВАЖНО: По умолчанию выбраны только добавочные номера 1 и 2.
добавлено / удалено путем указания списка идентификаторов расширений, разделенных ','. Каждый идентификатор может быть
с добавлением необязательного знака +/- для добавления или удаления данного идентификатора из списка расширений.
Ярлыки: строка «все» означает все расширения. Струны
nsel и nel включают все расширения NSEL или NEL соответственно.

Примеры:
-T all Включает все возможные расширения.
-T + 3, + 4 Добавляет расширения 3 и 4 к значениям по умолчанию 1 и 2.
-T all, -8, -9 Установить все расширения, кроме 8 и 9
-T -1,4 Удаляет расширение по умолчанию 1 и добавляет расширение 4
-T nsel Включает все необходимые расширения ASA? NSEL
-T nel Включает все необходимые расширения Nell
Примечание. Только теги, общие с устройством экспорта и включенными расширениями в
сторона коллектора хранится в файлах данных. Подробный список тегов v9
сопоставлено, в какие расширения даны в разделе ПРИМЕЧАНИЯ

-t интервал
Задает временной интервал в секундах для поворота файлов. Значение по умолчанию - 300 с (
5 мин ).

-w Выровняйте ротацию файла со следующим n-минутным (указанным параметром -t) интервалом. Пример: если
интервал 5 мин, синхронизация 0,5,10 ... минут настенных часов По умолчанию: без выравнивания.

-x CMD
Выполните команду CMD в конце каждого интервала, когда становится доступен новый файл. В
доступно следующее расширение команды:
% f Заменяется именем файла, например, nfcapd.200907110845, включая любые
под иерархия. (2009/07/11 / nfcapd.200907110845)
% d Заменяется каталогом, в котором находится файл.
% t Заменяется форматом времени ISO, например, 200907110845.
% u Заменено форматом времени UNIX.
% i Заменена строка идентификатора, заданная параметром -I

-X Собирайте и вставляйте расширенную статистику. В настоящее время встроена гистограмма портов и bpp.
На данный момент в основном экспериментальный

-e Файлы с автоматическим истечением срока годности при каждом цикле. Макс продолжительность жизни и Макс размер файла определены с использованием
nfexpire(1)

-P pid-файл
Укажите имя pidfile. По умолчанию pidfile отсутствует.

-D Режим демона: переход в фоновый режим и отсоединение от терминала. Nfcapd завершает работу по сигналу
TERM, INT и HUP.

-u идентификатор
Изменить на пользователя идентификатор как можно быстрее. Только root может использовать эту опцию.

-g групповушка
Перейти в группу групповушка как можно быстрее. Только root может использовать эту опцию.

-B буйвол
Задает длину входного буфера сокета в байтах. Для большого объема трафика (около ГБ
трафик) рекомендуется установить это значение как можно большим (обычно> 100k),
иначе вы рискуете потерять пакеты. Значение по умолчанию зависит от ОС (и ядра).

-E Печатать записи netflow в необработанном формате nfdump в стандартный вывод. Эта опция предназначена для отладки
только с целью увидеть, как обрабатываются и хранятся входящие данные netflow.

-z Сжать потоки. Используйте быстрое сжатие LZO1X-1 в выходном файле.

-V Распечатайте версию nfcapd и выйдите.

-h Распечатать текст справки со всеми параметрами в стандартный вывод и выйти.

ВЕРНУТЬ VALUE

Возвращает 0 в случае успеха или 255 в случае неудачной инициализации.

ВЕДЕНИЕ ЖУРНАЛА

nfcapd записывает в системный журнал с помощью SYSLOG_FACILITY LOG_DAEMON Для нормального уровня работы 'предупреждение'
все должно быть в порядке. Более подробная информация представлена ​​на уровне «информация» и «отладка».

Небольшая статистика по собранным потокам, а также ошибки сообщаются в конце
каждый интервал в системный журнал с уровнем «информация».

ПРИМЕРЫ

Все потоки отправляются на порт 9995 от всех экспортеров и сохраняются в одном файле. Все
взяты известные теги v9.
nfcapd -z -w -D -T ВСЕ -l / netflow / spool / allflows -I любой -S 2 -P
/var/run/nfcapd.allflows.pid

Все потоки от 2 разных экспортеров отправляются на порт 8877 и хранятся в отдельных
деревья каталогов. Все известные теги v9 взяты. Размер входного буфера установлен на 128000 байт.
nfcapd -z -w -D -T ВСЕ -p 8877 -n восходящий поток, 192.168.1.1, / netflow / spool / восходящий поток -n
одноранговый узел, 192.168.2.1, / netflow / spool / peer -S 2 -B 128000

Принимаются только от одного экспортера, принимаются только расширения 3,4, 5 и XNUMX. Запустить
данная команда, когда файлы вращаются и автоматически истекают потоки:
nfcapd -w -D -T 3,4,5 -n восходящий поток, 192.168.1.1, / netflow / spool / восходящий поток -p 23456 -B
128000 -s 100 -x '/ путь / команда -r % d /% f ' -P /var/run/nfcapd/nfcapd.pid -e

ПРИМЕЧАНИЯ

Несколько источников netflow:

Данные Netflow могут быть отправлены из разных экспортеров в один процесс nfcapd. Используйте -n
возможность разделить каждый источник netflow в другой каталог данных. Для совместимости
с nfdump 1.5.x по-прежнему действуют параметры старого стиля -l / -I. В этом случае все вытекает из
все источники хранятся в одном файле. Для больших объемов чистых потоков это все еще
рекомендуется иметь один процесс nfcapd для каждого источника netflow.

Текущая реализация nfdump v9 поддерживает следующие элементы v9: поля:
v9 элемент v9 ID Расширение
NF9_LAST_SWITCHED 21 по умолчанию
NF9_FIRST_SWITCHED 22 по умолчанию
NF9_IN_BYTES 1 по умолчанию
NF9_IN_PACKETS 2 по умолчанию
NF9_IN_PROTOCOL 4 по умолчанию
NF9_SRC_TOS 5 по умолчанию
NF9_TCP_FLAGS 6 по умолчанию
NF9_FORWARDING_STATUS 89 по умолчанию
NF9_IPV4_SRC_ADDR 8 по умолчанию
NF9_IPV4_DST_ADDR 12 по умолчанию
NF9_IPV6_SRC_ADDR 27 по умолчанию
NF9_IPV6_DST_ADDR 28 по умолчанию
NF9_L4_SRC_PORT 7 по умолчанию
NF9_L4_DST_PORT 11 по умолчанию
NF9_ICMP_TYPE 32 по умолчанию
NF9_INPUT_SNMP 10 1
NF9_OUTPUT_SNMP 14 1
NF9_SRC_AS 16 2
NF9_DST_AS 17 2
NF9_DST_TOS 55 3
NF9_DIRECTION 61 3
NF9_SRC_MASK 9 3
NF9_DST_MASK 13 3
NF9_IPV6_SRC_MASK 29 3
NF9_IPV6_DST_MASK 30 3
NF9_V4_NEXT_HOP 15 4
NF9_V6_NEXT_HOP 62 4
NF9_BGP_V4_NEXT_HOP 18 5
NF9_BPG_V6_NEXT_HOP 63 5
NF9_SRC_VLAN 58 6
NF9_DST_VLAN 59 6
NF9_OUT_PKTS 24 7
NF9_OUT_BYTES 23 8
NF9_FLOWS_AGGR 3 9
NF9_IN_SRC_MAC 56 10
NF9_OUT_DST_MAC 57 10
NF9_IN_DST_MAC 80 11
NF9_OUT_SRC_MAC 81 11
NF9_MPLS_LABEL_1 70 12
NF9_MPLS_LABEL_2 71 12
NF9_MPLS_LABEL_3 72 12
NF9_MPLS_LABEL_4 73 12
NF9_MPLS_LABEL_5 74 12
NF9_MPLS_LABEL_6 75 12
NF9_MPLS_LABEL_7 76 12
NF9_MPLS_LABEL_8 77 12
NF9_MPLS_LABEL_9 78 12
NF9_MPLS_LABEL_10 79 12
NF9_SAMPLING_INTERVAL 34 Выборка
NF9_SAMPLING_ALGORITHM 35 Выборка
NF9_FLOW_SAMPLER_ID 48 Выборка
FLOW_SAMPLER_MODE 49 Выборка
NF9_FLOW_SAMPLER_RANDOM_INTERVAL 50 Выборка
IP-адрес экспортирующего маршрутизатора 13
NF9_ENGINE_TYPE 38 14
NF9_ENGINE_ID 39 14
NF9_BGP_ADJ_NEXT_AS 128 15
NF9_BGP_ADJ_PREV_AS 129 15
сборщик получил отметку времени 16
32 и 64 бит поддерживаются для всех счетчиков. Поддерживаются 32it AS номера.

Поддержка IPFIX экспериментальная. Из-за отсутствия реализации выборки во многих IPFIX
экспортеры, выборка для IPFIX пока не поддерживается.

Формат файлов данных не зависит от версии netflow.

Буфер сокета: установка размера буфера сокета зависит от системы. При запуске
nfcapd возвращает количество байтов, которое фактически было установлено в буфере. Это делается путем чтения
обратно размер буфера и может отличаться от того, что вы запрашивали.

Используйте nfcapd онлайн с помощью сервисов onworks.net