Організація шифрування трафіка при використанні утиліти IPSec
Існує два режими роботи IPSec: транспортний і тунельний.
У транспортному режимі шифрується або підписується тільки інформативна частина IP-пакета. Маршрутизація не зачіпається, тому що заголовок IP-пакета не змінюється, не шифрується. Транспортний режим, як правило, використовується для встановлення з'єднання між вузлами. Він може також використовуватися між шлюзами, для захисту тунелів, організованих яким-небудь іншим способом, IP tunnel, GRE.
У тунельному режимі IP-пакет шифрується цілком. Для того, щоб його можна було передати за мережею він міститься в інший IP-пакет, це захищений IP-тунель. Тунельний режим може використовуватися для підключення вилучених комп'ютерів до віртуальної приватної мережі або для організації безпечної передачі даних через відкриті канали зв'язку, наприклад, Інтернет, між шлюзами для об'єднання різних частин віртуальної приватної мережі.
Режими IPSec не є взаємовиключними. На тому самому вузлі, можливе використання транспортного й тунельного режиму.
Шифрування даних для будь-якого додатка відбувається перед передачею їх за мережею. При пересиланні шифрованих даних клієнтським додатком з комп'ютера 1 на серверний додаток на комп'ютері 2, додатки на обох сторонах з'єднання ніяк не беруть участі у процесі шифрування. Клієнтський додаток посилає дані нижче по стеку протоколів, де вони перехоплюються протоколом IPSec, шифруються й потім посилаються на сервер. На сервері дані рухаються нагору по стеку протоколів і розшифровуються IPSec перед їхньою передачею серверному додатку.
IPSec може виступати в якості, як служби шифрування, так і аутентифікації.
Функція забезпечення безпеки мережного трафіка за допомогою шифрування здійснюється за допомогою протоколу, називаного ESP (Encapsulating Security Payload).
Іншою функцією IPSec є здатність перевірки дійсності й цілісності пакетів за допомогою протоколу АН (Authentication Header). Цей протокол позначає пакети спеціальним підписом так, що одержувач може бути впевнений, що дані прийшли від справжнього відправника. Протокол забезпечує захист даних від змін при передачі, так що ніхто не міг підмінити пакети. Протокол АН забезпечує цілісність даних, але не робить нічого для безпеки потоку даних, якщо не використовується разом з ESP.
Трафік ESP використовує IP-порт 50, протокол АН використовує IP-порт 51.
Якщо два комп'ютери хочуть використовувати IPSec для цілей безпечної взаємодії, вони повинні бути настроєні на використання політики IPSec. Ці політики настроюються за допомогою локальних або групових політик ОС Windows. Політики IPSec повинні визначати протоколи, які потрібно захищати, визначати використання ключів, визначати механізми аутентифікації.
За замовчуванням існує три політики IPSec. Розташовані в директорії \Windows Settings\Security Settings\IPSec Policies, ці політики є відповідно політиками для Client (Respond Only) (Клієнта – тільки відповідь), Secure Server (Require Security) (Безпечного сервера – вимагати безпеку) і Server (Request Security) (Сервера – запит безпеки). Тільки одна політика може бути застосована до системи в даний момент часу.