在使用IPSec安全发送数据之前,必须在双方之间进行协商,确定双方如何传输和保护发送的数据,协商的方法依据的是标准的IKE(Internet Key Exchange,因特网密钥交换)认证规则。经过协商,会产生安全关联(即Security Association,简称SA)约定,在SA中包含双方协商出来的安全协议和安全参考索引(即Security Parameter Index)等参数。从顺序上讲,IKE将协商分为两个阶段,第一个阶段称为主模式SA,其功能是在两台主机之间建立一个新的安全的,经过计算机或者用户身份验证的数据传输通道,让双方可以在其中安全通讯。第二个阶段称为快速模式SA,其功能是使用通过使用IPSEC协议,利用加密算法(例如AES、3DES、DES等),以及完整性和验证数据的散列算法,来创建会话密钥,对通讯数据进行加密,确保数据传输的安全性。在该阶段会创建两个SA,分别用来管理传输的数据和接收的数据。
IPSec的运作模式包括传输模式和信道模式,前者表示在双方通信过程中,需要对方来协商使用IPSec协议,后者表示只有与特定的主机通讯时,才需要协商使用IPSec协议,该模式只用于两个不同网络内的主机的安全通讯,例如,可以将两台Windows Server 2008 R2服务器当作路由器来使用,分别连接两个不同的网络,在两者之间可以使用该模式。IPSec协议实际上包括AH(Authentication Header)和 ESP(Encapsulation Security Protocal)两种协议,两者的作用是对发送的数据继进行签名认证,执行数据完整性检查,保证其没有被篡改。确保数据原来的准确性。不同的是,前者不会对数据进行加密,而后者可以对其进行加密。在Windows 7/2008等系统中,可以通过新建连接安全规则的方法来启用IPSec。当然,对老版本的Windows XP等系统来说,需要使用自定义IP安全策略管理来实现。