具体实施方式

概述

所公开的主题涉及一种用于通过检测开放端口上的异常活动来检测机器(例如虚拟机、计算设备、服务器等)是否缺乏抵抗力的机制。机制采用基于模型的推荐系统来表示网络的每个实体的开放端口上的正常活动，以便确定实体的新开放端口是正在被用于合法工作负载的非异常端口还是被用于恶意活动的异常端口的可能性。可能性基于从基于模型的推荐系统得出的推荐分数。

该技术生成实体端口对r_ui的模型或矩阵A，其中u是实体并且i是实体u上的开放端口。实体端口对r_ui表示实体u使用端口i来传输和/或接收传输的频率。网络流数据中所捕获的传输中的TCP SYN-ACK设置被用于确定端口i是否是开放端口。原始观察值r_ui被变换为偏好p_ui，且然后被变换为置信度水平c_ui。

然后，大小为m x n的矩阵A使用奇异值分解被分解为两个较小的矩阵：X，大小为mx f；和Y，大小为f x n。X和Y是通过随机分配X和Y中的值并迭代地使用交替最小二乘法来优化X且固定Y来生成的，且反之亦然，直到实现A的最佳近似为止。X中的向量和Y中的向量将实体和端口映射到其可以被比较的公共潜在因子空间中。

本文中所公开的技术在几个方面是有利的。技术不利用实体内部的代理(例如组件、扩展或模块)。相反，该技术使用在网络内被捕获的网络流数据而不干扰实体的操作。该技术不依赖于不能快速更改以适应网络行为的改变的预先配置的规则。相反，该技术能够实时分析网络行为，使得恶意活动可以被快速检测到。

现在注意力转向使用基于模型的协作过滤技术以及隐式数据集来检测异常端口的示例性系统的更详细的描述。

系统

图1图示了示例性系统100，其被配置为支持通过协作过滤来检测缺乏抵抗力的机器。在一个方面，系统100包括被通信耦合到网络实体或网络106的实体104的计算设备102。实体104可以被耦合到子网络108A至108C(统称为“108”)和/或具有通过网络106将数据分组传输给计算设备102的能力的路由器110。

计算设备102可以是单个计算设备102或被实施为多个服务器。例如，这样的服务器可以是与网络106和/或子网108相关联的特定组织或公司的一部分，或可以包括被配置为为多个组织提供网络分析和/或监测服务的基于云的服务器。计算设备102可以包括这样的服务器设备和/或其他计算设备中的一个或多个，这些设备被定位于同一地点或被定位成彼此远离。此外，尽管图1描绘了单个计算设备102，但是应当理解，实施方式可以包括任何数量的计算设备。

网络106和子网络108可以各自包括局域网(LAN)、广域网(WAN)、个域网(PAN)、通信网络的组合中的任一个中的一个或多个，诸如互联网和/或虚拟网络。计算设备102可以通过网络和/或子网络被通信耦合到实体104。计算设备、路由器、网络以及子网络之间的通信可以通过应用编程接口和其他技术和接口进行。计算设备102、路由器110、网络106、子网络108和实体104可以各自包括支持彼此之间的通信的至少一个通信接口。

实体104可以包括网络106和/或子网络108的节点。实体104可以包括被耦合到网络106和/或子网108中的任一个的任何电子设备或机器(物理的或虚拟的)。在一个示例实施例中，网络106和/或子网108可以共同包括组织(包括但不限于公司、企业或基于云的订阅)的网络，并且实体104可以包括被耦合到网络106的节点(例如物理设备或机器或虚拟节点)。在一些进一步的示例实施例中，网络106和/或子网108可以包括虚拟或基于云的网络，并且实体104可以包括虚拟或基于云的网络的一个或多个虚拟机或节点。

在一些其他示例中，任何实体104可以包括台式计算机、便携式计算机、智能电话、平板电脑、可穿戴式计算设备(例如智能手表、智能耳机)、混合和/或虚拟现实设备(例如Microsoft HoloLens^TM)或任何其他处理设备。在一些其他示例实施方式中，网络106和/或子网108可以共同包括云计算网络，并且实体104可以是被耦合到云计算网络的节点。实体104在实施方式中不限于处理设备，并且可以包括网络上的其他资源，诸如存储设备(例如物理存储设备、本地存储设备、基于云的存储装置、硬盘驱动器、固态驱动器、随机存取存储器(RAM)设备等)、数据库、虚拟机等。

每个实体104与至少一个端口相关联。端口允许实体104支持通过特定协议与网络上的其他实体进行的多个通信会话。端口与实体104的IP地址相关联。端口具有标识其相关联的协议的端口编号。

在传输控制协议(TCP)和用户数据报协议(UDP)中，端口编号介于1至65535的范围。存在三类端口编号：(1)端口编号1至1023是众所周知的端口，其与广泛使用的网络服务的系统进程相关联；(2)端口编号1024至49151是注册端口，其由互联网编号分配机构(IANA)分配且与特定协议或应用一起使用；(3)端口编号49152至65535是针对特定会话处于活动状态的专用或动态端口。

常见的端口编号包括以下：

21：文件传送协议(FTP)

22：安全壳(SSH)

23：telnet远程登录服务

25：简单邮件传送协议(SMTP)

53：域名系统(DNS)服务

80：超文本传送协议(HTTP)

110：邮局协议(POP3)

119：网络新闻传送协议(NNTP)

123：网络时间协议(NTP)

143：互联网消息访问协议(IMAP)

161：简单网络管理协议(SNMP)

194：互联网中继聊天(IRC)

443：HTTP安全(HTTPS)

计算设备102从网络设备(诸如路由器、交换机和/或防火墙)接收采样的网络流数据(即网络业务)112。网络流数据112表示传输给属于同一连接的实体104和从实体104传输的网络分组。采样的网络流数据112可以使用网络流组件109来获得，该网络流组件根据网络流协议(诸如互联网协议流信息导出(IPFIX)协议)操作。IPFIX协议定义了网络流数据被格式化并从收集器传输到控制器(诸如从路由器(即收集器)110传输到计算设备102(即控制器))的方式。

在一个方面，系统100使用路由器110在计算机网络之间转发数据分组以根据IPFIX协议聚合和格式化网络流数据。然而，应当注意，系统不限于路由器，并且其他网络设备(例如交换机、防火墙等)可以被用于转发网络流数据。此外，系统不限于IPFIX协议。提供相同功能性的其他网络流协议可以被利用。

计算设备102可以包括实体端口映射组件114、协作过滤组件118和端口推荐组件122。实体端口映射组件114生成实体端口矩阵或模型116，该实体端口矩阵或模型116追踪网络的每个实体的开放端口的针对合法工作负载(即非恶意活动)的使用。实体端口映射组件114使用网络流数据112来生成如下频率r_ui：实体u上的端口i是开放的且被用于非异常工作负载的频率r_ui。

协作过滤组件118将频率r_ui变换为偏好和置信度对126。偏好和置信度对126在交替最小二乘近似中被用于预测实体端口矩阵116中的缺失值。实体端口矩阵116通常是具有从网络分组中的设置得出的值的稀疏矩阵。缺失值不指示开放端口被用于恶意活动还是被用于合法工作负载。相反，协作过滤组件118通过交替最小二乘法技术来预测这些缺失值。

协作过滤组件118使用奇异值分解128将实体端口矩阵116分解为两个较小的矩阵X和Y，这两个矩阵被用于生成指示每个端口上的活动是否是合法工作负载的一部分的推荐分数。具体地，协作过滤被用于检测网络业务中的模式，这些模式指示利用同一开放端口的实体之间的关联性。

端口推荐组件122使用X和Y矩阵120来对被用于合法目的的特定开放端口的可行性做出推荐。端口推荐组件124接收实时网络流数据112，该实时网络流数据针对现有实体上的新开放端口的存在而被分析。端口推荐组件120生成指示实体将新开放端口用于合法工作负载的可能性的推荐分数。推荐分数基于从X_u*Y^T 130的点积得出的计算。当推荐分数低于阈值时，新开放端口被预测为异常端口并且警报124被发出。

应当注意，图1示出了本发明的各个方面可以被实践的环境的一个方面中的系统的组件。然而，图1中所示出的组件的确切配置可能不需要实践图1中所示出的配置的各个方面和变化，并且在不脱离本发明的精神或范围的情况下可以确定组件的类型。

现在将注意力转向利用本文中所公开的系统和设备的各种示例性方法的描述。

方法

可以参考各种示例性方法进一步描述这些方面的操作。可以了解的是，除非另外指示，否则代表性方法不一定必须以所呈现的顺序或以任何特定顺序被执行。此外，相对于方法所描述的各种活动可以以串行或并行方式或串行及并行操作的任何组合来执行。在一个或多个方面，方法说明了用于本文中所公开的系统和设备的操作。

推荐系统是旨在预测用户对项目的偏好的信息过滤技术。推荐系统被用于基于用户对其他项目的偏好来生成感兴趣的项目的推荐。存在两种主要类型的推荐系统：协作过滤；和基于内容的过滤。基于内容的过滤基于项目的内容与用户简档的比较来推荐项目。

协作过滤基于大量用户对项目的聚合行为构建模型或矩阵，以向特定用户推荐相关项目。模型可以进一步被分类为基于隐式和显式反馈的方法。显式反馈方法使用关于用户的项目偏好的显式信息(通常呈评级的形式)。隐式反馈是从用户利用该项目的历史(诸如用户对项目的使用)得出的。

协作过滤技术可以被分类为基于存储器的技术和基于模型的技术。基于存储器的技术使用算术运算(诸如余弦相似度和皮尔逊(Pearson)相关系数)来找到最接近的相似用户或相似项目。基于模型的技术生成矩阵或模型以捕获用户项目偏好。矩阵通常是稀疏的，这是由于没有针对每个用户项目偏好的值。缺失值被预测而不是被设置为零。由于矩阵非常大，因此矩阵通过矩阵因子分解被分解为更小的特征空间，以便找到隐藏的特征空间，在隐藏的特征空间中，用户和项目具有紧密对准的特征向量。

矩阵因子分解被应用于原始矩阵以在数学上将原始矩阵的维度减少为两个较低维矩阵的乘积。两个较低维矩阵表示特定项目维度的所有用户和特定用户维度的所有项目。矩阵因子分解的主要障碍是估计针对用户项目对的缺失值。这是通过重复使用线性回归方法来估计参数值并最小化预测值与实际值之间的误差来完成的。

在本公开的一个方面，使用隐式反馈数据集的协作过滤技术被用于基于端口相似度实时检测缺乏抵抗力的机器。该技术生成实体端口对r_ui的模型或矩阵A，其中u是实体并且i是实体u上的开放端口。实体端口对r_ui表示实体u使用端口i来传输和/或接收传输的频率。且该端口i根据网络流数据中所捕获的传输中的TCP SYN-ACK设置标识端口i是否是开放端口而是开放的。

原始观察值r_ui被变换为具有不同解释的两个值：偏好p_ui和置信度水平c_ui。偏好p_ui指示实体u将端口i用于合法工作负载。当原始数据指示实体u频繁使用端口i时，则偏好p_ui为正，而当实体u尚未使用端口i时，则偏好p_ui为零。因此，偏好p_ui被如下计算：

p_ui＝1，r_ui>0且p_ui＝0，r_ui＝0。

置信度水平c_ui与实体u和端口i相关联以指示被用于合法工作负载的偏好的置信度水平。置信度水平可以被表达为c_ui＝1+∝r_ui，其中∝控制增长率。置信度水平基于反馈数据的幅度，由此实体使用开放端口的次数越多，生成的置信度就越大。

然后，大小为m x n的矩阵A使用奇异值分解被分解为两个较小的矩阵：X，大小为mx f；和Y，大小为f x n。X和Y具有每个实体端口对有多么相关的权重。X和Y是通过随机分配X和Y中的值并迭代地使用交替最小二乘法来优化X且固定Y而被生成的，且反之亦然，直到实现A的最佳近似为止。

然后目标是找到将分解实体偏好的针对每个实体u的向量x_u和针对每个端口i的向量y_i。实体偏好是内积向量x_u被认为是实体因子，而向量y_i被认为是端口因子。这些向量将实体和端口映射到公共潜在因子空间中，实体和端口可以在公共潜在因子空间中被比较。这些因子通过最小化以下成本函数被计算：

针对最小化成本函数(1)的x_u的表达式如下：

x_u＝(Y^TC^uY+λI)^-1Y^TC^Up(u) (2)

针对最小化成本函数(1)的y_i的表达式如下：

y_i＝(X^TC^uX+λI)^-1X^TCⁱp(i) (3)

端口因子y_i被收集在n x f矩阵Y内。实体因子x_u被收集在f x m矩阵X内。

为了计算实体之间的相似度，推荐分数被生成，该推荐分数是实体向量与端口向量的转置之间的点积X_u*Y^T，其中X_u是针对实体u的实体向量，且Y^T是端口向量的转置。该结果提供针对实体u和每个端口的推荐分数。推荐分数指示端口是否应该开放。当针对实体u和端口i的推荐分数低于阈值时，推荐分数指示该端口不应开放。阈值通过交叉验证被确定。在该情况下，警报被生成。警报可以是被传输给受影响实体的网络管理员或实体管理员的消息。

转向图2，示出了用于使用隐式数据集生成网络活动的协作过滤模型的示例性方法。在网络内通信的实体通过分析被传输给每个实体和从每个实体传输的分组而被监测。在一个方面，驻留在指定网络实体(诸如路由器、交换机或防火墙)上的网络流组件109收集关于从网络接收和通过网络传输的分组的数据。网络流组件109聚合数据并将其传输给控制器，诸如计算设备102(框202)。

网络流组件109可以利用网络数据流协议，诸如IPFIX，其指示数据将如何被格式化并被传输给控制器。IPFIX数据包括关于分组的源IPv4地址、目的IPv4地址、源输送端口、目的输送端口和TCP控制位的信息。TCP控制位包括SYN和ACK标志。SYN和ACK标志在发起与请求连接的客户端的TCP连接期间被设置。客户端向服务器发送SYN消息。服务器利用从特定端口返回到客户端的SYN-ACK消息来确认该请求，由此指示该端口是开放的。当SYN和ACK标志两者被设置在TCP控制位中时，对应源输送端口被认为是开放的，并且对应实体端口对r_ui在实体端口矩阵116中被更新。

计算设备102在指定的时间段内收集网络流数据112(框204)。在指定的时间段期间，实体端口映射组件114生成实体端口矩阵116，该实体端口矩阵针对每个实体追踪分组被传输给实体上的开放端口或从实体上的开放端口传输的次数(框204)。在一个方面，实体端口矩阵116被配置为具有针对每个实体的行和针对每个可用端口的列。实体可以通过IP地址来标识，并且针对每个源IP4地址和针对每个目的地IP4地址，在实体端口矩阵中存在条目。针对实体端口对的值r_ui表示端口i已经从实体u接收或向实体u发送分组的次数的计数(框204)。计数r_ui在存在SYN-ACK位的设置时被递增(框204)。

在阈值量的网络流数据已经被收集之后，观察r_ui被变换为偏好置信度对，偏好p_ui和置信度水平c_ui(框206)。偏好p_ui指示实体u将端口i用于合法工作负载。偏好p_ui计算如下：p_ui＝1，r_ui>0且p_ui＝0,r_ui＝0。置信度水平c_ui与实体u和端口i相关联以指示被用于合法工作负载的偏好的置信度水平。置信度水平可以被表达为c_ui＝1+∝r_ui，其中∝控制增长率。

接下来，协作过滤组件利用交替最小二乘法使用奇异值分解来生成最小化针对实体因子的成本函数和针对端口因子的成本函数的实体向量和端口向量(框206)。如上所述，成本函数(2)至(3)在预定次数的迭代内被迭代计算，从而生成实体向量和端口向量，实体向量和端口向量被存储在矩阵X和Y中(框206)。

应当注意，X和Y矩阵可以最初被生成并且以周期性间隔被更新。当这些矩阵需要被更新以反映当前网络数据流时，框202至框206被重复以反映网络的当前实体/端口状态。

转向图3，示出了图示了端口推荐组件124确定新开放端口是否异常的示例性方法。端口推荐组件124实时获得网络流数据112(框302)。端口推荐组件124从网络流数据112标识现有实体上的新开放端口(框304)。

端口推荐组件120使用X和Y矩阵来生成针对具有新开放端口的实体的推荐分数(框306)。针对实体u的推荐分数与阈值进行比较以确定新开放端口是被用于恶意活动的异常端口还是用于合法目的的开放端口(框306)。

当新开放端口被确定为异常端口时，警报124被发出(框308)。警报表示存在新开放端口可能被用于恶意活动的概率。否则，系统继续分析针对其他新开放端口的网络流数据。

操作环境

现在注意力转向对示例性操作环境的讨论。应当注意，操作环境400是示例性的，而不旨在暗示对实施例的功能性的任何限制。实施例可以被应用于利用被耦合到网络404的计算设备的操作环境400。

计算设备402可以是任何类型的电子设备，诸如但不限于移动设备、个人数字助理、移动计算设备、智能电话、蜂窝电话、手持式计算机、服务器、服务器阵列或服务器群、web服务器、网络服务器、刀片式服务器、互联网服务器、工作站、小型计算机、大型计算机、超级计算机、网络家电、web家电、分布式计算系统、多处理器系统或其组合。操作环境400可以被配置在网络环境、分布式环境、多处理器环境或能够访问远程或本地存储设备的独立计算设备中。

计算设备402可以包括一个或多个处理器406、存储器414、通信接口408、存储设备410和输入/输出设备412。处理器406可以是任何可商购处理器并且可以包括双微处理器和多处理器架构。通信接口408支持计算设备402与其他设备之间的有线或无线通信。存储设备410可以是不包含传播信号(诸如通过载波所传输的调制数据信号)的计算机可读介质。存储设备410的示例包括但不限于RAM、ROM、EEPROM、闪速存储器或其他存储器技术、CD-ROM、数字通用光盘(DVD)或其他光存储装置、盒式磁带、磁带、磁盘存储装置，所有这些都不包含传播信号，诸如通过载波所传输的调制数据信号。输入设备412可以包括键盘、鼠标、笔、语音输入设备、触摸输入设备等，以及其任何组合。输出设备412可以包括显示器、扬声器、打印机等，以及其任何组合。

存储器414可以是可以存储可执行程序、应用和数据的任何非暂时性计算机可读存储介质。计算机可读存储介质与传播信号(诸如通过载波所传输的调制数据信号)无关。该计算机可读存储介质可以是与传播信号(诸如通过载波所传输的调制数据信号)无关的任何类型的非暂时性存储器设备(例如随机存取存储器、只读存储器等)、磁存储装置、易失性存储装置、非易失性存储装置、光存储装置、DVD、CD、软盘驱动器等。存储器414还可以包括与传播信号(诸如通过载波所传输的调制数据信号)无关的一个或多个外部存储设备或远程定位的存储设备。存储器414可以包含指令、组件和数据，诸如操作系统416、实体端口映射组件418、实体端口矩阵或模型420、协作过滤组件422、端口推荐组件424以及其他应用和数据426。

计算设备402被通信地耦合到网络404以支持与其他实体的通信。网络402可以体现任何众所周知的通信技术，诸如适用于分组交换网络(例如诸如互联网的公共网络、诸如企业内联网的专用网络等等)、电路交换网络(例如公共交换电话网络)或分组交换网络和电路交换网络(具有合适的网关和转换器)的组合。

结论

公开了一种系统，该系统具有一个或多个处理器和存储指令的一个或多个存储器设备的系统。存储的指令被配置为由一个或多个处理器执行以执行如下动作：监测去往网络中的一个或多个实体的一个或多个开放端口的网络业务流；检测第一实体上的新开放端口；基于协作过滤模型来确定第一实体上的新开放端口是否可能被用于恶意活动，协作过滤模型基于隐式数据集，隐式数据集包括一个或多个实体的一个或多个开放端口的针对非恶意活动的使用模式；以及当新开放端口被确定为用于恶意活动时发布警报。

系统执行附加动作以：将来自网络业务流的数据结构化为实体端口模型，该实体端口模型反映由一个或多个实体对一个或多个开放端口的针对非恶意活动的使用；利用交替最小二乘法执行奇异值分解，以将实体端口模型分解为实体因子的第一矩阵和端口因子的第二矩阵；以及使用第一矩阵和第二矩阵生成指示新开放端口是否是异常端口的推荐分数。

使用模式是从传输控制协议(TCP)分组中的同步(SYN)和确认(ACK)设置获得的。网络流数据是从互联网协议流信息导出(IPFIX)数据得出的。实体端口模型以周期性间隔利用来自网络业务流的附加数据而被更新。警报在推荐分数低于阈值时被发出。在执行奇异值分解之前，实体端口对被变换为偏好和置信度对。

公开了一种设备，该设备具有至少一个处理器和至少一个存储器设备。至少一个处理器被配置为：获得协作过滤模型，以表示网络的多个实体的一个或多个开放端口，其中一个或多个开放端口用于非恶意活动；实时检测针对多个实体中的第一实体的新开放端口；利用协作过滤模型来确定新开放端口是异常端口的可能性；以及响应于确定新开放端口被确定为异常，实时发出警报以阻止异常端口的使用。

设备进一步被配置为使用隐式数据集来构造协作过滤模型，隐式数据集从网络中所分布的传输分组中的设置得出。由设备执行的进一步动作包括生成实体端口模型，该实体端口模型表示标识针对实体的开放端口的使用频率的值；以及利用交替最小二乘法应用奇异值分解来估计针对实体的端口的缺失值，该应用生成表示实体因子的第一矩阵和表示端口因子的第二矩阵。针对第一实体和新开放端口的推荐分数基于第一矩阵和第二矩阵。当推荐分数低于阈值时，警报被发出。

公开了一种可以在本文中所描述的系统和设备上被实践的方法，该方法在具有至少一个处理器和至少一个存储器的计算设备上操作。方法获得实体端口模型，该实体端口模型反映对网络的一个或多个实体的一个或多个开放端口的针对非恶意活动的使用，利用线性回归使用矩阵因子分解来估计对一个或多个实体的非开放端口的使用，将实体端口模型分解为实体因子和端口因子，从实体因子和端口因子生成针对选择实体的新开放端口的推荐分数，其中推荐分数指示新开放端口是否是异常端口，并且当推荐分数指示新开放端口为异常端口的概率时发出警报。

通过关联针对每个实体端口对的频率使用值，在网络的一个或多个实体的开放端口处所使用的正常网络活动被监测并被协作到实体端口模型中。传输分组上的SYN-ACK设置被分析以确定网络的实体的开放端口。实体端口模型利用来自监测正常网络活动的附加数据被周期性地更新。对实体端口模型到实体因子和端口因子的分解将偏好-置信度对与实体端口模型中的每个值相关联，偏好-置信度对包括偏好值和置信度值，偏好值基于使用频率，且置信度值基于使用频率的幅度，且对偏好-置信度对应用矩阵因子分解。

矩阵因子分解应用交替最小二乘法技术来最小化针对实体因子的成本函数和用以最小化端口因子的成本函数。矩阵因子分解应用奇异值分解。推荐分数是实时确定的。

尽管本主题已经针对结构特征和/或方法动作被语言描述，但是应理解，所附权利要求书中所定义的主题不必被限于上文所描述的特定特征或动作。相反，上文所描述的特定特征和动作作为实施权利要求书的示例形式被公开。