阅读说明：本技术 反网络欺凌系统及方法 (Anti-network spoofing system and method ) 是由 A·米龙 V·泽沃尤 A·M·阿弗洛阿雷 E·M·珀特鲁 L·博特扎图 B·布戈尤 L· 于 2020-01-20 设计创作，主要内容包括：一些实施例使用文本及/或图像处理方法确定电子信息传递平台的用户是否受到例如网络欺凌、性诱骗、及身份盗用等的网上威胁。在一些实施例中,电子消息的文本内容经自动采集并聚合成对话。接着,分析对话数据以提取各种威胁指示符。可组合文本分析的结果与作为所述相应对话的部分传输的图像的分析的结果。当检测到威胁时,一些实施例自动发送通知到第三方(例如父母、老师等)。(Some embodiments use text and/or image processing methods to determine whether a user of an electronic messaging platform is subject to an online threat, such as network spoofing, sexual spoofing, and identity theft. In some embodiments, the text content of the electronic message is automatically collected and aggregated into a conversation. The dialogue data is then analyzed to extract various threat indicators. The results of the text analysis may be combined with the results of the analysis of the images transmitted as part of the respective conversation. Some embodiments automatically send a notification to a third party (e.g., parent, teacher, etc.) when a threat is detected.)

反网络欺凌系统及方法

相关申请案

本申请案主张2019年1月21日申请的标题为“家长控制系统及方法(ParentalControl Systems and Methods)”的第62/794,856号美国临时专利申请案的申请日期的权益，所述申请案的全部内容都以引用方式并入本文中。

背景技术

本发明涉及计算机安全，且特定来说，涉及用于使易受攻击的因特网用户(例如儿童)免受例如网络欺凌、网上虐待、诱骗、性剥削、及机密信息盗用等的网上威胁的系统及方法。

欺凌通常定义为意图在身体上、精神上、或情感上伤害另一个体的重复的、攻击性的行为活动。欺凌行为本身可能以各种方式表现出来，例如在口头上、在身体上等。当欺凌经由现代通信手段(例如社交媒体上的电子消息传递及公布)发生时，其通常称为网络欺凌。成功的欺凌通常需要权力及/或同伴压力的不平衡，弱势的一方是虐待的接受方。众所周知，欺凌会造成严重的困扰，在一些情况中甚至会导致自杀。一些社会类别(儿童、年轻人、少数种族成员或性少数者群体成员)可能比其他类别更容易受到此类威胁。

随着因特网的爆炸性增长，在儿童及青少年身体及情感发展的一个阶段他们正花费大量时间在网上浏览及交流，在这个阶段他们特别容易受到例如欺凌、性剥削、及身份盗用等的威胁的影响。所述问题被社交媒体及即时消息传递的网上文化不使其本身容易地接受传统权威人物(父母、老师等)的监督的事实放大，这是因为年轻用户通常比其监护人更精通技术，或者是因为通信平台本身不允许窥探。

近年来，安全软件已成功用于使计算机用户免受例如恶意软件(malicioussoftware/malware)及入侵(黑客攻击)的计算机威胁。当前，人们对开发能够使用户免受其它新出现的威胁(例如网络欺凌、诱骗、性剥削及网上骚扰)在理想情况下同时保护其电子消息传递的隐私性的软件非常感兴趣。

发明内容

根据一个方面，一种家长控制方法包括采用计算机系统的至少一个硬件处理器来分析对话以确定攻击性分数及友好性分数。所述对话包括在第一用户与第二用户之间交换的电子消息序列。所述攻击性分数指示所述对话的攻击性水平，而所述友好性分数指示所述对话的友好性水平。所述攻击性分数及所述友好性分数中的至少一者是根据所述对话的多个消息确定。所述方法进一步包括采用所述至少一个硬件处理器根据所述攻击性及友好性分数确定所述第一用户是否受所述第二用户欺凌。所述方法进一步包括采用所述至少一个硬件处理器作为响应，当所述第一用户受到欺凌时，将家长通知发射到根据所述第一用户从多个装置识别的家长报告装置，所述家长通知指示所述第一用户受到欺凌。

根据另一方面，一种计算机系统包括至少一个硬件处理器，其经配置以执行对话分析器及家长通知调度器。所述会对话分析器经配置以分析对话以确定攻击性分数及友好性分数。所述对话包括在第一用户与第二用户之间交换的电子消息序列。所述攻击性分数指示所述对话的攻击性水平，而所述友好性分数指示所述对话的友好性水平。所述攻击性分数及所述友好性分数中的至少一者是根据所述对话的多个消息确定。所述对话分析器进一步经配置以根据所述攻击性及友好性分数确定所述第一用户是否受所述第二用户欺凌。所述家长通知调度器经配置以响应于所述对话分析器确定所述第一用户受到欺凌，将家长通知发射到根据所述第一用户从多个装置识别的家长报告装置，所述通知消息指示所述第一用户受到欺凌。

根据另一方面，一种非暂时性计算机可读媒体存储指令，所述指令在由计算机系统的至少一个硬件处理器执行时致使所述计算机系统形成对话分析器及家长通知调度器。所述会对话分析器经配置以分析对话以确定攻击性分数及友好性分数。所述对话包括在第一用户与第二用户之间交换的电子消息序列。所述攻击性分数指示所述对话的攻击性水平，而所述友好性分数指示所述对话的友好性水平。所述攻击性分数及所述友好性分数中的至少一者是根据所述对话的多个消息确定。所述对话分析器进一步经配置以根据所述攻击性及友好性分数确定所述第一用户是否受所述第二用户欺凌。所述家长通知调度器经配置以响应于所述对话分析器确定所述第一用户受到欺凌，将家长通知发射到根据所述第一用户从多个装置识别的家长报告装置，所述通知消息指示所述第一用户受到欺凌。

附图说明

在阅读了以下详细描述且在参考了图式之后，将更好地理解本发明的前述方面及优点，其中：

图1说明根据本发明的一些实施例的其中使参与电子消息传递的被监测装置免受网上威胁的示范性家长控制系统。

图2-A展示根据本发明的一些实施例的被监测装置、安全服务器、与报告装置之间的示范性数据交换。

图2-B展示根据本发明的一些实施例的被监测装置、安全服务器、与报告装置之间的替代性数据交换。

图3展示根据本发明的一些实施例的在被监测装置上执行的示范性软件组件。

图4说明根据本发明的一些实施例的在被监测装置上执行的示范性家长控制应用程序的操作。

图5说明根据本发明的一些实施例的示范性对话指示符。

图6展示根据本发明的一些实施例的由家长控制应用程序实施的示范性步骤序列。

图7展示根据本发明的一些实施例的由消息聚合器执行的用于构建一组对话的示范性步骤序列。

图8展示根据本发明的一些实施例的在安全服务器上执行的示范性软件组件。

图9展示图8中说明的软件组件的示范性操作。

图10展示根据本发明的一些实施例的由安全服务器执行的示范性步骤序列。

图11说明根据本发明的一些实施例的一组示范性文本处理器。

图12展示根据本发明的一些实施例的一组示范性图像处理器。

图13说明根据本发明的一些实施例的图像处理器经训练以在图像中进行检测的示范性主体部件。

图14展示根据本发明的一些实施例的经配置以实施家长控制操作的计算装置的示范性硬件配置。

具体实施方式

在以下描述中，应理解，结构之间的所有叙述的连接可为直接有效连接或通过中间结构的间接有效连接。一组元件包含一或多个元件。应理解，元件的任何叙述是指至少一个元件。多个元件包含至少两个元件。除非另外指定，否则“或”的任何使用是指非排他或。除非另外需要，否则所描述的任何方法步骤都无需必定以所说明的特定顺序执行。从第二元素导出的第一元素(例如数据)涵盖等于第二元素的第一元素，还涵盖通过处理第二元素产生的第一元素及任选地其它数据。根据参数作出确定或决定涵盖根据参数且任选地根据其它数据作出确定或决定。除非另外指定，否则一些数量/数据的指示符可为数量/数据本身、或不同于数量/数据本身的指示符。未成年人是指未满法定责任年龄的人。计算机程序是实施任务的处理器指令序列。本发明的一些实施例中描述的计算机程序可为其它计算机程序的独立软件实体或子实体(例如子例程、库)。计算机可读媒体涵盖非暂时性媒体(例如磁性、光学、及半导体存储媒体(例如硬盘驱动器、光盘、快闪存储器、DRAM))，还涵盖通信链路(例如导电电缆及光纤链路)。根据一些实施例，本发明尤其提供包括经编程以执行本文中描述的方法的硬件(例如一或多个处理器)、以及编码用于执行本文中描述的方法的指令的计算机可读媒体的计算机系统。

以下描述通过实例且不一定通过限制来说明本发明的实施例。

图1展示使被监测装置的用户免受例如网络欺凌、性剥削、及机密信息盗用等的网上威胁的示范性家长控制系统。在根据本发明的一些实施例的典型场景中，受保护的用户(例如未成年人)采用在被监测装置10(例如智能电话)上执行的消息传递软件与其它消息传递伙伴装置12a到b的用户交换电子消息。在一些实施例中，在被监测装置10及/或远程安全服务器18上执行的安全软件可用于窥探此类对话，通常是在不了解相应用户的情况下。接着，分析对话的内容。当安全软件根据对话内容确定用户受到网上威胁时，一些实施例经由报告装置14(例如智能电话或个人计算机)将通知发射到另一方(例如父母、老师、管理员等)。

被监测装置10可包括具有处理器及存储器，且能够连接到通信网络以与消息传递伙伴装置12a到b交换电子消息的任何电子装置。示范性被监测装置10包含个人计算机、膝上型计算机、平板计算机、智能电话、游戏机、虚拟助理装置、家用电器(例如智能TV、媒体播放器、冰箱)、及穿戴式计算机装置(例如智能手表)。

电子消息包括在两个电子装置之间传输的通信，所述通信包含相应装置的两个人类用户之间的文本消息的至少一编码。电子消息传递通常使用即时消息传递平台(例如等)经由电子邮件(electronic mail/email)、及/或经由电话消息传递服务(例如短消息服务(SMS))实施。消息传递平台包括经配置以使用户能将电子消息发送到其它用户及从其它用户接收电子消息的软件。消息的格式可根据相应平台/服务而不同，但一般来说，电子消息包括文本部分的编码及/或媒体文件(例如图像、影片、声音等)的编码。文本部分可包括以自然语言(例如英语、汉语等)编写的文本、及其它字母数字及/或特殊字符(例如表情符号)等。在典型的配置中，在被监测装置10与伙伴装置12a到b之间的电子消息是经由服务器16(客户端-服务器协议)路由的意义上，消息由消息传递服务器16协调、集中、及调度。在替代实施例中，电子消息传递在被监测装置与其相应消息传递伙伴装置之间使用去中心化对等连接网络。被监测装置10、消息传递伙伴装置12a到b及消息传递服务器16通过通信网络15(例如因特网)互连。网络15的部分可包含局域网(LAN)、及电信网络(例如移动电话)。

威胁检测操作可以各种方式在被监测装置10与安全服务器18之间划分，如在下文详细展示。服务器18一般表示可或可不彼此物理接近的一组经互连计算机。图2-A到B展示根据本发明的一些实施例的被监测装置10与安全服务器18之间的示范性数据交换。在各种实施例中，被监测装置10可将对话数据(由图2-A中的对话指示符20表示)及/或威胁指示信息(由图2-B中的风险评估指示符22表示)发射到安全服务器18。接着，对话分析/威胁检测的至少一部分可由在安全服务器18上执行的组件实施。当分析指示对被监测装置10的用户的潜在威胁时，安全服务器18的一些实施例发送家长通知24到与相应被监测装置相关联的报告装置14(例如移动电话、个人计算机等)，从而向报告装置14的用户通知相应威胁。术语‘家长’在本文中仅是为了简单起见而使用且不意味着在相应通知的接收者必须是父母、或受保护的用户必须是儿童的意义上具有限制性。尽管一些实施例的典型应用是在家长控制中，但技术人员应理解，其可经调适以监测及/或保护其它类别的用户/装置。在儿童监测应用程序中，通知24可被发送到负责监管相应儿童的老师、监护人、或任何其他人。在针对使员工免受欺凌及/或性骚扰的其它示范性应用程序中，通知24可被递送到例如管理者、监管者、或人力资源工作人员。通知24的示范性格式及内容在下文进一步展示。

图3展示根据本发明的一些实施例的在被监测装置10上执行的示范性软件组件。操作系统46a可包括任何广泛可用的操作系统，例如Microsoft 或等。OS 46a提供被监测装置10的其它计算机程序(由应用程序48及50表示)与硬件装置之间的接口。

消息传递应用程序48一般表示经配置以使装置10的用户能与其它用户交换电子消息的任何软件。示范性消息传递应用程序48包含 及客户端应用程序等。另一示范性消息传递应用程序48包括电子邮件客户端。又另一示范性消息传递应用程序48包括在移动电话上实施短消息服务(SMS)的软件。应用程序48可在被监测装置10的输出装置(例如屏幕)上显示每一电子消息的内容，且可根据发送者、接收人、时间、主题、或其它准则进一步组织消息。应用程序48可进一步从装置10的用户(例如从键盘、触摸屏、或听写接口)接收文本输入、根据接收到的文本输入制定电子消息、及将电子消息发射到消息传递服务器16及/或直接发射到消息传递伙伴装置12a到b。消息格式及编码可根据消息传递平台而不同。发射消息可包括例如将相应消息的编码添加到被监测装置10的通信接口的出站队列。

在一些实施例中，家长控制应用程序50包括经配置以存取、采集、及/或分析被监测装置10与伙伴装置12a到b之间的消息交换的内容的软件。家长控制应用程序50可为包括反恶意软件及入侵检测工具等的较大计算机安全软件套件的部分。图4展示根据本发明的一些实施例的家长控制应用程序50的示范性组件。

数据抓取器52经配置以提取由消息传递应用程序48产生及/或接收的消息内容。提取消息内容可包括识别个别电子消息及确定消息特定的特征，例如发送者及/或接收者、传输时间(例如时间戳)、相应消息的文本、及可能地其它内容数据(例如附加到相应消息的图像)。内容提取可根据所属领域中已知的任何方法继续。在一些实施例中，数据抓取器52秘密地修改消息传递应用程序48的组件(例如通过截获)以安装软件代理，软件代理在应用程序48执行某特定操作(例如接收通信或接收用户输入)时通知数据抓取器且使数据抓取器52能提取消息信息。一些实施例使用OS 46a的内置特征(例如易访问性应用程序编程接口(API))提取消息内容。易访问性API包括通常经配置以抓取当前显示在被监测装置10的输出装置(例如屏幕)上的信息以用于使残疾人可存取此类信息的软件。此类易访问性API的一个示范性应用包括将屏幕上的文本转译成音频(声音文本)以使有视觉障碍的人能使用计算机。数据抓取器52的一些实施例经配置以在装置10正显示由消息传递应用程序48产生的内容时调用特定易访问性API函数来解析数据结构(例如用户接口树)，且因此提取例如消息对话者的名字/别名及个别消息的内容的信息。数据抓取器52的又另一实施例可直接从传入消息传递应用程序48中及/或经由被监测装置10的网络适配器传递的经拦截网络业务提取消息内容。此类通信拦截器可实施通信协议(例如HTTP、WebSocket、及MQTT等)以解析通信及提取结构化消息数据。当即时消息被加密时，一些实施例采用例如中间人(MITM)的技术来解密业务来进行消息内容提取。

本发明的一些实施例依赖于以下观察：例如欺凌及性诱骗的威胁通常涉及复杂的社会动态且因此相对于个别消息来说可以从扩展对话更准确地推测出来。因此，在一些实施例中，消息聚合器54可将个别消息聚合成由在同一对对话者之间(在一对一交换的情况中)或在同一群内(例如在群聊的情况中)交换的多个消息组成的对话。消息聚合器54可与数据抓取器52合作以识别每一拦截消息的发送者及/或接收者、将消息流组织成个别对话、及输出对话指示符20。消息聚合器54的操作在下文进一步详述。

图5中说明的示范性对话指示符20包括识别被监测装置10及/或相应装置的个别用户的user_ID、及唯一地识别一对对话者的pair_ID。在一些实施例中，对话指示符20进一步包含多个消息指示符Message_1…Message_n，每一者对应于在相应对话者之间交换的个别消息。个别消息指示符又可包含发送者及/或接收者的标识符、每一消息的文本内容(表示为图5中的MessageText_i)、及指示发送及/或接收相应消息的时刻的时间戳。在替代实施例中，对话指示符20包括相应对话中的所有消息的文本内容的串联，个别消息根据其相应时间戳按传输顺序布置。

对话指示符20可进一步包含一组媒体指示符(表示为图5中的MediaFile_j)，例如附加到属于相应对话的消息的图像/视频/音频文件的副本、或相应媒体文件定位在其处的网络地址/URL。其它示范性媒体指示符可包含媒体格式(编码协议)的指示符等。技术人员应理解，编码对话指示符20的实际数据格式可在实施例之间不同；示范性格式包含可扩展标记语言(XML)的版本、及Javascript对象表示法(JSON)等。

图6展示根据本发明的一些实施例的由家长控制应用程序50执行的示范性步骤序列。图7进一步说明用于用个别消息构建对话(图6中的步骤204)的示范性算法。

家长控制应用程序50可将每一对话表示为单独数据结构(例如具有多个数据字段的对象)。对话可根据各种准则进行定义，所述准则例如长度(例如消息的总计数、总字计数)及/或时间(例如以预定时间间隔交换的消息)。在一些实施例中，只要对话的消息计数不超过预定值，所述对话就被视为是活动的；替代地，只要自对话的第一消息以来经过的时间不超过预定时间阈值及/或自对话的最后消息以来经过的时间不超过另一预定时间阈值，所述对话就可被视为是活动的。不再活动的对话在本文中被认为已过期。在图7中说明的一个实例中，家长控制应用程序50监测多个现场对话，每一对话通过唯一对话ID识别。步骤212确定自每一现场对话的最后一条消息以来经过的时间量。当所述时间量超过预定阈值(例如一个小时)时，消息聚合器54可认为相应对话关闭/过期且将其从现场对话集移除。另一步骤230可制定相应对话的对话指示符20且发射相应数据以进行进一步分析。类似流程图可描述在消息计数超过预定阈值(例如500)时将对话视为关闭的替代消息聚合器的操作。

同时，数据抓取器52可监听新消息(步骤216)。当消息被检测到时，步骤220可识别相应消息的对话者，例如通过解析消息数据、或通过分析消息传递应用程序48的用户接口(有关使用易访问性API的信息，请参见上文)。当当前存在与相应对话者的至少一现场对话时，在步骤226中，聚合器54可将表征当前消息的数据添加到由当前拦截器识别的对话对象(例如对ID)。当当前在当前消息的对话者之间不存在现场对话时，步骤224可初始化通过当前对话者/对ID识别的新对话对象且将消息数据添加到最新初始化的对象。接着，应用程序50可返回到监听新消息及/或确定任何现场对话是否已过期。

图8到9分别说明根据本发明的一些实施例的在安全服务器18上执行的示范性软件组件、及此类组件的示范性操作。图10进一步将所述组件的操作详述为示范性步骤序列。

在一些实施例中，对话数据以对话指示符20的形式从消息聚合器54接收。每一指示符20可表示单个对话，单个对话又可包括在特定时段内在相同对话者之间交换的多个消息。在一些实施例中，对话指示符20在队列中积累，等待进一步处理。此处理可包括选择对话及将其从队列移除(图10中的步骤302到204到306)。接着，所选择的指示符20被馈送到对话分析器51，其分析相应对话的内容以确定多个评估指示符(例如数值或布尔分数、类别标记等)并将其输出到决策单元53。在另一步骤312中，决策单元53可聚合从对话分析器51接收的分析结果且应用一组决策准则来确定被监测装置10的用户是否遭受例如欺凌、性骚扰、诱骗等的网上威胁。在一些实施例中，决策单元53将统一风险评估指示符22传达到通知调度器59。在步骤314中，通知调度器可根据接收到的评估指示符确定通知条件是否被满足。当通知条件被满足时，调度器59可制定家长通知24且将其发射到报告装置14。上述步骤中的一些将在下文进一步详述。

在一些实施例中，对话分析器51包括经配置以分析对话的文本内容的一组文本处理器56、及/或经配置以分析对话的图像及/或视频内容的一组图像处理器58。每一处理器56到58可根据相应对话的相异方面及/或根据相异算法分析每一对话。例如，每一处理器56到58可确定用户是否遭受不同类型的威胁(欺凌、性骚扰、诱骗等)。在另一实例中，可存在检测相同类型的威胁的多个处理器，但每一处理器可使用不同准则或算法，或可考虑被分析对话的不同方面。例如，一些文本处理器可搜索被分析对话的某些关键字，而其它文本处理器可采用神经网络来产生表征相应消息或对话等的分数或标记。其它示范性对话方面包含攻击性、友好性、及性内容等。

在一些实施例中，对对话的文本内容进行归一化以准备馈送到至少一些文本处理器56(图10中的步骤308)。此归一化可包含拼写检查、扩展缩略词、检测及解译表情符号、URL、人名及/或位置名。归一化可包括查阅使用频繁用于即时消息传递中的俚语项及各种表达/首字母缩略词来扩增的相应自然语言(例如英语)的词典。

一些示范性文本及图像处理器56到58分别在图11到12中说明。每一文本处理器56可输出文本评估指示符26。类似地，图像处理器58可输出一组图像评估指示符28。一个示范性文本评估指示符26包含根据相应对话的文本内容指示至少一个对话者是网上威胁(例如欺凌)的对象的数值分数。示范性图像评估指示符28可指示当前对话是否包括属于特定类别的至少一个图像(例如裸照或部分裸照、信用卡的照片等)。

本发明的一些实施例依赖于以下观察：由于在童年及青春期尤其充满感情的社会互动的复杂性，单个算法/分析协议不太可能成功地检测例如欺凌等的威胁。例如，儿童及青少年通常使用贬低人的昵称、侮辱及贬义性的语言互相称呼，即使他们没有恶意。此“言不由衷”简单地被看作一件做起来很酷或很有趣的事情。因此，目的仅在于检测侮辱及/或冲突指示语言的文本分析算法可能将好朋友之间的自大交流错误地归类为口角或欺凌的例子。为了避免此类假阳性，一些实施例采用多种自然语言处理算法来分析每一对话的各个方面并提取各种评估指示符。接着，一些实施例通过聚合由多个个别评估指示符提供的信息增加威胁检测的可靠性。图像评估指示符可与文本评估指示符组合。例如，裸照可为对色情短信等的怀疑提供额外线索等。

图11中说明的示范性文本处理器56尤其包含攻击性评估器、友好性评估器、性内容评估器、情绪评估器、及文本机密性评估器。每一文本处理器56可输出一组分数、标记等。可确定对话的每一个别消息的此类分数/标记，或可确定整个相应对话的此类分数/标记。

示范性攻击性评估器计算对话的每一消息的分数，所述分数指示通过相应消息的语言指示的攻击性水平。攻击性分数可被表达为二进制数字(1/0、是/否)，或被表达为可取预定界限之间的任何值的非二进制数字。攻击性评估器可采用例如检测某些指示攻击的关键字的存在的方法、或所属领域中已知的任何其它方法。优选实施例使用词典中的每一单词的向量表示训练递归神经网络(RNN)。示范性向量表示可使用某一版本的word-2-vec及/或Glove算法系列获得。接着，可将对话的每一消息表示为向量序列。攻击性评估器的架构可尤其包含堆叠在门控递归单元(GRU)层的顶部上的长短期存储器(LSTM)。训练可执行特定规则，例如，仅以第二人称表述的侮辱才可被标记为阳性/攻击性。在一个此实例中，短语“你太蠢了”的攻击性分数可能高于“他太蠢了”。此神经网络的输出可包括针对每一个别消息确定的分数/标记、或针对整个对话确定的分数/标记。

示范性性内容评估器的架构可类似于针对攻击性评估器所描述的架构。然而，性内容评估器可经专门训练以输出指示每一对话及/或消息是否含有性语言的分数。有时，性语言及攻击性语言共存于一对话中，使得此是其中针对对话的每一方面都具有独立评估器可产生相应对话的更微妙且可能更准确的分类的实例。一些实施例可进一步经训练以识别可能不明示性内容但尽管如此仍可指示诱骗或性侵的其它文本模式。例如，一些实施例可检测消息是否要求见面、个人地址等。性内容评估器的一些实施例可经训练以区分性内容(例如诱骗、色情短信等)的多个场景及/或类别。在一个此实例中，性内容评估器可输出分数向量，每一分数对应于相异类别/场景且指示被分析的对话落于相应类别/场景内的可能性。

示范性友好性评估器目的在于检测对对话者中的一个人或另一个人表现出喜爱及友好的态度的短语。由于朋友之间经常会使用冒犯性语言互相取笑，所以友好性指示符/分数可能有助于将真实的虐待与可能看起来具有攻击性但实际上是开玩笑的且良性的行为区分开。示范性友好性评估器可采用基于规则的系统来识别对对话伙伴的直接肯定性措辞(例如，“我喜欢你”)及/或间接措辞，其中当前消息用于对前一消息作出积极响应(例如，“你喜欢我吗？”、“天啊，你太蠢了。我当然喜欢你了。你是最好的。”)。此是其中文本内容分析跨同一对话的多个消息具有相关性(与单独地分析每一消息相反)的另一实例。

示范性情绪评估器可采用所属领域中已知的任何方法来确定相应对话的心情/情绪的数值或类别指示符。当对话被认为是愉快/放松时，示范性指示符可具有正值，且当对话指示紧张、沮丧、愤怒等时，示范性指示符可具有负值。相应评估指示符的值可指示相应情绪的强度。示范性情绪评估器使用效价意识词典及情绪推理机(VADER)方法，其中消息的每一标志(例如每一单词或短语)根据其语义指向标记为正或负，且聚合分数/标记通过组合个别标志标记来计算。聚合分数可在个别消息的粒度上、或针对整个对话计算。在一些实施例中，其中仅一方感觉不好/心烦的攻击性对话是欺凌正在进行中的强烈指示。此情形可因此接收相应对话的相对高的聚合欺凌指示分数。

示范性文本机密性评估器可确定对话是否传达了相应用户(例如儿童、员工)不应与其他人分享的敏感信息。此类信息的一些实例是信用卡号码、社会保障号码、及家庭地址等。一个示范性文本机密性评估器可使用字符模式匹配(例如正则表达式)来识别例如信用卡号码及地址的数据。其它实施例可训练神经网络以检测看起来像信用卡信息、社会保障号码等等的文本模式。文本机密性评估器可输出分数向量，每一分数指示当前对话的文本是否含有相异类别的机密数据。可确定整个对话的此类文本机密性分数。

在一些实施例中，图像处理器58(参见图5及10)使用各种方法/算法来检测作为对话的部分交换的图像及/或视频数据的各种特征。一个示范性图像处理器58包括裸体评估器，其经配置以传回指示图像含有裸体的可能性的分数。在替代性实施例中，裸体评估器可传回多个分数，每一分数指示图像展示特定身体部分(例如脸、乳房、乳头、腿)的可能性、及/或相应图像是否有可能属于特定类型的影像(性行为、日光浴等)。在一些实施例中，裸体评估器进一步经配置以传回每一可见身体部分是裸露还是被遮盖的指示符。

图13展示根据本发明的一些实施例的示范性裸体评估器经训练以在作为对话的部分传输的图像文件发现的几个说明性身体部分60a到c。每一身体部分60a到c包括人类身体的一部分，例如头、脸、头发、胸部、乳沟、乳房、乳头、乳房下、腹部、肚脐、下腰部、胯部、生殖器、肛门、臀部、骶骨、腰背部、中背部、肩胛骨、颈部、后背、上臂、下臂、手、大腿(thigh/upper leg)、小腿、膝、及脚等。一些此类身体部分可重叠。一些实施例进一步经训练以确定在图像中检测到的身体部分是属于男性还是女性。

在优选实施例中，裸体评估器可包括一组经互连人工神经网络，例如卷积神经网络的堆叠进一步馈送到完全连接层。相应裸体评估器可接收被分析的图像作为输入且可经配置以输出一组分数及/或标记。神经网络可在带注释的图像的语料库上进行训练。训练神经网络可包括迭代地调整相应神经网络的一组功能参数(例如连接权重)以便减少网络的实际输出与所期望输出(例如由注释提供的所期望输出)之间的失配。

另一示范性图像处理器58包括图像机密性评估器，其经配置以传回指示相应图像含有机密信息的可能性的分数。机密图像数据的实例包含银行卡的图像、官方识别文件(例如驾驶证、社会保障卡或护照)的图像、汽车牌照的图像、用户的家/学校的图像等。银行卡包含信用卡及借记卡等。

在一些实施例中，图像机密性评估器包括一组经互连人工神经网络(例如卷积神经网络)，其经训练以输入图像及输出指示图像落于特定类别内的可能性的一组分数及/或标记(例如图像展示特定类型的物理对象，例如银行卡)。相应神经网络可在含有各种上下文中的各种种类的文件的图像的带注释的语料库上进行训练，例如由各个银行发行且具有各种设计的银行卡、由各个国家发行的护照及/或驾驶证等。

一些实施例根据相应物理对象的特性特征检测图像中物理对象的存在。例如，为了检测银行卡的存在，示范性图像机密性评估器可经训练以检测磁条的图像、位于磁条附近的手写签名的图像、嵌入式微芯片的图像、排成一行且划分成四组的16个数字(即卡号)的图像、或标志的图像等。在社会保障卡的情况中，图像机密性评估器可经训练以确定被分析的图像是否包括社会保障署的标志及/或排成一行且被分成三组的一组11个数字(即社会保障号码)。驾驶证及护照也可根据特性特征进行识别，所述特性特征例如人头像的照片、及相应文件中各种数据的特定放置。

在一些实施例中，图像机密性评估器(例如神经网络)可经训练一输出多个分数，每一分数指示被分析的图像展示银行卡、社会保障卡等的相异特征的可能性。例如，一个分数可指示图像展示嵌入式卡微芯片的可能性，另一分数可指示图像展示标志等的可能性。接着，此类个别分数可由决策单元53聚合，例如使用加权平均值或决策算法。

图像机密性评估器的一些实施例可进一步经训练以从被分析的图像提取结构化数据。例如，除了确定图像展示信用卡之外，一些实施例还可确定卡的类型(例如)、发行银行等。类似地，除了检测驾驶证的图像之外，一些实施例还可自动确定驾驶员的姓名等。

在一些实施例中，决策单元53(图9)输入分别从文本及/或图像处理器56到58接收的个别评估指示符26到28且输出根据个别风险评估指示符确定的经聚合风险评估指示符22。确定整个对话的示范性经聚合风险评估指示符22且其包括一组分数，其中每一分数指示相异类型的威胁或场景(例如打斗、欺凌、沮丧、性接触、诱骗、机密数据丢失等)的可能性。聚合指示符22/分数可使用所属领域中已知的任何方法计算。一个实例包括计算个别评估指示符/分数的加权平均值。在另一实例中，聚合分数是根据决策算法确定：如果x为是且分数y低于0.4，那么经聚合分数是0.8。

欺凌的聚合分数可根据以下观察来确定。欺凌语言通常以分散的突发形式出现，而不是在整个对话中均匀分布。在辱骂性对话内通常存在多个此类突发。在一些实施例中，为了有资格成为欺凌者，攻击性语言应在个别突发内持续存在(即，单个冒犯性消息不指示欺凌)。通常情况下，儿童在使用冒犯性语言时并不是想造成伤害。通常，在这种交互中(即非欺凌)，存在友好性语言的证据，且对话的总体语气是积极的或中性的。最后，在许多情况中，攻击性语言与性语言重叠。

使用上述观察，一些实施例使用固定长度的窗及固定的步长扫描每一对话(即，一次预定数目个连续消息)。针对每一此对话片段及每一对话者，决策单元53可创建向量，其中每一元素表示针对相应对话的相异个别消息确定的组合分数。个别文本评估指示符可如下组合：

S_i＝A_i-F_i-X_i， [1]

其中S_i标示消息特定的组合分数，A_i及F_i标示相应消息的攻击性及友好性分数，且X_i标示相应消息的性内容(例如色情短信)分数。以下情况中的一些可能发生，例如：如果消息仅是攻击性的，那么相应组合分数S_i是1；如果消息被检测为既是攻击性的又是有关性的，那么组合分数S_i是0(性语言抵消了攻击性语言)；如果消息被检测为既是攻击性的又是友好性的，那么组合分数S_i也是0(友好性语言抵消了攻击性语言)。

另一步骤可例如使用以下公式计算当前对话片段的攻击性浓度分数：

其中N标示相应对话片段内消息的总数目，S_i是相应片段的每一消息的组合分数，且d_i标示当前消息与最近的攻击性消息之间的距离(例如消息计数)(例如，组合分数S_i＝1)。相较于其它对话片段，公式[2]对于具有紧密间隔开的攻击消息的对话片段产生相对较高的值。在后续步骤中，C的值可与预定阈值(例如0.5)进行比较。超过阈值的值指示相应对话片段的攻击用户。可针对对话的每一对话者及每一片段单独地执行计算。接着，一些实施例可确定对话者之间的关系类型，例如：正常-没有一个对话者是过度攻击性的；欺凌-一个对话者显著比另一对话者更具攻击性；打斗-两个对话者基本上且同样都具攻击性。针对欺凌裁定，一些实施例可进一步确定欺凌者是否是被监测装置10的用户，以使通知调度器59能在家长通知24中包含此类信息。

在一些实施例中，对话特定的风险评估指示符/分数22与特定于每一类型的威胁的一组预定阈值进行比较。超过相应阈值的分数可指示相应威胁/场景的存在。当分数超过相应阈值时，通知调度器59的一些实施例可制定且发送家长通知24到报告装置14。

若干示范性对话片段及其相关联得分在下文展示。

实例1：欺凌

用户	消息	攻击性	友好性	色情短信
					A	嘿，同性恋	1	0	0
B	别再那样叫我	0	0	0

此实例特征在于攻击性严重不平衡：用户A正在虐待用户B，而B未以相同的方式回应。根据公式[2]确定的攻击性浓度指示符对于用户A产生2.0且对于用户B产生0.0。一些实施例比较两个用户之间的攻击性差值与阈值(例如0.5)，且由于差值超过了阈值，所以确定用户A显著比B更具攻击性。因此A正在欺凌B。

实例2：非欺凌

在此实例中，攻击语言与友好性语言共存。然而，友好性分数超过了攻击性分数，且公式[2]对于两个对话者产生非零值。因此，对话未被分类为欺凌。

实例3：色情短信

用户	消息	攻击性	友好性	色情短信
					A	你个性感的混账东西	1	0	1
B	你可以过来吗？	0	1	0

在此实例中，攻击语言与色情短信共存，且因此攻击性分数被抵消掉。对话不算是欺凌，即使对话的一方具攻击性。

可例如根据订阅类型或服务水平协议针对每个被监测装置、用户、及/或用户类别定制及/或调整阈值及/或其它得分参数(例如给予特定分数的权重)，从而提供一定程度的可定制的警惕性。一些实施例依赖于以下观察：在国家、文化、甚至个人之间，被视为‘可接受的行为’的行为可能差别很大。例如，在一些国家及文化中，女性被要求在公共场合遮住她们的头发，所以未遮住头部的女性的图像可被看作是无法接受的暴露，而在其它文化中这是完全正常的。对于其它身体部分(例如脚踝或上臂)来说同样也是如此，即使在西方社会中，保守派家庭对儿童及青少年的行为也比自由派家庭更为严格。例如，对于某些人来说，一条短裙可能被认为是正常的，而对于另一些人来说过于暴露。因此，在本发明的一些实施例中，阈值及/或分数聚合策略可根据个别选择、文化准则及/或根据装置10及/或14的地理位置进行调整。在一个此实例中，当在被监测装置10及/或报告装置14上安装及/或配置软件时，可向用户展示配置接口且可邀请用户定制用于接收家长通知的一组准则。例如，可邀请用户选择整体警惕性级别(例如，在从0到10的浮动尺度上)、及/或选择应从一组更广泛示范性场景触发通知的场景的子集。在一些实施例中，软件可根据相应用户的国家及/或文化自动选择一组参数值(例如通知场景、警惕性级别等)。此自动选择可包含例如自动检测报告装置14及/或检测装置10的地理位置及查找位置特定的设置的数据库。接着，此类设置可自动转译成特定阈值及/或其它分数聚合参数。

在确定经聚合评估指示符22时，决策单元53可组合针对同一对话确定的文本评估指示符与图像评估指示符。在一个此实例中，性内容评估器的输出(文本)可与裸体评估器的输出(图像)组合以产生聚合性内容分数。当对话的文本包含性内容时，相应内容可仅表示在口角时使用的粗俗语言。由性内容评估器给予相应对话的分数可因此不够高而无法触发将对话分类为性威胁类别。然而，当相应对话还包含暴露的图像时，由裸体评估器给出的分数可与由文本处理器传回的分数组合，以产生超过相应阈值的聚合分数。分数可经组合例如为加权平均值，其中每一个别权重可反映相应分数与特定威胁/情形的相关性。在性内容的实例中，由图像处理器产生的分数可接收比由文本处理器产生的分数更高的权重。

在准备发送家长通知24时，调度器59可识别相应通知的适当接收者，即报告装置14。在一些实施例中，家长控制服务根据订阅及/或服务水平协议(SLA)提供。为了提供此类服务，一些实施例维持订阅或账户条目数据库，其中每一条目可被附加到报告装置14，使得关于相应订阅/账户产生的通知被递送到相应报告装置。报告装置14可例如根据网络地址、或根据由在装置14上执行且经配置以与服务器18合作以递送通知的软件代理产生的唯一标识符来识别。相应订阅/账户条目可进一步将一组被监测装置10指示为用于收集及分析对话数据的目标。单个订阅/账户可服务多个被监测装置10。订阅/账户条目可进一步将装置10的被监测用户指示例如为由被监测用户(未成年人)在消息传递应用程序48内部使用的用户名、别名及/或替身。被监测装置10、用户、与报告装置14之间的关联性使调度器59能根据被监测装置10的身份及/或根据装置10的用户的身份选择性地识别报告装置14。

递送通知24可根据所属领域中已知的任何方法继续，例如通过将通知24推送到在报告装置14上执行的软件代理/应用程序，包含通知24电子邮件或SMS消息等。

家长通知24可包括以自然语言(例如英语)制定的通知消息。通知消息可包含检测到的事件/场景/威胁的指示符，例如儿童受到欺凌、儿童发送了机密信息等。为了保护被监测用户的隐私，一些实施例不会向家长/监护人/管理员透露实际消息内容。一些实施例进一步包含关于如何处理相应检测到的场景或威胁的育儿忠告/建议、及/或与相应检测到的事件/威胁有关的一组心理学资源(超链接、文献参考等)。通知可经制定以尽可能地不惊动家长/监护人，且不透露相应对话中涉及的各方的身份。当检测到欺凌时，通知消息可指示被监测装置10的用户是虐待的作恶者还是接受者。通知消息的一些实例在下文给出。

网络欺凌&反掠夺者

响应于使用文本分析检测到的场景/威胁的通知的实例：

孩子在一对一地吵架：“珍妮(Jenny)在名为[conversation_name]的聊天中卷入了口头纠纷。当谈到网上行为时，提醒孩子攻击性从来都不是‘只是开个玩笑’。即使看起来每个人都在这样做，但这也是不好的。

孩子受到一对一欺凌：“珍妮在名为[conversation_name]的聊天中受到了网络欺凌。倾听你的孩子。了解清楚到底发生了什么、她的感受及原因。以下是有关如何开始对话的一些提示：[链接]”

孩子正在群聊且是唯一一个具攻击性的：“珍妮在名为[conversation_name]的群聊中卷入了口头纠纷。她的行为看起来对对话者具攻击性。当谈到网上行为时，提醒孩子攻击性从来都不是‘只是开个玩笑’。即使看起来每个人都在这样做，但这也是不好的。”

孩子在集体吵架但不具攻击性：“珍妮在名为[conversation_name]的群聊中卷入了口头纠纷。她的行为看起来对对话者不具攻击性。当谈到网上行为时，提醒孩子攻击性从来都不是‘只是开个玩笑’。即使看起来每个人都在这样做，但这也是不好的。”

儿童安全、性侵及诱骗

响应于使用文本分析检测到的场景/威胁的通知的实例：

孩子接收到个人地址：“珍妮在名为[conversation_name]的对话中接收到了个人地址。保持冷静且与孩子面对面地谈论隐私的重要性。以下是有关如何开始对话的一些提示：[链接]

要求孩子面对面见面：“珍妮在名为[conversation_name]的聊天中接收到了一个请求。优选地亲自冷静地与孩子谈论见面请求。”

孩子接受面对面见面：“珍妮在名为[conversation_name]的对话中接受了在下午7点见面。这并不一定意味着出了什么问题。你要知道，也许这很好。”

孩子被索要照片：“珍妮在名为[conversation_name]的聊天中接收到了要照片的请求。提醒孩子，共享一切会使他们容易受到伤害。不管是在线上还是在线下，有些东西都应该保密。”

孩子在社交媒体中有了新的联系人：“珍妮在名为[conversation_name]的聊天中开始与新联系人网上聊天。保持良好平衡。新联系人不一定意味着麻烦，也不应审问孩子。不过，你可能想查看新联系人的简介，并注意孩子行为的任何变化。”

响应于使用图像或组合文本及图像分析检测到的场景/威胁的通知的实例：

孩子接收到了太过暴露的图片。“珍妮在名为[conversation_name]的聊天中接收到了含有裸体的照片。如果孩子已经收到了性爱图像或视频，劝他/她立即删除，且不能与任何人共享。过些时候再讨论这件事。”

孩子发送了太过暴露的图片：“珍妮在名为[conversation_name]的聊天中发送了含有裸体的图片。保持冷静且通过问‘如果你与这个人起了争执，你还想他们保留你的这张照片吗？’来开始与孩子对话。

孩子将暴露的图片存储在她的装置上：“在珍妮的手持式装置上检测到了不正当的媒体内容。如果孩子已经发送了性爱图像或视频，劝他/她立即删除，且不能与任何人共享。过些时候再讨论这件事。”

机密性、身份盗用、及家庭安全

响应于使用文本分析检测到的事件/威胁的通知的实例：

孩子被索要她的个人地址：“有人在名为[conversation_name]的聊天中向珍妮所要个人地址。提醒孩子，地址应在你的同意下才能与某些人共享。”

孩子发送了她的个人地址：“珍妮在名为[conversation_name]的对话中发送了个人地址。保持冷静且与孩子面对面地谈论隐私的重要性。”

孩子被索要信用卡号码：“珍妮在名为[conversation_name]的聊天中被索要信用卡号码。冷静但坚定地劝孩子不要公开此类信息。面对面地进一步详细地谈论后果。”

孩子被索要社会保障号码：“珍妮在名为[conversation_name]的聊天中被索要社会保障号码。冷静但坚定地劝孩子不要公开此类信息。面对面地进一步详细地谈论后果。”

孩子在对话中发送了信用卡号码：“珍妮在名为[conversation_name]的对话中发送了信用卡号码。保持冷静且与孩子面对面地谈论泄漏财务信息的风险。”

孩子在对话中发送了社会保障号码：“珍妮在名为[conversation_name]的对话中发送了社会保障号码。保持冷静且与孩子面对面地谈论泄漏私人信息的风险。”

响应于使用图像或组合图像及文本分析检测到的事件/威胁的通知的实例：

孩子发送了信用卡的照片：“珍妮在名为[conversation_name]的对话中发送了信用卡的图片。它看起来像是大通银行(Chase)发行的万事达卡(Mastercard)。此信用卡的细节现在是在网上且由另一人拥有。你应按照银行的程序保管相应卡。之后，与孩子进行冷静而坚定的对话。”

孩子发送了社会保障卡的照片：“珍妮在名为[conversation_name]的对话中发送了社会保障卡的图片。社会保障号码现在由另一人拥有。各种机密数据被附加到社会保障号码。可以按照以下步骤检查所获得的信息是否被用于恶意目的，例如身份盗用[链接]。与孩子进行冷静而坚定的对话。”

孩子发送了身份证明文件的照片：“珍妮在名为[conversation_name]的对话中发送了身份证明文件的图片。文件看起来像是美国护照。关于身份盗用及/或在网上泄漏个人信息的风险，与孩子进行冷静而坚定的对话。”

孩子将照片存储在了她的装置上，照片展示了信用卡。“在珍妮的手持式装置上检测到了信用卡的图片。保持冷静且与孩子面对面地谈论泄漏财务信息的风险。”

孩子将照片存储在了她的装置上，照片展示了身份证。“在珍妮的手持式装置上检测到了身份证的图片。保持冷静且与孩子面对面地谈论泄漏个人信息的风险。”

尽管上述描述涉及图3及8中所描述的配置，但技术人员应理解，替代实施例可使用软件组件的另一分布。例如，在一些实施例中，对话分析器51及决策单元53可在被监测装置10上执行，而非在图8中所说明的服务器18上执行。在此类配置中，装置10与服务器18之间的典型数据交换在图2-B中说明。此类配置可具有以下优点：所有消息内容都保持在被监测装置10上，从而确保相应用户的隐私。缺点是对话分析器51及/或决策单元53的操作的计算成本通常都很昂贵，且可能会给相对适中的装置(例如移动电话或平板计算机)带来无法接受的负担。在被监测装置10处实施文本及/或图像处理的另一潜在缺点是必须将软件升级分配到所有此类装置。相比之下，当对话分析是在安全服务器18处实施时，单个机器可处理从多个(可能数以千计)被监测装置接收的对话数据。

在又另一替代性实施例中，消息聚合器54可在安全服务器18上执行，而非在图4中所说明的被监测装置10上执行。在此类配置中，聚合器54可从多个装置接收消息指示符。此类配置可允许聚合跨多个装置的对话，例如当用户在智能电话上起始消息传递交换，但稍后从个人计算机继续所述消息传递交换时。

图14展示经编程以执行本文中描述的一些方法的计算装置70的示范性硬件配置。装置70可表示图1中的被监测装置10、安全服务器18、及报告装置14中的任一者。所说明的配置是个人计算机的配置；其它计算装置(例如移动电话、平板计算机、及穿戴式计算装置)可具有略微不同硬件。处理器72包括经配置以使用一组信号及/或数据执行计算机/或逻辑运算的物理装置(例如微处理器、形成于半导体衬底上的多核集成电路)。此类信号或数据可呈处理器指令(例如机器代码)的形式经编码且递送到处理器72。处理器72可包含中央处理单元(CPU)及/或图形处理单元(GPU)阵列。

存储器单元74可包括在实施操作的过程中存储由处理器72存取或产生的数据/信号/指令编码的易失性计算机可读媒体(例如动态随机存取存储器-DRAM)。输入装置76可包含计算机键盘、鼠标、及麦克风等，包含允许用户将数据及/或指令引入到计算装置70的相应硬件接口及/或适配器。输出装置78可包含显示器装置，例如监视器及扬声器等，还包含使计算装置70能将数据传送到用户的硬件接口/适配器，例如图形卡。在一些实施例中，输入及输出装置76到78共享共同硬件零件(例如触摸屏)。存储装置82包含实现软件指令及/或数据的非易失性存储、读取、及写入的计算机可读媒体。示范性存储装置包含磁盘及光盘及快闪存储器装置，还包含可装卸媒体，例如CD及/或DVD盘及驱动器。网络适配器84使计算装置70能连接到电子通信网络(例如图1中的网络15)及/或其它装置/计算机系统。

控制器集线器80一般表示多个系统、外围设备、及/或芯片集总线、及/或实现在处理器22与装置70的硬件组件的剩余者之间的通信的所有其它电路系统。例如，控制器集线器80可包括存储器控制器、输入/输出(I/O)控制器、及中断控制器。取决于硬件制造商，一些此类控制器可经并入到单个集成电路中，及/或可与处理器72集成。在另一实例中，控制器集线器80可包括将处理器72连接到存储器74的北桥、及/或将处理器72连接到装置76、78、82及84的南桥。

所属领域的一般技术人员还应明白，上文所描述的本发明的方面可经实施于各种形式的软件、固件、及硬件、或其组合中。举例来说，本发明的特定部分可被描述为执行一或多个功能的专门硬件逻辑。此专门逻辑可包含专用集成电路(ASIC)或现场可编程门阵列(FPGA)。用于实施与本发明的原理一致的方面的实际软件代码或专门控制硬件不限制本发明。因此，本发明的方面的操作及行为是在不参考特定软件代码的情况下进行描述-应理解，所属领域的一般技术人员能够基于本文中的描述设计软件及控制硬件来实施所述方面。

本文中描述的示范性系统及方法允许使易受攻击的因特网用户(例如未成年人)免受例如网络欺凌、网上虐待、诱骗、性骚扰或剥削、及机密信息盗用等的网上威胁的系统及方法。此类系统及方法通常落于家长控制类别中。然而，本文中描述的一些系统及方法可扩展到经典家长控制应用程序，例如以检测网上虐待，例如使用网上消息传递服务对成年人进行的种族主义、性别歧视或憎恶同性恋的攻击。

在一些实施例中，由被监测用户交换的电子消息是从相应用户用来通信的电子装置(例如智能电话、平板计算机)自动且秘密地采集的。接着，消息被选择性地聚合成由在相同对话者之间交换的消息组成的对话。接着，对话数据根据各种准则进行分析。当分析推断被监测用户受到网上威胁时，一些实施例发射通知消息到相应用户的监管者(例如父母、老师、管理者等)。

一些实施例依赖于以下观察：危险场景(例如欺凌)中涉及的社会动态相对很复杂。因此，在确定用户是否受到此网上威胁时，一些实施例聚合来自对话的多个消息及/或多个方面的信息。例如，一些实施例组合分析对话的文本的结果与分析作为相应对话的部分传输的图像的结果。文本部分的分析又可以是多层面的：一些实施例组合对话的攻击性、友好性、及性内容的评估。

其它示范性实施例组合图像分析与文本分析以确定被监测用户是否参与公开机密信息(例如信用卡数据及社会保障号码等)的有风险的行为。在一个此实例中，从电子消息采集的图像经分析以确定其是否包括银行卡、社会保障卡、驾驶证等的照片。此图像的发现可触发家长通知。

所属领域的技术人员应明白，上述实施例可以许多方式进行更改，而不会背离本发明的范围。因此，本发明的范围应由所附权利要求书及其合法等效物确定。