发明内容

本发明提供一种基于互联网点对点技术的服装商品基础数据同步方法用来克服现有技术中服装行业大数据爆炸性增长带来的数据维护和同步成本攀升的缺陷。

为了解决上述技术问题，本发明提供了如下的技术方案：

本发明公开了一种基于互联网点对点技术的服装商品基础数据同步方法，包括分布式存储系统的实现与查询，使用结构化点对点覆盖网络，将信息以哈希表条目形式加以存储，所述哈希表条目被分散地存储在各个节点上，然后以特定的方式进行有效的查询；

所述分布式存储系统的实现需要两张分布式哈希表即服装信息字典和图片文件索引字典；

其中服装信息字典用于根据关键词查询图片名称以及相关文件信息，其中key值为关键词对应的SHA1散列，而响应的value为一个列表，给出对应该关键词的图片名称和文件信息；

而图片文件索引字典则用于根据给出的文件信息来查询目标节点，其中key值等于所需图片的SHA1校验值，而对应的value也是一个列表，给出当前所有拥有该文件的节点的网络信息；

基于这两张分布式哈希表，查询和同步图片就只需要客户端输入关键词，然后由服装信息字典查询到图片文件的SHA1校验值，然后再通过该值查询图片文件索引字典，从而获得目标节点信息，进而建立下载或同步链接。

进一步的，所述分布式哈希表采用Kademlia网络技术，引入节点的距离用于定向查询，首先每一个节点均拥有一个专属ID，是随机生成的160bit的整数，将任意两个节点之间的距离定义为其二者ID值的逐比特二进制和数，从而每一个节点都可以根据这一距离概念来判断其他节点距离自己的“远近”，利用距离概念，采取的存储、维护和查询方案。

进一步的，所述存储方案包括条目存储，任一条目依据其key的具体取值，该条目将被复制并存放在节点ID距离key值最近(即当前距离目标节点N最近)的k个节点当中，k的典型取值为20，为了实现较短的查询响应延迟，在条目查询的过程中，任一条目可被cache到任意节点之上；同时为了防止过度cache、保证信息足够新鲜，必须考虑条目在节点上存储的时效性：越接近目标结点N，该条目保存的时间将越长，反之，其超时时间就越短；保存在目标节点之上的条目能够被保留24小时，另外在此期间该条目被其发布源重新发布，其保存时间可进一步延长。

进一步的，所述维护方案包括节点维护，每一个节点均维护160个列表，其中的第i个列表中，记录当前节点已知的与自身距离为2^i~2^(i+1)的之多k个对端节点的网络信息(NodeID，IP地址，UDP端口)；每一个list中的对端节点信息均按访问时间排序，最早访问的在列表头部，而最新访问的则放在列表的尾部，节点信息的更新基本遵循Least-recentlySeen Eviction原则：当列表容量未满，且最新访问的对端节点信息不在当前列表中时，其信息将直接添入列表队尾；如果其信息已经在当前列表中，则其将被移动至队尾；在列表容量已满的情况下，首先检查最早访问的队首节点是否仍有响应，如果有则队首节点被移至队尾，新访问节点信息被抛弃，如果没有则抛弃队首节点，将最新访问的节点信息插入队尾。

进一步的，所述查询方案包括查询节点，已知某节点ID，查找获得当前网络中与之距离最短的k个节点所对应的网络信息的过程，即为一次节点查询过程。

（a）由查询发起者从自己的列表中筛选出若干距离目标ID最近的节点，并向这些节点同时发送异步查询请求；

（b）被查询节点收到请求之后，将从自己的列表中找出自己所知道的距离查询目标ID最近的若干个节点，并返回给发起者；

（c）发起者在收到这些返回信息之后，再次从自己所有已知的距离目标较近的节点中挑选出若干没有请求过的，并重复步骤(a)；

（d）上述步骤不断重复，直至无法获得比查询者当前已知的k个节点更接近目标的活动节点为止。

（e）在查询过程中，没有及时响应的节点将立即被排除；查询者必须保证最终获得的k个最节点都是活动的。

进一步的，所述查询方案包括新增节点，当一个新节点首次试图加入网络时，执行以下三个操作：

（a）通过服务器获知一个已经加入网络的节点信息，并将其加入自己的列表；

（b）向该节点发起一次针对自己ID的节点查询请求，从而获取一系列与自己距离邻近的其他节点的信息；

（c）刷新所有的列表，保证自己所获得的节点信息全部都是新鲜的。

本发明所达到的有益效果是：利用基于点对点技术的分布式存储方案，可以大幅度减少对中心服务器和带宽资源的依赖，从而缩减成本，减少对服务器的依赖，并保证网络通畅响应及时，从而实现服装行业基础数据的同步，其要旨在于利用分布式存储去中心化，在有限的服务器资源和网络带宽条件下，最大化实现流畅的数据同步和资源共享。