债务比重安全警戒线:对等网络分布式缓存机制研究

高国强
【摘要】：对等网络(Peer-to-Peer Network, P2P)是一种分布式网络,构建在物理网络之上的逻辑覆盖网络,网络上的各台计算机有相同的功能,互相共享各种资源。虽然被大量研究,但是由于网络结构的复杂性,对等网络的资源搜索效率比较差的问题依然存在。同时,随着P2P应用的迅速增长,对等网络系统已经成为互联网上最大的带宽消费者。提高P2P搜索效率,减轻互联网主干通信压力,增加用户的访问体验,已成为P2P应用中亟待解决的重要问题。缓存技术是解决这些问题的一种有效的方法。尽管基于中心服务器的集中式缓存策略已经比较成熟,但针对P2P系统的分布式缓存机制研究还处于起步阶段。 非结构化P2P网络的基本搜索机制是洪泛,这样的策略具有较低的搜索效率。为了改善搜索效率和减少系统开销,提出了一种基于非结构化P2P网络的分布式缓存机制,包括基于位置的拓扑构造、三维偏好随机游走、最大时延缓存放置策略、基于热度和请求的缓存替换策略。在拓扑构造上,聚集位置相近节点,以形成不同的子网；搜索时偏向于在子网内搜索,以获得更短的查询时延；在决策缓存放置节点时,选择离目标节点更远的节点,以提高缓存命中率；在缓存替换时,优先替换高频资源,防止出现过度缓存问题。通过模拟实验对提出的算法进行了仿真,并与其他算法进行了对比分析,结果显示提出的算法有更好的查询命中率、较小的查询时延、较高的缓存命中率和较低的通信开销。 为了提高结构化P2P网络的整体性能,提出了一种基于结构化P2P网络的分布式缓存方法。通过使用分层的分布式哈希表(Distributed Hash Table, DHT)路由结构,可以为具有不同拥有率(资源在网络中的副本数量与网络规模的比值)的各种资源建立足够数量的缓存,并小心地选择合适节点来存放这些缓存,以提高缓存效率。通过对不同算法和启发式算法的模拟实验发现,结合分层DHT路由结构,提出的缓存策略可以有效地减少查询时延、获得更好的负载平衡和较好的缓存命中率,同时也有效地缓解了过度缓存问题带来的负而冲击,可以较好地为大部分资源提供满意的缓存性能。 绝大部分P2P分布式缓存机制都是被动缓存,即只有当一个资源被请求时才会触发缓存操作,这将导致稀有资源缓存不足,因为稀有资源被请求的频率比较低。然而在很多情况下,稀有资源是非常有价值的,比如P2P文件共享和P2P流媒体应用中的稀有块。为了提高稀有资源的搜索效率,提出了主动缓存策略和稀有资源搜索算法,它需要更少的缓存副本数量,从而可以减少缓存机制带来的系统开销。模拟实验结果显示通过提出的算法,能大大地改进对稀有资源的搜索效率,搜索命中率达到98%以上；同时又能将通信开销维护在一个较低的水平,相比已有算法,可以减少近40%的通信流量。 基于P2P的流媒体和文件共享已经越来越流行,而且这些应用的规模也越来越大,对互联网影响也越来越重要。然而,由于现有的大规模P2P应用大都是商用系统,这些应用的协议、架构和算法大多都是不公开的,使得分析这些系统、发现问题和解决瓶颈变得非常困难。大量研究使用黑盒方式来测量和评估这些系统的特性,比如下载性能、用户分布、会话长度等。为了涵盖更多的测量尺度,研究了对等网络测量机制,提出了通用的对等网络测量模型,并针对不同热度的资源使用提出的模型进行了验证实验。测量尺度包括数据传输率、缓存机制、节点位置分布、会话长度等,通过这些测量结果可以为分布式缓存研究提供支持,也可以为其他研究者提供帮助。
【关键词】：对等网络拓扑结构概率转发分布式缓存主动缓存稀有资源搜索
【学位授予单位】：华中科技大学
【学位级别】：博士
【学位授予年份】：2011
【分类号】：TP393.02
【目录】： 摘要4-6
Abstract6-10
1 绪论10-27
1.1 研究背景10-11
1.2 对等网络概念、理论和技术11-16
1.3 国内外相关研究现状及分析16-23
1.4 论文的主要研究内容23-25
1.5 论文的结构25-27
2 非结构化对等网络的分布式缓存机制27-44
2.1 引言27-28
2.2 分布式缓存底层框架28-32
2.3 P2P分布式缓存机制32-35
2.4 仿真实验及结果分析35-42
2.5 小结42-44
3 结构化对等网络的分布式缓存方法44-65
3.1 引言44-45
3.2 分布式缓存底层路由机制45-48
3.3 分布式缓存放置算法48-50
3.4 分布式缓存替换算法50-55
3.5 仿真实验及结果分析55-64
3.6 小结64-65
4 对等网络主动缓存策略65-84
4.1 引言65-66
4.2 主动缓存策略66-71
4.3 稀有资源搜索方法71-74
4.4 仿真实验及结果分析74-82
4.5 小结82-84
5 对等网络测量研究84-105
5.1 引言84-85
5.2 对等网络测量模型85-89
5.3 测量实验设置89-92
5.4 测量结果分析92-104
5.5 小结104-105
6 总结与展望105-108
6.1 论文总结105-106
6.2 进一步研究展望106-108
致谢108-109
参考文献109-120
附录1 攻读学位期间发表的论文120-122