基于fastNTsync算法的海量小文件同步优化方法研究

打开文本图片集

关键词：海量小文件；数据同步；数据传输；优化方法

0 引言

随着云计算、物联网和大数据技术的发展，海量数据的传输和存储成为了一个亟待解决的问题。对于小文件的传输，由于其“个体小、总量多”[1]的特点，给数据传输带来了很大的困难，同时也带来了存储空间浪费、经济损失[2]等问题。

目前，已经有多种小文件传输优化方案（如基于云计算[3-4]、并行计算[5-6]、多线程和UDP 协议[7-8]等），但是仍然存在依赖云计算服务，依赖硬件和网络设备以及数据丢失或重复传输等问题；Windows 操作系统中基于NTFS 分区格式的小文件传输方案表现良好，但仍面临使用负担较大、效率低、跨网络海量小文件同步等问题；基于Windows 操作系统的小文件传输方案Robocopy、Fastcopy、TeraCopy、Synctoy 等，支持多线程传输、断点续传等功能，然而相比Linux 平台，存在学习使用负担较大的问题、跨网络海量小文件同步、传输效率低、高性能产品收費成本高等问题；Windows操作系统中活动目录技术支持DFS 文件服务并提供强大的数据同步功能，但其依赖许多服务和配置才能使用，在技术上缺乏灵活性。（剩余5787字）