07-10-05, 23:56
|
第 1 帖 | |
|
|
标题: 有关大量小文件传输的问题 现在有一个应用，一台机器大概200万张2M大小的文件，要读到一个集群中处理，或者copy到另外一个地方，发现速度特别慢。只有5－20MB／s(网络)本地读取60M／s左右。
这台机器配置： intel 5130*2 memory 4*2G 下边挂了 16*750G硬盘。（数据在这里边） 系统：redhat 4 kernel 2.6.9-44 文件系统：ext3 我试验过不同的块大小，软硬raid,本来作了一个并行的文件系统(lustre),发现对小文件只有10M每秒的读写速度。（双千兆网卡bonding，一个单独的大文件在lustre里边有 900MB／s的速度，所以可以排除是网络的问题）拆掉lustre用单台机器试验发现大文件都还好，就是这种小文件特别慢。用过ext3（没法格式化超过4T的）,xfs两种文件系统 效果一样，不知道问题在哪里，或者有其他解决方法。现在我也在试验中。哪位有这方面的资料或者经验给我点谢谢了。 |
|
|
|
|
