一封几年前收到的 QQ 邮件，里面的附件楞是打不开，用任何方式都无用，基本判定是附件损坏，后来就不敢再用 QQ 邮箱了。

RDP 的流畅度跑赢 VNC 几条街...

@kn007 脑门后面的头发，自己怎么修理？

小做做可以，发家致富靠赌。

@ncisoft 您很细心～ 改成long类型，200MB平均耗时0.76秒，总耗时21秒。

X档案也是我入门编程的第一本杂志，当年每一期都附带一张光盘，那会还是 FLASH 的天下，每期的多媒体光盘都是用 FLASH 做的很精美，X档案应该是一代人的回忆。

@wuxqing
@billlee
@ncisoft
@batman2010
@Andiry
@yangff

最后一个问题，为什么 x64 比 x86 进行 for 循环所需的时间更长？

@wuxqing
@billlee
@ncisoft
@batman2010
@Andiry
@yangff

首先感谢各位的回复。

我的操作系统是 Win7 x64，CPU I5-4430主频3G，内存16GB，普通机械硬盘，开发环境是VS2013+C#；
经过一夜优化调试，现总结给大家，一个5G 文件，扫描统计后的结果如下：

x64编译：
每200MB扫描耗时0.85秒（不包括IO时间）
总耗时23.37秒（包括IO时间）

x86编译：
每200MB扫描耗时0.58秒（不包括IO时间）
总耗时16.66秒（包括IO时间）

优化主要将C#的数组改为指针去统计，绕过托管内存的消耗。
当中试过并行计算，使用的是.NET的并行类，但扫描时间比 for 循环稍长。

备注：每次缓存的数据大小和扫描时间成正比增长，所以不考虑是否全部载入内存。

源代码如下：

unsafe static class Analyzing
{
public static int[] Count(Stream stream)
{
byte[] buffer = new byte[204800000];
int read = 1;

// 用于保存统计数据的内存。
int* count = (int*)Marshal.AllocHGlobal(sizeof(int) * 256);

// 用0填充内存；
for (int i = 0; i < 256; i++)
{
count[i] = 0;
}

// 记录工作开始的时间。
DateTime begin = DateTime.Now;

// 循环读取数据到内存；
while (read > 0)
{
read = stream.Read(buffer, 0, buffer.Length);
if (read == 0) break;
// 记录扫描开始的时间。
DateTime start = DateTime.Now;
// 扫描内存的数据，并进行统计；
// count为int类型，256大小的内存区域；
// count的索引位置（0-255），代表字节0-255；
// count的索引内容，代表字节出现的频率。
for (int i = 0; i < read; i++)
{
count[buffer[i]]++;
}
// 输出扫描耗费的时间。
Console.WriteLine((DateTime.Now - start).TotalSeconds);
}

Marshal.FreeHGlobal((IntPtr)count);

// 输出工作耗费的时间。
Console.WriteLine((DateTime.Now - begin).TotalSeconds);
Console.ReadKey();

// 将非托管内存转换为托管数组，并返回该结果。
int[] result = new int[256];
Marshal.Copy((IntPtr)count, result, 0, result.Length);

return result;
}
}

@Andiry mmap 虽然映射过去了，可IO时间真的能缩减吗？

@ncisoft 十分感谢您的回复。

C#的MemoryMappedFile是封装mmap的类，当使用mmap方法和直接读取文件做对比，感觉性能差不了多少，基于C#测试。

public static int[] Count(Stream stream)
{
byte[] buffer = new byte[204800000];
int read = 1;
int[] count = new int[256];

DateTime begin = DateTime.Now;
while (read > 0)
{
read = stream.Read(buffer, 0, buffer.Length);
if (read == 0) break;

DateTime start = DateTime.Now;
for (int i = 0; i < read; i++)
{
count[buffer[i]]++;
}
Console.WriteLine((DateTime.Now - start).TotalSeconds);
}
Console.WriteLine((DateTime.Now - begin).TotalSeconds);
Console.ReadKey();
return count;
}

我把统计方法封装成上面这段函数，用于统计一个流内出现的字节频率，可以输入FileStream或MemoryMappedFileStream。每读取200MB的数据到缓存，扫描的平均时间（不包括IO时间）为1.40秒左右，读取一个4.78G的文件总耗费37秒左右。

不知以上方法是否还能再优化？

@batman2010 直接用 int[] 不是比任何Cache都要快吗？索引位置代表字节，数组值代表出现的次数。

@wuxqing 1s 这么快？用 for 循环能做到 1s 扫完 5G 内存？

@ncisoft 给出 C# 代码。

class VScan
{
MemoryMappedFile _mappedFile;
MemoryMappedViewAccessor _viewAccessor;
long _position;
int[] _count;

public VZipStream(string filename)
{
_mappedFile = MemoryMappedFile.CreateFromFile(filename, FileMode.Open, "VScan");
_viewAccessor = _mappedFile.CreateViewAccessor();
_count = new int[256];
}

public void Compress(Stream output)
{
byte[] buffer = new byte[20480000];
int read = 1;

while (read > 0)
{
read = _viewAccessor.ReadArray(_position, buffer, 0, buffer.Length);
if (read == 0) break;
_position += read;

for (int i = 0; i < read; i++)
{
_count[buffer[i]]++;
}

Console.WriteLine(_position);
}
}

~VScan()
{
_viewAccessor.Dispose();
_mappedFile.Dispose();
}
}

@wuxqing 这样的速度非常慢，慢在扫描的过程。

如果不带套的话，这个服务用的 Google 的 IP 默认应该使用不了吧。

对于运行的系统，从不去删除数据，只有空间不足时通过数据维护的功能对距离时间最久的数据进行删除。

已入 6+