客座博客安德鲁·沃特斯，雷尔首席执行官/董事
近年来硬件的进步使得任何有一定经验的人都有可能建立一个设备来捕获千兆级网络上的所有流量而不会丢包。我出售一款这样的设备，名为The Vision™。在今天的性能水平上，每个旋转磁盘的写入速度可以超过200mb /s，只需要RAID 0中的两个硬盘驱动器就可以保证在饱和1G连接下将全双工线速率捕获到磁盘。使用RAID 0中的三个硬盘驱动器，最高速度超过600mb /s，您可能会使用两个全双工1G连接，并同时将两个流捕获到磁盘上。
有了如此低的准入门槛，1G捕获到磁盘就不像以前那么诱人了，这就引出了一个问题：捕获到磁盘的性能是否有上限？
时分包转向
新兴技术使我相信没有上限，我在这里提出了我提出的解决方案，用于连续100G全双工线路速率捕获到磁盘。显然，这种策略没有行业标准术语，因此我建议将其称为“时分数据包控制”。
这个项目的起源是斯诺登文件，这些文件反复提到政府有能力窃听海底电缆等大规模数据速率连接。
我一直在思考如何使用现成的商业硬件来实现这一点，但直到有一天我想到了这个问题：将高数据速率流分成足够小的部分，每台机器以其硬件限制的速率捕获到磁盘。最终的设计既麻烦又有趣，因为它将使国家一级的实体能够记录他们所有的流量，并在感兴趣的事件发生前回放多达几天的流量。在美国，流量回放对于调查网络事件和恐怖袭击非常有用。在伊朗，它肯定会成为一种控制工具。我并不是说我对这些问题都有答案。
Vision Omega™
在任何情况下，我相信有几种方法可以在100G连接上捕获到磁盘而不丢失数据包，其中一些方法需要进一步的研究和开发（如果您愿意，请给我发电子邮件讨论“波分数据包控制”）。使用公开可用的当前技术的最直接和最简单的解决方案似乎如下：
- 插入体育博彩平台无源100G TAP，从每个方向复制并发送100%的网络流量。两个流都进入两个主机中的一个基于fpga的网卡（每个方向的流量一个主机）；
- 在100G网卡上每接收到第20个数据包，就以轮询的方式发送到同一台机器上的20个10G端口之一；
- 将每条10G流发送到42U存储集群中的一个集群单元；
- 使用修改版本的tcpdump捕获每个集群单元上的10G流；
- 将数据流写入由三个硬盘组成的RAID 0阵列；和
- 将生成的捕获文件与tcpslice合并，以便稍后进行分析。
或者，我可以将100G网卡在特定的50毫秒时间段内接收到的所有数据包发送到其中一个10G网卡，同样是在轮询的基础上。通过这种方式，主机将每个方向的流量分成20个较小的流，并且40个集群单元中的每个单元以最大625 MB/s的速度捕获这些流。这个速度接近RAID 0中3个顶级8tb硬盘的最大写性能。对于一个42U的集群，我将有40个活动捕获单元和两个热备用，在全双工中以理论上最大100G 25000 MB/s的速度捕获。我将使用具有高分辨率（4 ns）时间戳的标准tcpslice实用程序合并生成的二进制捕获文件。
该系统占用了一个又四分之一的机架，建造成本至少为25万美元。如果我使用两个存储集群，每个存储集群对应一个流量方向，那么流量回放将会翻倍。我可以添加更多的存储集群和主机，以便在不进行太多更改的情况下扩展到任何级别的流量。
- 使用固态硬盘是没有意义的，因为它们的使用寿命在如此苛刻的环境中会很短。
- 使用RAM磁盘作为缓冲区是没有意义的，因为它不支持连续的行速率捕获到磁盘，只支持突发。
有意义的做法是使用FPGA网卡丢弃不感兴趣的流量，只将感兴趣的流量捕获到磁盘。但这将破坏100%捕获到磁盘的目的，并且不允许完全的流量重放。
我提出的系统还支持客户选择的数据库系统中的长期索引存储。我建议使用tshark迭代二进制捕获文件，动态地将它们转换为ASCII，并保存在高性能数据库中。具有长期可搜索存储的“视觉欧米茄”似乎与斯诺登披露的XKEYSCORE系统非常相似。根据FBI PRISM ppt上的XKEYSCORE幻灯片，他们在世界各地有150个站点，至少有700台服务器，这意味着每个站点捕获了互联网的很大一部分，但不是全部。这可能会花费数百亿美元，但它可以用我提出的方法来完成。
当然，在实施这一制度的过程中存在着许多挑战。这是一个起点，而不是终点，你必须从某个地方开始。我欢迎并鼓励评论，因为如果我的财务伙伴出资建造这个设备，我将在很长一段时间内出汗，请直接通过director@raellic.com与我体育博彩平台推荐