046 湍流算法 作者：未知 沒错，当宁为看着视频中霍志恒的字幕，听着他掷地有声的声音时，大脑裡突然出现了一個在解决N-S方程過程中衍生出的互联網实用技术——湍流算法。 這种感觉又很奇特。 就好像视频中视频主的那些言语不停的启发着他，然后一個完整算法结构便结合着之前他所汲取的知识，展现在他的脑中。 紧跟着便又是灵感迸发的感觉。 如果不把這灵感记录下来，宁为感觉自己会立刻疯掉。 于是他从床上跳了起来。 “咋了，宁娃娃，是不是被我的文采斐然吓尿了？” “呸，你们聊你们的，别理我，我有個想法要记录下来！”宁为随口应付了徐瑞轩一句，然后坐到了自己的电脑前，飞快的打开了电脑，然后点开浏览器。 首先他要确定的是，他脑海中突然出现的這個依托于N-S方程衍生出的湍流算法的确還沒被发明出来。 很快，宁为便确定了，的确沒有！ 因为如果這個湍流算法已经问世，大家就不会依然对那些恶意網络爬虫无计可施，只能缝缝补补的处理。 沒错，此时宁为脑海中蹦出的湍流算法就是专门针对处理恶意網络爬虫的一种智能算法。 互联網时代的網络上充斥着各种網络爬虫。 所谓網络爬虫其实就是一种按照一定规则，自动批量抓取網络信息的程序跟脚本。最广泛的应用大概就属搜索引擎，通過網络爬虫技术，這些搜索引擎会以一定的频率，通過這些網络爬虫将搜集到的信息录入到数据库中，以保证用户从引擎入口检索时，能更多更准确的从互联網庞杂的信息中找到仔细想要的东西。 這种类型的網络爬虫一般称为通用網络爬虫。 另一类则是聚焦爬虫。 這是一种针对特定網站或者特定信息不停抓取的技术。 一般来說能够遵守robots协议来使用這项技术都是沒問題的。 但事实上，網络上遍布的许多網络爬虫，干的都不是人事。 跟所有人息息相关網络爬虫案例就是黄牛抢票。 比如全球被各种網络爬虫光顾最多的就是12306。 每到节假日，尤其是五一、十一、春运這样的出行高峰，热门地区的火车票总会特别难抢，甚至是秒空。而且這個时候12306软件都很难打开，基本也都是拜這种網络爬虫所赐。 根据统计，华夏12306點擊量最高峰曾达到59亿次/小时，平均每秒就有160多万次點擊。显然不是正常用户能刷出来的数字。 官方程序也通過各种升级驗證码，来防止黄牛抢票，甚至有一段時間，那些堪称变态级别的驗證码甚至难到让一個普通人无所适从。 即便现在推出人票合一的功能了，但无数抢票软件依然利用加价购买抢票包的方式提供這种服务。 除此之外，各大航空公司也是非法網络爬虫的重灾区，尤其是经常放出特价机票的那些航司。几乎每次特价机票刚一放出就会被這种爬虫嗅探，然后直接预定但不付款。 对于航司来說，一般這种特价票预定之后会有半小时的時間给买家付款，半小时内不付款就会再次进入票池，但爬虫技术却能在這些特价票进入到票池后0.01秒之内再次抢到手，直到黄牛党找到愿意加价的买家，用买家身份信息购票并付款。 可以想象不管是12306還是各大航司，都恨透了這种爬虫。 毕竟黄牛的加价他们一分钱都赚不到，還增加了網络负载。 尤其是各大航司，本来是要让利给客户，增加客户粘性的，结果客户沒享受到低价票，還会可能因为付了高价，沒享受相对应的服务而恼火。 除了這种網络爬虫之外，還有一些更为恶意的網络爬虫，它们默默的潜伏在網络中不断爬取着各种私人的用户身份信息，各大连锁酒店、各种APP的用户系统等等，都是這些網络爬虫的目标。 可惜的是目前针对這些恶意網络爬虫并沒有太好防御性技术手段，一般都是依靠各种硬软件防火墙技术来进行隔绝。 更让无数开发者为难的是，安全跟便捷性往往无法兼得。 這就好像12306曾经出台的那些让人崩溃的驗證码，短暂制止了爬虫肆虐的同时，也让无数普通人晕头转向。 此时宁为脑海中的湍流算法，却能在兼顾便利性的同时，解决掉恶意爬虫肆虐的問題。 用可以理解的语言来表述這种算法的功能大概就是稳定态的数据流会在服务端数据接口如同像流水般缓缓正常流动。每一個连接請求都会直接影响這條处于平稳态的数据流。就好像平静流动的河面因为逆流而上的小鱼，而形成一個個湍流。 当服务端配置好湍流算法后，通過升级驗證系统，平稳态的数据流就能通過无数次的访问，来智能判定各种连接請求是正常的還是其他非法請求，并以此判定出網络爬虫在做数据爬取，還是正常客户的正常访问。 做出区分之后，算法可以自动将這些爬虫指向目标直接引向一個数据湍流，在這裡這些爬虫只能爬取到各种混乱且庞杂的无效数据然后反饋给爬虫作者。 這一過程如果精心布置還可能直接影响到接收信息的设备安全，让這些恶意爬虫无所遁形。 听起来似乎很简单，但這個湍流算法并不简单，其中包含了许多底层神经網络跟深度学习算法的內容，比如它几乎同时用到了循环神经網络、生成对抗網络、深度收缩網络，各种回归等。 更有通過N-S方程演绎而来的神经網络算法。 很快，宁为便将算法的几個部分大体记录在了电脑上。 然后调出了C语言环境。 到不是不想用python，毕竟相对于C来說python极为简单，有许多的包可以直接调用，就好像一個从来沒学過做饭的人，如果用料理包的话只用微波炉也能做出极为美味的饭菜。 但python沒法满足宁为的需求，更何况湍流算法很多部分python根本沒包。 而且大一学校开過C语言的课，宁为的成绩也還不错。 当然這個成绩不错，完全不是宁为现在表现出的這样。 比如曾经学习C语言时，让他分外头疼的指针跟链表，现在却如同无师自通了一般，用起来挥洒自如。 這個大概就是成长的烦恼吧！