DHT爬虫站-芭蕉细雨

 资源多一点了，现在不到150万。种子搜索的速度不是太快，这一版和我之前用python写的不一样，之前用python写的再没做优化，内存占用还是高，不过速度快一点。 芭蕉细雨 使用sphinx做分词搜索种子信息，数据库使用postgresql，使用了redis。开始的时候使用postgresql自带的搜索进行搜索，速度已经非常好了，不过还是慢，换成专业搞搜索的就快了好多。 开始 长的要一两秒，到后来资源多了，需要十秒，我就从逻辑上进行优化，从开始就没有使用offset，我用id进行查询的分割，这种对于资源多的种子检索很好用，但是对于资源少的还是没办法。 换成sphinx，postgresql不需要单独使用一个表存储搜索字段，硬盘占用会少一点。python程序也不需要分词包，一下子占用内存少了很多。sphinx资源占用也少，并且速度就需要几十毫秒。