IT码农库

搜索列表

  • 网站的反采集技术

    【网站应用】网站的反采集技术 前一段时间同几个朋友聊起内容采集的事情,因为我从未涉足这个领域,就自以为可以找到一个方法来反采集,经过一段时间的研究,似乎是有办法做到的,不是说完全阻止采集,而是让采集的成本变高,或者让采集后的内容无法使用,或者说采集后的内容要花很多人工来分析,过滤。 下面的方法,转自别人的文章,作者:...

  • URL的SEO技巧&保护网站

    【网站运营】匹配指匹配用户搜索关键字。 主域名匹配优于目录名或网页名匹配。 英文关键字之间应使用 - 或 _ 链接。 针对中文关键字,中文目录名和网页名优于英文目录名和网页名。Google、百度可识别中文目录名和网页名,但其它搜索引擎未知。中文目录名和网页名可能导致部分浏览器无法识别该URL。 相同条件下(...

  • 网站生成静态页面攻略2:数据采集

    【ASP编程】采集原理:    采集程序的主要步骤如下:    一、获取被采集的页面的内容    二、从获取代码中提取所有用的数据    一、获取被采集的页面的内容    我目前所掌握的ASP常用获取被采集的页面的内容方法:    1、...

  • 网站生成静态页面攻略3:防采集策略

    【ASP编程】目前防采集的方法有很多种,先介绍一下常见防采集策略方法和它的弊端及采集对策: 一、判断一个IP在一定时间内对本站页面的访问次数,如果明显超过了正常人浏览速度,就拒绝此IP访问     弊端:    1、此方法只适用于动态页面,如:asp\jsp\php等...静态页面无法判断某个IP一定时间访问...

  • 网站生成静态页面攻略4:防采集而不防搜索引擎策略

    【ASP编程】从前面的我讲的采集原理大家可以看出,绝大多数采集程序都是靠分析规则来进行采集的,如分析分页文件名规则、分析页面代码规则。     一、分页文件名规则防采集对策     大部分采集器都是靠分析分页文件名规则,进行批量、多页采集的。如果别人找不出你的分页文件的文件名规则...

  • 小偷&小偷入库&采集入库

    【ASP编程】XMLHTTP应用参考  一、使用步骤:  1、创建XMLHTTP对象 //需MSXML4.0支持  2、打开与服务端的连接,同时定义指令发送方式,服务网页(URL)和请求权限等。客户端通过Open命令打开与服务端的服务网页的连接。与普通HTTP指令传送一样,可以用"GET"方法或"POST"方法指向服...

  • 也谈采集入库的技术

    【ASP编程】 落伍的贴也看了很多了,发现了很多讲小偷技术的,如精华贴里的--小偷程序原理和简单示例: [url]http://www.im286.com/viewthread.php?tid=407182&extra=page%3D1[/url] 等等,也有提供采集程序下载的,但我还没看到一篇完整的入库的文章,或许是我看的贴少吧。虽然不是很深奥,我还是讲讲吧,希望高...

  • 先锋海盗类

    【ASP编程】<% '转发时请保留此声明信息,这段声明不并会影响你的速度!'**************************   【先锋海盗类】Ver2005  最终版********************************'作者:孙立宇、apollosun、ezhonghua'改进者:arllic '【消除所有的BUG,去掉了一些不易使用,容易使人误解的功能,优化了执行效率,此为最终...

  • 自己做采集程序

    【ASP编程】现在网上的采集程序很多,但是有时候你发现一个好的网站,想自己做个采集工具采集一些信息,就需要自己去写程序了,其实这样的采集程序并不难写,主要是去分析源网站的网页结构。首先去下载个XMLHTTP的类文件:<%Class xhttpprivate cset,sUrl,sErrorPrivate Sub Class_Initialize()'cset="UTF-8"cset="G...

  • 浅谈自动采集程序及入库

    【ASP编程】<%'声明取得目标信息的函数,通过XML组件进行实现。Function GetURL(url) Set Retrieval = CreateObject("Microsoft.XMLHTTP") With Retrieval .Open "GET", url, False.Send GetURL = bytes2bstr(.responsebody)'对取得信息进行验证,如果信息长度小于100则说明截取失败if len(.responseb...

  • 一段采集程序代码

    【ASP编程】<%@LANGUAGE="JScript" CODEPAGE="936"%> <script language=VBScript runat="Server"> Function bytes2BSTR(vIn)     strReturn = ""     For i = 1 To ...

  • ASP采集入库生成本地文件的几个函数

    【ASP编程】'*****************************************************************' function' 作用 :利用流保存文件' 参数 :from(远程文件地址),tofile(保存文件位置)'*****************************************************************Private Function SaveFiles(byref from,byref tofile)Dim DatasDatas=GetData(...