1、做网页采集需要学习哪些知识?
一、采集器的制作的基本知识点。
1、懂一些简单的正则表达式的知识，知道些基本知识对大家在采集软件设置规则的时候是有帮助，正则表达式的一些基础知识是很容易掌握的，而绝大多数采集用的是最基本的正则表达式的内容。
如：起码要知道"." “ ” “s” "d" "*" "+" "?" "{3,5}" "[3-6]"。 了解这些简单正则式的基本含义，这里不作详细详解，大家可以从网上查到资料。我个人觉得正则还是比较容易学习，但是不经常使用的话，忘记的比较快。经常会出现边在网上查正则，边书写采集规则的情况。
2、会使用一些程序命令将网页的内容正确抓取下来。
二、对小说站进行采集的思路。
就看一下如何采集世纪，只要知道一个书本的ID号就可以开始了。通过前面的采集代码，一层一层的从网页上抓取数据，然后根据你设置的正则表达式标签，把所需要的内容取出来，判断是文字内容，还是图片内容，然后分别写入后端数据库。
如果是批量采集就按照设置的ID号不断循环，直到全部采集完。如果你设置从1－50000号开始采集，就基本可以目标书站的书全部采集完。
就算目标站中有空号，比如说：4678这个号没有书，这样大抓取这个号的时候会出现错误，通过正则采集判断是空号就放弃采集这个ID号就成啦。
手上的蓝心采集已经实现了三种批采模式。
防采集的基本思路
目前而言，防采集还没有一个还没有一个完全彻底的解决方案。
1、增加采集的规则难度，经常变换规则，这种方法对于防止采集是比较容易使用的方法，而且效果比较好，容易。
2、可以设置IIS和apache对图片的采集进行限制。
IIS通过重写一些附加模块可以实现，但是直接在IIS里通过设置来实现方法比较困难，需要附加模块来做这个事。
Apache可以实现图片简单防采和防盗链，设置比较简单，而且很实用。
2、Requests和Xpath笔趣阁小说采集爬取教程
1
3、小说采集器怎么分段采集?
小说不要再采了，版权版权。
4、请问怎么采集小说站？？
如果采集的话，石青山采集，火车头都可以，你后台有的话，编写规则就行，如果没有，去网上随便找个带采集功能的，移植过来就行，不行自己写一个，原理很简单，加载采集页面，找到需要采集的部分，建立规则，去除HTML标签，建立库，继续采集内容。
5、php如何采集正在连载的小说，如何做到实时更新？能否自动采集？
没办法 真正的实时采集
只能 提高采集频率 去检测是否有更新
比如 每5分钟 去 那个网站上 采集 检测是否有更新 有更新 就采集下来
6、用linunx系统做的小说网站，如何用关关采集器采集小说？
可以实现的，在linux内搭建好网站，然后在linux服务器配置samba服务，配置好samba后，在windows下面映射samba共享文件夹，然后即可通过关关采集数据存放linux下的网站中。。
7、小说如何采集？添加采集规则如何填写？急急急
1.幻剑书盟小说采集节点 {dede:comments} {!-- 采集列表获取规则 --} {/dede:comments} {dede:list source='single' sourcetype='list' varstart='1' varend='10'} {dede:url =' http://read.hjsm.tom.com/book/[var: 分页]/html/contents.html'} {/dede:url} {dede:need} http://read.hjsm.tom.com/book/{/dede:need} {dede:cannot}{/dede:cannot} {/dede:list} {dede:comments} {!-- 网页内容获取规则 --} {/dede:comments} {dede:art sptype='full'} {dede:sppage}{/dede:sppage} {dede:note field='title' ='[var:内容]' isunit='' isdown=''} {dede:match}<DIV class=title align=center>[var:内容]</div><HR>{/dede:match} {/dede:note} {dede:note field='writer' ='[var:内容]' isunit='' isdown=''} {dede:match}/index.php"><font color=blue>[var:内容]的会客室{/dede:match} {/dede:note} {dede:note field='body' ='[var:内容]' isunit='1' isdown='1'} {dede:match}</div><HR>[var:内容]</TD></TR>{/dede:match} {dede:trim}<p>{/dede:trim} {/dede:note} {/dede:art} 2.翠微居小说采集节点 {dede:comments} {!-- 采集列表获取规则 --} {/dede:comments} {dede:list source='single' sourcetype='list' varstart='34271' varend='34272'} {dede:url =' http://www.cuiweiju.com/articleinfo.php?id= [var:分页]'} {/dede:url} {dede:need} http://www.cuiweiju.com/htmpage/{/dede:need} {dede:cannot}{/dede:cannot} {/dede:list} {dede:comments} {!-- 网页内容获取规则 --} {/dede:comments} {dede:art sptype='full'} {dede:sppage}{/dede:sppage} {dede:note field='title' ='[var:内容]' isunit='' isdown=''} {dede:match}<div align='center'><span class='max'>[var:内容]</span><br><br><span class='min'>{/dede:match} {/dede:note} {dede:note field='writer' ='[var:内容]' isunit='' isdown=''} {dede:match}</span><br><br><span class='min'>作者：[var:内容]</span><br><br></div><div align='left'>{/dede:match} {/dede:note} {dede:note field='body' ='[var:内容]' isunit='1' isdown='1'} {dede:match}<span class='middle' id='content' name='content'><!--this-is-text-->[var:内容]<!--this-is-text--></span>{/dede:match} {/dede:note} {/dede:art} 上面的两个都是一些小数据量的采集，大数据量太费时间了，所以把网址的范围写小了，你可以把网址的范围写大一些
8、要做个小说网站，需要采集小说的数据，怎么弄啊?不会让我一本本的添加吧
你要是采集你可就打错特错了，你采集了百度一辈子都不会收录你的，何况你是新站。还是自己弄点原创和伪原创吧，一担有些流量了，再去采集些文章页无妨。