数据库分表:归档 当数据量庞大的时候,水平分表,适当归档
昨晚爬金东数据,开了10个线程,没有给线程sleep,然后爬的慢不说。有时候ajax请求的价格返回给我的是空的,今天打算做一个winform的工具,支持断点续爬,原理我觉得应该是在爬url的时候,没爬完一个url,给这条信息加一个字段isSuc =true的表记,这样下次爬的时候直接找这个字段为false 就行。
时间: 2024-10-21 18:49:49
数据库分表:归档 当数据量庞大的时候,水平分表,适当归档
昨晚爬金东数据,开了10个线程,没有给线程sleep,然后爬的慢不说。有时候ajax请求的价格返回给我的是空的,今天打算做一个winform的工具,支持断点续爬,原理我觉得应该是在爬url的时候,没爬完一个url,给这条信息加一个字段isSuc =true的表记,这样下次爬的时候直接找这个字段为false 就行。