php最快捷的插入数据,3000万仅需5秒

<?phpheader(‘content-type:text/html;charset=utf-8‘);//采集数据$url="http://www.keepclub.com/club/environ/";if(file_exists(‘aa.txt‘)){    $data=file_get_contents(‘aa.txt‘);}else{    $data=file_get_contents($url);    file_put_contents(‘aa.text‘, $data);}$arr=‘#<div class="hd_list">(.*)</div>#isU‘;preg_match_all($arr, $data, $src);$arr2=‘#<li.*><img src="(.*)" /></li>#isU‘;preg_match_all($arr2, $src[1][0], $src2);//连接数据库$dsn = "mysql:host=localhost;dbname=数据库名称";$db = new PDO($dsn, ‘数据库账号‘, ‘数据库密码‘);$db->query("set names utf8");$path=dirname($_SERVER[‘SCRIPT_NAME‘]);//根目录$arry=array();foreach ($src2[1] as $k => $img) {    $paths=pathinfo($img);   $newimg=‘img/‘."club".$k.‘.‘.$paths[‘extension‘];    file_put_contents($newimg,file_get_contents($img));    $Paths=$path.‘/‘.$newimg;    array_push($arry,"(null,null,‘$Paths‘)");}$count = $db->exec("insert into 表名 values".implode(‘,‘,$arry));if($count){    echo "成功";}else{    echo "失败";}?>
时间: 2024-10-11 06:12:55

php最快捷的插入数据,3000万仅需5秒的相关文章

百亿级数据10万字段属性的秒级检索解决方案以及实现

课程下载地址: https://pan.baidu.com/s/1zr5riwZtdRgnVQRetQnG7A 提取码: 5xg8 平台型创业型公司,会有多个品类,像生活信息服务类网站的有:58同城,赶集网等等,他们的类别非常多,每个垂直领域都会分为很多类别,每 个类别下又分很多子类别,每个类别或者子类别的属性都不一样,像这么庞大的数据,字段属性可以达到10万级别,同时数据量可以达到百亿级别 ,很多异构数据的存储需求.基于这么庞大的数据,我们需要达到秒级查询. 那么我们该怎么设计呢?本课程讲手把

SqlBulkCopy类进行大数据(10000万条以上)插入测试

好多天没写博客了,刚刚毕业一个多月,在IT的路上真是迷茫啊! 关于上一篇博客中提到的,在进行批量数据插入数据库的时候可以通过给存储过程传递一个类型为Table的参数进行相关操作,在这个过程中本人没有进行效率的测试.后来查找发现可以通过SqlBulkCopy类进行大数据插入操作,本文就来介绍一个这个类的作用并做了相关的效率测试(与Insert语句进行对比). SqlBulkCopy只能向SqlServer表写入数据,该表既可以是同一个服务器上的也可以是远程服务器上的.当然要写入的数据即数据源不单单

通过数组方式向Oracle大批量插入数据(10万条11秒)

1.创建数据库Person CREATE TABLE Person( id number, name nvarchar2(200) , age number , sex nvarchar2(200) , password nvarchar2(200) ) 2.在数据库建立一个type,对应JAVA端要传入的对象结构: CREATE OR REPLACE TYPE BUT_UKBNOV_CTC_ORDER_REC1 AS OBJECT ( id number, name nvarchar2(200

我写了个小程序拿了腾讯3000万QQ用户数据,出了一份很有趣的数据报告

两周前,做的一个项目需要模拟一批用户评价数据,如果想让数据看着真实点,那就得使用随机的用户昵称和头像啊.要是头像或者昵称全都差不多,那别人一看就看出来这是做的数据了. 于是乎我就写了个从我QQ空间开始的蜘蛛网式的爬虫程序,程序断断续续的运行了两周.总共爬到了腾讯3000万QQ数据,其中有300万包含用户(QQ号,昵称,空间名称,会员级别,头像,最新一条说说内容,最新说说的发表时间,空间简介,性别,生日,所在省份,城市,婚姻状况)的详细数据. 目前已经爬到我的第7圈好友(depth=7)3000万

没有躲过的坑--map的初始化(插入数据)

最近工作中需要使用map,进行查询. 首先简单介绍一点map,也许是教科书里讲授最少的STL知识吧.但是在实际工作中map挺重要的,用于查找很方便快捷,尤其是以键和值的形式存在的! 1.头文件 #include<map> 2.map的功能 自动建立Key - value的对应.key 和 value可以是任意你需要的类型. 根据key值快速查找记录,查找的复杂度基本是Log(N),如果有1000个记录,最多查找10次,1,000,000个记录,最多查找20次. 快速插入Key - Value

SQL Server 批量插入数据的两种方法

在SQL Server 中插入一条数据使用Insert语句,但是如果想要批量插入一堆数据的话,循环使用Insert不仅效率低,而且会导致SQL一系统性能问题.下面介绍SQL Server支持的两种批量数据插入方法:Bulk和表值参数(Table-Valued Parameters). 运行下面的脚本,建立测试数据库和表值参数. [c-sharp] view plaincopy --Create DataBase create database BulkTestDB; go use BulkTes

4.windows和Linux下创建oracleusername表空间,表,插入数据,用户管理表等操作

进入超级管理员,运行下面命令 Window下创建数据库.表空间,用户,插入数据等操作 -- 01 创建表空间 -- 注意表空间的路径 依据实际安装环境进行调整 CREATE TABLESPACE ts_myscott LOGGING DATAFILE 'F:/app/to-to/oradata/orcl/ts_myscott.dbf' SIZE 10M EXTENT MANAGEMENT LOCAL; CREATE TABLESPACE ts_myscott2 LOGGING DATAFILE

一次性事务和CTE插入数据的比较

有时要构造一些数据来做测试数据,像下面这样: IF OBJECT_ID(N'T14') IS NOT NULL BEGIN DROP TABLE T14 END GO CREATE TABLE T14 (t14_id INT) GO DECLARE @i INT = 1 WHILE @i <= 1000 BEGIN INSERT INTO T14 (t14_id) SELECT @i SET @i = @i + 1 END GO code-1 这里存在一个问题,每运行一次insert相当于com

Android批量插入数据到SQLite数据库

Android中在sqlite插入数据的时候默认一条语句就是一个事务,因此如果存在上万条数据插入的话,那就需要执行上万次插入操作,操作速度可想而知.因此在Android中插入数据时,使用批量插入的方式可以大大提高插入速度. 有时需要把一些数据内置到应用中,常用的有以下2种方式:其一直接拷贝制作好的SQLite数据库文件,其二是使用系统提供的数据库,然后把数据批量插入.我更倾向于使用第二种方式:使用系统创建的数据库,然后批量插入数据.批量插入数据也有很多方法,那么那种方法更快呢,下面通过一个dem