PHP 千万级别数据插入

<?php

header("content-type:text/html;charset=utf-8");
//设置代码执行不受时间限制
set_time_limit(0);
//链接数据库
$con = mysqli_connect("127.0.0.1","root",‘‘,‘test‘);
if(mysqli_connect_error()){
die("链接错误:".mysqli_connect_error());
}
//设置编码为utf-8
mysqli_set_charset($con,"utf8");
//需要插入的数据
$str = ‘julia[email protected],11023628162
[email protected],11008346280‘;
//根据tab换行符切换为数组
$str = explode("\t", $str);
$data = array();
$i = 0;
foreach($str as $v){
//用逗号分割为数组
$data[] = explode(",",$str);
}
$value = ‘‘;
//设置插入数量
$query_num = 2;//可以设置为10万
for($i=1;$i<$query_num;$i++){
//去掉源数据空格
$a = trim($data[$i][0]);
$b = trim($data[$i][1]);
//拼接sql之value
$value .= "(‘$a‘,‘$b‘),";
}
//去掉字符串$value 最后一个逗号
$value = rtrim($value,",");
//拼接完整sql语句
$sql = "INSERT INTO `test`(`email`,`number`)values".$value;
//执行sql
$b = mysqli_query($con,$sql);
var_dump($b);

时间: 2024-10-24 12:45:07

PHP 千万级别数据插入的相关文章

Java千万级别数据生成文件思路和优化

一年前写过一个百万级别数据库数据生成配置xml文件的程序,程序目的是用来把数据库里面的数据生成xml文件.程序可以配置多少文件生成到一个文件中去. 程序刚开始设计的时候说的是最多百万级别数据,最多50W数据生成到一个xml文件里面去,所以在做测试的时候自己也只是造了100W的数据并没有做过多数据量的测试,然后问题就来了....由于程序使用的局点数据量巨大,需要生成xml文件的客户资料接近千万级别的程度,而现场对程序的配置大约是100W条数据生成一个xml文件里面去,程序在这样的大数据量下面偶尔会

Mysql千万级别数据批量插入,性能提高

-----------------------------------------------------------方式1 ---------------------------------------------------------------------------------------- 第一步:配置my.ini文件 文件中配置 bulk_insert_buffer_size=120M 或者更大 将insert语句的长度设为最大. Max_allowed_packet=1M Net

Oracle 千万级别数据查询优化

说明:平时很少接触到大数据分页,今天有兴趣在数据库插入1000万条数据进行测试,经过查询相关资料得到如下说明:笔者在工作中有一上百万条记录的表,在jsp页面中需对该表进行分页显示,便考虑用rownum来做,下面是具体方法(每页显示20条):语句:"select * from tabname where rownum<20 order by name" 但却发现oracle却不能按自己的意愿来执行,而是先随便取20条记录,然后再 order by,后经咨询oracle,说rownu

千万级别数据量mysql优化策略(一)

表结构优化 1.  使用独立表空间 独立表空间指的是innodb表的一种数据结构 独占表空间:  每一个表都将会生成以独立的文件方式来进行存储,每一个表都有一个.frm表描述文件,还有一个.ibd文件. 其中这个文件包括了单独一个表的数据内容以及索引内容,默认情况下它的存储位置也是在表的位置之中. 2.  分区表 分区表是一种粗粒度,简易的索引策略,适用于大数据的过滤场景.最适合的场景是,没有合适的索引时,对其中几个分区表进行全表扫描.或者只有一个分区表和索引是热点,而且这个分区和索引能够全部存

程序员修仙之路--优雅快速的统计千万级别uv

菜菜,咱们网站现在有多少PV和UV了? Y总,咱们没有统计pv和uv的系统,预估大约有一千万uv吧 写一个统计uv和pv的系统吧 网上有现成的,直接接入一个不行吗? 别人的不太放心,毕竟自己写的,自己拥有主动权.给你两天时间,系统性能不要太差呀 好吧~~~ 定义PV是page view的缩写,即页面浏览量,通常是衡量一个网络新闻频道或网站甚至一条网络新闻的主要指标.网页浏览数是评价网站流量最常用的指标之一,简称为PV UV是unique visitor的简写,是指通过互联网访问.浏览这个网页的自

优雅快速的统计千万级别uv

定义 PV是page view的缩写,即页面浏览量,通常是衡量一个网络新闻频道或网站甚至一条网络新闻的主要指标.网页浏览数是评价网站流量最常用的指标之一,简称为PV UV是unique visitor的简写,是指通过互联网访问.浏览这个网页的自然人. 通过以上的概念,可以清晰的看出pv是比较好设计的,网站的每一次被访问,pv都会增加,但是uv就不一定会增加了,uv本质上记录的是按照某个标准划分的自然人,这个标准其实我们可以自己去定义,比如:可以定义同一个IP的访问者为同一个UV,这也是最常见的u

orcle 如何快速插入百万千万条数据

有时候做实验测试数据用到大量数据时可以用以下方法插入: 方法一:使用xmltable create table bqh8 as select rownum as id from xmltable('1 to 10000000');select count(*) from bqh8; -----------------------一千万条数据已插入. 方法二:使用dual+connect by level create table bqh9 as select rownum as id from

千万级别的数据库优化

前言 平时在写一些小web系统时,我们总会对mysql不以为然.然而真正的系统易用应该讲数据量展望拓展到千万级别来考虑.因此,今天下午实在是无聊的慌,自己随手搭建一个千万级的数据库,然后对数据库进行一些简单的CRUD来看看大数据情况下的CRUD效率. 结果发现,曾经简单的操作,在数据量大的时候还是会造成操作效率低下的.因此先写下这篇文章,日后不断更新纪录一下自己工作学习到的Mysql优化技巧. 搭建千万级数据库 首先,需要一个测试环境.一开始想到的是写一个SImple JDBC程序然进行简单的数

聚簇索引对数据插入的影响

聚簇索引对数据插入的影响 背景 开发人员反馈系统执行某存储过程特别慢,经排查是由于存储过程执行过程中需要向新建的任务表插入大量数据,该任务表的主键是聚簇索引造成的.聚簇索引为什么会导致插入慢呢?聚簇索引会对数据插入造成多大影响呢? 原理 在非聚簇索引中,物理数据的存储顺序与索引不同,索引的最低级别包含指向数据页上的行的指针. 在聚簇索引中,物理数据的存储顺序与索引相同,索引的最低级别包含实际的数据页.聚簇索引导致数据记录必须按照键大小顺序存储,插入和删除须进行移动数据记录,导致额外的磁盘IO.