SharePoint 2013 列表关于大数据的测试<二>

  1、给测试列表添加查阅项字段,100个,代码如下:

  2、插入测试数据的方法,注意查阅项字段的格式,代码如下:

  3、插入10w条数据,时间花费如下(不建议List[LISTNAME].Items.Add,会比较慢):

  4、查看列表设置,数据有10w条,阙值设置500w,如下图:

  5、进入AllItems页面,发现查阅项字段数大于限制(8个),如下图:

  6、修改查阅项限制数目(修改为500),如下图:

  7、数据量10w,查阅项字段100个时的测试数据,如下表格:

  表一:分页30,LookUp字段50;


视图项目数


LookUp字段数


翻页时间


30


50


17s

   
15s

   
15s

   
15s

   
14s

     

  表二:分页100,LookUp字段50;


视图项目数


LookUp字段数


翻页时间


100


50


42s

   
44s

   
43s

   
42s

   
43s

     

  表三:分页30,LookUp字段15;


视图项目数


LookUp字段数


翻页时间


30


15


5.09s

   
5.69s

   
5.10s

   
5.52s

   
5.32s

     

  表四:分页100,LookUp字段15;


视图项目数


LookUp字段数


翻页时间


100


15


13s

   
14s

   
14s

   
14s

   
14s

     

  表五:分页30,LookUp字段8(默认阙值为8);


视图项目数


LookUp字段数


翻页时间


30


8


3.13s

   
2.82s

   
3.08s

   
3.78s

   
2.94s

     

  表六:分页100,LookUp字段8(默认阙值为8);


视图项目数


LookUp字段数


翻页时间


100


8


5.35s

   
5.54s

   
7.46s

   
7.80s

   
8.10s

     

  表七:分页300,LookUp字段8(默认阙值为8);


视图项目数


LookUp字段数


翻页时间


300


8


16.48s

   
17.13s

   
17.30s

   
17.52s

   
17.59s

     

  8、插入10w数据,单行文本字段100个,插入时间如下图:

  9、数据量10w,单行文本字段100个时的测试数据,如下表格:

  表八:分页500,Text字段100;


视图项目数


Text字段数


翻页时间


500


100


7.22s

   
6.28s

   
7.10s

   
6.81s

   
5.76s

     

  表九:分页1K,Text字段100;

  分页为1k的时候,页面已经很卡,加载很慢了。


视图项目数


Text字段数


翻页时间


1000


100


14.20s

   
14.51s

   
21.37s

   
25.99s

   
23.61s

     

  表十:分页1K,Text字段1;


视图项目数


Text字段数


翻页时间


1000


1


2.81s

   
2.96s

   
2.92s

   
2.72s

   
2.89s

     

  10、插入测试数据100w,单行文本字段数100,插入时间如下图:

  11、数据量100w,单行文本字段数100,测试数据如下表格:

  表十一:分页1K,Text字段1;


视图项目数


Text字段数


翻页时间


1000


1


2.78s

   
3.04s

   
2.90s

   
2.95s

   
2.91s

     

  表十二:分页500,Text字段100;


视图项目数


Text字段数


翻页时间


500


100


7.15s

   
7.35s

   
6.91s

   
7.24s

   
7.25s

     

  表十三:分页100,Text字段100;


视图项目数


Text字段数


翻页时间


100


100


1.96s

   
1.76s

   
1.68s

   
1.54s

   
1.61s

     

结 论

  通过以上测试数据,个人认为LookUp字段是查询时间花费最长的,而单行文本应该属于查询时间花费较少的一类,所以查询效率和列表内项目数关系不大(未超过列表阙值,100w级别内),和单次查询数量、视图中字段数、视图中字段类型关系很大。

总 结

  通过以上测试,个人认为SharePoint列表处理百万级别的数据,应该说压力不大,因为数据插入速度较慢,稍后会测试更大数量级别,和断开权限时列表效率等问题,有关数据可参考后续博客。

时间: 2024-08-05 07:23:59

SharePoint 2013 列表关于大数据的测试<二>的相关文章

SharePoint 2013 列表关于大数据的测试

本文主要介绍SharePoint列表库的效率问题,一直以来以为阙值5k,超过会线性下降,需要分文件夹存放:或许这是之前版本的描述,但是2013版本通过测试,真心不是这么一回事儿. 下面,简单介绍下自己的测试过程: 1.创建一个测试列表,Data Test如下图: 2.创建控制台程序,添加插入数据代码,如下: 3.添加的代码: using (SPWeb web = site.OpenWeb()) { SPList list = web.Lists["Data Test"]; String

SharePoint 2013 Designer系列之数据视图筛选

在SharePoint中,我们经常需要对列表进行简单的筛选,这时,数据视图就有作用了,我们可以定制对于字段的筛选,来进行展示:特别的,筛选不同于搜索,并没有对于附件或者文档的全文检索,如果需要全文检索,可以使用列表的垂直搜索功能. 1.新建一个测试页面,然后右键在高级模式下编辑,如下图: 2.在PlaceHolderMain节点里,加入webpartzone,用来添加数据视图: 3.数据视图选择News列表,如下图: 4.列表视图就选择第一个就可以了,如下图: 5.查看测试页面,如下图: 6.在

Sharepoint 2013列表视图和字段权限扩展插件!

记得2014年春节期间,有博客园的网友通过QQ向我咨询Sharepoint 2013列表视图和字段权限扩展,因为之前他看到我博客介绍Sharepoint 2010列表视图和字段的权限控制扩展使用,问有没有这方面的列表权限扩展插件?我告诉他Sharepoint 2010的列表权限扩展插件并不能在Sharepoint 2013中使用,不能向上兼容的,且Sharepoint 2013的功能也有所升级了,系统底层架构已发生了一些变化.由于他需要在Sharepoint 2013项目中使用到此功能,有大量的

大数据项目测试&lt;二&gt;项目的测试工作

大数据的测试工作: 1.模块的单独测试 2.模块间的联调测试 3.系统的性能测试:内存泄露.磁盘占用.计算效率 4.数据验证(核心) 下面对各个模块的测试工作进行单独讲解. 0. 功能测试 1. 性能测试 2. 自动化测试 3. 文档评审 4. 脚本开发 一.后台数据处理端 后端的测试重点,主要集中在数据的采集处理.标签计算效率.异常数据排查(功能),测试脚本编写(HiveQL).自动化脚本编写(造数据.数据字段检查等) 1.数据的采集处理(Extract-Transform-Load) ETL

大数据应用测试经验总结

大数据应用测试过程与传统的web系统有较大的不同,大数据应用测试通常会分为web侧和ETL侧测试,web侧基本就是功能测试,而ETL(Extracting-Transfroming-Loading)测试主要指从任何外部系统提取.转换.载入数据到目标地.从底层数据采集.数据处理.到上层应用展现. 一.从技术架构设计上,分为以下几块: 数据采集:采集使用java和python程序从文件服务器下载文件,并把文件写入kafka.Hbase和Hive.Mysql中: 计算引擎:使用Hive on Tez计

SharePoint 2013 列表多表联合查询

在SharePoint的企业应用中,遇到复杂的逻辑的时候,我们会需要多表查询:SharePoint和Sql数据表一样,也支持多表联合查询,但是不像Sql语句那样简单,需要使用SPQuery的Joins属性来完成. 下面,我们通过一个简单的例子,为大家演示一下如何使用SPQuery通过查阅项字段来进行两个列表的联合查询. 1.首先创建测试列表,City是城市,然后有一个列表叫做Address,是地址,通过查阅项Location进行关联,CityID字段是Number类型,这里代表城市的ID号: 创

SharePoint 2013 Designer系列之数据视图

在SharePoint使用中.数据展示是一块非常重要的部分.非常多时候我们会採用webpart的形式.可是有一些情况,我们不必使用开发,仅需使用Designer就可以,以下让我简介下数据视图的使用. 1.创建一个測试列表,下面为測试列表的字段,例如以下图: 2.插入一些測试数据(纯属捏造,仅供娱乐),例如以下图: 3.创建一个測试页面,例如以下图: 4.在PlaceHolderMain节点里,插入webpartzone,然后插入数据视图,选择我们的測试列表News,例如以下图: 5.切换到设计标

Sharepoint 2013 列表使用JS Link

使用JS Link可以向Sharepoint List注册脚本,重写Field模板,使得对于符合条件的字段改变格式和样式.但是有一个问题是,页面postback的话,JS不会被触发,不知道怎么解,有知道的留言下,谢谢. webpart中或者是列表中添加JS Link JS Link地址的格式如下,不能写相对路径或者绝对路径,不然Alert不出来的. ~sitecollection/SiteAssets/js/xxxxxx.js 实例代码,功能是,一个Url 类型的字段,如果字段的文本日期是这个月

大数据课堂测试日总结

到目前为止,主要完成了地域维度标准化和关键值的提取. 地域维度标准化主要是根据表中联系单位地址一栏给出的详细地区数据,进行字符串分割得到想要的地域维度. 联系单位地址栏原始数据: 我们要把这些地域信息规范到县区一级,就可以用java中的split函数进行分割,就可以得到标准地域维度. 接下来就是行政编码,我们需要从网络上寻找一个国家标准的行政编码表,然后对应标准维度进行匹配. 2.关键字的提取: 题目要求在每个表的项目简介字段中提取相应的关键字.经过观察,这些字段的描述内容都是中文,所以关键字的