spark中利用Sql2o连接数据的例子BlogService

最近在看学习Spark Framework.

这是一个web框架,宗旨正如其官网LInk所示:Spark - A micro framework for creating web applications in Kotlin and Java 8 with minimal effort

我按着它的例子来学习.这里碰见了BlogService项目[传送门],也算是其主线一步步搭上来的例子了.  // 对应的github[传送门]

我本机是Mysql,需要注意:

Mysql并没有UUID数据类型,我用的是char(50)来代替,所以整个项目也要对应的修改引用类型。

至于char(50)类型,是可以直接通过java中的String类型进行对接的。

这里说说自己遇到的几个问题:

问题1: Could not acquire a connection from DataSource - No suitable driver found for jdbc:mysql://localhost:3306/blog

这是因为没有mysql连接驱动的问题,建议搜索[mysql repository]在里面搜索 [mysql-connector-java] 选择 MYSQL Connector/J

进去之后选择对应版本。比如我的是5.14,进入之后

把这段加入maven的<dependencies>中, 重新 mvn compile 一遍项目即可

这些maven下载的依赖包,最终一般都会存储在  ~/.m2/repository 中。

小tips: 我在网上查询这个问题的时候,有人居然直接让人把 mysql-connector-java-bin.jar 这个现成的jar包放入  .../jre/lib/ext/中

这样当然是可以解决问题的,但是十分不应该。

原因主要有2个:

  • 这样绕开了类路径。当手工地加载其他的类文件时,如果将它们存在扩展路径上,则不能正常的工作。
  • 程序员经常会忘记3个月前所存放文件的位置。当类加载器忽略了曾今仔细设计的类路径时,程序员会毫无头绪地在头文件中查找。事实上,加载的是扩展路径上已经长时间遗忘的类。

问题2:刚安装完数据库的时候

mysql> show databases;

ERROR 1820 (HY000): You must reset your password using ALTER USER statement before executing this....

这时候只需要设置(用户自己初始化)一下密码即可

mysql> set password = password(‘your_password‘);

问题3:当我想要让我的blogservice远程连接数据库的时候,怎么连都失败,我也开放了权限,也设置了防火墙。

于是我在局域网中找了一台有mysql的机子试着连接自己,发现提示错误号 111

原来,mysql在配置文件还有一层设置,使得只能 localhost连接。

想办法找到配置文件(各个版本可能不同,得自己找找),找到这样一句话

--bind-address="localhost"

注释掉,或者改成“*” ,或者是欲连接自己的ip即可

问题4: blogservice的post 只接受一个json对象..如果我是数组形式,他是无法接收的

所以我得想办法解决一下这个解析的问题。按理说,它相关依赖的json解析包是有对应方法的,但是我选择了自己熟悉的一种。

首先去[maven repository]搜索  [json-lib]

但是要注意,这样是不可行的,它其实还需要一句支持:完整应该是:

  <dependencies>
    <!-- https://mvnrepository.com/artifact/net.sf.json-lib/json-lib -->
    <dependency>
      <groupId>net.sf.json-lib</groupId>
      <artifactId>json-lib</artifactId>
      <version>2.4</version>
      <classifier>jdk15</classifier>
    </dependency>

mvn compile完,在代码中引入包即可

import net.sf.json.JSONArray;
import net.sf.json.JSONObject; 

之后的关键在于:

ArrayList<V> value = new ArrayList<V>();
if (valueClass != EmptyPayload.class){                           // 如果负载非空
       JSONArray js_a = JSONArray.fromObject(request.body());
       for(int i = 0; i < js_a.size(); ++i){
              System.out.println(((JSONObject)js_a.get(i)).toString());
              V tmp = objectMapper.readValue(((JSONObject)js_a.get(i)).toString(),valueClass);
              value.add(tmp);
       }
 }

如果负载非空,比如为post / get 类型,那么就把request.body()整一个String读取后化成JSONArray

之后,遍历JSONArray,使其一个个变成Java对象即可。

留意    protected abstract Answer processImpl(ArrayList<V> value, Map<String, String> urlParams, boolean shouldReturnHtml);  这些地方的函数声明要一并修改好。

另外就是以后post的时候,即使是一个对象,也需要以数组的形式发送,Json数组:

[  {    "param1" : "value_String",    "param2" : value_num    ...  },  {    "param1" : "value_String",    "param2" : value_num    ...  }
]
时间: 2024-11-03 21:39:42

spark中利用Sql2o连接数据的例子BlogService的相关文章

IOS中利用NSKeyedArchiver进行数据的归档和恢复

1.相关知识点: <1> 可以利用NSKeyedArchiver 进行归档和恢复的对象类型:NSString .NSDictionary.NSArray.NSData.                        NSNumber等 <2> 使用是必须遵循NSCoding协议对象,实现两个方法: encodeWithCoder:归档对象时,将会调用该方法. initWithCoder:每次从文件中恢复对象时,调用该方法. 2.简单例子阐述详细步骤 <1> 创建一个学生

Spark中利用Scala进行数据清洗(代码)

2019-05-07 18:56:18 1 package com.amoscloud.log.analyze 2 3 import java.text.SimpleDateFormat 4 import java.util.Date 5 6 import org.apache.spark.rdd.RDD 7 import org.apache.spark.{SparkConf, SparkContext} 8 9 object LogAnalyze1 { 10 def main(args: A

spark 中的RDD编程 -以下基于Java api

1.RDD介绍:     RDD,弹性分布式数据集,即分布式的元素集合.在spark中,对所有数据的操作不外乎是创建RDD.转化已有的RDD以及调用RDD操作进行求值.在这一切的背后,Spark会自动将RDD中的数据分发到集群中,并将操作并行化. Spark中的RDD就是一个不可变的分布式对象集合.每个RDD都被分为多个分区,这些分区运行在集群中的不同节点上.RDD可以包含Python,Java,Scala中任意类型的对象,甚至可以包含用户自定义的对象. 用户可以使用两种方法创建RDD:读取一个

php利用phpexcel导出数据

php中利用phpexcel导出数据的实现代码.对phpexcel类库不熟悉的朋友,可以阅读下<phpexcel中文帮助手册>中的内容,具体实例大家可以phpexcel快速开发指南中的相关例子. 完整代码: public function export_data($data = array()) { # code... include_once(APP_PATH.'Tools/PHPExcel/Classes/PHPExcel/Writer/IWriter.php') ; include_on

Hadoop 中利用 mapreduce 读写 mysql 数据

Hadoop 中利用 mapreduce 读写 mysql 数据 有时候我们在项目中会遇到输入结果集很大,但是输出结果很小,比如一些 pv.uv 数据,然后为了实时查询的需求,或者一些 OLAP 的需求,我们需要 mapreduce 与 mysql 进行数据的交互,而这些特性正是 hbase 或者 hive 目前亟待改进的地方. 好了言归正传,简单的说说背景.原理以及需要注意的地方: 1.为了方便 MapReduce 直接访问关系型数据库(Mysql,Oracle),Hadoop提供了DBInp

在Android中利用SQLite实现对数据的增删查改

停更了一天,I'm back again~~当我们需要操作大量的数据时,我们首先想到的当然是数据库,因为可以通过简单的语句实现数据的增删改查,在Android中,我们不使用SQL或者ORACLE,我们使用SQLite,因为它占用资源更少,而语句格式与SQL语句一样. 首先,我们来在Android中实现数据库的创建与增删改查,引用数据库的类时,不再继承常用的Activity类,而是继承Android中的SQLiteOpenHelper,创建一个构造方法,四个参数分别是(Context contex

asp.net中利用session对象传递、共享数据[session用法]

下面介绍Asp.net中利用session对象传递.共享数据用法: 1.传递值: 首先定义将一个文本值或单独一个值赋予session,如下: session["name"]=textbox1.text:将文本1的值赋给了session变量name,当调查到其它页面时,此值可以传递,依然存在,下面是调用或判断此值. If(session["name"]==null) {} Else { lable1.text=session["name"].tos

【转】asp.net中利用session对象传递、共享数据[session用法]

来自:http://blog.unvs.cn/archives/session-transfer-method.html 下面介绍Asp.net中利用session对象传递.共享数据用法: 1.传递值: 首先定义将一个文本值或单独一个值赋予session,如下: session["name"]=textbox1.text:将文本1的值赋给了session变量name,当调查到其它页面时,此值可以传递,依然存在,下面是调用或判断此值. If(session["name"

解决spark中遇到的数据倾斜问题

一. 数据倾斜的现象 多数task执行速度较快,少数task执行时间非常长,或者等待很长时间后提示你内存不足,执行失败. 二. 数据倾斜的原因 常见于各种shuffle操作,例如reduceByKey,groupByKey,join等操作. 数据问题 key本身分布不均匀(包括大量的key为空) key的设置不合理 spark使用问题 shuffle时的并发度不够 计算方式有误 三. 数据倾斜的后果 spark中一个stage的执行时间受限于最后那个执行完的task,因此运行缓慢的任务会拖累整个