spark连接jdbc,连接mysql

1 最直接的方式

scala> val jdbcDF = spark.read.format("jdbc")

.option("url", "jdbc:mysql://hadoop1:3306/rdd")-------mysql 接口和库名

.option("dbtable", "rddtable")-----两张表名

.option("user", "root")----登陆的权限和用户名,照着写即可

.option("password", "cc123456")----登陆密码

.load()
结果:

jdbcDF: org.apache.spark.sql.DataFrame = [id: int, name: string]

准备工作是你的有要连接mysql的库名,表名,并且要准备好数据。

2)我们连起来执行一下啊

scala> val jdbcDF = spark.read.format("jdbc").option("url", "jdbc:mysql://hadoop1:3306/rdd").option("dbtable", "rddtable").option("user", "root").option("password", "cc123456").load()
jdbcDF: org.apache.spark.sql.DataFrame = [id: int, name: string]

3)我们做一下查询,看看结果如何

scala> jdbcDF.show
+---+----+
| id|name|
+---+----+
| 1|adsg|
| 2|sdaf|
| 23| sdf|
+---+----+

原文地址:https://www.cnblogs.com/markecc121/p/11643500.html

时间: 2024-11-02 01:51:13

spark连接jdbc,连接mysql的相关文章

Spark 1.4连接mysql诡异的问题及解决

在spark-default.conf文件中明明配置了mysql的数据源连接 随后启动spark-shell 执行如下测试代码: import org.apache.spark.{SparkContext, SparkConf} import org.apache.spark.sql.{SaveMode, DataFrame} import org.apache.spark.sql.hive.HiveContext val mySQLUrl = "jdbc:mysql://localhost:3

MyEclipse通过JDBC连接MySQL数据库基本介绍

转载自:http://www.jb51.net/article/31876.htm 1.前提是MyEclipse已经能正常开发Java工程 2.安装MySQL 个人使用的是版本是 mysql-5.0.22-win32.zip 网址:http://www.mysql.com/downloads/mysql/#downloads 3.下载JDBC驱动 个人使用的是 mysql-connector-java-5.1.22.zip,所需要的就是解压缩之后其中的 mysql-connector-java-

mac jdbc连接mysql

1.下载jdbc驱动: http://dev.mysql.com/downloads/connector/j/ 2.加入jdbc的jar包至项目的libs目录并build path 2.修改环境变量:export PATH=/usr/local/mysql/bin/:${PATH} 3.默认[email protected]没有密码 4.修改密码: 命令行:mysqladmin -u root -p  password root MYSQL环境中的命令: mysql> UPDATE mysql.

MySql & JDBC & 连接池 & 总结

连接池:解决资源浪费,提高代码性能. 本小节目标: 使用DBCP,C3P0连接池完成基本数据库的操作. 使用DBUtils完成CRUD的操作. 数据库连接池的解决方案是: 当应用程序启动时,系统主动建立足够的数据库连接,并将这些连接组成一个连接池.每次应用程序请求数据库连接时,无须重新打开连接,而是从连接池中取出已有的连接使用,使用完后不再关闭数据库连接,而是直接将连接归还给连接池.通过使用连接池,将大大提高程序的运行效率. 数据库连接池是Connection 对象的工程.数据库连接池的常用参数

mysql的JDBC连接

程序是通过DriverManager注册驱动,所以加载之后可以直接使用DriverMannagermysql中的多态: 不仅是赋值的时候使用了多态,返回的时候都是返回的借口(不是返回的子类对象),所以如果不使用多态需要强转通过Java代码去操作数据库 JDBC ----- Java 数据库 连接 JDBC是java提供的数据库连接规范 J ----- Java DB ----- DataBase C ----- Connectivity使用JDBCA.JDK 本身没有实现数据库连接的功能 第三方

(详细)JAVA使用JDBC连接MySQL数据库(1)- 软件

欢迎任何形式的转载,但请务必注明出处. 1.jdk 点击查看安装和环境配置教程 2.Eclipse 点击进入官网下载 注意下载完成打开.exe后,出现下图界面,有很多版本供选择 本人目前在学JSP所以安装的是Java EE版本,初学者可以选择第一个Java Developers版本 3.Mysql 点击进入官网下载 点击进入推荐安装教程+环境配置 下载页面注意事项 (虽然选项只有32位的,但下载完成后32位和64位都会安装) (上面的是在线安装,下面的是离线安装,建议选择离线安装) 系列文章 (

java jdbc 连接mysql数据库 实现增删改查

好久没有写博文了,写个简单的东西热热身,分享给大家. jdbc相信大家都不陌生,只要是个搞java的,最初接触j2ee的时候都是要学习这么个东西的,谁叫程序得和数据库打交道呢!而jdbc就是和数据库打交道非常基础的一个知识,也是比较接近底层的,在实际的工作中大家用得更多的其实还是比较成熟的框架,例如Hibernate.Mybatis. 但是作为这些成熟框架的底层的jdbc却也是我们应该去掌握的,只有了解了jdbc的增删改查,这样在以后如果有兴趣去研究Hibernate或者Mybatis的源代码的

spark 启动thrift server 支持 jdbc连接

在 ./conf下 创建 hive-site.xml 添加: <configuration> <property> <name>hive.metastore.client.connect.retry.delay</name> <value>5</value> </property> <property> <name>hive.metastore.client.socket.timeout</n

通过JDBC连接Mysql之基础篇

1 JDBC基础知识 Q1 什么是JDBC技术 Java Database Connectivity :Java访问数据库的解决方案 Q2 JDBC如何实现访问数据库 JDBC定义了一套标准通用接口,由数据库厂商来实现这些接口连接数据库 Q3 JDBC有哪些标准通用接口 DriverManager 驱动管理 Connection/DatabaseMetaData 连接接口 Statement/PreparedStatement/CallableStatement 语句对象接口 ResultSet

JDBC连接MySQL数据库及演示样例

JDBC是Sun公司制定的一个能够用Java语言连接数据库的技术. 一.JDBC基础知识         JDBC(Java Data Base Connectivity,java数据库连接)是一种用于执行SQL语句的Java API,能够为多种关系数据库提供统一訪问,它由一组用Java语言编写的类和接口组成.JDBC为数据库开发者提供了一个标准的API,据此能够构建更高级的工具和接口,使数据库开发者能够用纯 Java API 编写数据库应用程序,而且可跨平台执行,而且不受数据库供应商的限制.