原 Spark整合Mongodb[转]
2428 | 0 | 0
环境准备
mongodb下载
解压安装
启动mongodb服务
$MONGODB_HOME/bin/mongod --fork --dbpath=/root/data/mongodb/ --logpath=/root/data/log/mongodb/mongodb.log
pom依赖
org.mongodb.spark mongo-spark-connector_2.11 ${spark.version}
实例代码
object ConnAppTest { def main(args: Array[String]): Unit = { val spark = SparkSession.builder() .master("local[2]") .appName("ConnAppTest") .config("spark.mongodb.input.uri", "mongodb://192.168.31.136/testDB.testCollection") // 指定mongodb输入 .config("spark.mongodb.output.uri", "mongodb://192.168.31.136/testDB.testCollection") // 指定mongodb输出 .getOrCreate() // 生成测试数据 val documents = spark.sparkContext.parallelize((1 to 10).map(i => Document.parse(s"{test: $i}"))) // 存储数据到mongodb MongoSpark.save(documents) // 加载数据 val rdd = MongoSpark.load(spark) // 打印输出 rdd.show } }
原文链接:http://blog.csdn.net/soul_code/article/details/78523140
0
sss
16人已关注
领课教育 32089
9900
update 47172
4976
领课教育 18054
husheng 20973
请更新代码 41628
凯哥Java 2232
凯哥Java 2606
凯哥Java 2003