国产探花免费观看_亚洲丰满少妇自慰呻吟_97日韩有码在线_资源在线日韩欧美_一区二区精品毛片,辰东完美世界有声小说,欢乐颂第一季,yy玄幻小说排行榜完本

首頁 > 學院 > 開發(fā)設(shè)計 > 正文

跟天齊老師學Spark（4）--Spark整合hdfs

2019-11-11 03:18:08
字體：大 中 小
供稿：網(wǎng)友
spark整合hdfs：需求：從hdfs中讀取數(shù)據(jù)，用spark計算，再寫到hdfs中。啟動zookeeper；啟動hadoop的hdfs；然后啟動spark（我們這里就不啟動高可用集群了，這里只啟動一個Master）；向spark集群提交任務；spark-shell中寫的程序僅僅是做實驗；實際開發(fā)中，是先在IDE中開發(fā)spark程序，然后打包，提交到集群。然后用腳本或調(diào)度框架來調(diào)度。我們這里在spark-shell中寫一個spark程序：讀取hdfs中的數(shù)據(jù)的話，先指定hdfs的地址，你可以將hadoop的兩個配置文件hdfs-site.xml和core-site.xml拷貝到spark的conf目錄下，但是我們這里因為是測試，所以hdfs的地址寫死了：sc.textFile("hdfs://hadoop01:9000/wc").flatMap(_.split(" ")).map((_,1)).reduceByKey(_+_).sortBy(_._2,false).saveAsTextFile("hdfs://hadoop01:9000/wc/out05")上面的spark-shell只是在測試或者學習的時候常用的方式。在生產(chǎn)中，一般是在開發(fā)工具中開發(fā)好程序，然后將程序打成jar包，在提交到spark集群上運行。

發(fā)表評論 共有條評論
用戶名: 密碼:
驗證碼: 匿名發(fā)表
主站蜘蛛池模板： 定陶县| 张家界市| 丽水市| 阜阳市| 金秀| 呈贡县| 黄山市| 莱芜市| 杭州市| 富阳市| 正阳县| 铅山县| 阿荣旗| 永寿县| 上林县| 孝义市| 思茅市| 星子县| 临安市| 陆川县| 武功县| 东丽区| 丹江口市| 青岛市| 资阳市| 石嘴山市| 泰州市| 石屏县| 陇西县| 木里| 六盘水市| 衡东县| 黄浦区| 台北市| 丰县| 金阳县| 金阳县| 邛崃市| 施秉县| 电白县| 桐城市|