国产探花免费观看_亚洲丰满少妇自慰呻吟_97日韩有码在线_资源在线日韩欧美_一区二区精品毛片,辰东完美世界有声小说,欢乐颂第一季,yy玄幻小说排行榜完本

首頁 > 學院 > 開發設計 > 正文

spark | 讀數據

2019-11-08 18:21:24
字體:
來源:轉載
供稿:網友

為何要單獨一個博文來記錄讀取數據呢?我覺得讀數據很重要,涉及到不同格式的數據,各式各樣的情況,故而記之。

注意:以python語言為工具

讀csv格式的 本數據有3列# -*- coding:utf-8 -*- from pyspark import SparkContextsc = SparkContext("local[2]", "First Spark App")# we take the raw data in CSV format and convert it into a set of records of the form (user, PRoduct, price)data = sc.textFile("data/UserPurchaseHistory.csv").map(lambda line: line.split(",")).map(lambda record: (record[0], record[1], record[2]))

上面代碼中核心代碼是:

sc.textFile("data/UserPurchaseHistory.csv").map(lambda line: line.split(",")).map(lambda record: (record[0], record[1], record[2]))

第一個map是用于分割,第二個map用于讀取列 采用lambda函數

繼續更新中。。。


上一篇:倒三角形

下一篇:程序員書籍列表

發表評論 共有條評論
用戶名: 密碼:
驗證碼: 匿名發表
主站蜘蛛池模板: 崇礼县| 诸城市| 木里| 南皮县| 太原市| 庐江县| 齐河县| 金平| 辽阳县| 长葛市| 鄂托克前旗| 尤溪县| 海晏县| 莫力| 舟曲县| 伊宁市| 阿克苏市| 玉林市| 宁陕县| 黔江区| 招远市| 财经| 张家界市| 松桃| 且末县| 深圳市| 镇巴县| 佛教| 合阳县| 维西| 建水县| 吐鲁番市| 礼泉县| 鹰潭市| 虹口区| 平谷区| 庆云县| 郎溪县| 南陵县| 大冶市| 金平|