国产探花免费观看_亚洲丰满少妇自慰呻吟_97日韩有码在线_资源在线日韩欧美_一区二区精品毛片,辰东完美世界有声小说,欢乐颂第一季,yy玄幻小说排行榜完本

首頁 > 學院 > 操作系統(tǒng) > 正文

Hive[1] 初識 及 安裝

2024-06-28 13:22:34
字體:
供稿:網(wǎng)友
Hive[1] 初識 及 安裝本文前提是Hadoop & java & MySQL 數(shù)據(jù)庫,已經(jīng)安裝配置好,并且 環(huán)境變量均已經(jīng)配置到位聲明:本筆記參照 學習《Hive 編程指南》而來,如果有錯誤之處還望大家留言指出!望與大家共同進步!一、Hive 基本介紹 Hive是Hadoop家族中一款數(shù)據(jù)倉庫產(chǎn)品,Hive最大的特點就是提供了類SQL的語法,封裝了底層的MaPReduce過程,讓有SQL基礎的業(yè)務人員,也可以直接利用Hadoop進行大數(shù)據(jù)的操作。就是這一個點,解決了原數(shù)據(jù)分析人員對于大數(shù)據(jù)分析的瓶頸。

Hive起源于Facebook,它使得針對Hadoop進行SQL查詢成為可能,從而非程序員也可以方便地使用。Hive是基于Hadoop的一個數(shù)據(jù)倉庫工具,可以將結(jié)構(gòu)化的數(shù)據(jù)文件映射為一張數(shù)據(jù)庫表,并提供完整的SQL查詢功能,可以將SQL語句轉(zhuǎn)換為MapReduce任務運行。

Hive是建立在 Hadoop 上的數(shù)據(jù)倉庫基礎構(gòu)架。它提供了一系列的工具,可以用來進行數(shù)據(jù)提取轉(zhuǎn)化加載(ETL),這是一種可以存儲、查詢和分析存儲在 Hadoop 中的大規(guī)模數(shù)據(jù)的機制。Hive 定義了簡單的類 SQL 查詢語言,稱為 HQL,它允許熟悉 SQL 的用戶查詢數(shù)據(jù)。同時,這個語言也允許熟悉 MapReduce 開發(fā)者的開發(fā)自定義的 mapper 和 reducer 來處理內(nèi)建的 mapper 和 reducer 無法完成的復雜的分析工作。

優(yōu)點:Hive 最適合于數(shù)據(jù)倉庫應用,可以維護海量數(shù)據(jù),而且可以對數(shù)據(jù)進行挖掘,然后形成意見和報告等,只要略懂得SQL語法的話就會很容易上手;

缺點:它不是一個完整的數(shù)據(jù)庫,最大的限制就是Hive不支持記錄級別的更新,插入或者刪除操作;這是 Hadoop 以及 HDFS 的設計本身約束和局限性地限制了Hive所能勝任的工作。但用戶可以通過查詢生成新表或者將查詢結(jié)果導入到文件中;Hive 也不支持事務;

Hive 也有圖形界面管理的商業(yè)產(chǎn)品: Cloudera 提供的 Hue 項目(https://github.com/cloudera/hue)

Hive 的功能模塊:

二、Hive 的安裝1)下載Hive 我們用最新的stable【穩(wěn)定】版本:wgethttp://mirror.bit.edu.cn/apache/hive/stable/apache-hive-0.14.0-bin.tar.gz --獲取最新版本tar -zxvfapache-hive-0.14.0-bin.tar.gz --解壓縮cp apache-hive-0.14.0-bin /usr/local/software/ --并復制到安裝上目錄/usr/local/softwaremvapache-hive-0.14.0-binhive-0.14.0 --改個名字2)Hive配置cdhive-0.14.0/confcp hive-default.xml.template hive-site.xmlcp hive-log4j.properties.template hive-log4j.properties修改配置文件:把Hive的元數(shù)據(jù)存儲到MySQL中vi hive-siet.xml<property><name>javax.jdo.option.ConnectionURL</name><value>jdbc:mysql://192.168.128.129:3306/hive_metadata?createDatabaseIfNotExist=true</value><description>JDBC connect string for a JDBC metastore</description></property><property><name>javax.jdo.option.ConnectionDriverName</name><value>com.mysql.jdbc.Driver</value><description>Driver class name for a JDBC metastore</description></property><property><name>javax.jdo.option.ConnectionUserName</name><value>root</value><description>username to use against metastore database</description></property><property><name>javax.jdo.option.ConnectionPassWord</name><value>911</value><description>password to use against metastore database</description></property><property><name>hive.metastore.warehouse.dir</name><value>/user/hive/warehouse</value><description>location of default database for the warehouse</description></property>修改hive-log4j.properties#log4j.appender.EventCounter=org.apache.hadoop.metrics.jvm.EventCounterlog4j.appender.EventCounter=org.apache.hadoop.log.metrics.EventCounter3)設置環(huán)境變量vi /etc/profileexport HIVE_INSTALL=/usr/local/software/hive-0.14.0export PATH=$PATH:$HIVE_INSTALL/binexport CLASS_PATH=$CLASS_PATH:HIVE_INSTALL/libsource /etc/profile 使修改及時生效4)在hdfs上面,創(chuàng)建目錄$HADOOP_HOME/bin/hadoop fs -ls /$HADOOP_HOME/bin/hadoop fs -mkdir /user/hive$HADOOP_HOME/bin/hadoop fs -mkdir /user/hive/warehouse$HADOOP_HOME/bin/hadoop fs -chmod g+w /tmp$HADOOP_HOME/bin/hadoop fs -chmod g+w /user/hive/warehouse
發(fā)表評論 共有條評論
用戶名: 密碼:
驗證碼: 匿名發(fā)表
主站蜘蛛池模板: 富阳市| 南昌市| 铁岭市| 东乡县| 阿勒泰市| 靖宇县| 武冈市| 平湖市| 郴州市| 甘谷县| 怀集县| 乃东县| 方山县| 定陶县| 沈丘县| 谢通门县| 开原市| 晴隆县| 喀什市| 枞阳县| 永靖县| 平江县| 航空| 巴南区| 霍山县| 紫阳县| 定陶县| 攀枝花市| 浦城县| 黄梅县| 兴海县| 郓城县| 浦江县| 巩留县| 邢台市| 宽城| 慈溪市| 富源县| 辽宁省| 习水县| 麻阳|