Untitled

[Mac]Hiveセットアップ

[Mac]Hiveセットアップ公式のチュートリアルを基にMacにHiveをセットアップした控え

【サマリ】
1. 作業用フォルダ「pkgs」の中にダウンロードしたHive0.7.0を解凍し、シンボリックリンクを用意
2. HadoopとHiveのPathを環境変数を有効化
3. Hiveのセットアップと起動
4. チュートリアル(テーブルを作成/サンプルファイルをインポート/DFSとローカルにエクスポート/SQLオペレーション)

  • Hadoop Namenode web interface: localhost:50070/

【ターミナル】
1)
cd ~/work/pkgs/
tar -xzvf hive-0.7.0.tar.gz
cd ..
ln -s ~/work/pkgs/hive-0.7.0 hive

2)
cd hadoop
export HADOOP_HOME=`pwd`
export PATH=$HADOOP_HOME/bin:$PATH
cd ~/work/hive
export HIVE_HOME=`pwd`
export PATH=$HIVE_HOME/bin:$PATH

3)
~/work/hadoop/bin/hadoop namenode -format
~/work/hadoop/bin/start-all.sh
~/work/hadoop/bin/hadoop dfs -mkdir       /user/hive/warehouse
~/work/hadoop/bin/hadoop dfs -chmod g+w   /user/hive/warehouse
~/work/hive/bin/hive

4)
hive> CREATE TABLE pokes (foo INT, bar STRING);
hive> SHOW TABLES;
hive> DESCRIBE pokes;
hive> LOAD DATA LOCAL INPATH './examples/files/kv1.txt' OVERWRITE INTO TABLE pokes;
hive> select * from pokes GROUP BY foo;
hive> INSERT OVERWRITE DIRECTORY '/tmp/hdfs_count' select COUNT(*) FROM pokes;
hive> INSERT OVERWRITE LOCAL DIRECTORY 'local_avg' select avg(foo) FROM pokes;
hive> LOAD DATA LOCAL INPATH './examples/files/kv2.txt' OVERWRITE INTO TABLE invites PARTITION (ds='2008-08-15');
hive> LOAD DATA LOCAL INPATH './examples/files/kv3.txt' OVERWRITE INTO TABLE invites PARTITION (ds='2008-08-08');
hive> SELECT count(*) from pokes join invites on pokes.foo = invites.foo;

自分の環境では、再起動後にいつもNamenodeエラーが発生するのでフォーマットをしてからHadoopを起動してます。

以上。

参考サイトさま:
Hive/GettingStarted
Hive Releases

About the author
  • コメントを残す