そごうソフトウェア研究所

SOA、開発プロセス、ITアーキテクチャなどについて書いています。Twitterやってます@rsogo

2016-09-20から1日間の記事一覧

WebHDFSの検証

ファイルの作成 ファイルのアクセスは2回に分けて行う必要があります。 作成するファイルの中身はこんな感じです。 $ cat sample.txt 1 aaa 2 bbb 3 ccc まず、1回目。 PUTメソッドを利用します 操作名はop=create。 上書きするoverwrite=true。 ユーザー…

Mule HDFSコネクタ5.0.0の検証(Mule EEが必要でした。途中で止めています)

MuleにはHDFSコネクタというのがあって、HDFSに接続できるみたいです。試してみたいと思います。 この検証の結果としては、Mule EEがHDFSコネクタの検証に必要だと分かったため、途中で止めています。 HDFSコネクタの情報源 リリースノート HDFS Connector R…

Hiveでファイルからデータをロードする

前記事はこれ。 begirama.hatenablog.com begirama.hatenablog.com 読み込むファイルを作成します 今回はタブ区切りの次のようなファイルを作成します。 1 aaa 2 bbb 3 ccc 読み込む先のテーブルを作成します 項目の区切りをタブ、行末を改行として、数値型…