そごうソフトウェア研究所

SOA、開発プロセス、ITアーキテクチャなどについて書いています。Twitterやってます@rsogo

2016-09-01から1ヶ月間の記事一覧

AppPot経由でHttpFSでREST化したHadoopとやり取りする

GetAnonymouseToken GETメソッド http://localhost:8080/apppot/api/1/apppot.TestApplication/1.0.0/anonymousTokens?appKey=40c71254aca44664b61635573085ef1d&deviceUDID=bd393116-0b47-4b9e-a186-e64ffc0fbdf2 Response { "status": "OK", "errCode": 0,…

HttpFSの検証

モバイルアプリからのリクエストをリアルタイムにHadoopに投入する方法を検討しています。 begirama.hatenablog.com MuleのHDFSコネクタを使おうと思ったけど、Mule CEではだめだったので、今回はだめ。 begirama.hatenablog.com WebHDFSはクライアントから…

WebHDFSの検証

ファイルの作成 ファイルのアクセスは2回に分けて行う必要があります。 作成するファイルの中身はこんな感じです。 $ cat sample.txt 1 aaa 2 bbb 3 ccc まず、1回目。 PUTメソッドを利用します 操作名はop=create。 上書きするoverwrite=true。 ユーザー…

Mule HDFSコネクタ5.0.0の検証(Mule EEが必要でした。途中で止めています)

MuleにはHDFSコネクタというのがあって、HDFSに接続できるみたいです。試してみたいと思います。 この検証の結果としては、Mule EEがHDFSコネクタの検証に必要だと分かったため、途中で止めています。 HDFSコネクタの情報源 リリースノート HDFS Connector R…

Hiveでファイルからデータをロードする

前記事はこれ。 begirama.hatenablog.com begirama.hatenablog.com 読み込むファイルを作成します 今回はタブ区切りの次のようなファイルを作成します。 1 aaa 2 bbb 3 ccc 読み込む先のテーブルを作成します 項目の区切りをタブ、行末を改行として、数値型…

Hiveでデータベースを準備する

前にMac上にセットアップした環境にHiveで環境を作っていきます。 begirama.hatenablog.com Hiveデータベースを作成 データベースを確認する hive> show databases; show databases OK default Time taken: 0.567 seconds, Fetched: 1 row(s) データベースを…

MacにHadoopとHiveをセットアップする

MuleからHadoopに接続するのが目的です。 今回はHadoopをセットアップしたいと思います。 環境 OS X El Capitan 10.11.6 リモートログインをONにしておきます。 Hadoop install brew install hadoop HADOOP_HOMEは/usr/local/Cellar/hadoop/2.7.1/libexecで…