Install Node.js v8 and npm 5.6 for macOS High Sierra
以前、Node.js v5をMacにインストールする手順を書きましたが、MacBook Proを新調したので、新しくセットアップした手順をメモします。
公式サイト Node.js からMac用のpkgファイルをダウンロードします。2018/5/14時点で安定版の最新はv8.11.1でした。
pkgを実行して、Node.jsをインストールします。
セットアップ後のバージョンの確認は以下です。
$ node -v v8.11.1
ついでにnpmのバージョンも確認します。
$ npm -v 5.6.0
npmを使って、gulpをインストールしてみます。
$ sudo npm install --global gulp-cli Password: /usr/local/bin/gulp -> /usr/local/lib/node_modules/gulp-cli/bin/gulp.js + gulp-cli@2.0.1 added 238 packages in 5.825s
bowerも入れてみます。
$ sudo npm install -g bower Password: /usr/local/bin/bower -> /usr/local/lib/node_modules/bower/bin/bower + bower@1.8.4 added 1 package in 2.983s ╭─────────────────────────────────────╮ │ │ │ Update available 5.6.0 → 6.0.1 │ │ Run npm i -g npm to update │ │ │ ╰─────────────────────────────────────╯
正常に動作していそうですね。
JavaでAWS Lambdaの実装をやってみる
各種情報
開発者ガイド docs.aws.amazon.com
AWS Lambdaには設計書と呼ばれるテンプレートが用意されていて、テンプレートをカスタマイズすることでいろいろな機能を試すことができます
チュートリアル
チュートリアルへのリンクが公開されています。 aws.amazon.com
開発者ドキュメントの中に含まれるチュートリアル。 docs.aws.amazon.com
テストと実行結果の確認
Jarのデプロイ
Jarファイルをアップロードすることでデプロイができます。
デプロイ時に必要なのは次の項目の設定です。
- Zip/Jarファイルの直接アップロードか、S3からのアップロードか
- ランタイム
- Java8を指定します
- ハンドラー
- エントリポイントになるメソッドの{パッケージ名}.{クラス名}::{メソッド名}の形式で指定します（例: example.Hello::handleRequest）
デプロイして実行時にエラーになった場合には、コンソールにエラーが出力されます。
これはLambdaはJavaのランタイムとして、Java8がサポートされているが、ビルド時にJava9でコンパイルしてしまったためエラーが発生しています。
テストと実行結果の確認
テストの設定を行って、テストを実行します。入力イベントを設定する前に試してみることができます。
テストの設定
テスト結果の確認
エラー時
CouldWatchにもエラーのログが出力されています。
Apache ActiveMQ ArtemisのLibrary artemis-native-64 not foundメッセージは問題あるのか調査
「AppPot - 企業向けスマートデバイスアプリ開発のためのプラットフォーム」の内部では、Apache ActiveMQ Artemisを使用しています。 下記のようなメッセージが出るので調査をしてみました。
DEBUG [org.apache.activemq.artemis.jlibaio] (MSC service thread 1-2) Library artemis-native-64 not found!
DEBUG [org.apache.activemq.artemis.jlibaio] (MSC service thread 1-2) artemis-native-32 -> error loading the native library: java.lang.UnsatisfiedLinkError: no artemis-native-32 in java.library.path
at java.lang.ClassLoader.loadLibrary(ClassLoader.java:1867)
at java.lang.Runtime.loadLibrary0(Runtime.java:870)
at java.lang.System.loadLibrary(System.java:1122)
at org.apache.activemq.artemis.jlibaio.LibaioContext.loadLibrary(LibaioContext.java:68)
at org.apache.activemq.artemis.jlibaio.LibaioContext.<clinit>(LibaioContext.java:88)
at org.apache.activemq.artemis.core.io.aio.AIOSequentialFileFactory.isSupported(AIOSequentialFileFactory.java:107)
at org.wildfly.extension.messaging.activemq.ActiveMQServerService.start(ActiveMQServerService.java:155)
at org.jboss.msc.service.ServiceControllerImpl$StartTask.startService(ServiceControllerImpl.java:1963)
at org.jboss.msc.service.ServiceControllerImpl$StartTask.run(ServiceControllerImpl.java:1896)
at java.util.concurrent.ThreadPoolExecutor.runWorker(ThreadPoolExecutor.java:1149)
at java.util.concurrent.ThreadPoolExecutor$Worker.run(ThreadPoolExecutor.java:624)
at java.lang.Thread.run(Thread.java:748)
DEBUG [org.apache.activemq.artemis.jlibaio] (MSC service thread 1-2) Library artemis-native-32 not found!
DEBUG [org.apache.activemq.artemis.jlibaio] (MSC service thread 1-2) Couldn't locate LibAIO Wrapper
DEBUG [org.jgroups.protocols.FD_SOCK] (FD_SOCK pinger,swarm-jgroups,amapawsmbw02) amapawsmbw02: ping_dest is ip-10-236-2-198, pingable_mbrs=[ip-10-236-2-198, amapawsmbw02]
INFO [org.wildfly.extension.messaging-activemq] (MSC service thread 1-2) WFLYMSGAMQ0075: AIO wasn't located on this platform, it will fall back to using pure Java NIO. Your platform is Linux, install LibAIO to enable the AIO journal and achieve optimal performance.
Apache ActiveMQ ArtemisのPersistenceのドキュメントに依ると、Java NIOとLinuxのネイティブの非同期IOライブラリ ( libaio ) を使う２つの実装が用意されているようです。
Persistence | ActiveMQ Artemis Documentation
libaioについては、更にこちらのドキュメントで、詳細に記述されています。
Libaio Native Libraries | ActiveMQ Artemis Documentation
libActiveMQAIO32.so または libActiveMQAIO64.so でlibaioを使うのですが、これがライブラリのパスに見つからないというメッセージがDEBUGレベルで出ています。 そのため、Java NIOを使いますよ、LibAIOを使ったほうが性能が良くなりますよ、というログがでているみたいですね。
動作させる上では問題なさそうですが、性能を向上させるためには対応したほうが良さそうです。
普通のWildFly10にはlibartemis-native-64.soが含まれているのを確認しましたが、
今このログがでているのはWildfly Swarmで実装しているアプリケーションででているので、
Wildfly Swarmのパッケージングを調査しようと思います。
EXPLAINによるMySQLの実行計画の確認
担当しているソフトウェアで、運用しているとMySQL内のレコードが増えて性能が悪化するというお問い合わせをいただきました。 そこで、Indexを改善しようということになったのですが、どこにIndexを付けるべきか確認するためにMySQLの実行計画を確認しました。
自分のバックグラウンドとしては、データベースは特別詳しいわけではないので、 Indexは論理的に付けてはいるものの、それがあっているのかどうか確証はありませんでした。
で、調べたところMySQLでも実行計画が確認できるみたいなので、今回、それを使って確認を行ってみました。
MySQL :: MySQL 5.6 リファレンスマニュアル :: 8.8 クエリー実行プランの理解
対象のテーブル
こんなテーブルです。ユーザーのセッション情報を格納するためのテーブルで、ログアウトされないと、レコードが蓄積されていきます。
MySQL [apppot]> desc UserSession; +-----------------+--------------+------+-----+---------+-------+ | Field | Type | Null | Key | Default | Extra | +-----------------+--------------+------+-----+---------+-------+ | userToken | varchar(255) | NO | PRI | NULL | | | appTableId | bigint(20) | YES | | NULL | | | companyId | bigint(20) | YES | | NULL | | | deviceUDID | varchar(255) | YES | | NULL | | | loginDate | datetime | YES | | NULL | | | tokenExpireDate | datetime | YES | | NULL | | | userId | bigint(20) | YES | | NULL | | +-----------------+--------------+------+-----+---------+-------+ 7 rows in set (0.05 sec)
こんな感じのSQLが実行されます。
select * from UserSession where userId=205 and appTableId=4 and deviceUDID='apppotsdkjs' and tokenExpireDate>='2018-01-12 22:16:13';
MySQLの実行計画の確認は手軽で、EXPLAINを頭に付けるだけでOKです。
Index追加前
rowsに122381という値が入っていますが、いわゆるフルスキャンが発生して、全部のレコードをチェックしていることがわかりました。そりゃ遅いですね。
MySQL [apppot]> EXPLAIN select * from UserSession where userId=205 and appTableId=4 and deviceUDID='apppotsdkjs' and tokenExpireDate>='2018-01-12 22:16:13'; +----+-------------+-------------+------+---------------+------+---------+------+--------+-------------+ | id | select_type | table | type | possible_keys | key | key_len | ref | rows | Extra | +----+-------------+-------------+------+---------------+------+---------+------+--------+-------------+ | 1 | SIMPLE | UserSession | ALL | NULL | NULL | NULL | NULL | 122381 | Using where | +----+-------------+-------------+------+---------------+------+---------+------+--------+-------------+ 1 row in set (0.01 sec)
userIdにIndexを追加してみる
試しにuserIdにIndexを追加してみます。 ログインするユーザーが十分バラけていれば、これでも早くなりそうな感じがします。
ALTER TABLE UserSession ADD INDEX index_userId(userId);
実行計画はこんな感じ。チェックする対象のrowsの値が1/4になってますね。
MySQL [apppot]> EXPLAIN select * from UserSession where userId=205 and appTableId=4 and deviceUDID='apppotsdkjs' and tokenExpireDate>='2018-01-12 22:16:13'; +----+-------------+-------------+------+---------------+--------------+---------+-------+-------+-------------+ | id | select_type | table | type | possible_keys | key | key_len | ref | rows | Extra | +----+-------------+-------------+------+---------------+--------------+---------+-------+-------+-------------+ | 1 | SIMPLE | UserSession | ref | index_userId | index_userId | 9 | const | 33436 | Using where | +----+-------------+-------------+------+---------------+--------------+---------+-------+-------+-------------+ 1 row in set (0.00 sec)
複数カラムのIndex
MySQLは複数のIndexあっても、どれか１つしか使ってくれません。 そこで、複数のカラムで１つのIndexを作ることができます。遅いSQLの条件で使っているカラムの組み合わせてIndexを作ります。
ALTER TABLE UserSession ADD INDEX index_get_session(userId, appTableId, deviceUDID, tokenExpireDate);
実行計画を見てみましょう。rowsの値が3桁減ってますね。 possible_keysが使用可能なIndex、keyが実際に使われたIndexということのようです。 新しく付けたindex_get_sessionが使われてますね。
MySQL [apppot]> EXPLAIN select * from UserSession where userId=205 and appTableId=4 and deviceUDID='apppotsdkjs' and tokenExpireDate>='2018-01-12 22:16:13'; +----+-------------+-------------+-------+--------------------------------+-------------------+---------+------+------+-----------------------+ | id | select_type | table | type | possible_keys | key | key_len | ref | rows | Extra | +----+-------------+-------------+-------+--------------------------------+-------------------+---------+------+------+-----------------------+ | 1 | SIMPLE | UserSession | range | index_userId,index_get_session | index_get_session | 792 | NULL | 258 | Using index condition | +----+-------------+-------------+-------+--------------------------------+-------------------+---------+------+------+-----------------------+ 1 row in set (0.08 sec)
以上です。
macOSにTensorFlowをセットアップする (2018/04更新)
マニュアルInstalling TensorFlow on macOS | TensorFlowでオススメされているvirtualenvを使った、セットアップを行います。
このドキュメントは2018/04/29にMacBook Pro 2017年モデルに環境構築をするために、再確認して更新しています。
使用した環境
- macOS High Sierra
- Tensorflow 1.8
- pip
Pythonのパッケージ管理ツール - Virtualenv
Virtualenv — virtualenv 15.1.0 documentation
Virtualenvは、独立したPython実行環境を作ることができるツールです。Virtualenvを使うことで、他の環境から影響を受けたり、与えたりすることがないので、好き放題実験することができます。
事前準備
macOSにHomebrewのセットアップを行っています。
1. Python環境の構築
pyenvでPythonの複数環境を構築して、Python3をインストールしていきます。
1.1. pyenvをHomebrewでインストール
$ brew install pyenv
1.2. Python3をインストール
利用できるPythonのバージョンを確認
$ pyenv install -l Available versions: 2.1.3 2.2.3 （略） 3.6.2 3.6.3 3.6.4 3.6.5 3.7.0b2 3.7-dev 3.8-dev activepython-2.7.14 （略）
Python 3をインストール
$ pyenv install 3.6.5 python-build: use openssl from homebrew python-build: use readline from homebrew Downloading Python-3.6.5.tar.xz... -> https://www.python.org/ftp/python/3.6.5/Python-3.6.5.tar.xz Installing Python-3.6.5... python-build: use readline from homebrew Installed Python-3.6.5 to /Users/rsogo/.pyenv/versions/3.6.5
2. Virtualenvのインストール
pipを使ってVirtualenvをインストールします。
--upgradeは関連パッケージに新しいバージョンがある場合は、更新するというオプションです。
$ sudo pip install --upgrade virtualenv
The directory '/Users/rsogo/Library/Logs/pip' or its parent directory is not owned by the current user and the debug log has been disabled. Please check the permissions and owner of that directory. If executing pip with sudo, you may want the -H flag.
The directory '/Users/rsogo/Library/Caches/pip/http' or its parent directory is not owned by the current user and the cache has been disabled. Please check the permissions and owner of that directory. If executing pip with sudo, you may want the -H flag.
You are using pip version 6.0.6, however version 9.0.1 is available.
You should consider upgrading via the 'pip install --upgrade pip' command.
The directory '/Users/rsogo/Library/Caches/pip/http' or its parent directory is not owned by the current user and the cache has been disabled. Please check the permissions and owner of that directory. If executing pip with sudo, you may want the -H flag.
Collecting virtualenv
Downloading virtualenv-15.1.0-py2.py3-none-any.whl (1.8MB)
100% |################################| 1.8MB 1.9MB/s
Installing collected packages: virtualenv
Successfully installed virtualenv-15.1.0
3. Tensorflowの環境を作る
3.1 VirtualenvでTensorflowの環境を作る
-pオプションでセットアップしたpython3の環境を指定して、Virtualenv環境を作ります。
tensorflowというディレクトリをターゲットとしています。ディレクトリ名は任意です。
rsogo-Mac-Book-2:~ rsogo$ virtualenv --system-site-packages -p ~/.pyenv/versions/3.6.5/bin/python3.6 tensorflow Running virtualenv with interpreter /Users/rsogo/.pyenv/versions/3.6.5/bin/python3.6 Using base prefix '/Users/rsogo/.pyenv/versions/3.6.5' New python executable in /Users/rsogo/tensorflow/bin/python3.6 Also creating executable in /Users/rsogo/tensorflow/bin/python Installing setuptools, pip, wheel...done.
3.2. Virtualenv環境を有効にする
cd tensorflow/ $ source bin/activate (tensorflow) Ryohei-no-MacBook-Pro:tensorflow rsogo$
これで、作ったVirtualenv環境に入っています
3.3. Tensorflowのインストール
$ pip3 install --upgrade tensorflow
Collecting tensorflow
Downloading tensorflow-1.2.1-cp36-cp36m-macosx_10_11_x86_64.whl (34.1MB)
100% |████████████████████████████████| 34.1MB 37kB/s
（略）
Successfully built protobuf markdown html5lib
Installing collected packages: six, protobuf, numpy, markdown, backports.weakref, html5lib, bleach, werkzeug, tensorflow
Successfully installed backports.weakref-1.0rc1 bleach-1.5.0 html5lib-0.9999999 markdown-2.6.8 numpy-1.13.1 protobuf-3.3.0 six-1.10.0 tensorflow-1.2.1 werkzeug-0.12.2
4. 動作確認
4.1. チュートリアルをやってみる
下記のソースをtutorial1.pyという名前で作成します。
import tensorflow as tf
node1 = tf.constant(3.0, dtype=tf.float32)
node2 = tf.constant(4.0) # also tf.float32 implicitly
print(node1, node2)
sess = tf.Session()
print(sess.run([node1, node2]))
node3 = tf.add(node1, node2)
print("node3: ", node3)
print("sess.run(node3): ", sess.run(node3))
4.2. 実行してみます
$ python tutorial1.py
Tensor("Const:0", shape=(), dtype=float32) Tensor("Const_1:0", shape=(), dtype=float32)
2017-08-06 00:32:11.351356: W tensorflow/core/platform/cpu_feature_guard.cc:45] The TensorFlow library wasn't compiled to use SSE4.2 instructions, but these are available on your machine and could speed up CPU computations.
2017-08-06 00:32:11.351380: W tensorflow/core/platform/cpu_feature_guard.cc:45] The TensorFlow library wasn't compiled to use AVX instructions, but these are available on your machine and could speed up CPU computations.
2017-08-06 00:32:11.351385: W tensorflow/core/platform/cpu_feature_guard.cc:45] The TensorFlow library wasn't compiled to use AVX2 instructions, but these are available on your machine and could speed up CPU computations.
2017-08-06 00:32:11.351390: W tensorflow/core/platform/cpu_feature_guard.cc:45] The TensorFlow library wasn't compiled to use FMA instructions, but these are available on your machine and could speed up CPU computations.
[3.0, 4.0]
node3: Tensor("Add:0", shape=(), dtype=float32)
sess.run(node3): 7.0
動いてそうですね。
MySQL（RDS）へのデータのインポート
RDSへ、Excelでもらったマスタデータを取り込む時にいろいろとハマったので書いておこうと思います。
RDSでmysqlimportは使えない、LOAD DATA LOCAL INFILEを使う
まさにこちらの記事と同じ手順を辿りました。
RDSでcsvファイルをインポートしようとして権限エラーになったときの対応 - Qiita
インポートしたデータが文字化けする
mysql> show variables like '%char%'; +--------------------------+-------------------------------------------+ | Variable_name | Value | +--------------------------+-------------------------------------------+ | character_set_client | utf8 | | character_set_connection | utf8 | | character_set_database | latin1 | | character_set_filesystem | binary | | character_set_results | utf8 | | character_set_server | latin1 | | character_set_system | utf8 | | character_sets_dir | /rdsdbbin/mysql-5.6.34.R1/share/charsets/ | +--------------------------+-------------------------------------------+ 8 rows in set (0.00 sec)
LOAD DATA INFILEはcharacter_set_databaseを使っているようです。
上記の場合、latin1になっていることが原因でした。utf8に変える必要がありました。
set character_set_databaseで、変更ができます。
mysql> set character_set_database = utf8; Query OK, 0 rows affected (0.00 sec) mysql> show variables like '%char%'; +--------------------------+-------------------------------------------+ | Variable_name | Value | +--------------------------+-------------------------------------------+ | character_set_client | utf8 | | character_set_connection | utf8 | | character_set_database | utf8 | | character_set_filesystem | binary | | character_set_results | utf8 | | character_set_server | latin1 | | character_set_system | utf8 | | character_sets_dir | /rdsdbbin/mysql-5.6.34.R1/share/charsets/ | +--------------------------+-------------------------------------------+ 8 rows in set (0.00 sec)
参考にさせていただきました
MySQLのload data infile文で文字化けする場合の対策 | クレストボウズ::技術者ブログ
CSVデータのインポート
LOAD DATA LOCAL INFILE '/tmp/data.csv' INTO TABLE CP FIELDS TERMINATED BY ',' OPTIONALLY ENCLOSED BY '"' LINES TERMINATED BY '\r\n';
Raspberry PiにnodeとReactを入れる
冬休みの勉強でRaspberry Piにnode入れて、なんかいろいろやろうと思います。
cpuinfoでCPUの確認
pi@raspberrypi:~$ cat /proc/cpuinfo processor : 0 model name : ARMv7 Processor rev 4 (v7l) BogoMIPS : 38.40 Features : half thumb fastmult vfp edsp neon vfpv3 tls vfpv4 idiva idivt vfpd32 lpae evtstrm crc32 CPU implementer : 0x41 CPU architecture: 7 CPU variant : 0x0 CPU part : 0xd03 CPU revision : 4 （Coreは４つありますが、同じなので省略） Hardware : BCM2709 Revision : a02082 Serial : 00000000dad0288f
ARMv7ですね。
nodeのインストール
インストールはLinuxの場合はCPUに合わせてバイナリをダウンロードして、解凍するだけでした。今回はさっき調べてARMv7と分かっているので、対応したファイルを使います。
pi@raspberrypi:~$ wget https://nodejs.org/dist/v6.9.2/node-v6.9.2-linux-armv7l.tar.xz pi@raspberrypi:~$ tar xvf node-v6.9.2-linux-armv7l.tar.xz pi@raspberrypi:~$ sudo su - root@raspberrypi:~# mkdir /opt/node/ root@raspberrypi:~# cp -r /home/pi/Downloads/node-v6.9.2-linux-armv7l/* /opt/node/
バージョンの確認をします。
pi@raspberrypi:~/works$ node -v v6.9.2 pi@raspberrypi:~/works$ npm -v 3.10.9
Reactを入れてみます
まぁここから先はnpmがよろしくやってくれるので、単なる記録です。
pi@raspberrypi:~/works$ sudo /opt/node/bin/npm install -g create-react-app /usr/bin/create-react-app -> /usr/lib/node_modules/create-react-app/index.js /usr/lib └── create-react-app@1.0.2
Create React Appでプロジェクトを作れます
pi@raspberrypi:~/works$ create-react-app hellow-world
Creating a new React app in /home/pi/works/hellow-world.
Installing packages. This might take a couple minutes.
Installing react-scripts...
npm WARN prefer global marked@0.3.6 should be installed with -g
hellow-world@0.1.0 /home/pi/works/hellow-world
└─┬ react-scripts@0.8.4
├─┬ autoprefixer@6.5.1
（中略）
Success! Created hellow-world at /home/pi/works/hellow-world
Inside that directory, you can run several commands:
npm start
Starts the development server.
npm run build
Bundles the app into static files for production.
npm test
Starts the test runner.
npm run eject
Removes this tool and copies build dependencies, configuration files
and scripts into the app directory. If you do this, you can’t go back!
We suggest that you begin by typing:
cd hellow-world
npm start
プロジェクトのビルド
pi@raspberrypi:~/works/hellow-world$ npm run build > hellow-world@0.1.0 build /home/pi/works/hellow-world > react-scripts build Creating an optimized production build... Compiled successfully. File sizes after gzip: 45.92 KB build/static/js/main.4602eddc.js 289 B build/static/css/main.9a0fe4f1.css The project was built assuming it is hosted at the server root. To override this, specify the homepage in your package.json. For example, add this to build it for GitHub Pages: "homepage": "http://myname.github.io/myapp", The build folder is ready to be deployed. You may also serve it locally with a static server: npm install -g pushstate-server pushstate-server build open http://localhost:9000
プロジェクトの実行
pi@raspberrypi:~/works/hellow-world$ npm start Compiled successfully! The app is running at: http://localhost:3000/ Note that the development build is not optimized. To create a production build, use npm run build.
Raspberry Biのアドレスと3000番ポートにアクセスするとサンプルが実行されているのが確認できました。
Webサーバーを入れる
今後のことも考えて、単独で実行できるhttp-serverも入れておきます。
root@raspberrypi:~# npm install -g http-server
npm WARN npm npm does not support Node.js v0.10.29
npm WARN npm You should probably upgrade to a newer version of node as we
npm WARN npm can't make any promises that npm will work with this version.
npm WARN npm You can find the latest version at https://nodejs.org/
/usr/bin/http-server -> /usr/lib/node_modules/http-server/bin/http-server
/usr/bin/hs -> /usr/lib/node_modules/http-server/bin/http-server
/usr/lib
└─┬ http-server@0.9.0
├── colors@1.0.3
├── corser@2.0.1
├─┬ ecstatic@1.4.1
│ ├── he@0.5.0
│ ├── mime@1.3.4
│ ├── minimist@1.2.0
│ └── url-join@1.1.0
├─┬ http-proxy@1.16.2
│ ├── eventemitter3@1.2.0
│ └── requires-port@1.0.0
├── opener@1.4.2
├─┬ optimist@0.6.1
│ ├── minimist@0.0.10
│ └── wordwrap@0.0.3
├─┬ portfinder@0.4.0
│ ├── async@0.9.0
│ └─┬ mkdirp@0.5.1
│ └── minimist@0.0.8
└─┬ union@0.4.6
└── qs@2.3.3
Webサーバーの起動
ドキュメントルートにしたい場所まで移動して、起動します。
pi@raspberrypi:~$ cd works/hellow-world/ pi@raspberrypi:~/works/hellow-world$ http-server Starting up http-server, serving ./public Available on: http://127.0.0.1:8080 http://192.168.10.11:8080 Hit CTRL-C to stop the server
これで他の端末からhttp://192.168.10.11:8080/でRaspberry Pi上のWebサーバーにアクセスできます。
