１０月８日PHP Conference 2017に行ってきた！つづきをメモ
（最後に「PHPカンファレンス2017」のスライドまとめ）
■DockerでＰＨＰアプリケーションを本番リリースするまで
・おしらせ
speaker deckにアップするよ
・アンケート
開発でDocker使ってる人
本番で運用している人：１人→この状態２年くらい
・じゃ、これからコンテナ本番リリース
・Ｄｏｃｋｅｒを本番運用してわかったこと
福岡でやった
・今回は趣向を変えて
あなたのハートに火をつけたい
さあはじめましょう
・Dockerコンテナを本番で使うのに必要なこと
１．深く考えない
２．コピペ
３．クレジットカード
・とはいえ、最低限の知識
１．ローカルでコンテナを作成
２．レジストリにＰＵＳＨ
３．本番にリリース
・代表的マネージドサービス
ＧＫＥ
Ｄｏｃｋｅｒ Ｃｌｏｕｄ
・クバルネティス K8S クーバネーティス 操縦者の意味
・Docker Swarm すうぉーむ
・本番環境ごとに説明
・ＧＫＥ
事前準備：
ＧＣＰアカウント
gcloudコマンド
手順
ローカルでのコンテナ作成（動作確認）
レジストリにＰＨＳＨ
本番コントロール K8Sをつかってる（コントロール）
あとはkubecontrollに習熟すればＯＫ
・Swarm mode
AWS,Azureに入れる。方法は一緒
手順はいっしょ
ローカルでのコンテナ作成（動作確認）
レジストリにＰＨＳＨ
本番：ここがswarmにかわるだけ→cloudformationを使う
→ただ、１０分くらい上がってこない
・Heroku：
アカウント作ってください
ＡＰＰ作成、ＰＵＳＨ→イメージもherokuが作る
・まとめ
マネージドな環境を使うことで、かなり簡単
■Kuduを使用したＫＰＩ分析システム
・自己紹介
・会社紹介
・この資料はＰＨＰ ２％あるかないかくらい
・ゲーム開発におけるＫＰＩ基盤
ないときＫＰＩシステムをゲームごとに集計
ＤＡＵ／ＡＲＰＵ
→ＫＰＩ基盤を開発して共通化！
・ＫＰＩ基盤
ＢＩツール作成、ＫＰＩ集計
・ＣＤＨ５．４．１１で
ＨＤＦＳでログ
バッチはＨｉｖｅ
そのあとＲＤＢＭＳ
ログをＦｌｕｅｎｔｄ経由
・しばらくは問題なし
人間の欲は深い
いろいろな要求が出てくる
→実現困難
速度面：Ｈｉｖｅ
バッチの量産は困難
バッチ前提：リアルタイム分析は困難
→Ｈｉｖｅとは別のシステム
高速に集計するしくみ
分析者にも集計してもらう
リアルタイムにアクセスできる仕組み
・解決策は
これらを満たすには→Impala+Kudu
（別のapacheプロジェクト）
・なぜImparaとkudu
３つのメリット
高速処理
全員分析者になれる
リアルタイム処理
バッチ処理後のデータはkuduに格納
バッチ以外のアクセスはImpalaで
・高速処理
ImpalaはHiveと捕獲すると、かなり高速
インメモリでの集計
Impala-Demon
Ｈｉｖｅ４分３０秒→Impala+kudo０．２２秒
爆速
・全員分析者になれる
以前 ＨＤＦＳ→Ｈｉｖｅ集計→ＭｙＳＱＬ→ＰＨＰ
イレギュラーケースは対応できない
標準的なＳＱＬでの分析は便利
Impalaと組み合わせることでＳＱＬ可能
（ＫｕｄｕはＳＱＬインターフェースない）
・リアルタイム処理
ストリーミングでデータが流れていた
ログさえ到達すればアクセス可能
Impara
・標準的なＳＱＬインターフェース
高速処理
Ｋｕｄｕ
更新削除
全データに触れること可能
・導入時に行ったこと
ＣＤＨのバージョンアップ（５．１０以上→５．１１へ）
インストール：Cloudera Manager
データ移行:Apache sqoopによるデータ転送（ＭｙＳＱＬからＨｉｖｅ）
ＨｉｖｅからＫｕｄｕはImparaでできる（ＳＱＬ）
・注意点
導入 ＣＤＨ ５．１０
kuduのカラムの型にtimestampが使用できない Unixtime→BIGINT
タイムスタンプ系の関数はＵＴＣとして扱われる
Impalaの起動オプション
・最後に
いつでもだれでも多様な分析を行えるように！
Ｋｕｄｕ簡単に検証できるＱｕｉｃｋ ＶＭがある
エンジニアも非エンジニアも幸せに
■片手間ＭｙＳＱＬチューニング戦略
・自己紹介
・スローログ出しましょう
一定時間以上かかったＳＱＬを出力する
→オンラインでも有効にできる。小数点で時間指定できる。テーブルにもできる
ジェネラルログ：全部吐き出す→実行前に吐き出す
スローログ→実行後に吐き出す
ポイント
Ｔｉｍｅが短時間に集中している
時間分布を把握するためのツール あねもめーたー
row_examined,row_sentが十分小さい→indexつけるか？
そもそもrow_sentが大きくない？
WHEREが特定の物に偏っていないか→インデックスの使い分け
・バッファプールの気持ちになる
物理メモリーの７５％
ヒープ領域
あくまでバッファプールからよむ：テーブルスペースから
テーブルスペースとバッファプールは非同期
ダーティーページがあるとき
→Ｓｅｌｅｃｔしただけで、書き込みが走る
Ｉｎｓｅｒｔ、Ｄｅｌｅｔｅも同じ
→ここが小さいとボトルネック
・インデックス
特定のキーを狙い撃ちするのがうまくいく
→これ以外は・・・
ＪＯＩＮはきらわれる
ＯＲやＮＯＴ→ＡＮＤ、＝に落とし込めないか？
カラムに対して演算してはいけない
ネクストキーロック：indexに対するロック
・劇薬に手を出さない
ＭｙＩＳＡＭ
まとめ
・MySQL Casual
国内最大のPHPイベント「PHPカンファレンス2017」のスライドまとめ
https://techplay.jp/column/158
（最後に「PHPカンファレンス2017」のスライドまとめ）
■DockerでＰＨＰアプリケーションを本番リリースするまで
・おしらせ
speaker deckにアップするよ
・アンケート
開発でDocker使ってる人
本番で運用している人：１人→この状態２年くらい
・じゃ、これからコンテナ本番リリース
・Ｄｏｃｋｅｒを本番運用してわかったこと
福岡でやった
・今回は趣向を変えて
あなたのハートに火をつけたい
さあはじめましょう
・Dockerコンテナを本番で使うのに必要なこと
１．深く考えない
２．コピペ
３．クレジットカード
・とはいえ、最低限の知識
１．ローカルでコンテナを作成
２．レジストリにＰＵＳＨ
３．本番にリリース
・代表的マネージドサービス
ＧＫＥ
Ｄｏｃｋｅｒ Ｃｌｏｕｄ
・クバルネティス K8S クーバネーティス 操縦者の意味
・Docker Swarm すうぉーむ
・本番環境ごとに説明
・ＧＫＥ
事前準備：
ＧＣＰアカウント
gcloudコマンド
手順
ローカルでのコンテナ作成（動作確認）
レジストリにＰＨＳＨ
本番コントロール K8Sをつかってる（コントロール）
あとはkubecontrollに習熟すればＯＫ
・Swarm mode
AWS,Azureに入れる。方法は一緒
手順はいっしょ
ローカルでのコンテナ作成（動作確認）
レジストリにＰＨＳＨ
本番：ここがswarmにかわるだけ→cloudformationを使う
→ただ、１０分くらい上がってこない
・Heroku：
アカウント作ってください
ＡＰＰ作成、ＰＵＳＨ→イメージもherokuが作る
・まとめ
マネージドな環境を使うことで、かなり簡単
■Kuduを使用したＫＰＩ分析システム
・自己紹介
・会社紹介
・この資料はＰＨＰ ２％あるかないかくらい
・ゲーム開発におけるＫＰＩ基盤
ないときＫＰＩシステムをゲームごとに集計
ＤＡＵ／ＡＲＰＵ
→ＫＰＩ基盤を開発して共通化！
・ＫＰＩ基盤
ＢＩツール作成、ＫＰＩ集計
・ＣＤＨ５．４．１１で
ＨＤＦＳでログ
バッチはＨｉｖｅ
そのあとＲＤＢＭＳ
ログをＦｌｕｅｎｔｄ経由
・しばらくは問題なし
人間の欲は深い
いろいろな要求が出てくる
→実現困難
速度面：Ｈｉｖｅ
バッチの量産は困難
バッチ前提：リアルタイム分析は困難
→Ｈｉｖｅとは別のシステム
高速に集計するしくみ
分析者にも集計してもらう
リアルタイムにアクセスできる仕組み
・解決策は
これらを満たすには→Impala+Kudu
（別のapacheプロジェクト）
・なぜImparaとkudu
３つのメリット
高速処理
全員分析者になれる
リアルタイム処理
バッチ処理後のデータはkuduに格納
バッチ以外のアクセスはImpalaで
・高速処理
ImpalaはHiveと捕獲すると、かなり高速
インメモリでの集計
Impala-Demon
Ｈｉｖｅ４分３０秒→Impala+kudo０．２２秒
爆速
・全員分析者になれる
以前 ＨＤＦＳ→Ｈｉｖｅ集計→ＭｙＳＱＬ→ＰＨＰ
イレギュラーケースは対応できない
標準的なＳＱＬでの分析は便利
Impalaと組み合わせることでＳＱＬ可能
（ＫｕｄｕはＳＱＬインターフェースない）
・リアルタイム処理
ストリーミングでデータが流れていた
ログさえ到達すればアクセス可能
Impara
・標準的なＳＱＬインターフェース
高速処理
Ｋｕｄｕ
更新削除
全データに触れること可能
・導入時に行ったこと
ＣＤＨのバージョンアップ（５．１０以上→５．１１へ）
インストール：Cloudera Manager
データ移行:Apache sqoopによるデータ転送（ＭｙＳＱＬからＨｉｖｅ）
ＨｉｖｅからＫｕｄｕはImparaでできる（ＳＱＬ）
・注意点
導入 ＣＤＨ ５．１０
kuduのカラムの型にtimestampが使用できない Unixtime→BIGINT
タイムスタンプ系の関数はＵＴＣとして扱われる
Impalaの起動オプション
・最後に
いつでもだれでも多様な分析を行えるように！
Ｋｕｄｕ簡単に検証できるＱｕｉｃｋ ＶＭがある
エンジニアも非エンジニアも幸せに
■片手間ＭｙＳＱＬチューニング戦略
・自己紹介
・スローログ出しましょう
一定時間以上かかったＳＱＬを出力する
→オンラインでも有効にできる。小数点で時間指定できる。テーブルにもできる
ジェネラルログ：全部吐き出す→実行前に吐き出す
スローログ→実行後に吐き出す
ポイント
Ｔｉｍｅが短時間に集中している
時間分布を把握するためのツール あねもめーたー
row_examined,row_sentが十分小さい→indexつけるか？
そもそもrow_sentが大きくない？
WHEREが特定の物に偏っていないか→インデックスの使い分け
・バッファプールの気持ちになる
物理メモリーの７５％
ヒープ領域
あくまでバッファプールからよむ：テーブルスペースから
テーブルスペースとバッファプールは非同期
ダーティーページがあるとき
→Ｓｅｌｅｃｔしただけで、書き込みが走る
Ｉｎｓｅｒｔ、Ｄｅｌｅｔｅも同じ
→ここが小さいとボトルネック
・インデックス
特定のキーを狙い撃ちするのがうまくいく
→これ以外は・・・
ＪＯＩＮはきらわれる
ＯＲやＮＯＴ→ＡＮＤ、＝に落とし込めないか？
カラムに対して演算してはいけない
ネクストキーロック：indexに対するロック
・劇薬に手を出さない
ＭｙＩＳＡＭ
まとめ
・MySQL Casual
国内最大のPHPイベント「PHPカンファレンス2017」のスライドまとめ
https://techplay.jp/column/158
アクセス
トータル
ランキング
