monoblog

東京で働く会社員のブログ

Tech

【Spark SQL】その月の月初の日を指定するクエリ

SparkSQLにはlast_day という指定した日の月の月末の日を返す関数があるのですが、月初の日を返す関数がありません。 そこで、月初の日を返すやり方はないのかと思い、試行錯誤してみました。 (前提条件として、時刻の環境はUTCを想定しているため、都度FRO…

Elasticsearchのバージョンを5から6にする時の注意点

Elasticsearchのバージョン6で検証をしていた際にハマった箇所があったのでTipsにしてみました。 ※環境はAWS Elasticsearch Serviceを利用しており、バージョンは以下の通りです [~] curl localhost:9200 15:47:32 { "name" : "cg83lSz", "cluster_name" : "…

Elasticsearch及びkibanaを5.6.0にアップデートする

Elasticsearch及びkibanaを5.6.0にアップデートするTipsの紹介です。 バージョンアップデートに関しては色々な手法が紹介されていますが、このやり方が一番楽だったので以下に載せていきます 環境 Elasticsearch on Amazon WC2 現在のバージョンを確認する […