なからなLife

geekに憧れと敬意を抱きながら、SE、ITコンサル、商品企画、事業企画、管理会計、総務・情シス、再び受託でDB屋さんと流浪する人のブログです。

Kibana

一旦おしまい - Kibanaを立ててみた

Kibanaを立ててみた - なからなLifeにて当初予定していたもの全部は記事化できなかったのですが、一旦締めさせていただこうと思います。 以下テーマは、間に合わなかったので後ほど Amazon Elasticsearch連携 AWS契約して、マネジメントコンソールからAmazon…

JDBCでInputする - Kibanaを立ててみた

ファイルではなくDBの中身を取得 これまで、Logstashやfluentdが、「ファイル」を読み込んでelasticsearchに流し込む事例を扱ってきましたが、どちらも、「データベース」から直接読み取って、elasticsearchに流し込むことができます。 今回は、MySQLの中身…

Embulkを使ってみる - Kibanaを立ててみた

Embulkとは 「Fruentdのバッチ版」と呼ばれることが多いツールで、FruentdやLogstashが逐次生成されるデータをストリームとして扱って転送するのに対し、Embulkはほぼ変化のないデータの塊を転送するのに向いているエージェント、という位置付けになります。…

fluentdを使ってみる - Kibanaを立ててみた

fluentdとは 別名「td-agent」であることからわかるように、Tresure Dataのフロントとなるログ収集エージェントという位置付けですが、やはり様々なプラグインを通じて柔軟な処理が可能となっており、こと日本においては、ログ収集管理のエージェントとしてL…

Logstashを使ってみる - Kibanaを立ててみた

Logstashとは さまざまなデータソースから情報を収集し、さまざまなstash=格納庫にデータを投入する機能を提供するツールです。 Elaticsearchの文脈で語る上では、「Elasticsearchにデータを投入するためのエージェント」という位置付けになりますが、Logst…

Filebeatを使ってみる - Kibanaを立ててみた

Filebeatとは beatをインストールしたマシン上のファイルを監視し、その内容を収集するbeatです。 いわゆる一般的なログファイル監視・収集ツールという位置付けですが、syslog、Apache2、nginx、mysqlについてはelasticsearchのインデックス生成テンプレー…

Packetbeatを使ってみる - Kibanaを立ててみた

Packetbeatとは beatをインストールしたマシンのネットワーク・インターフェースを監視し、その内容を収集するbeatです。 ネットワークパケットの内容は、プロトコル毎に整理されます。 今回も、システム一般とMySQLの情報を取得することを目的としています…

Metricbeatを使ってみる - Kibanaを立ててみた

Metricbeatとは システムの統計情報(Metric)を収集するbeatです。 いわゆるOSで取得できるCPUやメモリなどの情報、および、モジュールを通してApacheやMySQLその他の統計情報も、ちょっとした設定をするだけで収集できる様になっています。 今回は、System…

エージェント概要 - Kibanaを立ててみた

データ収集の先鋒をどうするか 概要のところで説明したとおり、エージェント経由でElasticsearchに情報を収集するのですが、選択肢が結構多いですね。 よくある事例、記事だと、日本ではFluentdが圧倒的に多くて、次にLogstash。 FluentdもLogstashも、ファ…

Kibana+Elasticsearchセットアップ - Kibanaを立ててみた

まずは器を用意する Kibanaを使うには、分析・可視化対象のデータを入れる器としてのElasticsearchを立て、それを参照させるようにKibanaを立て、また、器にデータを入れる仕組みを用意する、という順番で進んでいきます。よって、ここでは、器としてのElast…

Kibanaって何よ、って話 - Kibanaを立ててみた

外から見たKibana www.elastic.coがあっさりとしていますが、要はオープンソースのログデータ解析/可視化ツールです。基本的に、リアルタイム検索エンジン「Elasticsearch」とセットで使われます。 独自のNode.js Webサーバーも付いている、ということで、別…

Kibanaを立ててみた

きっかけ なんかKibanaが流行っているみたいなので、今更感はありますが、とりあえずいじってみることにしました。 多分、AWSでフルマネージドにおまかせの方がラクチンなんだろうなー、と思いつつ、RDSと同様、ローカルにそのまんま立ててイロイロ比較する…