なからなLife

geekに憧れと敬意を抱きながら、SE、ITコンサル、商品企画、事業企画、管理会計、総務・情シス、再び受託でDB屋さんと流浪する人のブログです。

MySQLへのJDBC接続で、とあるバグを踏むまでの話 -(3)古いmariadb-client-javaにて、ヤバイ動き 

3エントリに渡ってお送りしています (1)「max_allowed_packet」の基本的な働き (2)「Connector/J」は結構賢い (3)古いmariadb-client-javaにて、ヤバイ動き MySQL本体同様、JDBCドライバにもforkプロダクト「MariaDB Connector/J(mariadb-client-j…

MySQLへのJDBC接続で、とあるバグを踏むまでの話 -(2)「Connector/J」は結構賢い

3エントリに渡ってお送りしています (1)「max_allowed_packet」の基本的な働き (2)「Connector/J」は結構賢い (3)古いmariadb-client-javaにて、ヤバイ動き Javaで開発するときにお世話になるヤーツ MySQLをDBとして採用したとき、アプリケーション…

MySQLへのJDBC接続で、とあるバグを踏むまでの話 -(1)「max_allowed_packet」の基本的な働き

3エントリに渡ってお送りいたします (1)「max_allowed_packet」の基本的な働き (2)「Connector/J」は結構賢い (3)古いmariadb-client-javaにて、ヤバイ動き 概要:max_allowed_packetとは 平たく言うと、MySQLのクライアントーサーバー間の通信のパ…

MySQL Workbenchで、Spatial Functionの結果を図で表示する

「できるらしい」という話だけで、誰も触ってなかった? clubmysql.connpass.com に参加して、坂井さんからGISにまつわるお話をたっぷり伺ってきました。で、坂井さんも、「MySQL WorkbenchがGIS対応してるらしいって聞いたことがあるけど、触ったこと無い」…

AWS Glueを扱ってみてツラかったところ。

AWS

冒頭から余談 しばらくブログの更新が空いてました。この期間、かなりしょっぱい仕事してました。まだ終わってないし、落ち着いてもいないけど、なんとなく書き残しておきたいネタになったので。 PySparkとかあんまり理解していない状況から、なんとなく「そ…

「アプリケーションエンジニアのためのApache Spark入門」読んでみた

先にまとめておく ApacheSpark2.2.0ベースでの記述で、サンプルソースはSaclaではなくPython(pyspark)。(個人的にはPython歓迎!だが、scalaベースで学びたい人には残念かもね。) Sparkの話だけではなく、fluentd+Kafkaで常時データが生成される環境を…

WindowsUpdate エラー「80072EE2」顛末記

WindowsUpdateが使えなくなった! メインじゃないのでしばらく使ってなかったWindows7のPC、最後に立ち上げた日もWindowsUpadteがトラブってたの、放置してた。 久々に時間が取れたのでいじってみたけど、何も改善してなかった。エラーコードは「80072EE2」…

Anaconda3でJupyter Notebookを立てたときに、Python2.7も選択できるようにする

何番煎じだよ って話なんだろうけど、その先人の煎じたヤツがその通りでは動かなかったので。 結局公式サイト記載のやり方が、一番近かった Installing the IPython kernel — IPython 6.2.0.dev documentation 近いけど、そのままじゃ動かねえし。 一通りJup…

CentOS 6系にyumでmavenをインストール

タイトルどおり、yumなんで wget http://repos.fedorapeople.org/repos/dchen/apache-maven/epel-apache-maven.repo -O /etc/yum.repos.d/epel-apache-maven.repo yum install -y apache-maven mvn --versionこれだけ。 今日やった時点で、Maven 3.5.2がイン…

CentOS6 on VirtualBoxでNIC追加・変更する手順

最初に億劫がってブリッジ設定のNICを1つで構築すると、あとが面倒。 Python3.6 & Jupyter Notebook環境をCentOS 6.9 on Virtualboxの上に作ってみた。 - なからなLife で、 eth0:NAT eth1:ホストオンリーネットワーク の2枚構成にしておくとラク、と自分…

Python3.6 & Jupyter Notebook環境をCentOS 6.9 on Virtualboxの上に作ってみた。

そろそろかじっておいたほうがいいかなと 関連書籍をあさっていると、お手軽にWindowsの上に直接Python立ててJupyter立てる方法しか書いてない本があったりするんですけど、Windows環境をあんまり汚したくないので、いつでもまっさらにできる仮想環境上に立…

CentOS 6.9の上でapache-loggen使いたくてゴタゴタした。

きっかけ とある製品の検証をするにあたり、ある程度リアリティのある大量データがほしいなと思ったところから。 apache-loggenは過去にElasticsearchの勉強しているときにちょっと触ったことがあって、ランダムなデータが一定間隔で出力できて、それでいて…

新年あけまして2018

「あけまして」の挨拶には遅すぎますが、有給つかって仕事始めが1月9日となり、まだだらっと過ごしている真っ最中です。 今年も手短に年頭所感を残しておきたいと思います。 年末から年始にかけて、子供2人が立て続けにインフルエンザにかかり、近年まれに見…

SELECT文をタイムアウト強制終了させる「MAX_EXECUTION_TIME」使ってる?

この記事はMySQL Casual Advent Calendar 2017 - Qiitaの9日目のエントリとなります。 実行が長引いたSELECT文を強制終了させるヤーツ MySQL5.6まで、正常に処理が進んでいて遅いSELECTをタイムアウトさせるシステム変数はありませんでした。 正常に処理が進…

MySQLの「Communications link failure...」の解決方法を調べていて、よく見つけるヤツ

この記事はMySQL Casual Advent Calendar 2017 - Qiitaの5日目のエントリとなります。 みんなだいすきお困りの、アレです。 Oracleだと「ORA-03113:通信チャネルでファイルの終わりが検出されました。」っていう、酷い日本語*1で有名なヤツがあるけど、MySQL…

MySQL 8.0をカジュアルに立ちあげる

この記事はMySQL Casual Advent Calendar 2017 - Qiitaの2日目のエントリとなります。 きっかけ、前提 MySQL8.0、まだRCの状態だけど、色々な機能追加の話題が盛り上がっている中でのAdvent Calendarでもあるので、MySQL 8.0新機能検証なネタを投下してくれ…

MySQLのGLOBAL_STATUSとGLOBAL_VARIABLES

今更MySQL5.7を扱うにあたって MySQL5.6とMySQL5.7のパラメータ差分をあらためて見直してたら、「show_compatibility_56」という、プロダクトのアーキ移行期間にありがちな「いかにも」な名前のパラメータがありまして。 これは何? 「SHOW [GLOBAL] STATUS…

MySQLの「CREATE TABLE .. SELECT/LIKE」の挙動の違い

テーブルの複製のとき、お世話になります。 ちょっとしたバックアップ目的や、検証作業用にテーブルを複製するシーンはよくあります。 MySQLでは、テーブルの複製のためのコマンドが大きく2種類あるので、その違いを確かめた結果のお話です。 CREATE TABLE …

Kindle、EPUB、PDF使い勝手

今更ながら、初めてEPUBの電子書籍を買ってみたんですよ 直前のエントリで上げた「Amazon Web Services負荷試験入門」を読むにあたって。 過去に「O'Reilly Japan Ebook Store」でPDF電子書籍を買ったことはありましたが、EPUBは買ったことがありませんでし…

「Amazon Web Services負荷試験入門」は2つの面で良書だった

まさにT/Oなんだが AWS負荷本、「AWSで作るシステム負荷試験のやり方」というIssueを掘り下げただけでも貴重なのだが、そもそも普通に負荷試験についてしっかり解説した書籍自体がレアなので、二重に美味しい。— atsuizo (@atsuizo) 2017年9月25日 AWS本では…

Logstashでハマった - Kibanaを立ててみた:番外編

atsuizo.hatenadiary.jpの際に扱っているLogstashですが、この時使用したファイルとは別のファイルを取り込もうとしてハマりました。何が原因なのかログから見えにくい、ということもあり、こちらに記録を残しておきます。 「指定したファイルへのアクセス権…

「新しいLinuxの教科書」あれはいい本だ。

所属している会社は小さいし、そこそこ実績のある中途しか採用していないので、Linux入門者を相手にする機会はそうそうないです。 なので、ここで吠えておくことにします。 「新しいLinuxの教科書」あれはいい本だ。 新卒SE向け研修(特に文系も採用している…

MySQLのサーバーステータス変数の監視の話

mysqlクライアントから定期実行してたし、計算は別途やってた。 SHOW [GLOBAL ]STATUSで取れるのは、「サーバー起動からの累積値」または「コマンド発行時の瞬間値」という仕様のため、前者について推移を知りたいときは、 ・定間隔でコマンド発行してファイ…

一旦おしまい - Kibanaを立ててみた

Kibanaを立ててみた - なからなLifeにて当初予定していたもの全部は記事化できなかったのですが、一旦締めさせていただこうと思います。 以下テーマは、間に合わなかったので後ほど Amazon Elasticsearch連携 AWS契約して、マネジメントコンソールからAmazon…

JDBCでInputする - Kibanaを立ててみた

ファイルではなくDBの中身を取得 これまで、Logstashやfluentdが、「ファイル」を読み込んでelasticsearchに流し込む事例を扱ってきましたが、どちらも、「データベース」から直接読み取って、elasticsearchに流し込むことができます。 今回は、MySQLの中身…

Embulkを使ってみる - Kibanaを立ててみた

Embulkとは 「Fruentdのバッチ版」と呼ばれることが多いツールで、FruentdやLogstashが逐次生成されるデータをストリームとして扱って転送するのに対し、Embulkはほぼ変化のないデータの塊を転送するのに向いているエージェント、という位置付けになります。…

fluentdを使ってみる - Kibanaを立ててみた

fluentdとは 別名「td-agent」であることからわかるように、Tresure Dataのフロントとなるログ収集エージェントという位置付けですが、やはり様々なプラグインを通じて柔軟な処理が可能となっており、こと日本においては、ログ収集管理のエージェントとしてL…

Logstashを使ってみる - Kibanaを立ててみた

Logstashとは さまざまなデータソースから情報を収集し、さまざまなstash=格納庫にデータを投入する機能を提供するツールです。 Elaticsearchの文脈で語る上では、「Elasticsearchにデータを投入するためのエージェント」という位置付けになりますが、Logst…

Filebeatを使ってみる - Kibanaを立ててみた

Filebeatとは beatをインストールしたマシン上のファイルを監視し、その内容を収集するbeatです。 いわゆる一般的なログファイル監視・収集ツールという位置付けですが、syslog、Apache2、nginx、mysqlについてはelasticsearchのインデックス生成テンプレー…

Packetbeatを使ってみる - Kibanaを立ててみた

Packetbeatとは beatをインストールしたマシンのネットワーク・インターフェースを監視し、その内容を収集するbeatです。 ネットワークパケットの内容は、プロトコル毎に整理されます。 今回も、システム一般とMySQLの情報を取得することを目的としています…