Fire Engine

化学の修士号→消防士→ITエンジニア(2016年11月〜)

Site Reliability Engineering – 10章 時系列データからの実践的なアラート

こんにちは、つるべーです。 先日、福岡のインフラ界隈のエンジニアの方々がやっているSRE本の輪読会に参加し、発表をさせていただいたので、その時の内容をまとめます。 私は、10章の「時系列データからの実践的なアラート」を担当させてもらいました。 は…

インフラエンジニアになって覚えたLinuxコマンド その2(ネットワーク系コマンド編)

こんにちは、つるべーです。 今回の記事は以前の続きで、インフラ業務の中で覚えたLinuxコマンドについてです。 www.hirotsuru.com 今回はネットワーク系のコマンドに絞ってまとめていきます。 環境 macOS High Sierra(バージョン 10.13.3) VirtualBox 5.2…

インフラエンジニアになって覚えたLinuxコマンド その1

こんにちは、つるべーです。 会社のインフラ研修も終わり、4月の2週目から正式にインフラチームにJoinしました。 今回は私が初めてインフラ業務をやっていく中で覚えたLinuxコマンドを備忘録的に書いていきます。まだまだインフラ運用に必要なコマンドはある…

ペパカレのインフラ研修を修了した

どうもつるべーです。 私は2018年3月1日から、GMOペパボ本社にてペパボカレッジ(通称ペパカレ)のインフラ研修を受けており、4月6日に無事修了することができました! 今回は研修で学んだことやこれからやりたいことなどを書いていきます。 以前ペパボへの…

k近傍法による異常検知のライブラリをmrubyで作ってみた

こんにちは!インフラエンジニア見習いつるべーです。 今回は、mrubyという組込ソフトウェア向けの軽量なRuby言語を使って、k近傍法による異常検知を行うスクリプトを書いてみたので、そちらの紹介です! 目次 なぜ作ったのか 作ったもの ソースコード 使い…

Terraformでインスタンスの停止ができない理由を考えたらInfrastructure as Codeへの理解が深まった話

こんにちは、筋肉系インフラエンジニア見習いのつるべーです。 私は今、GMOペパボ株式会社でペパボカレッジという第二新卒エンジニア向け研修を受けている真っ最中です! 今回のエントリーは、私が研修中に感じた素朴な疑問を会社のコミュニケーションツール…

「3分間ネットワーク基礎講座」を読んだ

ネットワークの勉強をするため「3分間ネットワーク基礎講座」という本を読みました。 私は2月からインフラエンジニアに転職しました。業務の中でネットワークのことを知らなすぎて危機感を感じたため、有名なマスタリングTCP/IP 入門編 第5版を読もうと試み…

Prometheusをインストールして、サーバのメトリクスを取得してみる

こんにちは。インフラエンジニア見習いのつるべーです。 最近、オープンソースの監視ツールとして注目を集めているPrometheusのことが気になっています。サーバの監視ツールとしても大変優秀なようですが、時系列なデータを蓄積する時系列データベースとして…

消防士を辞めて1年2ヶ月…GMOペパボのインフラエンジニアになった

2018年2月1日にGMOペパボ株式会社に入社しました! 消防士を辞めてエンジニアに転職してからの1年2ヶ月は福岡のシステム開発会社で機械学習などのデータサイエンスの分野に取り組んでいましたが、ペパボにはインフラエンジニアとして入社しました。今回の記…

シリコンバレーのIT企業に行ってきた!

1月の末に約1週間、サンフランシスコ・シリコンバレーに行ってきました!エンジニアになってからすごく興味を持っていたシリコンバレーの有名IT企業を回ってきたので、写真を中心にご紹介します! Facebook 有名ないいねの看板 会社の中は広すぎて、雰囲気も…

Pythonで学ぶUnixプロセスの基礎

先日、自身が主催するPyFukuokaというイベントにて「Pythonで学ぶUnixプロセスの基礎」というタイトルの発表をしました。スライドはこちらです。 speakerdeck.com 内容としては「なるほどUnixプロセス」という本を参考にしています。本書は、Unixの基礎から…

消防士からエンジニアに転職して1年が経った

消防士として働いていた私がゼロからプログラミングを始めて、ITエンジニアに転職してから1年が経ちました。今回は、1年間エンジニアとして働いた今の率直な思いと、1年の振り返りをしていこうと思います。 転職してどうだったか 私はエンジニアという仕事は…

異常検知ライブラリを作ってみた

今回の記事は、前職消防士でゼロからプログラミングを始めた超未熟者の私が、異常検知ライブラリを作った話です。 なぜ作ったか マインド的背景 消防士を辞めてエンジニアに転職してから1年、いろんな技術に触れました。TensorFlow、scikit-learn、Dockerな…

Bokehを用いたビットコイン価格のリアルタイム可視化(Python)

今回はBokehというライブラリを使って、ビットコイン価格のリアルタイム可視化を行う方法について書いていきます。Bokehを使うと、Pythonオンリーで可視化までできるので、非常に便利です。 Bokehとは BokehとはPython製の対話的可視化ライブラリです。対話…

Pythonによる「べき乗法(Power Method)」の実装 - 最大特異値・特異ベクトルを求める

はじめに 理工学の分野において、行列の固有値と固有ベクトルを求める問題に直面することが多々あります。一般に、固有値や固有ベクトルは固有値分解という行列分解で求められますが、これは正方行列に対してのみ定義されています。特異値分解は、固有値分解…

特異スペクトル変換法による時系列データの異常検知(Python)

はじめに 今回は、特異スペクトル変換法というアルゴリズムをPythonで実装します。このアルゴリズムは時系列データの異常検知に対して非常に強い力を発揮します。また、ハイパーパラメータ(人が調整する必要のあるパラメータ)が少なく、比較的チューニング…

プログラマのための数学勉強会@福岡 #6に登壇しました

先日「プログラマのための数学勉強会@福岡 #6」に登壇しました。 maths4pg-fuk.connpass.com こちらがそのときの発表スライドになります。 speakerdeck.com 内容は、正規分布を使って1次元データの異常検知をする話で、理論・実装の詳細は下記の記事に書きま…

1次元正規分布に基づく異常検知の理論とPythonによる実装

はじめに 異常検知とは、大多数のデータとは振る舞いが異なるデータを検出する技術のことです。異常検知は、膨大なデータが収集可能となった現代におけるデータ活用のひとつとして脚光を浴びています。 統計的異常検知の考え方 異常検知にもいろいろ…

Python製の対話的可視化ライブラリBokehを使ってみる

Pythonには様々なデータ可視化ライブラリがありますが、私は最近Bokehというライブラリを知って、その便利さにハマってます!今回はBokehの簡単なチュートリアル的な内容を書きたいと思います。 Bokehとは? Bokehって何?の答えを知るには下記の公式ページ…

Pythonで状態空間モデルを使う(StatsModels)

今回は、代表的な時系列モデルである状態空間モデルをPythonで使う方法を書いていきます。 先日、『時系列データ分析とPython』という記事を書きましたが、今回はその内容の実装部分にあたります。(状態空間モデルって?という方はぜひ前回の記事を見て下さ…

時系列データ分析とPython

先日、『時系列データ分析とPython』というタイトルでLTをしたので、そのときのスライドをこちらに載せておきます。 時系列データ分析とPython from Hirofumi Tsuruta www.slideshare.net LTで話したとは言っても、私自身、数ヶ月前まで時系列データなんて…

【統計】モデル選択とAIC

最近、社内で統計モデリングのバイブル本である『データ解析のための統計モデリング入門』の勉強会を行っており、第4章の部分を担当したので、その際の資料をこちらに載せておきます! データ解析のための統計モデリング入門4章 from Hirofumi Tsurut…

消防士からエンジニアに転職して半年が経ちました

こんにちは!私事ですが、エンジニアに転職して半年が経ちました!以前は消防士という全く違う世界で仕事をしており、プログラムの経験もほとんどないままエンジニアになりましたが、なんとか普通に仕事ができるようになってきました! 今回は、私が転職して…

2017年の目標(エンジニアに転職して1年目)

2016年は私にとって、激動の年でした。何と言っても下記のエントリーにも書きましたが、転職したことが大きな変化の1つです。 www.hirotsuru.com そもそもプログラミングに初めて触れたのが2016年の1月でした。なので、まだプログラミング自体始めて1年く…

消防士からエンジニアに転職した話

私は2016年10月まで消防士の仕事をしていて、2016年11月からITエンジニアに転職しました。学生時代の専攻も情報系とは全く関係なく、プログラミングに初めて触れたのが2016年の1月からで、勉強を始めて約10ヶ月で転職に至りました。今回は、そんな少し変わっ…

【書評】『コンピュータで「脳」がつくれるか』は超わかりやすい人工知能(AI)の入門書だった。

2016年9月に出版された『コンピュータで「脳」がつくれるか』という本を読みました。すごくよかったので、紹介します! コンピューターで「脳」がつくれるか作者: 五木田和也,青木健太郎出版社/メーカー: 技術評論社発売日: 2016/09/27メディア: 単行本この…

はてなブックマークから特徴語を抽出し、ユーザーの興味・関心を分析する。

以前、文章から特徴語の抽出や特徴ベクトルを生成するモジュールを作りました。 hirotsuru.hatenablog.com 今回は、これを使って個人のはてなブックマークから特徴語を抽出し、興味・関心を分析できるのかやってみたいと思います。 はてなブックマークについ…

Rubyで文章を特徴ベクトルに変換するモジュールを作った。

最近、自然言語処理関係に興味を持ち、いろいろやっています。今回作ったものは、例えば、人工知能に関する文章をプログラムに渡すと、 { "人工知能": 3.4, "自動運転": 2.8, "研究": 1.5, ・・・・ } といったように、文章の特徴を表す単語(以下、特徴語と…

形態素解析エンジンMecabの辞書を更新する(mecab-ipadic-NEologdの導入)

先日、Rubyで2つの文章間の類似度を計算するモジュールについての記事を書きました。 hirotsuru.hatenablog.com 形態素解析、すなわち文章を単語に分割することは、文章を解析する上で、最初のステップとなります。この単語分割の際に用いる辞書は、日々生…

Rubyで文章間の類似度を計算するモジュールを作ってみた(TF-IDFとCos類似度による推定)

最近、自然言語処理に興味を持ち始めました。今回は、二つの文章(テキストファイル)の類似度を計算するモジュールを作ってみました。いずれは、これを発展させていって、機械学習とかも組み込んで、Webサイトをユーザの嗜好に応じて推薦してくれるシステム…