雲のメモ帳

猫とクラウドと旅行が好きなインフラエンジニアです。 日々の調べたことや興味が持ったことをこのブログにアウトプットします。

Instagram Graph APIとPythonでInstagramのハッシュタグ検索

これはなに? 前回の記事に引き続いて、Instagram Graph APIとPythonを使って、ハッシュタグ検索をしてみましたので、API仕様とサンプルコードを載せています。 Instagram Graph APIはドキュメントを呼んでもイマイチ使い方がわからないのと、あまり情報がな…

Instagram Graph APIとPythonでInstagramの「ユーザー情報、メディア情報」を取得する

これはなに? Instagram Graph API と Pythonを使ってInstagramのユーザー情報とかメディアの情報を取得してみたので、取得した項目とサンプルコードをあげます。API自体の使い方も結構癖があるのですが、何よりアクセストークンの発行とビジネスアカウントI…

WEB上からDatabricks クラスターにシェルアクセスする

これはなに? WEB上からDatabricks クラスターにシェルアクセスためのTipsです。Databricksクラスターはマネージドに色々やってくれるので、あまり接続する機会はないです。ただ、不具合などのトラブルシューティングの際にシェルアクセスすると作業が捗るの…

ポルカドットスティングレイの歌詞データをPythonで感情分析してみた -BERT日本語モデル‐

これはなに? 前回のブログに引き続いて、ポルカの歌詞分析やっていきます。 今回はBERTを使って歌詞の感情分析を実施し、曲中の感情の変化を可視化してみます。 www.cloudnotes.tech www.cloudnotes.tech

ポルカドットスティングレイの歌詞データの分析結果を可視化してみた -TensorBoard-

これはなに? Word2Vecを使って、ポルカの歌詞データを分析したので、その結果について可視化してみました。 前回の記事でモデル化まで終わっているので、内容としては結構簡単です。 歌詞データの分析モデル作成は以下の記事を参照ください。 www.cloudnote…

ポルカドットスティングレイの歌詞データをPythonで機械学習、分析してみた -word2vec‐

これはなに? 前回自然言語処理をする環境構築をやってみたので、GWの宿題として実際に分析をやってみました。 せっかくなので自分が好きな分野で分析してみたかったので、好きなアーティストのポルカドットスティングレイの歌詞データを自然言語処理、分析…

Dockerで自然言語処理(NLP)をするための環境構築

これはなに? 業務で自然言語処理をすることが多くなって、環境構築するのがメンドイのでコンテナ化してみました。 形態素解析のためにMeCab、Word2Vecを利用するためにgensimをそれぞれインストールし、プラットフォームとしてJupyterLabを利用できるように…

Azure Databricksのpysparkでデータ加工する際によく使うコード集

これはなに? 私がDatabricksのpysparkを使ったデータ加工する際によく使っているコードをメモとして残します。 Databricks特有の部分と一般的なpysparkの部分を分けて書いています。

Azure File Storageの使用量を監視する

これはなに? Azure Fileストレージの使用量監視、アラートの設定をやってみます。 監視はAzure モニターを利用します。

Splunk Add-on for AWSの取り込みログを確認する

これはなに? 以前AWS CURの情報をSplunk Add-on for AWSでデータ取り込みをしたのですが、取り込みログを調べる方法を記載します。Splunkのライセンス形態は日毎の取り込み容量になるので、取り込み容量の調査をする際に有効なログです。 以前の記事は以下…