雲のメモ帳

猫とクラウドと旅行が好きなインフラエンジニアです。 日々の調べたことや興味が持ったことをこのブログにアウトプットします。

VSCodeでDartのツリー式のコードガイドラインを表示する方法

これはなに? VSCodeでFlutterの開発をする際のTips記事です。

Databricks クラスターの起動を早くする方法

これはなに? Databricksを利用して分析を進めていくと必要なライブラリが多くなり、起動が遅くなることがあります。起動を早くする方法があるので、Tipsとして記載します。

Databricks上でTensorBoardを実行して、Word2Vecモデルを可視化してみた

これはなに? Databricks上でTensorBoardが実行できることを知ったので、Word2VecのモデルをDatabricks上で可視化するサンプルコードを残しています。

Databricks on AWS が従量課金に対応したので、デプロイ試してみた

これはなに? Databricksが従量課金に対応したので、DatabricksをAWS上にデプロイして、Databricksコンソール見れるところまでやってみました。 AWSにおけるDatabricksを用いたレイクハウス構築を高速に:新たなPay-as-You-Goオファリングの発表 - Qiita

Google Cloud Functionsのパラメータ情報をgcloudコマンドを使って一括取得する

これはなに? Google Cloud Functionsのパラメータ情報を取得するコマンドを作ったので備忘録として残しておきます。コードはCloud Shellで動作確認しています。

GPT-3の要約機能を試してみた(Python)

これはなに? OpenAI社が開発しているGPT3の精度がかなり良くなっていたので要約機能を検証してみました。GUIでも検証できますが、今回はPythonを使いました。

LINE APIを使って、LINE上からAWSで実行しているBotのON/OFFを制御できるようにした

これはなに? AWSコンソールを利用せずに、スマートフォンからAWSのリソースを操作したい場面があり、LINE APIを使って、LINE上から操作できるようにしてみました。 今回はテスト環境なので、ユーザーの認証などは行っていません。本番利用する場合は、API G…

Azure デジタルツインのSDKが実行できない場合の対処方法

これはなに? 最近デジタルツインを触る機会があり、SDKの実行で権限エラーとなり詰まったので、簡単な内容ですが、その時の対応方法を残しておきます。

Azure FunctionsがNuGetエラーで実行失敗した場合の対処方法

これはなに? VSCodeからEvents HubsトリガーのAzure Functionsを作成した際に、Functionsが実行できなかったのでその対処方法について記載します。

AWS LambdaとLINE APIを使って商品情報チェックBotを作ってみた

これはなに? ECサイト上ですぐに売り切れてしまう商品が再販されたときにLINEに通知する仕組みをLambdaを使って簡単に作ってみたので、簡単なメモです。 ※注意 処理の内容にスクレイピングを含んでいます。ECサイトに影響がないようにrobots.txtや規約情報…

AWS 認定ソリューションアーキテクト プロフェッショナルの再認定を受けてきた

これはなに? AWS SAPROの再認定を昨日受験してきたので、受験までにどんな勉強をしたか参考に記載します。 aws.amazon.com

rinnaの日本語特化GPTモデルを触ってみた

これはなに? 昨日チャットボットのりんなで有名なrinna株式会社からGPTに日本語モデルが公開されましたので、とうとう日本語モデルが来たかとわくわくしながら触ってみました。 prtimes.jp

ディレクトリを含まずにファイル圧縮する(zip -j)をPythonで実装する

これはなに? フォルダをzip化するときにディレクトリ情報を含みたくない時が時々あり、いつもはzip -jで対応していたのですが、zipコマンドが使えない環境だったのでPythonで実装しました。

Pythonを使って自身のグローバルIPを確認する

これはなに? Python実行環境のIPアドレスを調べる必要があり、サンプルコード作ったのでTIPSとして残しておきます。 サンプルコード実行するとGIPが取得できます。

Dockerを利用して、React実行環境を簡単に構築する

これはなに? 少しずつですが、フロントエンドの勉強もしていこうということで、まずはReactの実行環境をDockerで構築してみたのでメモを残します。

ポルカドットスティングレイの歌詞データをPythonを使ってキーフレーズ抽出してみた -PKE‐

これはなに? これまでポルカの歌詞データを使って自然言語を試してみたのですが、前々からやってみたかったキーフレーズ抽出を今回やってみようと思います。 ポルカドットスティングレイの歌詞どうしの類似度をPythonで算出してみた -Universal Sentence En…

Streamlit上でExcelで文字化けしないCSVのダウンロードリンクを生成する

これはなに? Streamlit上で生成したデータフレームをCSVとして出力し、Excelで読み込むと日本語が文字化けして困ったので、Excelで文字化けしないCSVのダウンロードファイルリンクの生成方法をメモとして残します。

Universal Sentence Encoderで発生した 「inheritable_header」 エラーの対処法

これはなに? ある日突然Dartabricks上でuniversal sentence encoderが動作しなくなり試行錯誤して対処したので、対処法を備忘録として残します。

Windowsでstreamlitコマンドが実行できない場合の対処方法

これはなに? Windows環境でStreamlitをpip installした後にコマンドがうまく実行できなかったので、その対処方法について備忘録を残します。

ポルカドットスティングレイの歌詞どうしの類似度をPythonで算出してみた -Universal Sentence Encoder‐

これはなに? ポルカの歌詞データ使って色々分析してきましたが、今回はUniversal Sentence Encoderという文章を数値化する仕組みを使って、歌詞どうしの類似度算出をやってみます。

Instagram Graph APIとPythonでInstagramからユーザーの投稿画像をダウンロードする

これはなに? Instagramの画像データ使って画像解析したいなーとおもったので、下処理としてInstagram Graph API使って画像のURL取得と実際に大量の画像を一括ダウンロードするPythonスクリプトを作ってみました。

PythonとGoogle スプレッドシートを使って、Instagramユーザー情報の簡易分析環境を作ってみた

これはなに? Instagramの簡易分析環境をPythonとGoogle スプレッドシート使ってみました。Instagramのインサイトって日ごとの細かいフォロワー数の変化や30日以上過去のデータが見れないので、GoogleSpreadsheetを簡易DB&BIツールとして利用して日ごとの変…

Teamsへカスタムアプリを登録し、ユーザーにカスタムアプリを配布する

これはなに? Teamsのカスタムアプリを登録して、ユーザーに配布するまでの手順メモです。Teamsのカスタムアプリに関する情報があまりなく、結構困ったので、どなたかの参考になれば。

Lambda Layer用PythonパッケージをWindows環境で簡単に作成する

これはなに? Lambda Layer用PythonパッケージをWindowsの環境で作成しようとすると環境準備が結構大変なので、Dockerを使って楽に作成する方法のメモです。

Instagram Graph APIとPythonでInstagramのハッシュタグ検索

これはなに? 前回の記事に引き続いて、Instagram Graph APIとPythonを使って、ハッシュタグ検索をしてみましたので、API仕様とサンプルコードを載せています。 Instagram Graph APIはドキュメントを呼んでもイマイチ使い方がわからないのと、あまり情報がな…

Instagram Graph APIとPythonでInstagramの「ユーザー情報、メディア情報」を取得する

これはなに? Instagram Graph API と Pythonを使ってInstagramのユーザー情報とかメディアの情報を取得してみたので、取得した項目とサンプルコードをあげます。API自体の使い方も結構癖があるのですが、何よりアクセストークンの発行とビジネスアカウントI…

WEB上からDatabricks クラスターにシェルアクセスする

これはなに? WEB上からDatabricks クラスターにシェルアクセスためのTipsです。Databricksクラスターはマネージドに色々やってくれるので、あまり接続する機会はないです。ただ、不具合などのトラブルシューティングの際にシェルアクセスすると作業が捗るの…

ポルカドットスティングレイの歌詞データをPythonで感情分析してみた -BERT日本語モデル‐

これはなに? 前回のブログに引き続いて、ポルカの歌詞分析やっていきます。 今回はBERTを使って歌詞の感情分析を実施し、曲中の感情の変化を可視化してみます。 www.cloudnotes.tech www.cloudnotes.tech

ポルカドットスティングレイの歌詞データの分析結果を可視化してみた -TensorBoard-

これはなに? Word2Vecを使って、ポルカの歌詞データを分析したので、その結果について可視化してみました。 前回の記事でモデル化まで終わっているので、内容としては結構簡単です。 歌詞データの分析モデル作成は以下の記事を参照ください。 www.cloudnote…

ポルカドットスティングレイの歌詞データをPythonで機械学習、分析してみた -word2vec‐

これはなに? 前回自然言語処理をする環境構築をやってみたので、GWの宿題として実際に分析をやってみました。 せっかくなので自分が好きな分野で分析してみたかったので、好きなアーティストのポルカドットスティングレイの歌詞データを自然言語処理、分析…