雲のメモ帳

猫とクラウドと旅行が好きなインフラエンジニアです。 日々の調べたことや興味が持ったことをこのブログにアウトプットします。

Python

GPT-3の要約機能を試してみた(Python)

これはなに? OpenAI社が開発しているGPT3の精度がかなり良くなっていたので要約機能を検証してみました。GUIでも検証できますが、今回はPythonを使いました。

LINE APIを使って、LINE上からAWSで実行しているBotのON/OFFを制御できるようにした

これはなに? AWSコンソールを利用せずに、スマートフォンからAWSのリソースを操作したい場面があり、LINE APIを使って、LINE上から操作できるようにしてみました。 今回はテスト環境なので、ユーザーの認証などは行っていません。本番利用する場合は、API G…

rinnaの日本語特化GPTモデルを触ってみた

これはなに? 昨日チャットボットのりんなで有名なrinna株式会社からGPTに日本語モデルが公開されましたので、とうとう日本語モデルが来たかとわくわくしながら触ってみました。 prtimes.jp

ディレクトリを含まずにファイル圧縮する(zip -j)をPythonで実装する

これはなに? フォルダをzip化するときにディレクトリ情報を含みたくない時が時々あり、いつもはzip -jで対応していたのですが、zipコマンドが使えない環境だったのでPythonで実装しました。

Pythonを使って自身のグローバルIPを確認する

これはなに? Python実行環境のIPアドレスを調べる必要があり、サンプルコード作ったのでTIPSとして残しておきます。 サンプルコード実行するとGIPが取得できます。

Instagram Graph APIとPythonでInstagramからユーザーの投稿画像をダウンロードする

これはなに? Instagramの画像データ使って画像解析したいなーとおもったので、下処理としてInstagram Graph API使って画像のURL取得と実際に大量の画像を一括ダウンロードするPythonスクリプトを作ってみました。

PythonとGoogle スプレッドシートを使って、Instagramユーザー情報の簡易分析環境を作ってみた

これはなに? Instagramの簡易分析環境をPythonとGoogle スプレッドシート使ってみました。Instagramのインサイトって日ごとの細かいフォロワー数の変化や30日以上過去のデータが見れないので、GoogleSpreadsheetを簡易DB&BIツールとして利用して日ごとの変…

Lambda Layer用PythonパッケージをWindows環境で簡単に作成する

これはなに? Lambda Layer用PythonパッケージをWindowsの環境で作成しようとすると環境準備が結構大変なので、Dockerを使って楽に作成する方法のメモです。

ポルカドットスティングレイの歌詞データをPythonで感情分析してみた -BERT日本語モデル‐

これはなに? 前回のブログに引き続いて、ポルカの歌詞分析やっていきます。 今回はBERTを使って歌詞の感情分析を実施し、曲中の感情の変化を可視化してみます。 www.cloudnotes.tech www.cloudnotes.tech

ポルカドットスティングレイの歌詞データをPythonで機械学習、分析してみた -word2vec‐

これはなに? 前回自然言語処理をする環境構築をやってみたので、GWの宿題として実際に分析をやってみました。 せっかくなので自分が好きな分野で分析してみたかったので、好きなアーティストのポルカドットスティングレイの歌詞データを自然言語処理、分析…

Dockerで自然言語処理(NLP)をするための環境構築

これはなに? 業務で自然言語処理をすることが多くなって、環境構築するのがメンドイのでコンテナ化してみました。 形態素解析のためにMeCab、Word2Vecを利用するためにgensimをそれぞれインストールし、プラットフォームとしてJupyterLabを利用できるように…

LINE Botを使って、LINE上からAWS利用料を確認できるようにしてみた

これはなに? AWS利用料を確認するLINE Botを作ってみたので機能紹介と簡単な構築手順&コード公開。 個人の検証環境としてAWSを利用していると結構課金額がいってしまうので、こまめに確認できるようによく利用するツールのLINEを使ってAWS利用料を確認でき…

Redshift から amazon-redshift-python-driver を使ってデータ取得し、Dataframe に取り込む

これはなに? 2020年11月にRedshiftのPythonドライバがOSSになったので使ってみた。 Redshiftから取得したデータをPandasのDataframeを使って分析することが多いので、取得してきたデータをDFに格納までしてみました。 GitHub - aws/amazon-redshift-python-…