何かしらのタスクを依頼する時、相手への気遣いとしてつい「お手隙でお願いします」と言ってしまうことはありませんか？ 一見、相手のペースを尊重した言葉に聞こえますが、この言葉の裏側で、実は「いつやるか決める」というタスク管理を相手に押し付けてし…
不忍池の蓮とマンション兄弟達 みなさんのBigQueryにはどんなデータが保存されていますか？ ご存知の通り、僕のBigQueryには関東圏の中古マンションデータが毎日蓄積されています。 今回はこのデータと、先日発表されたBigQuery remote MCP serverを使って、…
先日、第1子が誕生し、約3ヶ月間の育休を取得しました。 普段仕事で「家族」や「ママ・パパ」に向き合っている僕ですが、ついに自分自身がその当事者となりました。 この3ヶ月間育児に携わって感じたこと、体験、気づきについて簡単に振り返ってみようと思い…
2024年はどんな年だったかざっくり記録に残しておこうと思います。 お仕事 PdMをやりはじめた データ基盤 アウトプットまわり プライベート ハーフマラソン マンション探しダッシュボード 軽井沢旅行 舞台 買ってよかったもの お仕事 今年はいろいろ変化があ…
こんにちは。たかぱい（@takapy0210）です。 DynamoDBの複数テーブルからなるべく高速にデータを取得するために、非同期でデータ取得することはできるのか？を少し調べてみたのですが、あまり事例が無かったのでメモ程度に残しておきます。 ユースケースとし…
たかぱい（@takapy0210）です。 正月にGoogle CloudのDataformをゴニョゴニョ触っていたので、その備忘録を残しておこうと思います。 Dataformとは dbtとの違いは...？ 使用したデータ 実際に動かしてみる 基本的な設定を記載する「dataform.json」 Dataform…
みなさんこんにちは。たかぱい（@takapy0210）です。 最近、UX白書*1で述べられている「予期的UX」という言葉を知り「まさにこのUXを上げるために試行錯誤してるんだよな〜」と、しっくりきたので、まだ完全に理解したフェーズ*2ではありますが、ここに今感…
最近FastAPIに触る機会があり、ログ周りで少し躓いたので備忘録として残しておきます。 背景 補足 特定エンドポイントのログをフィルタリングする方法 おまけ Uvicornのログをjson形式で出力する方法 エンドポイント毎のレスポンスタイムを計測する方法 背景…
みなさんこんにちは。たかぱい（@takapy0210）です。 年末も近づいてきましたので、久しぶりに今年の振り返りでもしていこうと思います。 この記事はコネヒト Advent Calendarのカレンダー 17日目 の記事です。 お仕事 オンボーディング改善 A/Bテストの標準…
みなさんこんにちは。たかぱい（@takapy0210）です。 本エントリでは、（今更ながら）Luigiを使ってみて感じたメリットをつらつら書いています。 最後にはTitanicのコードを使って実際の機械学習パイプラインを構築してみた例も載せているので、よければ参考…
みなさんこんにちは。たかぱい（@takapy0210）です 本日はM1 Macの分析コンテナ環境に株価分析ライブラリのTA-Lib*1をインストールする際に結構苦労したので、その備忘です。 Dockerfileの内容とエラー内容 こちらのサイト*2などを参考に以下のようなDockerf…
みなさんこんにちは。たかぱい（@takapy0210）です。 本日はTensorFlow×Transformers周りでエラーに遭遇した内容とそのWAです。 環境 実装内容 エラー内容 エラーの原因 ワークアラウンド なんでこれで解消できるのか？ モデルの保存方法 参考 環境 実行環境…
こんにちは。takapy（@takapy0210）です。 本エントリは下記イベントでLTした内容の元に、補足事項やコードスニペットなどをまとめたものになります。 kaggle-friends.connpass.com ちなみに今回LTしようと思ったきっかけは以下のような出来事からだったので…
こんにちは。takapy（@takapy0210）です。 表題の件で少し困ったので、備忘がてら記事に残しておこうと思います。 やろうとしていたこと エラー内容 該当箇所のコード work around 最後に やろうとしていたこと BigQueryのPython SDKを用いて、Pandasで読み…
こんにちは。takapy（@takapy0210）です。 本エントリは言語処理100本ノック2020の8章を解いてみたので、それの備忘です。 簡単な解説をつけながら紹介していきます。 ネット上に掲載されている解答例はPytorchによる解法が多かったので、TensorFlowを用いて…
