https://kagglenote.com/ Recent content on Kaggle Note Hugo -- gohugo.io ja © forest-hill 2020 Sun, 23 Jul 2023 18:23:23 +0900 https://kagglenote.com/misc/openapi-truefalse-error/ Sun, 23 Jul 2023 18:23:23 +0900 https://kagglenote.com/misc/openapi-truefalse-error/ 問題 Flutterで開発している時にopenapi-generatorを使用してOpenAPI Schemaからモデルファイルを生成してビルド https://kagglenote.com/misc/parallel_read_file/ Wed, 26 Apr 2023 18:23:23 +0900 https://kagglenote.com/misc/parallel_read_file/ はじめに 今回はmultiprocessingを用いたファイル読み込みの並列化についてです。 直列で読み込むのに時間がかかるときに使えます。 ダミ https://kagglenote.com/ml-tips/surface_fitting/ Fri, 03 Mar 2023 18:23:23 +0900 https://kagglenote.com/ml-tips/surface_fitting/ はじめに 今回はscipyを用いたサーフェスフィッティング（曲面近似）を行なっていきます。基本的にはカーブフィッティングと同じことをやればOK https://kagglenote.com/ml-tips/curve_fitting/ Sat, 25 Feb 2023 20:23:23 +0900 https://kagglenote.com/ml-tips/curve_fitting/ はじめに 今回はscipy.optimize.curve_fitを用いて色々な関数のカーブフィッティングをしていきます。 ライブラリ import numpy as np import matplotlib.pyplot https://kagglenote.com/misc/matplotlib_box_line/ Sat, 25 Feb 2023 18:23:23 +0900 https://kagglenote.com/misc/matplotlib_box_line/ はじめに 今回は箱ひげ図に中央値の折れ線グラフを追加する方法です。 実装 ライブラリ import numpy as np import pandas as pd import matplotlib.pyplot as plt ダミーデータ df = [] sigma = 1 for i in range(5): df_tmp = pd.DataFrame({ https://kagglenote.com/misc/pandas-groupby-speed/ Tue, 24 May 2022 18:23:23 +0900 https://kagglenote.com/misc/pandas-groupby-speed/ はじめに pandasで集計をする際に必須なgroupby。 分析をするときには気にならないことが多いですが、システムとして運用する時は実行速度 https://kagglenote.com/misc/bottleneck/ Fri, 20 May 2022 18:23:23 +0900 https://kagglenote.com/misc/bottleneck/ はじめに Fast NumPy array functions written in C. ドキュメントに記述されている通り、bottleneckはNumpyの一部の関数をC言語で書いたものであり、Cで書かれて https://kagglenote.com/ml-tips/isolationforest/ Sun, 01 May 2022 18:23:23 +0900 https://kagglenote.com/ml-tips/isolationforest/ Isolation Forestとは Isolation Forestとは有名な異常検知手法の一つです。 Forestという名前からもわかるように決定木の仕組みを使って異常検知を行 https://kagglenote.com/ml-tips/yolov4-training/ Sat, 01 Jan 2022 18:23:23 +0900 https://kagglenote.com/ml-tips/yolov4-training/ 概要 今回は物体検出でよくお世話になるDarknetを用いてYolov4を学習するまでの手順を説明していきます。環境はUbuntuを想定してい https://kagglenote.com/misc/get-point-with-opencv/ Sat, 16 Oct 2021 18:23:23 +0900 https://kagglenote.com/misc/get-point-with-opencv/ 概要 画像処理関連のことをしていると画像のここの座標を取得したい！！！という場面が結構出てきますよね。 今回は視覚的に矩形の座標を取得したいと思 https://kagglenote.com/ml-tips/recommend_memo/ Fri, 16 Jul 2021 18:23:23 +0900 https://kagglenote.com/ml-tips/recommend_memo/ 概要 レコメンデーションとはECサイトなどでおすすめしてくる「あれ」である。 レコメンデーションの手法について調べたのでここにざっとまとめる。 手 https://kagglenote.com/ml-tips/ts_memo/ Sat, 10 Jul 2021 18:23:23 +0900 https://kagglenote.com/ml-tips/ts_memo/ 概要 今回は時系列分析における最初のステップである記述統計について述べていきます。 述べるというよりは、ひとまずメモ的にまとめて、個々の手法につ https://kagglenote.com/ml-tips/xmeans/ Thu, 03 Jun 2021 18:23:23 +0900 https://kagglenote.com/ml-tips/xmeans/ 概要 この記事ではpythonを使ってX-means法を実装していきます。ライブラリはpyclusteringを用いています。 X-means法 https://kagglenote.com/ml-tips/mnist_only_1/ Wed, 19 May 2021 18:23:23 +0900 https://kagglenote.com/ml-tips/mnist_only_1/ 概要 MNISTは言わずと知れた文字画像セットですね。それを使う上で「1」だけ喉から手が出るほどほしい！！！となることがあるかと思います(大袈 https://kagglenote.com/ml-tips/keras-vae/ Tue, 18 May 2021 18:23:23 +0900 https://kagglenote.com/ml-tips/keras-vae/ 概要 Kerasを使ってVAE(Variational Autoencoder)の実装を行なっていきます。 この記事はこのチュートリアルをベースに https://kagglenote.com/misc/cssframework_for_smartphone/ Thu, 06 May 2021 18:23:23 +0900 https://kagglenote.com/misc/cssframework_for_smartphone/ 問題点 bootstrapやbulmaなどが挙げられるCSSフレームワーク便利ですよね。しかし先日bulmaを使っているときに、スマホでの表示 https://kagglenote.com/misc/bulma_extensions_cdn/ Thu, 29 Apr 2021 18:23:23 +0900 https://kagglenote.com/misc/bulma_extensions_cdn/ 概要 Bulma ExtensionsをCDNから使う。タイトル通りである。特にhtmlファイルへの記述方法がメイン。 方法 以下のような感じである。 <link rel="stylesheet" href="https://cdn.jsdelivr.net/npm/bulma-extensions@4.0.0/dist/css/bulma-extensions.min.css"> https://kagglenote.com/misc/labelme_abort/ Wed, 14 Apr 2021 18:23:23 +0900 https://kagglenote.com/misc/labelme_abort/ エラー内容 Macでlabelmeを立ち上げようとしたところ、以下のようなエラーが出た。 ***** 長いので省略 ***** zsh: abort labelme 解決方法 筆者の場合、これで解決で https://kagglenote.com/misc/multiprocessing_share_value_in_class/ Mon, 05 Apr 2021 18:23:23 +0900 https://kagglenote.com/misc/multiprocessing_share_value_in_class/ はじめに pythonのおける並列処理の有名なライブラリにmultiprocessingというものがあります。このmultiprocessin https://kagglenote.com/misc/abtest_discrete/ Thu, 18 Mar 2021 18:23:23 +0900 https://kagglenote.com/misc/abtest_discrete/ はじめに A/BテストといえばWebマーケティング戦略で最も使われる手法の一つです。一方でA/Bテストの際にしっかりと統計的な考え方を用いない https://kagglenote.com/ml-tips/sklearn-custom-threshold/ Fri, 12 Mar 2021 18:23:23 +0900 https://kagglenote.com/ml-tips/sklearn-custom-threshold/ はじめに scikit-learnにおける2値分類でpredictをするとデフォルトの閾値0.5で分類されますよね。今回はこの閾値を任意で設定 https://kagglenote.com/misc/cohens-d/ Wed, 10 Feb 2021 12:23:23 +0900 https://kagglenote.com/misc/cohens-d/ はじめに 今回は効果量で用いられるコーエンのd（Cohen’s d）をpythonで求めていきます。 コーエンのdとは？ コーエンのdとは2つのグル https://kagglenote.com/misc/hamming-distance/ Tue, 09 Feb 2021 18:23:23 +0900 https://kagglenote.com/misc/hamming-distance/ はじめに ここではハミング距離とはなにかの説明と、pythonでの計算方法を紹介します。 ハミング距離（Hamming Distance） ハミング https://kagglenote.com/misc/cosine-similarity/ Sun, 07 Feb 2021 18:23:23 +0900 https://kagglenote.com/misc/cosine-similarity/ はじめに ここではnumpyを利用してコサイン類似度の計算を行います。 コサイン類似度（Cosine Similarity）とは コサイン類似度とは https://kagglenote.com/misc/various-distance/ Wed, 03 Feb 2021 18:23:23 +0900 https://kagglenote.com/misc/various-distance/ はじめに 距離というと2点間の距離を真っ先に思いつきますが、世の中にはさまざまな距離の定義が存在します。 ここではユークリッド距離、マンハッタン https://kagglenote.com/misc/notebook-warnings/ Mon, 21 Dec 2020 18:23:23 +0900 https://kagglenote.com/misc/notebook-warnings/ 概要 jupyternote-bookを使ってるときに出てくるwarningsがうざったいので、非表示にする。 方法 import warnings warnings.filterwarnings('ignore') 以上。 https://kagglenote.com/misc/pandas_create_new_column_based_on_other_column/ Wed, 09 Dec 2020 18:23:23 +0900 https://kagglenote.com/misc/pandas_create_new_column_based_on_other_column/ 概要 pandasでデータの前処理をしている時、現在あるカラムを条件に使って新しいカラムを作成したい時ってありますよね。今回はその方法を紹介し https://kagglenote.com/ml-tips/efficientnet/ Sat, 05 Dec 2020 18:23:23 +0900 https://kagglenote.com/ml-tips/efficientnet/ 概要 EfficientNetを用いた画像分類を行っていきます。この記事で実際に紹介するものは以下の通りです。 EfficientNetのインス https://kagglenote.com/misc/numpy-mode/ Fri, 04 Dec 2020 18:23:23 +0900 https://kagglenote.com/misc/numpy-mode/ 概要 numpyで最頻値を求める方法です。 方法 np.unique()を使います。 import numpy as np arr = np.array([0, 1, 2, 3, 4, 1, 2, 2, 2, 2, 2, 3, 4]) unique, freq = np.unique(arr, return_counts=True) #return https://kagglenote.com/misc/pandas_nan_judge/ Thu, 05 Nov 2020 18:23:23 +0900 https://kagglenote.com/misc/pandas_nan_judge/ 概要 Pandasを使うときに出てくるNaNをif文で判定する方法を紹介します。 準備 以下のcsvファイルがあると想定します。ここではtest. https://kagglenote.com/misc/lock-frontend/ Fri, 23 Oct 2020 18:23:23 +0900 https://kagglenote.com/misc/lock-frontend/ 問題 以下のようなエラーが出てしまう E: ロック /var/lib/dpkg/lock-frontend が取得できませんでした - open (11: リソースが一時的に利用できません) 解決策 以下のコマンドを打つと僕の場 https://kagglenote.com/misc/xpression-camera/ Wed, 07 Oct 2020 18:23:23 +0900 https://kagglenote.com/misc/xpression-camera/ はじめに COVID-19が流行して働き方が変わり、リモートワークがニューノーマルと考えられるようになりましたね。大学などでもzoomのような https://kagglenote.com/misc/python-for-decimal/ Fri, 02 Oct 2020 18:23:23 +0900 https://kagglenote.com/misc/python-for-decimal/ はじめに for文を使って小数点を繰り返したい時ってたまにありますよね。今回はそれを実現する方法を書いていきます。0~1を0.1刻みで繰り返す https://kagglenote.com/misc/mac-postgresql-install/ Wed, 30 Sep 2020 18:23:23 +0900 https://kagglenote.com/misc/mac-postgresql-install/ はじめに SQLの勉強のためにPostgreSQLを使いたいと思います。そこで自分のMacにPostgreSQLをインストールしていきたいと思 https://kagglenote.com/ml-tips/my-environment-with-gym/ Sun, 20 Sep 2020 18:23:23 +0900 https://kagglenote.com/ml-tips/my-environment-with-gym/ 概要 自作方法 とりあえずこんな感じで書いていけばOK import gym class MyEnv(gym.Env): def __init__(self): ACTION_NUM=3 #アクションの数が3つの場合 self.action_space = gym.spaces.Discrete(ACTION_NUM) #状態が3つの時で上限と下限の設定と仮定 LOW=[0,0,0] https://kagglenote.com/ml-tips/between-two-points/ Fri, 18 Sep 2020 18:23:23 +0900 https://kagglenote.com/ml-tips/between-two-points/ 概要 numpyを使って以下のような2点間の距離と角度を求めていきます。 距離 距離の計算ではnp.linalg.normを使います。 >>> import numpy as np >>> https://kagglenote.com/ml-tips/keras-callback/ Tue, 15 Sep 2020 12:23:23 +0900 https://kagglenote.com/ml-tips/keras-callback/ 概要 KerasのCallback関数を自作します。 使い方 from keras.callbacks import Callback class MyCallback(Callback): def __init__(self): pass def on_epoch_begin(self, epoch, logs=None): pass def on_epoch_end(self, epoch, logs=None): pass def on_batch_begin(self, batch, logs=None): pass def on_batch_end(self, batch, logs=None): pass def on_train_begin(self, logs=None): pass def on_train_end(self, logs=None): pass 関数 処理タ https://kagglenote.com/ml-tips/keras-plt-model/ Sun, 13 Sep 2020 18:23:23 +0900 https://kagglenote.com/ml-tips/keras-plt-model/ 概要 Kerasで構築したニューラルネットワークのモデルを可視化するためにplot_modelを使ってみたいと思います。 keras.utils.plot_model(model, show_shapes=True) 全結合 import keras inputs = keras.layers.Input(shape=(64,)) x https://kagglenote.com/ml-tips/numpy-delete-specific-value/ Fri, 11 Sep 2020 18:23:23 +0900 https://kagglenote.com/ml-tips/numpy-delete-specific-value/ やること 特定の数値の削除 条件に該当する数値の削除 array([-3, -2, -1, 0, 1, 2, 3]) # ↓ 0を削除する array([-3, -2, -1, 1, 2, 3]) array([-3, -2, -1, 0, 1, 2, 3]) # ↓ 負の数を削除する array([0, 1, 2, 3]) 特定の数 https://kagglenote.com/ml-tips/keras-cnn/ Wed, 09 Sep 2020 18:23:23 +0900 https://kagglenote.com/ml-tips/keras-cnn/ 概要 KerasでCNNを構築してMNISTクラス分類を行っていきます ライブラリインポート import os import keras from keras.models import Sequential from keras.layers.convolutional import Conv2D, MaxPooling2D from keras.layers.core import Activation, Flatten, Dropout, Dense from keras.datasets import mnist from keras.optimizers https://kagglenote.com/kaggle/pseudo-labeling-impl/ Mon, 07 Sep 2020 15:00:00 +0900 https://kagglenote.com/kaggle/pseudo-labeling-impl/ 疑似ラベリングとは学習時にテストデータの一部を予測したものを含めて学習し、このモデルを使って再度テストデータの全体を学習することです。以下に https://kagglenote.com/kaggle/blending-based-on-oof/ Sat, 05 Sep 2020 15:00:00 +0900 https://kagglenote.com/kaggle/blending-based-on-oof/ ブレンディングとは複数のモデルで予測した結果を合わせることでより良い結果を作り出すことです。 (モデル1の結果) * 0.3 + (モデル2の結果) * 0.4 + https://kagglenote.com/ml-tips/stable-baselines-ddqn/ Thu, 03 Sep 2020 18:23:23 +0900 https://kagglenote.com/ml-tips/stable-baselines-ddqn/ やること stable-baselinesを使ってDDQNを動かします。環境としてはGymのCartPoleを利用していきます。 stable- https://kagglenote.com/ml-tips/stable-baselines-install/ Tue, 01 Sep 2020 18:23:23 +0900 https://kagglenote.com/ml-tips/stable-baselines-install/ stable-baselinesとは stable-baselinesとは様々な強化学習アルゴリズムが実装されていて、誰でも気軽に強化学習を試 https://kagglenote.com/ml-tips/yolov4/ Mon, 31 Aug 2020 18:23:23 +0900 https://kagglenote.com/ml-tips/yolov4/ 概要 物体検出のYOLOv4をとりあえず動かしてみる。 やってみる 実行環境 $ lsb_release -a No LSB modules are available. Distributor ID: Pop Description: Pop!_OS 20.04 LTS Release: 20.04 Codename: focal $ sudo lshw -class processor *-cpu description: CPU product: Intel(R) Core(TM) i7-8565U CPU @ 1.80GHz vendor: https://kagglenote.com/ml-tips/timeseries-nn-sin/ Sat, 29 Aug 2020 11:23:23 +0900 https://kagglenote.com/ml-tips/timeseries-nn-sin/ 今回やること 時系列系のニューラルネットワークといえば、LSTM・GRUがぱっと思いつきます。今回はこれらをぱっと動かしてみたいと思います。 デ https://kagglenote.com/kaggle/simpletransformers-claassification/ Thu, 27 Aug 2020 15:00:00 +0900 https://kagglenote.com/kaggle/simpletransformers-claassification/ 自然言語処理の世界では2019年位から事前学習による学習モデルの使用が活発になっています。これはAttentionベースであるGoogleの https://kagglenote.com/ml-tips/yolov5/ Tue, 25 Aug 2020 18:23:23 +0900 https://kagglenote.com/ml-tips/yolov5/ 概要 物体検出でよく用いられるYOLOですが、その最新版（2020/08現在）であるYOLOv5を今回は動かしてみます。 やってみる 検証環境 試し https://kagglenote.com/ml-tips/bert-extractive-summarizer/ Sun, 23 Aug 2020 18:23:23 +0900 https://kagglenote.com/ml-tips/bert-extractive-summarizer/ 概要 今回は文章要約でとてもpythonの有用なライブラリbert-extractive-summarizerの使い方を簡単に紹介したいと思い https://kagglenote.com/kaggle/semantic-segmentation-with-fastai/ Fri, 21 Aug 2020 12:00:00 +0900 https://kagglenote.com/kaggle/semantic-segmentation-with-fastai/ 概要 今回紹介するnotebookはAerial_Drone_semantic_image_segmentation | Fastaiです。 このn https://kagglenote.com/ml-tips/onehotencoder-sklearn-vs-pandas/ Wed, 19 Aug 2020 18:23:23 +0900 https://kagglenote.com/ml-tips/onehotencoder-sklearn-vs-pandas/ one-hotエンコーディングとは？ one-hotエンコーディングとはカテゴリデータに対する処理の一つです。 カテゴリデータは数値データではな https://kagglenote.com/kaggle/stacking-by-vecstack/ Mon, 17 Aug 2020 15:00:00 +0900 https://kagglenote.com/kaggle/stacking-by-vecstack/ この記事ではスタッキングについてvecstackの使い方をrisを例として説明します。 スタッキングとは スタッキングは異なる予測器を1層2層& https://kagglenote.com/kaggle/back-translation/ Sat, 15 Aug 2020 15:00:00 +0900 https://kagglenote.com/kaggle/back-translation/ テキスト分類を行う際、教師データを増やすために水増しをすることは非常に重要です。 テキストデータ水増しの手法として、Data Augmentation in NLPという記 https://kagglenote.com/ml-tips/majority-vote/ Thu, 13 Aug 2020 15:00:00 +0900 https://kagglenote.com/ml-tips/majority-vote/ 複数の学習結果を多数決したい時、以下のような操作が必要になります。 これを実現するには転置してmapで各行に対して最頻値を求めればOKです。 results https://kagglenote.com/kaggle/nlp-for-beginners/ Tue, 11 Aug 2020 18:23:23 +0900 https://kagglenote.com/kaggle/nlp-for-beginners/ 概要 今回紹介するnotebookはNatural Language Processing (NLP) 🧾 for Beginnersです。 この記事は自然言語処理初学者向けであり、自然言語処理に関す https://kagglenote.com/kaggle/text-vectorize-by-tfidf/ Sun, 09 Aug 2020 00:00:00 +0900 https://kagglenote.com/kaggle/text-vectorize-by-tfidf/ テキスト分類問題等で使うことが多いテキストベクトル化について説明します。 1. テキストベクトル化 テキストベクトル化とは主に自然言語処理で使われる https://kagglenote.com/about/ Fri, 07 Aug 2020 20:13:29 +0900 https://kagglenote.com/about/ このサイトでは機械学習に取り組んでいる中で自分たちが勉強した内容をまとめた記事を公開しています。 書いてる人 asmsuechanとyokopo https://kagglenote.com/kaggle/keras-lstm-textclassifier/ Fri, 07 Aug 2020 18:23:23 +0900 https://kagglenote.com/kaggle/keras-lstm-textclassifier/ 概要 今回紹介するnotebookは[For Beginners] Tackling Toxic Using Kerasです。このnotebookではKerasのLSTMを用いたテキスト分類について書