タグ検索の該当結果が少ないため、タイトル検索結果を表示しています。
Optuna™は、オープンソースのハイパーパラメーター自動最適化フレームワークです。 「Optuna Meetup #1」では、Optunaのユーザー、導入を検討している方、また開発者を中心に、Optunaの様々な活用方法が共有されました。中村氏は、Hydra・MLflow・Optunaを組み合わせたハイパーパラメーター管理について発表しました。 ふだんは音声合成と声質変換技術などの音声を用いる技術を研究 中村泰貴氏（以下、中村）：「HydraとMLflowとOptunaの組み合わせで手軽に始めるハイパーパラメータ管理」というタイトルで、東京大学大学院情報理工学系研究科の修士課程2年の中村が発表します。 軽く自己紹介ですが、先ほど述べたように情報理工学系研究科の、猿渡・小山研究室の修士課程2年です。音声合成に関する技術をふだん研究しています。「Twitter」をやっているので、ぜひフォロー
Optuna™は、オープンソースのハイパーパラメーター自動最適化フレームワークです。 「Optuna Meetup #1」では、Optunaのユーザー、導入を検討している方、また開発者を中心に、Optunaの様々な活用方法が共有されました。Yamazaki氏は、Optunaの開発のきっかけ、歴史、そして概要について発表をしました。全2回。後半は、コードの書き方とリリースや互換性に対する考えについて。前回はこちら。 「Optuna」ではどのようなコードを書くのかHiroyuki Vincent Yamazaki氏：では、コードをちょっと見てみましょう。 まず、Optunaのインストールですが、pipもしくはcondaでサクッと入るのがいいかなと思います。Optunaはpure Pythonなので、難しいコンパイラーのセットアップは一切必要ありません。簡単にインストールできると思います。 Op
はじめに 従来のフレームワークにおける課題 Optunaの設計思想 optunaの理論 Define-by-run APIの理論と実装 サンプリングアルゴリズムの理論 効率的な枝刈り（Pruning）メカニズム 分散最適化の理論とアーキテクチャ ストレージバックエンド トライアルの同期と非同期実行 実際のユースケースと性能評価 ベンチマーク評価の理論的枠組み TPEとCMA-ESの組み合わせによる性能向上 実世界での応用例 システムの拡張性と実装の詳細 カスタムサンプラーの実装 カスタム枝刈り手法の実装 実装上の最適化とパフォーマンスチューニング データベースアクセスの最適化 メモリ使用量の最適化 並列処理の効率化 ハイパーパラメータ探索の最適化 実践的な使用方法とベストプラクティス 探索空間の設計 目的関数の設計 計算リソースの最適配分 実装例 高度な機能とカスタマイズ マルチ目的最適化
Optuna™は、オープンソースのハイパーパラメーター自動最適化フレームワークです。 「Optuna Meetup #1」では、Optunaのユーザー、導入を検討している方、また開発者を中心に、Optunaの様々な活用方法が共有されました。Yamazaki氏は、Optunaの開発のきっかけ、歴史、そして概要について発表をしました。全2回。前半は、Optuna開発の理由と、概要について。 社内用として開発され、毎日2万回ダウンロードされるまで成長した「Optuna」Hiroyuki Vincent Yamazaki氏：Optunaの開発をしています、Yamazakiです。ふだんは、Preferred Networksというところでエンジニアをしています。今日は「Optuna」の紹介をします。 今回はMeetupの1回目なので、Optunaの基本的なところで、どういった問題を解いているかと、こ
本記事はアルバイトとして勤務されている加藤大地さんによる寄稿です。 はじめに Python 3.13 より、PEP 703 で提案された free threading が実験的にサポートされるようになりました。これまで、Python（厳密にはCPython）のインタプリタでは、global interpreter lock (GIL) という機構によって、同時刻において1つのスレッドしか実行できないようになっており、これによってスレッドセーフであることを保証していました。しかし、3.13 で導入された free threading により、複数のスレッドが同時に実行できるようになったことで、実行時間の短縮が見込まれます。 その一方、C-APIにいくつかの後方互換性のない変更が加わったことで、一部のC拡張モジュールがfree threading モードでは正しく動作しなくなる可能性があり、p
詳解！defer panic recover のしくみ / Understanding defer, panic, and recover
10月 30, 2023 / 最終更新日時 : 2月 28, 2024 Shuji Suzuki (shu) プログラミング 先日リリースされたOptuna 3.4にPreferential Optimizationという機能がついに入りました！ このPreferential OptimizationはOptunaとOptuna Dashboardによって、複数のtrialの出力のうちどれがよいかを人が判断して入力し、最適化していく機能です。 この機能がどういうときにうれしいかというと、コーヒーの味の良し悪しのような主観的な評価でしか評価できないとき、二つを比べてどちらがいいのかという評価で最適化を実行することができます。 以前書いたOptunaを使ったおいしいコーヒーの淹れ方を探索するときにはレシピごとに絶対評価のスコアをつける必要がありました。この絶対評価をつけるのがやっかいで、全体を
この記事は、電気情報通信学会会誌に寄稿した解説記事「Optunaで始めるハイパパラメータ最適化」の転載です。この記事のパワーアップ版ともいえる書籍「Optunaによるブラックボックス最適化」が2月21日に出版されます。Optuna開発チームのメンバーが、Optunaについてより詳しく、よりわかりやすく説明し、より豊富な事例を紹介していますので、ぜひ予約して発売日からお読みください！ 出典 柳瀬利彦, Optunaで始めるハイパパラメータ最適化, 電子情報通信学会誌 Vol.104 No.7 pp.728-733 2021年7月 ©電子情報通信学会2021 Abstract 機械学習アルゴリズムの性能を引き出すためには，ハイパパラメータをデータやタスクに応じて適切に調整する必要がある．本稿では，その自動的な調整のためのツールとして，オープンソースのハイパパラメータ最適化フレームワークであるO
Deleted articles cannot be recovered. Draft of this article would be also deleted. Are you sure you want to delete this article? はじめに 年末年始の休みに入ってすでに4日目。休みでやろうと思ったことが一通り終わってしまいました。今日からいつも行っているカフェが休みだし、暇すぎ・・・ということで、勢いに任せてOptunaでコーヒーの淹れ方の最適化始めました。 はじめようと思い立ったのが今日なので、全然データがないですが、Google Colabで作ったサンプルコードもあげておきます。 https://github.com/shu65/coffee-tuning/blob/main/coffee_tuning_blog%E7%94%A8.ipynb Optunaとは
Optuna™は、オープンソースのハイパーパラメーター自動最適化フレームワークです。「Optuna Meetup #1」では、Optunaのユーザー、導入を検討している方、また開発者を中心に、Optunaの様々な活用方法が共有されました。鈴木氏は、物質の結晶構造の解析におけるOptunaの活用について発表しました。全2回。後半は、Optunaを採用した理由と検証の結果について。前回はこちら 鈴木雄太氏（以下、鈴木）：具体的なコードの一例を示したいと思います。ちなみにこのコードは公開しているので、もしよかったら見てみてください。Optuna Examplesからもリンクを貼ってもらっています。 このObjectiveの中ですが、マシンラーニングを見慣れない方は、マシンラーニングのハイパーパラメーターも見慣れない感じかと思います。 例えば、シグナルのバックグラウンドの下に、シグナルとは別に信号
機械学習で用いるハイパーパラメータ管理には，主に二つの方法が考えられる． argparseを用いてコマンドラインからハイパーパラメータを設定 設定ファイルを用いた管理ありがちなハイパーパラメータ管理の例argparseを用いてハイパーパラメータを管理する場合，コマンドラインから直接変更できるのが便利だが，往々にして設定するハイパーパラメータが膨大になる．また，設定ファイルに記述することでハイパーパラメータを管理する場合，ハイパーパラメータの変更の度に設定ファイルを修正しなければならない． 効果的なハイパーパラメータの値を決定したい場合，複数のハイパーパラメータの試行錯誤が面倒であるだけでなく，候補となるハイパーパラメータ数に応じて設定ファイルの修正が生じ，膨大な結果の保存 & 比較が困難になる． こうした問題点は，Hydra+MLflow(tm)+Optunaにより解決できる． Hydra
AI Labの芝田です (GitHub: @c-bata)。 以前、Optunaによる最適化結果を手軽に確認できるWebダッシュボードを開発・公開しました。公開からすでに半年以上が経過し、現在は公式に利用を推奨されるようになりました。Google Summer of Codeなどを通してcontributorやcommitterも増えつつある一方で、設計や実装に関しては資料を残してきませんでした（※1）。本記事ではダッシュボードの紹介をするとともに、開発に興味がある方向けに開発に役立つ情報をまとめておきます。 GitHub: https://github.com/optuna/optuna-dashboard optuna-dashboardとは？ optuna-dashboardはOptunaによるハイパーパラメータの最適化結果をWebブラウザ上で簡単に確認できるツールです（※2）。
上記の結果で重要な点の1つは、Trial数を10倍にした際にRust版 Optuna実装の実行時間は約10倍で済んでいるのに対して、Optunaの実行時間は50-100倍にまで伸びてしまっている点です。この原因はOptunaが提供するいくつかの便利な機能に起因しています。Optunaでは利便性と速度低下のバランスを慎重に判断して開発を進めていますが、多くのユーザーにとっての利便性を追求した結果、一部のユーザーにとってこのような速度低下を招いてしまっているのも事実です。 Rust版 Optuna実装は高速化により重きを置いています。速度に大幅な改善がなければ存在意義がなくなってしまうからです。互換性を重視してOptunaの設計や機能に合わせすぎてしまうと高速化に限界が生じてしまうため、enqueue_trial()のような一部の機能については導入を慎重に判断しています。 “基本的に” 同じA
機械学習において、モデルのハイパーパラメータの調整は非常に大事です。 大事なんですが、手動で行うと、時間も手間もすごくかかりますよね。 ここでは、ハイパーパラメータを効率的に調整するOptunaについてご紹介するとともに、Pythonでの具体的な実装方法をご説明します。 Optunaとは 日本のPrefferdNetworks社が開発した、ハイパーパラメータの自動最適化フレームワークです。 Optunaは、ベイズ最適化を実装することで、パラメータの探索を効率的に行うことができます。 ベイズ最適化は、確率統計の理論の一つです。 具体的には、目的関数の値を評価するために、パラメータの値をサンプリングして目的関数の値を取得し、その値を元にパラメータの推定値を更新するというプロセスを繰り返します。このプロセスによって、より良いパラメータの候補が見つけていきます。 簡単に言うと、試行錯誤をしながら、
以前 optuna-dashboard というWebツールを開発・公開しました。 もともと Goptuna のために実装したReact.js + TypeScript製のSPAのWebツールでしたが、Optunaでも使えるようにしたところ、周りでも使ってるよという声をいただくことが増えてきて、公式に利用が推奨されるようになりました。 Optuna v2.7.0 released, with new tutorials, examples, and code improvements! @c_bata_ has fully redesigned the dashboard. Try out the new version with `pip install optuna-dashboard` and then `optuna-dashboard $STORAGE_URL`!https://t
Deleted articles cannot be recovered. Draft of this article would be also deleted. Are you sure you want to delete this article?
Optuna Meetup #1 での発表資料です。
パラメータの探索範囲の例 また、目的関数とは、指定されたパラメータで学習した結果の精度を返す関数となります。 では、コーヒーの淹れ方の場合はパラメータに対応するものと、目的関数をどうすればよいでしょうか？ 後ほど詳しく紹介しますが、今回はパラメータとして豆の量やお湯の温度など、コーヒーの淹れ方で重要なものをパラメータとして扱います。探索範囲は各パラメータ毎に基準とした値を中心にして現実的な範囲で広げたものを利用します。 また、目的関数ですが、実際に提案されたパラメータに基づいて自分でいれて、おいしかったかどうかを自分で1-10点で評価して返すという人力のものを利用します。 現在のコーヒーの入れる環境 使う道具によってパラメータとして扱えるものが変化するので、使う道具についても紹介します。 今回は以下の道具で淹れるとして紹介しています。 ミル： ポーレックス コーヒーミル･Ⅱ (調節ねじのク
はじめに Optunaの新しいバージョン3.4では、新たにJupyter Lab拡張とVS Code拡張が公開・アナウンスされました。これらの拡張機能を利用することで、Optuna DashboardをJupyter LabやVS Code内で起動し、最適化履歴をより手軽に確認できます。 本記事ではこれらの拡張機能がどのように実装されているのか、その仕組みを解説します。Optuna Dashboardの開発に興味を持ってくださっている方に限らず、Jupyter Lab拡張やVS Code拡張を開発しようとしている方のお役に立てば幸いです。 Jupyter Lab拡張の仕組み Optuna Dashboardは次の図に示すように、PythonのBottleフレームワークで書かれたサーバープログラムと、Reactで書かれたシングルページアプリケーションからなります。 このプログラムをJupyt
Optuna™は、オープンソースのハイパーパラメーター自動最適化フレームワークです。 「Optuna Meetup #1」では、Optunaのユーザー、導入を検討している方、また開発者を中心に、Optunaの様々な活用方法が共有されました。芝田氏は、ハイパーパラメーター最適化に関連するライブラリである「CMA Evolution Strategy（CMA-ES）」について紹介しました。全2記事。前半は、CMA-ESの概要と使いどころについて。 ハイパーパラメーター最適化に関連するライブラリを作成芝田将氏（以下、芝田）：それでは発表を始めます。最初に、簡単に自己紹介をします。サイバーエージェントという会社の「AI Lab」という研究組織に所属しています。OSSの開発では「Optuna」のコミッターで、ほかにはKubernetes上でマシンラーニングのシステムを運用するプラットフォーム「Kub
ハイパーパラメータ自動最適化フレームワークOptunaの新しいバージョンであるv3.4がリリースされました。今回のリリースには、ユーザーの相対的な評価結果をもとに最適化を行う新機能 “Preferential Optimization” や、ファイル管理機構、Jupyter Lab拡張、VS Code拡張が含まれています。 ✨ハイライト機能 選好に基づく最適化 (Preferential Optimization) 今回のリリースでは、選好に基づく最適化 (Preferential Optimization)が導入されました。この機能は、画像生成や音声合成、自然言語生成タスクのように、生成物の定量的な評価が難しく、人間が主観的な評価をつける必要があるタスクにおいて特に有用です。 Optuna 3.2においてサポートされたHuman-in-the-Loop最適化では、絶対評価のみが可能となっ
Kaggleで学ぶ、Optunaによるハイパーパラメーター自動チューニング：僕たちのKaggle挑戦記 Kaggle公式「機械学習」入門／中級講座の次は、本稿で紹介する動画シリーズで学ぶのがオススメ。記事を前中後編に分け、中編ではOptunaを使ったハイパーパラメーターの自動チューニングを試した体験を共有します。
ハイパーパラメータを最適化したことで、R²スコアは0.805から0.836へと向上しました。MAE（平均絶対誤差）はほぼ横ばいでしたが、R²スコアの改善は、モデルがデータのばらつきをより上手く説明できるようになったことを示しています。劇的な改善ではないものの、これはモデルアーキテクチャを変えずに性能のポテンシャルを引き出す、チューニングの重要な役割を示しています。 2. Parity Plotによる視覚的考察 Parity Plotで結果を視覚的に確認すると、最適化モデル（赤い点）はデフォルトモデル（青い点）と比較して、わずかに理想線（黒い破線）に近づいていることが見て取れます。特に予測値が高い領域での外れ値が少し抑制されるなど、細かな改善が見られます。これは、R²スコアの数値的な向上を裏付けるものです。 コードの詳細解説 Optuna を用いたハイパーパラメータチューニングのコードは、一
はじめに ブラックボックス最適化フレームワークOptunaの最新バージョンであるv3.6をリリースしました。今回のリリースには、様々な新機能やリファクタリング、バグ修正が含まれています。このブログではv3.6のハイライトと多くの機能改善についてお伝えします。 TL;DR Wilcoxon Pruner、軽量なガウス過程ベースのSampler、 PED-ANOVA重要度評価器等の様々な新しいアルゴリズムのサポート FrozenTrialの検証ロジックの厳密化、 Dashboardのリファクタリング、 Integrationの移行などOptunaの品質に関わる様々な改善を実施 Wilcoxon Pruner Optuna v3.5以前では、Prunerは典型的な機械学習のハイパーパラメータ最適化を想定して作られていました。そのような問題では、学習曲線を見て悪いパラメータを早期終了することができ
ハイパーパラメータの自動最適化フレームワークである Optuna は目的関数を書くと自動で最適なハイパーパラメータを探索してくれます． 基本的にはアルゴリズムに任せるのが良いですが，ユーザー側でパラメータをいじるなど変なことをしようとすると少々面倒なのでまとめておきます． 使用環境は Python 3.9.16 Optuna 3.1.0 例：LightGBM モデルのハイパーパラメータ調整（探索のターゲットや数値は適当です） import optuna import lightgbm as lgb from sklearn.model_selection import train_test_split # データ読み込み train_X = pd.read_pickle("../data/train_X.pkl").values train_y = pd.read_pickle("../d
Optuna™は、オープンソースのハイパーパラメーター自動最適化フレームワークです。 「Optuna Meetup #1」では、Optunaのユーザー、導入を検討している方、また開発者を中心に、Optunaの様々な活用方法が共有されました。尾崎氏は、Optunaにおける多目的最適化について発表をしました。 普段はAutoMLとブラックボックス最適化を研究尾崎嘉彦氏：尾崎です。今日はOptunaによる多目的最適化について紹介したいと思います。 簡単に自己紹介します。尾崎です。グリー株式会社と、産総研（産業技術総合研究所）の人工知能研究センターで研究開発職をしています。 最近の研究は、Multiobjective Tree-structured Parzen Estimator、Optunaにも入っているMOTPEという最適化手法の提案や、Optunaを使った自動結晶構造解析です。それから「C
Optuna meetup #1 で使用した資料です．
はじめに AutoSamplerは、状況に応じてOptunaに実装されているものの中からSamplerを自動で選択し、解の探索を行います。ユーザは、下記のコード例のようにAutoSamplerを使用するだけで、最適化アルゴリズムの使い分けを意識することなく、Optunaのデフォルトと比較して同等かそれ以上の最適化パフォーマンスを得ることができます。 study = optuna.create_study( sampler=optunahub.load_module( "samplers/auto_sampler" ).AutoSampler() # 内部でアルゴリズムを自動選択 ) 本記事では、OptunaHubに10月31日に公開されたAutoSamplerについて、「なぜ最適化アルゴリズムの使い分けが必要なのか」といった背景やSamplerの自動選択ルールの設計方針について共有し、その
j次のブックマーク
k前のブックマーク
lあとで読む
eコメント一覧を開く
oページを開く
