VAE(3/4)理論的な裏付け
https://benrishi-ai.com/variational-ae03/前回(第2回)では、VAEの実施例について説明しました。改めて復習されたい方は、こちらのリンクから確認をお願いします。今回(第3回)は、VAEの理論的な裏付けについて説明します。 数学的解釈 ----- 前回では、学習フェーズにおいて、エンコーダが z=μ+σ・ε の演算を行った後、得られたL次元特徴ベクトル{z}をデコーダ側に出力する旨を説明しました。ここで、ε は、標準正規分布に従って生 ...
類似スコア 126
ブログ執筆者: 弁理士 【個別ページ】
キーワード: 外観 実施例
VAE(2/4)実施例の説明
https://benrishi-ai.com/variational-ae02/前回(第1回)では、オートエンコーダの概要について説明しました。改めて復習されたい方は、こちらのリンクから確認をお願いします。今回(第2回)は、VAEの実施例について、ネットワーク構造を中心に説明します。 ネットワーク構造 -------- まず、VAE(Variational Autoencoder)のネットワーク構造について説明します。以下、[1]学習フェーズ、[2]生成フェーズ、の2つ ...
類似スコア 90
ブログ執筆者: 弁理士 知財フィルター🍎 【個別ページ】
キーワード: クレーム 従来技術 特許出願 特許戦略 発明
VAE(4/4)総括
https://benrishi-ai.com/variational-ae04/前回(第3回)では、VAEの理論的な裏付けについて説明しました。改めて復習されたい方は、こちらのリンクから確認をお願いします。今回(第4回)は、クレームを含む発明ストーリーを作成し、これまで3回分の検討を総括します。 発明ストーリー ------- 【従来技術】 所与の学習データセットをベースに、学習データとは異なる新しいデータを人工的に生成する「生成モデル」が知られている。この類のタスクは ...
類似スコア 86
ブログ執筆者: 弁理士 【個別ページ】
キーワード: 実施例
VAE(1/4)オートエンコーダの概要
https://benrishi-ai.com/variational-ae01/今回のテーマとして、深層生成モデルの基礎とも言うべきVAE(Variational Autoencoder)を題材に取り上げていきます。 背景 -- 生成モデル(Generative Model)とは、所与の学習データセットをベースに、学習データとは異なる新しいデータを人工的に生成するためのモデルです。データの種類は、静止画、動画、音声(楽曲、音、声など)、文章(小説、俳句、チャットなど)な ...
類似スコア 82
ブログ執筆者: 弁理士 知財フィルター🍎 【個別ページ】
キーワード: 実施例 発明
GAN(3/4)GANの特徴
https://benrishi-ai.com/gan03/前回(第2回)では、GANの実施例について説明しました。改めて復習されたい方は、こちらのリンクから確認をお願いします。今回(第3回)は、VAEと比較した場合のGANの強みについて解説します。 VAEとGAN ------- まず、比較対象であるVAE(Variational Autoencoder)の特徴について軽く触れます。必要であれば、以下のリンクから復習してください。 事例 #015 ...
類似スコア 70
ブログ執筆者: 弁理士 知財フィルター🍎 【個別ページ】
キーワード: クレーム
アテンション機構(3/4)変形例の検討
https://benrishi-ai.com/attention03/前回(第2回)では、“Seq2Seq with Attention” について説明しました。改めて復習されたい方は、こちらのリンクから確認をお願いします。今回(第3回)は、“Seq2Seq with Attention” の様々なバリエーションについて検討していきます。 第1変形例 ----- 前回では、隠れ状態行列{H1}のすべての要素、すなわち、S個の隠れ状態ベクトルh1を使ってコンテキ ...
類似スコア 66
ブログ執筆者: 弁理士 【個別ページ】
キーワード: 実施例
GAN(2/4)実施例の説明
https://benrishi-ai.com/gan02/前回(第1回)では、GANの概要について説明しました。改めて復習されたい方は、こちらのリンクから確認をお願いします。今回(第2回)は、GANの実施例について、生成器の学習方法を中心に説明します。 全体の流れ ----- 改めて説明する必要がないほど有名な話ですが、GANは、紙幣の偽造モデルによく例えられます。偽造者(=Generator)は本物に近い偽札を作ろうとし、警官(=Discrimi ...
類似スコア 65
ブログ執筆者: 弁理士 【個別ページ】
キーワード: クレーム 実施例
Pix2Pix(3/4)ノイズはどこへ消えた?
https://benrishi-ai.com/pix2pix03/前回(第2回)では、Pix2Pix の実施例について説明しました。改めて復習されたい方は、こちらのリンクから確認をお願いします。 ノイズの行方 ------ 前回の記事に掲載した図1と図2をもう一度見比べると、元祖GANやCGANにはあったノイズ{z}が、Pix2Pix では無くなっていることに気付きます。今回(第3回)は、「ノイズはどこへ消えた?」と題して、その理由について推論を交えながら ...
類似スコア 63
ブログ執筆者: 弁理士 【個別ページ】
キーワード: 実施例
Seq2Seq(2/4)再帰型ニューラルネット
https://benrishi-ai.com/seq2seq02/前回(第1回)では、Seq2Seq の概要について説明しました。改めて復習されたい方は、こちらのリンクから確認をお願いします。今回(第2回)は、Seq2Seq を理解する上での前提知識ともいえる再帰型ニューラルネットワーク(RNN;Recurrent Neural Network)の概要について説明します。 問題の設定 ----- RNNでは、指定された文章を1語ずつ暗唱する、暗唱問題につい ...
類似スコア 63
ブログ執筆者: 弁理士 【個別ページ】
アテンション機構(2/4)全体構成の説明
https://benrishi-ai.com/attention02/前回(第1回)では、アテンション機構の概要について説明しました。改めて復習されたい方は、こちらのリンクから確認をお願いします。今回(第2回)は、アテンション機構の実装例として、“Seq2Seq with Attention” の全体構成について説明します。 エンコーダの構造 -------- まず、エンコーダのネットワーク構造を図1に示します。 【図1】エンコーダの構造例 エンコーダは、 ...
類似スコア 62
ブログ執筆者: 弁理士 【個別ページ】
キーワード: 実施例 発明 採用
CycleGAN(3/4)学習のメカニズム
https://benrishi-ai.com/cyclegan03/前回(第2回)では、CycleGAN の実施例について説明しました。改めて復習されたい方は、こちらのリンクから確認をお願いします。今回(第3回)は、CycleGAN における学習のメカニズムについて独自の解釈で説明を試みます。 Identity Loss ------------- と、その前に、目的関数(Objectives)の第3要素であるアイデンティティ損失(Identity Loss ...
類似スコア 61
ブログ執筆者: 弁理士 知財フィルター🍎 【個別ページ】
キーワード: クレーム 機械 従来技術 侵害 特許権 特許権侵害 発明
GAN(4/4)総括
https://benrishi-ai.com/gan04/前回(第3回)では、VAEとGANを比較し、CGANまで発展させた場合のGANモデルの拡張性・応用性の高さについて説明しました。改めて復習されたい方は、こちらのリンクから確認をお願いします。今回(第4回)は、クレームを含む発明ストーリーを作成し、これまで3回分の検討を総括します。 発明ストーリー ------- 【従来技術】 所与の学習データセットをベースに、学習データとは異なる新しいデータ ...
類似スコア 59
ブログ執筆者: 弁理士 知財フィルター🍎 【個別ページ】
キーワード: クレーム 実施例 従来技術 発明
Unrolled GAN(4/4)総括
https://benrishi-ai.com/unroll-gan04/前回(第3回)では、Unrolled GAN の学習メカニズムについて概説しました。改めて復習されたい方は、こちらのリンクから確認をお願いします。今回(第4回)は、クレームを含む発明ストーリーを作成し、これまで3回分の検討を総括します。 発明ストーリー ------- 【従来技術】 代表的な生成モデルとして、データの真贋判定を行う弁別器(Discriminator)と協働して生成器(Gene ...
類似スコア 57
ブログ執筆者: 弁理士 【個別ページ】
キーワード: Apple 実施例 論文
CycleGAN(2/4)実施例の説明
https://benrishi-ai.com/cyclegan02/前回(第1回)では、CycleGAN の概要について説明しました。改めて復習されたい方は、こちらのリンクから確認をお願いします。今回(第2回)は、CycleGAN の実施例について説明します。 システム構成 ------ まず、システム構成について、図1を参照しながら説明します。 【図1】CycleGAN のシステム構成 CycleGAN は、2系統のGANで構成されます。一方の第1GA ...
類似スコア 56
ブログ執筆者: 弁理士 知財フィルター🍎 【個別ページ】
キーワード: 実施例 発明
GAN(1/4)発明の概要
https://benrishi-ai.com/gan01/今回のテーマとして、深層生成モデルの基礎とも言うべきGAN(Generative Adversarial Network)を題材に取り上げていきます。 背景 -- 生成モデル(Generative Model)とは、所与の学習データセットをベースに、学習データとは異なる新しいデータを人工的に生成するためのモデルです。データの種類は、静止画、動画、音楽、音声、文章(小説、俳句、チャットなど)な ...
類似スコア 56
ブログ執筆者: 弁理士 【個別ページ】
キーワード: 実施例 発明
StackGAN(1/4)発明の概要
https://benrishi-ai.com/stackgan01/今回のテーマとして、敵対的生成ネットワーク(GAN)ベースのデータ変換処理の一手法である StackGAN を題材に取り上げます。 背景 -- 生成モデルのバリエーション(Variants)の1つとして、テキスト文章の内容に沿った画像を生成する “Text-to-Image Transfer” が挙げられます。先行技術として、例えば、Scott Reed 氏らによる GAN-INT-CLS ...
類似スコア 56
ブログ執筆者: 弁理士 知財フィルター🍎 【個別ページ】
キーワード: クレーム 実施例
Seq2Seq(3/4)実施例の説明&考察
https://benrishi-ai.com/seq2seq03/前回(第2回)では、Seq2Seq の前提知識として、再帰型ニューラルネットワーク(RNN)の概要について説明しました。改めて復習されたい方は、こちらのリンクから確認をお願いします。今回(第3回)は、Seq2Seq の実施例を説明するとともに、本発明のポイントを軽く考察してみます。 問題の設定 ----- Seq2Seq では、例えば、英語をドイツ語に翻訳する翻訳問題について取り組みます(図 ...
類似スコア 55
ブログ執筆者: 弁理士 知財フィルター🍎 【個別ページ】
キーワード: クレーム 従来技術 特許法 発明 論文
CycleGAN(4/4)総括
https://benrishi-ai.com/cyclegan04/前回(第3回)では、CycleGAN における学習メカニズムについて概説しました。改めて復習されたい方は、こちらのリンクから確認をお願いします。今回(第4回)は、クレームを含む発明ストーリーを作成し、これまで3回分の検討を総括します。 発明ストーリー ------- 【従来技術】 生成モデルのバリエーションの1つとして、画像の作風を変える画風変換が挙げられる。画風変換の手法の一例として、Ga ...
類似スコア 55
ブログ執筆者: 弁理士 【個別ページ】
キーワード: 実施例 発明
CycleGAN(1/4)発明の概要
https://benrishi-ai.com/cyclegan01/今回のテーマとして、敵対的生成ネットワーク(GAN)ベースの画像処理の一手法である CycleGAN を題材に取り上げます。 背景 -- 生成モデルのバリエーション(Variants)の1つとして、画像の作風を変える画風変換(Image Style Transfer)が挙げられます。例えば、Leon A. Gatys 氏らによる “Neural Style Transfer”(以下、NST) ...
類似スコア 54
ブログ執筆者: 弁理士 【個別ページ】
キーワード: 実施例 発明 論文
Unrolled GAN(1/4)発明の概要
https://benrishi-ai.com/unroll-gan01/今回のテーマとして、敵対的生成ネットワーク(GAN)に関する学習アルゴリズムの1つである Unrolled GAN を題材に取り上げます。 背景 -- GANは、データの真贋判定を行う弁別器(Discriminator)と協働して生成器(Generator)を学習させる、という単純かつ斬新な手法です。生成器Gおよび弁別器Dの行動原理は、概ね以下の通りです。 ・生成器Gは、標本値(z)から画 ...
類似スコア 54
ブログ執筆者: 弁理士 知財フィルター🍎 【個別ページ】
キーワード: クレーム 実施例 従来技術
Seq2Seq(4/4)総括
https://benrishi-ai.com/seq2seq04/前回(第3回)では、Seq2Seq の実施例について説明しました。改めて復習されたい方は、こちらのリンクから確認をお願いします。今回は、過去3回分の検討を踏まえ、発明ストーリーの一例を提示します。 発明ストーリー ------- 【従来技術】 従来から、自動翻訳の分野において、登録済みのルールを適用して原文を分析することで訳文を出力するルールベース機械翻訳(RMT)や、対訳データの学習を通じ ...
類似スコア 53
ブログ執筆者: 弁理士 知財フィルター🍎 【個別ページ】
キーワード: クレーム 公知 従来技術
アテンション機構(4/4)発明ストーリーの作成
https://benrishi-ai.com/attention04/前回(第3回)では、アテンション機構の変形例について検討しました。改めて復習されたい方は、こちらのリンクから確認をお願いします。今回(第4回)は、これまでの検討を踏まえ、クレームを含む発明ストーリーを試作してみます。 発明ストーリー ------- 【従来技術】 例えば、自動翻訳を含む自然言語処理の分野において、エンコーダ部分とデコーダ部分に相当する2種類の再帰型ニューラルネットワーク(RN ...
類似スコア 53
ブログ執筆者: 弁理士 知財フィルター🍎 【個別ページ】
キーワード: IBM 意見書 拒絶査定 拒絶理由 拒絶理由通知 請求項 早期審査 特許権 発明 発明者 補正 明細書 採用
【160】特許6214922 株式会社Preferred Networks(VAE)
http://blog.livedoor.jp/patent_taji/archives/27147835.html#AIレベル4 月末なので急いで更新。 最近見たAI関連特許だが、請求項1が短い文字数で驚いた。 VAE(Variational AutoEncoder、変分自己符号化法)の応用をそのまま特許化したような発明。 この範囲で権利化されたら将来困る人は多いのではないかという気がする。 海外での権利化、無効理由が気になるところ。 ◆VAE 既にネット上ではいろいろな解説がされているが、最初に提唱 ...
類似スコア 52
ブログ執筆者: 弁理士 【個別ページ】
キーワード: 実施例 発明
StackGAN(2/4)実施例の説明
https://benrishi-ai.com/stackgan02/前回(第1回)では、StackGAN の概要について説明しました。改めて復習されたい方は、こちらのリンクから確認をお願いします。今回(第2回)は、StackGAN の実施例について説明します。 システム構成 ------ まず、StackGAN のシステム構成について、図1を参照しながら説明します。 【図1】StackGAN のシステム構成 出展:StackGAN: Text to Ph ...
類似スコア 51
ブログ執筆者: 弁理士 知財フィルター🍎 【個別ページ】
キーワード: 実施例 発明 明細書
Unrolled GAN(3/4)学習メカニズムの考察
https://benrishi-ai.com/unroll-gan03/前回(第2回)では、Unrolled GAN の実施例について説明しました。改めて復習されたい方は、こちらのリンクから確認をお願いします。今回(第3回)は、Unrolled GAN の学習メカニズムについて考察します。 アトラクタモデルの説明 ----------- この学習メカニズムを説明するため、図1に示すアトラクタモデルを導入します。 【図1】アトラクタモデルの模式図 以下、2グル ...
類似スコア 50
ブログ執筆者: 弁理士 【個別ページ】
キーワード: 実施例 論文
Unrolled GAN(2/4)実施例の説明
https://benrishi-ai.com/unroll-gan02/前回(第1回)では、Unrolled GAN の概要について説明しました。改めて復習されたい方は、こちらのリンクから確認をお願いします。今回(第2回)は、Unrolled GAN の実施例について説明します。 Vanilla GAN ----------- まず、元祖GAN(Vanilla GAN)の演算式は、以下の図1の通りです。目的関数(敵対的損失:Adversarial Loss)の数 ...