特集：atwiki「AI画像生成・生成系AI 問題まとめwiki」atwiki画像生成学習データ著作権
「AIと人間の学習の違いについて」（atwiki「AI画像生成・生成系AI 問題まとめwiki」）
目次
atwiki「AI画像生成・生成系AI 問題まとめwiki」のページ「AIと人間の学習の違いについて」は、筆者が「AIについては全くの素人」と断ったうえで書き、本文の途中に別の書き込みによる反論が挿入されている。本文と反論の技術的な主張を、拡散モデル・学習データの記憶・データセットの論文と、著作権法の条文で照合する。
対象の記述
AIは手に入れた情報はすべてストックすることができ、また必要なときに完全な形で取り出すことが出来ます。
照合の結果
本文の「すべてストック」「元の形のまま取り出すのが前提」は、拡散モデルの学習の仕組みと合わない。挿入された反論の「元の形で取り出すことは不可能」も、学習画像のほぼ複製を取り出した研究と合わない。論文によると、ほぼ複製は限られた条件で起き、学習データ中で重複の多い画像に偏る。LAION-5B の「58億」、AI が人より多くのデータを要するという趣旨は論文と合う。
経緯
atwiki「AI画像生成・生成系AI 問題まとめwiki」のページ「AIと人間の学習の違いについて」は、最終更新が2023年8月26日で、2026年9月30日の閲覧時に 7,715 view と表示されている1。「人間の学習がOKで、AIの学習がダメなのは何故か？」という問いに対し、AI と人間の学習の違いを三つ挙げて説明する。
筆者は冒頭で、自身を「AIについては全くの素人」と書き、追記・修正を歓迎している1。
しかしながら、画像生成AIにおける学習という視点から違いを説明したものはあまり見かけませんので、よい機会と思いここに筆者の考えを記します。
AIについては全くの素人ですがものすごく頑張って書きましたので、その点を留意した上でお読みいただけると幸いです。
（追記・修正OKです）
本文の途中には、括弧書きで反論が挿入されている（「AIと機械を混同していますね」「思い込みでの記述です」など）。ページの表示からは、誰がいつ書き込んだかはわからない。本項では、本文と挿入された反論を分けて扱い、それぞれを一次資料と照合する。取り上げるのは次の点である。
- 学習した画像は元の形で残り、取り出せるか（本文と反論）
- AI は視点や柄の違う猫を別々に学ばなければならないか、人より多くのデータが要るか
- LAION-5B の「58億枚」
- 日本の著作権法は学習のための無断利用を認めているか（挿入された書き込み）
学習した画像は「元の形」で残るか
画像生成 AI の主流である拡散モデルは、画像にノイズ（ランダムな乱れ）を加え、そのノイズを取り除くようにモデルを学習させる。学習では、画像そのものを保存するのではなく、モデルのパラメータ（重み）を少しずつ更新する2。Stable Diffusion は、この方式を画像を圧縮した表現の上で行うモデル（潜在拡散モデル）に基づく34。
本文：「すべてストック」「完全な形で取り出す」とする
また、人間は手に入れた情報を適宜取捨選択します。どうでもいい情報を忘れたり、そもそも見ないことができるのです。
AIは手に入れた情報はすべてストックすることができ、また必要なときに完全な形で取り出すことが出来ます。前述の重みに反映し記録します。そのため、学習元の画像を同じ状態で生成することはできません（過学習という状態を起こせば近いものを生成することはできます）。この点もAIと人間の学習の大きな違いです。
同じ段落の中で、前半は「すべてストック」「完全な形で取り出す」とし、後半は「重みに反映し記録」「同じ状態で生成することはできません」としており、互いに食い違う。拡散モデルの学習は、ノイズを加えた画像からノイズを予測するように、モデルの重みを少しずつ更新する手順である2。学習した画像を一枚ずつ保存する手順は含まれない2。後半の「重みに反映し記録」はこの手順と合い、前半の「すべてストック」「完全な形で取り出す」は合わない。ただし、次に見るように、一部の画像はほぼそのまま出力されうる。
補足として、大まかな規模を示す。Stable Diffusion のパラメータは 8億9000万である4。学習した画像の枚数は、Carlini らは 1億6000万枚と書き4、Somepalli らは 20億枚超で学習した後に 6億枚で追加の学習をしたと書いている5。割ると、画像1枚あたりのパラメータは約5.6個（1億6000万枚の場合）、約0.45個（20億枚の場合）になる。一方、512×512 画素の画像1枚は約79万個の数値（画素数×3色）からなる。これは大まかな目安で、モデルが保存できる情報量の上限を示すものではない。
本文：機械は「元の形のまま取り出すのが前提」とする
反面、AI、というか機械は転写が非常に得意です。使う人が特別に指示しない限り入力したデータを元の形のまま取り出すのが前提です。（AIと機械を混同していますね。前述の通り、元データの形で保持していないため、元の形で取り出すことは不可能です。）デスクトップのフォルダに入れたデータが取り出すたびに違う形になっていたら使い物にならないですからね。
本文は、フォルダに保存したファイルのように、AI も入力を元の形で取り出すと説明している。前項のとおり、拡散モデルは画像をファイルとして保存しておらず、重みの更新として学習する2。挿入された反論のうち「AIと機械を混同」「元データの形で保持していない」は、この仕組みと合う。
挿入された反論：元の形で取り出すことは「不可能」とする
一方、反論の「元の形で取り出すことは不可能」は、学習データの記憶を調べた研究と合わない。Carlini らは、Stable Diffusion から学習画像のほぼ複製を取り出せることを示した4。
In this work, we show that diffusion models memorize individual images from their training data and emit them at generation time.
本研究では、拡散モデルが学習データの個々の画像を記憶し、生成時にそれを出力することを示す。
select the 350,000 most-duplicated examples from the training dataset and generate 500 candidate images for each of these prompts (totaling 175 million generated images).
memorized by visual analysis, and find that a further 13 (for a total of 109 images) are near-copies of training examples even if they do not fit our 2-norm definition.
Figure 5: Our attack extracts images from Stable Diffusion most often when they have been duplicated at least k = 100 times; although this should be taken as an upper bound because our methodology explicitly searches for memorization of duplicated images.
（Stable Diffusion の）学習データのうち重複の最も多い 350,000 例を選び、それぞれの説明文で 500 枚ずつ候補画像を生成する（計 1億7500万枚）。
……目視でも判定し、画素の差による数値の判定基準には当てはまらなくても、さらに 13 枚（計 109 枚）が学習データのほぼ複製であることを見いだした。
図5：我々の攻撃が Stable Diffusion から画像を抽出できたのは、学習データ中で少なくとも k = 100 回重複していた画像であることが最も多い。ただし、我々の方法は重複した画像の記憶を意図して探しているので、これは上限とみなすべきである。
同論文の図1は、学習データにある人物写真と、その人名を指示して生成した画像を並べ、「nearly identical」（ほぼ同一）としている4。元の形に近い画像を取り出すことは、一部の画像では実際に起きており、「不可能」ではない。なお、この書き込みがいつされたかは確認できていない。論文の公開（2023年1月）より前だった可能性がある。
取り出せた条件は限られている。論文は、学習データ中で重複の最も多い 35万例を狙って 1億7500万枚を生成し、ほぼ複製として取り出せた学習画像を 109枚見つけた4。109 は取り出せた学習画像の数で、生成した画像のうち何枚が複製だったかという割合ではない。取り出せた画像は、学習データ中で100回以上重複していたものが多い。ただし論文は、重複の多い画像を意図して探したため、この傾向は上限とみなすべきだと書いている4。
同論文は、こうした「記憶」があることが、モデルが学習データを「含んでいる」ことを意味するかについては議論があると書いている4。
There is active discussion within the technical and legal communities about whether the presence of this type of “memorization” suggests that generative neural networks “contain” their training data.
この種の「記憶」があることが、生成ニューラルネットワークが学習データを「含んでいる」ことを意味するのかについては、技術と法律の両分野で活発な議論がある。
本文：「ほとんどそっくりの画像が出力されてしまうことがある」とし、反論は「正しくありません」とする
が、それでも、的確に命令するとデータセット内の元の画像とほとんどそっくりの画像が出力されてしまうことがあります。転写を基本としているのは機械の長所でもあり短所でもあるのです。（前述の理由により正しくありません。思い込みでの記述です。再度学習してください。）
Somepalli らは、LAION の 1200万枚の部分から 9000件の説明文を取り出して Stable Diffusion に入力し、生成した画像を同じ 1200万枚と照合した5。照合先は学習データの一部に限られる。
While typical images from large-scale models do not appear to contain copied content that was detectable using our feature extractors, copies do appear to occur often enough that their presence cannot be safely ignored; Stable Diffusion images with dataset similarity ≥ .5, as depicted in Fig. 7, account for approximate 1.88% of our random generations.
大規模なモデルの典型的な生成画像には、我々の特徴抽出器で検出できる複製の内容は見られない。しかし複製は、その存在を無視してよいとは言えない程度の頻度で起きているようである。図7に示したような、データセットとの類似度が 0.5 以上の Stable Diffusion の画像は、無作為に生成した画像の約 1.88% を占める。
「ほとんどそっくりの画像が出力されてしまうことがある」という本文は、この二つの論文と合う。これを「正しくありません」とする反論は、論文と合わない。一方、本文の「転写を基本としている」は論文と合わない。Somepalli らは、典型的な生成画像には検出できる複製が見られないとする5。類似度0.5以上の画像は生成画像の約1.88%だが、これには背景だけが学習画像と同じといった部分的な流用も含まれる。照合先を 1200万枚に限ったため、論文はこの率を実際より低く見積もっている可能性があるとしている。Carlini らも、複製を取り出せたのは重複の多い画像を狙った場合が多いとする4。両論文は、入力した文も照合の方法も異なるため、率を比べることはできない。
本文の括弧書き：「過学習という状態を起こせば近いものを生成することはできます」
本文は、ほぼ複製が出る条件として過学習（学習データに合わせすぎる状態）を挙げている。Carlini らは、開発者が「過学習は問題にならなかった」と報告していた Imagen（Google の画像生成モデル）からも、学習画像のほぼ複製を取り出した。そのうえで、過学習の定義を、記憶を含むように広げる必要があるかもしれないと書いている4。
It may thus be necessary to broaden our definitions of overfitting to include memorization and related privacy metrics.
したがって、過学習の定義を、記憶やそれに関連するプライバシーの指標を含むように広げる必要があるかもしれない。
同論文は、取り出しやすさがモデルの大きさ、学習の長さ、データセットの大きさなどの設定に強く左右されるともしている4。学習データに合わせすぎることでほぼ複製が出るという括弧書きの趣旨は、論文の「記憶」と重なる部分がある。ただし論文は、従来の意味での過学習が見られないモデルでも記憶が起きると報告している。
「横から見た猫と斜め前から見た猫はあくまで別物」
本文：視点や柄が違えば「別途学習させてあげないといけない」とする
対してAIはこの作業があまり得意ではありません。横から見た猫と斜め前から見た猫はあくまで別物だからです。そして、その学習が終わったら次は上から見た猫とか柄が違う猫も別途学習させてあげないといけません。情報の補完が苦手であまり融通が効かないのです。
このページ自身が、前の節では、十分に学習させると「見せたことのない猫の画像」も猫と答えるようになると書いている1。
このプロセスを繰り返して十分に猫を理解させると、見せたことのない猫の画像を見せても「多分これ猫だと思います」という答えを返してくるようになります。この部分が、ものすごく簡単に説明したディープラーニングにおける「学習」と呼ばれるフェーズです（現在の画像生成AIはノイズをかけた画像から復元する形式が主流のため、実際の学習素材はだいぶ違います）。
画像認識の学習では、一枚の画像を平行移動・左右反転させた画像を自動で作って学習に加える方法（データ拡張）が、2012年の代表的な論文の時点で使われている9。本文は、視点や柄ごとに別途学習させる必要があるという説明の根拠を示しておらず、ページ自身の前の節の記述とも食い違う。
The first form of data augmentation consists of generating image translations and horizontal reflections.
データ拡張の一つ目の形式は、画像の平行移動と左右反転を生成することである。
ただし、視点の違いに弱いという指摘そのものには根拠がある。物体の回転や撮影の視点を無作為にしたテスト用データ ObjectNet では、物体認識の性能が他のデータに比べて 40〜45% 下がった8。
We collect a large real-world test set, ObjectNet, for object recognition with controls where object backgrounds, rotations, and imaging viewpoints are random.
When tested on ObjectNet, object detectors show a 40-45% drop in performance, with respect to their performance on other benchmarks, due to the controls for biases.
我々は物体認識のための大規模な実写のテスト用データセット ObjectNet を集めた。物体の背景、回転、撮影の視点を無作為にする統制を加えている。
ObjectNet で試すと、物体認識の検出器の性能は、他のベンチマークでの性能に比べて 40〜45% 低下する。偏りを統制したためである。
本文：人間は少ない素材から学べる
以上のことから、「人間は少ない素材から柔軟に情報を補完するのがうまい」ということができ、これはAIと人間の学習の大きな違いといえます。
AI が人より多くのデータを必要とするという趣旨は、認知科学と機械学習の研究者の論文の記述と合う7。同論文は、人は新しい手書き文字を一つの例から見分けられるとし、画像認識の代表的なデータセットは一つの種類あたり数百〜数千の例を用意していると書いている7。
Deep neural networks often need more data than people do in order to solve the same types of problems, whether it is learning to recognize a new type of object or learning to play a new game.
深層ニューラルネットワークは、同じ種類の問題を解くのに人より多くのデータを必要とすることが多い。新しい種類の物体を見分けることを学ぶ場合でも、新しいゲームの遊び方を学ぶ場合でも同様である。
LAION-5B の「58億枚」
本文：「58億枚の画像から成るデータのセット」とする
そこにやってきたのがLAION-5Bという58億枚の画像から成るデータのセットで、これにより画像生成AIは大きく発展することになります。
we present LAION-5B - a dataset consisting of 5.85 billion CLIP-filtered image-text pairs, of which 2.32B contain English language.
我々は LAION-5B を発表する。CLIP（画像と文の対応の度合いを測るモデル）で選別した画像と文の組 58.5億からなるデータセットで、そのうち 23.2億が英語の文を含む。
数値は論文と合う（58.5億）6。ただし論文によると、LAION-5B は画像そのものではなく、ウェブ上の画像へのリンクと説明文の組の一覧である6。論文は、画像や文の著作権を LAION が有していないとも書いている。
This dataset is reliant on links to the World Wide Web.
We do not own the copyright of the images or text.
このデータセットは、ウェブへのリンクに依拠している。
我々は画像や文の著作権を有していない。
58億はリンクの一覧の件数で、画像生成 AI が実際に学習した画像の枚数とは別である。Stable Diffusion について、Carlini らは 1億6000万枚、Somepalli らは 20億枚超（その後 6億枚で追加の学習）と書いている45。本文の「58億枚のデータをもってしてようやく」は、この区別をしていない。
本文：「著作権侵害コンテンツも大量に投入されており」とする（筆者は「私見」と明記）
なお私見ですが、この58億枚という枚数をこしらえるためにLAION-5Bには著作権侵害コンテンツも大量に投入されており、やはり権利面で問題視されていたりします。（←具体例がほしい。
筆者はこれを「私見」と明記しており、挿入された書き込みも具体例を求めている。本項では、LAION-5B に含まれる著作権侵害のコンテンツの量を示す一次資料を確認していない。
ネット上の画像を許可なく学習に使ってよいか（著作権法30条の4）
挿入された書き込み：「学習のためにネット上の画像を無断で使用してよいと定めています」とする
なお日本の著作権法は、学習のためにネット上の画像を無断で使用してよいと定めています）
著作物は、次に掲げる場合その他の当該著作物に表現された思想又は感情を自ら享受し又は他人に享受させることを目的としない場合には、その必要と認められる限度において、いずれの方法によるかを問わず、利用することができる。ただし、当該著作物の種類及び用途並びに当該利用の態様に照らし著作権者の利益を不当に害することとなる場合は、この限りでない。
二 情報解析（多数の著作物その他の大量の情報から、当該情報を構成する言語、音、影像その他の要素に係る情報を抽出し、比較、分類その他の解析を行うことをいう。第四十七条の五第一項第二号において同じ。）の用に供する場合
著作権法30条の4は、情報解析など、著作物に表現された思想や感情を味わう（享受する。作品を鑑賞して楽しむこと）ことを目的としない利用について、許諾なく利用できると定めている10。AI の学習に許諾が要らない場合があるという点で、書き込みは条文と合う。ただし条文には条件がある。条文の対象はネット上の画像に限られない。また、ただし書きで、著作権者の利益を不当に害する場合を除いている。
文化審議会著作権分科会の小委員会がまとめた「AIと著作権に関する考え方について」（2024年3月）は、学習の目的に享受の目的が一つでも含まれれば同条は適用されないとし、その例として、学習データの表現を出力させるために意図的に過学習させる場合を挙げている11。
他方で、一個の利用行為には複数の目的が併存する場合もあり得るところ、法第 30 条の４は、「当該著作物に表現された思想又は感情を自ら享受し又は他人に享受させることを目的としない場合には」と規定していることから、この複数の目的の内にひとつでも「享受」の目的が含まれていれば、同条の要件を欠くこととなる
（例）AI 開発事業者又は AI サービス提供事業者が、AI 学習に際して、いわゆる「過学習」（overfitting）を意図的に行う場合
同じ文書は、学習に使われた著作物に似た画像が生成された場合、利用者がその著作物を知らなくても、通常は依拠性（既存の著作物に基づいて作ったこと）が推認され、著作権侵害になりうるとしている11。学習が許される場合でも、生成物が学習データに似ていれば別に問題になりうる。
正しい部分
次の記述は一次資料と合う。現在の画像生成 AI が「ノイズをかけた画像から復元する形式」で学ぶこと2、学習した内容は「重みに反映し記録」されること2、的確に指示すると学習データとほとんどそっくりの画像が出力されることがあること45、学習データに合わせすぎるとほぼ複製が出うること（括弧書きの過学習の説明。論文は過学習の定義を広げる必要を指摘している）4、AI は人より多くの学習データを必要とすること7、LAION-5B の規模が約58億であること6。
挿入された反論のうち、「元データの形で保持していない」は仕組みの説明として合う2。「元の形で取り出すことは不可能」と、本文の「そっくりの画像が出力される」を「正しくありません」とした部分は、論文と合わない45。ただし、書き込みの時期は確認できておらず、論文の公開より前だった可能性がある。
未確認の事項
- 本文と挿入された反論を、それぞれ誰がいつ書いたか。atwiki の編集履歴は確認していない。反論の書き込みが Carlini らの論文（2023年1月）や Somepalli らの論文（2022年12月）の公開より前か後かもわからない
- 2023年8月以降に公開されたモデル（Stable Diffusion の後継や、Midjourney など非公開のモデル）で、学習データのほぼ複製がどの程度出力されるか。本項は Stable Diffusion v1 系と Imagen を調べた2本の論文のみに依っている
- Stable Diffusion が学習した画像の枚数。Carlini らは 1億6000万枚、Somepalli らは 20億枚超（その後 6億枚で追加の学習）と書いており、食い違っている。どの版・どの段階を指すかは、開発元の資料で確認していない
- LAION-5B に含まれる著作権侵害のコンテンツの量
- 「Niji・Journeyではプロンプトを指定せずとも版権キャラを生成してしまうことが頻繁にあり」という記述。本項では照合していない
- 「私はロボットではありません」の認証を AI で突破する難しさについての記述。本項では照合していない
- 人間の学習を「認識、記憶、思考」の三段階とする説明。本項では照合していない
出典
- 「AIと人間の学習の違いについて」 atwiki「AI画像生成・生成系AI 問題まとめwiki」、最終更新 2023年8月26日閲覧 2026年9月30日、本文を保存
- Jonathan Ho, Ajay Jain, Pieter Abbeel 「Denoising Diffusion Probabilistic Models」 NeurIPS 2020閲覧 2026年9月30日、PDF を保存（Algorithm 1 の学習手順）
- Robin Rombach ほか 「High-Resolution Image Synthesis with Latent Diffusion Models」 CVPR 2022閲覧 2026年9月30日、PDF を保存
- Nicholas Carlini ほか 「Extracting Training Data from Diffusion Models」 arXiv:2301.13188、2023年1月30日（USENIX Security 2023）閲覧 2026年9月30日、PDF を保存（第3節、第4.1〜4.2節、図1・図5、脚注2）
- Gowthami Somepalli ほか 「Diffusion Art or Digital Forgery? Investigating Data Replication in Diffusion Models」 arXiv:2212.03860 v3、2022年12月12日（CVPR 2023）閲覧 2026年9月30日、PDF を保存（第7節、第9節）
- Christoph Schuhmann ほか 「LAION-5B: An open large-scale dataset for training next generation image-text models」 NeurIPS 2022 Datasets and Benchmarks閲覧 2026年9月30日、PDF を保存
- Brenden M. Lake ほか 「Building Machines That Learn and Think Like People」 Behavioral and Brain Sciences、2017年閲覧 2026年9月30日、arXiv 版の PDF を保存（第4.2節）
- Andrei Barbu ほか 「ObjectNet: A large-scale bias-controlled dataset for pushing the limits of object recognition models」 NeurIPS 2019閲覧 2026年9月30日、PDF を保存
- Alex Krizhevsky, Ilya Sutskever, Geoffrey E. Hinton 「ImageNet Classification with Deep Convolutional Neural Networks」 NIPS 2012閲覧 2026年9月30日、PDF を保存（第4.1節）
- 著作権法（昭和45年法律第48号）第30条の4e-Gov 法令検索、閲覧 2026年9月30日
- 文化審議会著作権分科会法制度小委員会 「AIと著作権に関する考え方について」 2024年3月15日閲覧 2026年9月30日、PDF を保存（19〜20頁、34頁）
版の履歴
- 第1版 2026年9月30日 作成
本項は、AI（本版では Claude）が資料の収集・照合と草稿の作成を行った。編集担当による原典との照合は、本版では未実施である。