ここ数日、MacStoriesでは、人工知能企業が運営するウェブクローラーによる作品の取り込みに対処するため、いくつかの変更を加えました。多くのことを学んだので、同じようなことをしたいという方のために、私たちが行ったことを共有したいと思います。

MacStoriesを定期的に読んでくださっている方、あるいはポッドキャストをお聴きになっている方は、フェデリコと私が、大規模言語モデルの学習のためにオープンウェブをクロールするのは非倫理的だと考えていることを既にご存知でしょう。業界全体で、AI企業は私たちのようなウェブサイトのコンテンツをスクレイピングし、出版社やその他のクリエイターの同意や報酬を得ることなく、チャットボットやその他の商用製品の素材として利用しています。

馬が小屋から逃げ出してしまった今、一部の企業は出版社のrobots.txtファイルを尊重している一方で、そうでない企業もあるようです。これは、MacStoriesから既にスクレイピングされた数万件の記事や画像を埋め合わせるものではありません。またrobots.txt、完全な解決策でもありません。ですから、これは私たちが作品を守るために採用している4つのアプローチの一つに過ぎません。

Robots.txt を使用した AI クローラーの防止

最初のステップであり、最も簡単に実行できる方法の一つは、AI企業のウェブクローラーにサイトをクロールしないようリクエストすることです。robots.txt.このアプローチの問題点は、ウェブサイトに「AIボット立ち入り禁止」の看板を掲げるのと同じようなインターネット版に過ぎないことです。この看板は無視されやすく、クローラーが自己識別した場合にのみ機能しますが、すべてのクローラーが自己識別しているわけではありません。とはいえ、これは良い第一歩であり、私たちが最初に行ったことです。robots.txtサイトへの実装に関する詳細情報については、先週リンクしたDan MorenのSix Colorsに関する記事を強くお勧めします。

サーバーでAIボットをブロックする

AI企業が私たちのファイルを尊重するとは思えませんrobots.txt。彼らは既に私たちの同意なしにコンテンツを取得しています。そこで私たちはさらに一歩踏み出し、Robb Knight氏の協力を得て、既知のAIクローラーをサーバーレベルでブロックしました。これにはウェブサーバーの操作方法に精通している必要がありますが、単にrobots.txtファイルを編集するよりも効果的です。サイトをAIクローラーをブロックする設定について詳しく知りたい方は、Robb氏が個人サイトとMacStoriesで行った作業についてこちらに書いています。

利用規約を更新する

ウェブサイトに利用規約を設けることもお勧めします。現在OpenAIの法学修士課程（LLM）研修の慣行をめぐって訴訟を起こしているニューヨーク・タイムズ紙は、昨年の夏に利用規約を更新しました。私たちはこれをガイドとして、MacStoriesのコンテンツ（記事、画像、ポッドキャストなど）を当社の利用規約でどのように利用できるかを慎重に定義しました。

MacStoriesのコンテンツは、個人利用に関しては十分な自由度がありますのでご安心ください。また、コンテンツの内容に応じて適切なクレジット表示がなされている限り、コンテンツの合理的な部分を使用した商業利用についても問題ありません。ただし、AIモデルの学習にコンテンツを使用することは許可しておりません。

AIトレーニングを規制する法律の支持

上記のいずれも完全な解決策ではありません。だからこそ、私たちはAI企業による法学修士（LLM）の研修方法を規制する法律を支持します。昨年の夏、世界中のメディア組織が、法学修士（LLM）研修の規制を議員に求める公開書簡に署名し、次のように述べています。

私たち、下記署名団体は、生成 AI 技術の責任ある発展と展開を支持するとともに、AI アプリケーションを動かすコンテンツを保護し、事実を促進し民主主義を活性化するメディアに対する国民の信頼を維持するための法的枠組みを整備する必要があると考えています。

この手紙は、私たちの信念の核心を突いています。私たちは人工知能という技術自体に反対しているわけではありません。開発されているツールの多くは将来性があります。しかし、数十億ドル、あるいは数兆ドル規模のテクノロジー企業が、他者の成果を土台にそれらのツールを開発していることを容認されるべきだとは考えていません。特に、多くのオンラインメディア企業が生き残りに苦戦している経済環境においてはなおさらです。これは全く正しくありません。

上記の解決策は完璧でも絶対確実でもありません。そのため、気にせず諦めるべきだと言う人もいます。メディア企業がいかに資金繰りに困っているかを示す兆候として、何も得られないよりは何か得られる方が良いと考えて AI 企業と契約した企業もあります。

でも、実はそうなんです。ウェブは特別な場所です。毎日、世界中の人々が集まり、考えを共有し、創造性を表現しています。これは誰もが当たり前のこととして捉えるべきものではなく、守る価値のあるものです。AIは確かに素晴らしいですが、ウェブを破壊するほどの価値はありません。