Skip to Content

AI driven lab

AI Weekly Papers Sep. 17~23

今週のAI論文のabstractを３行で

主にHuggingface daily papersから注目度の高い記事をまとめています。

CulturaX: A Cleaned, Enormous, and Multilingual Dataset for Large Language Models in 167 Languages

link: https://arxiv.org/abs/2309.09400 Published: 2023-09-17

  • What: 大規模言語モデルのためのクリーンで巨大な多言語データセットであるCulturaXの提案
  • Method: 詳細なクリーニングと非重複処理を含む多段階のパイプラインを使用して、CulturaXデータセットを作成
  • Novelty: CulturaXは167の言語で6.3兆トークンを含む巨大なデータセットであり、多言語大規模言語モデルの開発を支援するために公開されている

Language Modeling Is Compression

link: https://arxiv.org/abs/2309.10668 Published: 2023-09-19

  • What: 大言語モデルを用いた予測と圧縮の関係を調査する研究
  • Method: 大言語モデルの予測能力と圧縮能力を評価し、予測問題を圧縮の視点で捉える
  • Novelty: 大言語モデルが一般的な圧縮モデルを上回る圧縮能力を持ち、圧縮視点がスケーリング法則、トークン化、インコンテキスト学習に新しい示唆を提供する

LongLoRA: Efficient Fine-tuning of Long-Context Large Language Models

link: https://arxiv.org/abs/2309.12307 Published: 2023-09-21

  • What: 長文脈の大規模言語モデル（LLM）を効率的に調整する手法である「LongLoRA」を提案する。
  • Method: LLMのコンテキスト拡張を効率的に行うために、疎なローカルアテンションを使用し、トレーニング中に限定的な計算コストで実現する。
  • Novelty: 従来の方法と比較して、LongLoRAは2行のコードで実装でき、非自明な計算コストの削減と同様のパフォーマンスを提供する。さらに、パラメーター効率のFine-tuningを再評価し、訓練可能な埋め込みと正規化が前提条件であることを発見した。

DreamLLM: Synergistic Multimodal Comprehension and Creation

link: https://arxiv.org/abs/2309.11499 Published: 2023-09-20

  • What: DreamLLMは、「多様なモダリティの理解と生成」を強化した多様な大規模言語モデル（MLLMs）を実現する学習フレームワークです。
  • Method: DreamLLMは、直接サンプリングによる言語と画像の生成モデリングに焦点を当てています。また、テキストと画像コンテンツ、非構造化レイアウトをモデリングすることで、条件付き、周辺、結合の多様なモダリティ分布を効果的に学習します。
  • Novelty: DreamLLMは、自由形式の交互に生成されるコンテンツを生成できる最初のMLLMです。継続的な学習のシナジーにより、優れた性能を発揮します。

FreeU: Free Lunch in Diffusion U-Net

link: https://arxiv.org/abs/2309.11497 Published: 2023-09-20

  • What: この研究を一言でいうと、FreeUはディフュージョンU-Netを使用して生成品質を改善する手法です。
  • Method: この研究では、U-Netのskip connectionsとバックボーン特徴マップからの寄与を再調整することで、生成品質を向上させる方法を提案しています。
  • Novelty: この研究の新規性は、追加のトレーニングや微調整なしで生成品質を向上させることができるシンプルな手法を提案していることです。

Connecting Large Language Models with Evolutionary Algorithms Yields Powerful Prompt Optimizers

link: https://arxiv.org/abs/2309.08532 Published: 2023-09-15

  • What: ラージランゲージモデルと進化的アルゴリズムを組み合わせたパワフルなプロンプト最適化手法を提案した研究
  • Method: ディスクリートなプロンプト最適化のため、進化的アルゴリズムとラージランゲージモデルを結合した手法を提案
  • Novelty: 既存の手法よりも優れたプロンプト生成を実現し、ヒューマンエンジニアリングされたプロンプトや既存手法を上回る性能を示したこと

Contrastive Decoding Improves Reasoning in Large Language Models

link: https://arxiv.org/abs/2309.09117 Published: 2023-09-17

  • What: この研究を一言でいうと、文脈を考慮したテキスト生成手法の改良
  • Method: この研究はContrastive Decodingという手法を用いている
  • Novelty: この研究の新規性は、他の手法と比較して抽象的な推論エラーや情報のコピーを防ぐことによる改善を示していることである

Adapting Large Language Models via Reading Comprehension

link: https://arxiv.org/abs/2309.09530 Published: 2023-09-18

  • What: 大規模な言語モデルを特定のドメインに適応させるための方法についての研究
  • Method: ドメイン特化コーパスを読解テキストに変換することで、大規模な言語モデルのパフォーマンスを向上させる手法を提案している
  • Novelty: ドメイン特化の読解テキストによる学習が、一般的なベンチマークでもモデルのパフォーマンスを向上させることを示している

PDFTriage: Question Answering over Long, Structured Documents

link: https://arxiv.org/abs/2309.08872 Published: 2023-09-16

  • What: PDFTriageは長く構造化されたドキュメントに対する質問応答を可能にする手法です
  • Method: PDFTriageは、構造または内容に基づいてコンテキストを取得するモデルを提案しています
  • Novelty: PDFTriageは、既存の検索に基づくLLMが失敗するクエリに対して効果的なモデルであり、構造化されたドキュメントに関する基本的な課題を取り組んでいます

Multimodal Foundation Models: From Specialists to General-Purpose Assistants

link: https://arxiv.org/abs/2309.10020 Published: 2023-09-18

  • What: この研究を一言でいうと、多文様な基盤モデルの進化とその応用についての包括的な調査です。
  • Method: この研究は、特定の目的に向けた事前学習済みのマルチモーダルな基盤モデルと、一般的な目的を持つアシスタントのための手法に焦点を当てています。
  • Novelty: この研究の新規性は、一般的な目的を持つアシスタントのための統合されたビジョンモデルや、マルチモーダルな言語モデルを含む最近の進展です。