私は、数字を詰め込んだ評議会計画の記事を書き、それをサマライザーに通し、出力のすべての数字をソースに対してチェックしました。 自分でソースを書くことがポイントです。つまり、すべての文が何を主張しているかを正確に知っているということです。これが、同じく真の要約から単に短い要約を伝える唯一の方法です。 1つも発明されていません。 9 つの数字が出て、9 つすべてがオリジナルに登場します。これは、AI の作成に関する通常の警告よりも優れた結果です。 要約はまだ 2 か所間違っていましたが、どちらのエラーも数字をそのまま維持しました。 そのうちの 1 つは、「市場賃料の 80% で手頃な価格のアパートを指定し、シェルターが推奨する 30% を大幅に下回るレベル」と読みます。これは、家賃レベルとユニットの割合を比較し、どの算術でも真でない文に到達します。
tl;dr: 要約をチェックインする必要があるのは、数字が本物かどうかではなく、それらがまだ正しいものに付随しているかどうかです。 327 語のソースで測定: ゼロは発明され、元の 0.28 と 0.59 で圧縮が正しく、2 つの関係が破られ、それぞれが数字を維持し、それらが言及したものを失います。 貼り付ける前に知っておく価値もあります。長さ設定は絶対的です。短い入力で「詳細」を入力すると、要約したテキストよりも 2.2 倍長い要約が作成されました。 ザ・ サマリー サイトのサーバーで実行されます。
4 つの長さの設定は何をしますか?
出力サイズに名前を付けて、それを打ちます。 ここで最も信頼できるのは、フォーマットのコンプライアンスです。
同じ 91 語のパッセージで測定されます。
| 設定 | 求められた | 生産された | ソースに対する比率 |
|---|---|---|---|
| 一文 | 一文 | 1文、47語 | 0.52 |
| 短い段落 | 3～4文 | 4文82語 | 0.90 |
| 弾丸ポイント | 5～7発の弾丸 | 7 弾丸、95 ワード | 1.04 |
| 詳細 | 2～3段落 | 3 段落、200 語 | 2.20 |
どれもその指示に一致します。 1 つの文は 1 つの文です。 5 対 7 のバンド内で、バレット ポイントが 7 を与えました。 詳細は 3 つの段落を示しました。
最後の列を見てください。
なぜ詳細な要約が記事より長かったのですか?
長さは絶対的なターゲットであり、入力の比率ではありません。
「詳細」は、すべての要点をカバーする 2 ～ 3 段落を要求し、90 語か 9000 のいずれかを指定するかにかかわらず、2 ～ 3 段落を生成します。 短い一節で、モデルは事実を中心に接続された散文を長さに達するように書き、出力はそれが要約したものよりも長くなります。
327 語の同じ文章は、あなたが期待するように動作します。
| ソースの長さ | 短い段落 | 詳細 |
|---|---|---|
| 91ワード | 0.90 ソース | 2.20 ソース |
| 327 ワード | 0.28 ソース | 0.59 ソース |
つまり、損益分岐点は約 200 語です。 その下で、1 つの文を選択するか、まったく要約しないでください。91 語のパッセージは、すでに要約の長さです。
インフレは散文にも見られます。 短い文章の詳細なバージョンは、「市議会の駐車場のダウンタウンに関する決定は、住宅の手頃な価格に取り組み、経済成長を刺激することを目的とした重要な都市開発プロジェクトを表しています。」、これは、評議会が計画を承認したと 23 の言葉です。
事実を発明するの?
このテストでは、いいえ、それは失敗と同じくらい明白に言う価値があります。
327 語のソースのすべての数字と、その詳細な要約のすべての数字を数えました。
numbers in source 19
numbers in summary 9
in summary, not in source: none
19 桁中 9 桁が生き残り、1 人の新しい人物は現れませんでした。 このモデルは、サイトの任意の書き込みツールで使用される最も低い温度 0.3 で実行されています。これは、この種の出力を保守的にする設定です。
これは、AI の要約の最も多くの報道が止まる見出しであり、それはあまり役に立たない全体像です。
では、何が問題なのですか？
数字として生き残り、意味として壊れる数字間の関係。
手頃な価格の住宅の請求。 情報筋によると、340 戸のアパートのうち 85 戸は市場賃料の 80% で手頃な価格であり、この割合はシェルターが推奨する 30% を下回っています。 要約は次のように述べています。
designated affordable apartments for 80% of market rent,
a level significantly below Shelter's recommended 30%
数字はどちらも本物です。 比較はナンセンスです。市場賃料の 80% は価格、30% は単位のシェアであり、文は最初の賃料が 2 番目よりも低いと主張しています。 元の文を意味のあるものにした図は、340 のうち 85 単位で、削除されたものです。
駐車場の争い。 情報源は、評議会が 41% の占有率を挙げており、商工会議所はそれ自体の調査でそれに異議を唱えています。 要約によると、商工会議所は、「調査で使用された容量の数値は、41% の稼働率よりも低く、それは、商工会議所がそれ自体の位置とは反対のことを主張している」と述べています。
ソースに対して数字をチェックしても、どちらのエラーも検出されませんでした。 どちらも、文を読み、それが何を主張しているかを尋ねる必要があります。
この失敗は、研究文献に名前があります。 Maynez と同僚' 抽象的な要約における忠実さに取り組む 外因性幻覚から、ソースから存在しないものを、ソースが作成しないステートメントに組み換える内因性幻覚から要約が導入する場合、外因性幻覚を分離します。 人間の注釈付きの要約に関する彼らの発見は、真性種類の方がより一般的であり、自動的に検出するのが難しいというものです。 これは、上記の両方のエラーの形であり、数値チェックで誤った信頼度が得られる理由です。
何がドロップされ、パターンはありますか?
クレームではなく、クレームをサポートする詳細で、いいえ、信頼できるパターンはありません。
同じ情報源から、これらは完全に姿を消しました。1,412 件の相談対応、63% のサポート、2 つのガレージの建設日、1,200 万ポンドの修理責任、71% のシャトルの 20 分の頻度、430 万ポンドのインフラストラクチャ コスト、3 月の開始日の 38 企業の調査。 要約は、「インフラストラクチャの改善の初期費用」を、議論にする数字なしに保ちました。
短い通路では、経験則に反するような方法で落下が不均一でした。
| 事実 | 一文 | 短い段落 | 弾丸ポイント | 詳細 |
|---|---|---|---|---|
| 340 アパート | 保管 | なくした | 保管 | 保管 |
| 家賃は18%アップ | なくした | なくした | なくした | 保管 |
| 900 のスペースが削除されました | なくした | なくした | 保管 | なくした |
| 来春から始まる | 保管 | なくした | 保管 | 保管 |
より長い要約は、短いもののスーパーセットではありません。「短い段落」は、「1 文」が保持されたアパートの数を失いました。 「詳細」は、「弾丸のポイント」が保持していた駐車図を紛失しました。 特定の数が重要な場合、それを維持する設定は予測できません。信頼できる唯一のアプローチはチェックです。
読者を最も心配させるのは、家賃の値上げです。3 年間で 18% というのが、この作品の中で最も引用可能な統計であり、4 つの設定のうち 3 つがそれを取り下げました。
PDF や Web ページを要約できますか?
直接ではありません。 貼り付けるテキストが必要になります。つまり、抽出は別のステップであり、意図的に行う価値のあるものです。
PDF の場合は、最初にテキストを引き出します。 PDF からテキストへ ブラウザで行います。 その変換費用のガイド PDF の列がインターリーブされ、表が値の行として出てくるため、最初に 1 分の価値があります。 スクランブルされた列の要約はナンセンスの要約であり、完全に流暢に読み取れます。
Web ページの場合は、ページではなく記事のテキストをコピーします。 ナビゲーション、クッキー バナー、関連記事のリスト、コメント数がすべて入力され、モデルはそれらが家具であることを知る方法がありません。 サイドバーの長いページでは、記事よりも重要です。
スキャンされたドキュメントの場合、抽出するテキストはまったくなく、OCR が最初に表示されます。 何が実際に OCR を壊すのか 3 度の傾きが解像度よりも重要な、測定されたバージョンがあります。
一般的なルール: 箱に届くものはすべて要約されます。これには、偶然に起こったものがすべて含まれます。
なぜ最初の段落を読まないのですか？
多くの場合、サマライザーをうまく使用することと、それを反射的に使用することの違いを知ることが、いつ違いますか。
ニュース ライティングでは逆ピラミッドが使用されます。最初の段落では、重要度の高い順に詳細を追加した後のすべての記事とすべてが取り扱われます。 ニュース記事の場合、最初の段落は、その物を読んだ人が書いた要約であり、無料で即座に使用できます。
サマライザーがその分を獲得するのは、そのように書かれていない素材です。
| ソース | オープニングを読む | まとめる |
|---|---|---|
| ニュース記事 | はい、もうまとめです | めったに価値がない |
| 分、トランスクリプト、スレッド | 悪用する構造はない | はいって |
| 学術論文 | アブストラクトはすでに存在します | セクションのみ |
| エグゼクティブサマリーで報告する | それを読んで | スキップするセクションのみ |
| 法的または政策文書 | オープニングは定義です | はい、チェックして |
このツールが適しているのは、メール スレッド、会議メモのセット、トランスクリプト、長いチャット ログなど、著者による要約も、役に立つ注文もないケースです。 それらは、情報が均等に配布されます。これは、最初の段落を読むと、何もわかりません。
どの設定を選ぶべきですか?
要約で何をしようとしているのかによって、選択肢が 4 つのオプションで提案されるよりも狭いです。
| 設定 | それを使う | いつ避けるか |
|---|---|---|
| 一文 | 件名、あなた自身へのメモ、トリアージ | 詳細が必要です |
| 短い段落 | 長い文書をすばやく読む | ソースは 200 語未満です |
| 弾丸ポイント | 後でもう一度スキャンするメモ | ソースにはリストではなく引数があります |
| 詳細 | まだ行動しなければならない長い報告 | ソースが短いか、すべての図が必要です |
箇条書きには注意が必要です。 散文を弾丸に変えると、結合組織は破棄されます。これは、意見の相違が存在する場所です。 争われた計画の決定に関する記事は、コンテストが削除されたステートメントのリストになり、箇条書きは解決済みの事実として読み取られます。
要約で何をチェックする必要がありますか?
最初の 2 つが速いため、この順番で 3 つのことがあります。
- ソースに対して、すべての番号。 それがもっともらしいかどうかではなく、そこにあるかどうか。 短い要約で 1 分。
- 各番号が何に付されているか。 エラーがあった場所です。 数字を含む各文を読んで、その主張を尋ねてから、その主張をソースに見つけます。
- 誰が何を言ったのですか。 アトリビューションは、反転するもう 1 つの要素です。 上記の商工会議所の例は、完全に自然に読める位置の逆転です。
比較しても確認できないものは、欠落している事実は出力に痕跡を残さないため、欠落しているものです。 ソースを読む必要があります。これは避けたいと思っていたものです。 正直なフレーミングは、要約は、ドキュメントの内容を説明することであり、スキップできるようにするためではなく、それを読むかどうかを決定できるようにすることです。
要約は転送しても安全ですか?
それが要約したことの代わりとしてではなく、上記の 2 つの失敗が理由です。
どちらも流暢でした。 どちらも実際の数字を維持していました。 どちらも、情報源を読んでいない人がすくい取ったまま生き残るでしょう。手頃な価格の住宅は、どこから来たのかを言うことができなかった誰かによる会議で繰り返されます。
要約を転送する場合は、ソースを転送します。 要約から引用する場合は、引用元に戻ります。 要約を決定する場合、最初に確認する番号が決定します。
これは要約に反対するものではありません。 これは、中古のアカウントから作業するための通常の方法であり、機械によって作成された要約はまさにそれです。
どのくらいかかりますか？
30 秒から 1 分半の間、入力ではなく出力を追跡します。
| 走る | ソース | 設定 | の時 |
|---|---|---|---|
| 1です | 91ワード | 一文 | 32秒 |
| 2です | 91ワード | 詳細 | 73秒 |
| 3つです | 327 ワード | 短い段落 | 66秒 |
| 4です | 327 ワード | 詳細 | 95s |
長いソースを読むのは比較的安価ですが、長い要約を書くのはそうではありません。 「詳細」は、同じ入力で「1 文」の費用の約 2 倍の費用がかかります。
入力にも天井があります。 非常に長いテキストは、モデルが一度に読むことができるものに短縮され、ページは、最初の部分を黙って要約するのではなく、そうであると述べています。 長いレポートの場合は、セクションにまとめて、各チェックを適切に実行できるように小さく保つこともできます。
なぜ予測可能に設定されているのですか?
要約は、反復可能な答えが正しい答えであるサイトでの 1 つの仕事だからです。
ここのすべての AI ツールには、モデルの変化量を制御する温度があります。 名前の変更のない名前のリストは役に立たないため、命名ツールは 1.0 で実行されます。 パラフレーザーは 0.5 にあります。 サマライザーは、書き込みツールの中で最も低い 0.3 です。
それが数字が発明されていない理由です。 温度が低いと、モデルがその前にあるテキストの最も可能性の高い継続に近づきます。これは、要約タスクの場合、その前のテキストを意味します。 同じ設定が、出力が平坦で少し機械的である可能性がある理由です。これは、ここでの正しい取引です。
また、再実行はあまり役に立たないことも意味します。 必要な数値が要約によって削除された場合、通常は再度実行すると再度ドロップされ、より良い移動は別の長さ設定または短い入力になります。
これがサイトのサーバーで実行されるのはなぜですか?
人々が要約する文書は、公共サービスに貼り付けられないものだからです。
理事会の書類、法的な手紙、事件報告、同僚に関するスレッド、禁輸措置の下の草案、医学的要約。 通常の代替案では、文書全体を会社に送付し、その条件を保持してトレーニングを受けることができます。
ここでは、サイトのハードウェア上の小さなモデルに使用され、フィードバックを送信することを選択しない限り保存されません。 コストは、上記のタイミングで表示され、正直な天井で表示されます。小さなモデルは、ページをうまくまとめており、100 ページはまったくまとめません。
