Beating によると、Nous Research は、長い文脈の学習メカニズムである Lighthouse Attention をオープンソース化しており、単一の B200 GPU で 512K 長のテキスト処理を行う際に 17 倍の高速化を達成し、さらに 98K 長ではエンドツーエンドの学習を 1.4〜1.7 倍加速します。この手法は粗密（coarse-to-fine）のアプローチを用います。まず、異なるレベルで圧縮された要約を走査して主要なセグメントを特定し、その後、フィルタしたテキストを FlashAttention に渡して処理します。500億トークンで学習した 51.2万パラメータのモデルでのテストでは、このアプローチは学習時間を短縮しただけでなく、完全に注意（attention）ベースの学習におけるベースライン性能と同等、またはそれを上回りました。
免責事項：本ページの情報には第三者提供の内容が含まれる場合があり、参考目的のみで提供されています。これらはGateの見解や意見を示すものではなく、金融、投資、または法律上の助言を構成するものでもありません。暗号資産取引には高いリスクが伴います。意思決定を行う際には、本ページの情報のみに依存しないでください。詳細については、
免責事項をご確認ください。
