大幅減少大型詞彙語言模型中的損失計算成本
本文提出了一種名為「Cut Cross-Entropy (CCE)」的演算法，透過重新設計交叉熵損失函數的計算方式，在不影響訓練速度和收斂性的前提下，顯著降低大型詞彙語言模型訓練過程中所需的記憶體佔用。
基於檢索增強的時間序列預測：利用歷史模式提升預測準確性
本文提出了一種名為檢索增強預測（RAF）的框架，透過檢索和利用歷史時間序列數據中的相似模式來提高時間序列預測的準確性，特別是在零樣本預測和針對特定數據集進行微調的情況下。
透過暖啟動提升大型語言模型的規模化訓練效率
本文核心概念是，透過將預先訓練好的小型模型權重遷移至大型模型，並結合µTransfer等超參數縮放方法，可以有效提升大型語言模型訓練的效率和穩定性。
一張圖片勝過千言萬語：透過視覺化讓大型語言模型能夠進行時間序列推理
大型語言模型 (LLM) 在時間序列推理 (TsR) 方面表現不佳，主要原因是傳統上將時間序列數據以數值方式建模，導致難以提取特徵和上下文過長。本文提出的解決方案 VL-Time 採用視覺化建模時間序列數據，並透過語言引導推理，有效提升了多模態 LLM 在零樣本和少樣本情況下進行時間序列推理的能力。
基於預訓練視覺特徵的世界模型實現零樣本規劃：DINO-WM
本文介紹了一種名為 DINO-WM 的新型視覺世界模型，它利用預先訓練的視覺特徵，可以在沒有任何特定任務數據或獎勵函數的情況下，進行零樣本規劃和解決多種控制任務。
VLA-3D：一個用於三維語義場景理解和導航的數據集
為了解決室內機器人導航任務中，需要複雜空間推理和語義理解的挑戰，該研究提出了一個大規模三維語義場景理解和導航數據集 VLA-3D，並利用基準模型測試其效能，為開發更強大的三維視覺語言模型和互動式室內導航系統提供資源。
離散流匹配：一種用於離散序列數據生成的非自回歸方法
本文介紹了一種新的離散流模型框架——離散流匹配（Discrete Flow Matching），用於生成離散數據，例如語言和代碼，並在生成質量方面顯著優於現有的非自回歸方法。
高效且穩健的正規化聯邦推薦系統
本研究提出兩種名為 RFRec 和 RFRecF 的新型聯邦推薦系統方法，透過將聯邦推薦問題重新定義為凸優化問題，解決了現有方法在非凸優化、系統脆弱性、潛在隱私洩露風險和通信效率低下的問題，並於實驗中展現出優於其他基準模型的性能。
Pin-Tuning：一種用於少量分子性質預測的參數高效上下文微調方法
Pin-Tuning 能有效解決預先訓練的分子編碼器在少量分子性質預測任務中的微調效率低下的問題，通過參數高效的上下文微調策略，在不增加大量參數的情況下，顯著提升模型在少量標註數據下的表現。
基於自適應多模型卡爾曼濾波器的 OCV-SOC 曲線誤差下 LiFePO4 電池 SOC 估計
針對 LiFePO4 電池開路電壓-荷電狀態曲線（OCV-SOC）易受老化和溫度影響產生誤差，進而影響荷電狀態（SOC）估計精度的问题，本文提出了一種基於自適應多模型卡爾曼濾波器（AMMKF）的 SOC 估計方法，該方法能夠在 OCV-SOC 曲線存在誤差的情況下，仍能準確估計電池 SOC。
© 2024 by Linnk AI