找回密碼
                 立即注冊
                戴客 首頁 科技資訊 人工智能 AI 查看內容

                Facebook AI 年度總結來啦

                北極蚊子 2019-1-21 17:35

                2019 年已經過去半個月啦,大家的年末總結和新年計劃做好了嗎?最近,Facebook 做了一份 AI 年度總結,詳述了他們過去一年在 AI 上所做的代表性工作(看到眼花)。Emmm,要是哪位同學的年度總結像 Facebook 一樣豐富多彩,相信一定發 paper、拿 offer 到手軟。

                內容如下,一起來看看吧~

                在 Facebook,我們認為,人工智能以更有效的新方式學習,就像人類一樣,可以在將人們聚集在一起發揮重要作用。這一核心信念有助于推動我們的 AI 戰略,將投資重點放在與使用真實數據學習的系統相關的長期研究上,激勵工程師與更廣泛的人工智能社區共享尖端工具和平臺,并最終展示使用技術造福世界的新方法。

                2018 年,我們在各個領域都取得了重要進展。我們提出了新的研究,除了圖像識別上的進展,在NLP領域,我們現在可以用較少的監督數據翻譯更多的語言。我們發布了許多平臺和工具來幫助其他人將他們的人工智能研究轉化為生產應用程序,包括我們將目前流行的開源深度學習框架 PyTorch 升級成新的、更通用的 1.0 版本。除了發表廣泛的公共研究論文和相關模型以及數據集外,我們還發現人工智能有潛力通過 MRI 掃描(https://code.fb.com/ai-research/fastmri/)、災難援助(https://code.fb.com/ai-research/satellite-imagery/)和預防自殺的工具來改善人們的生活。以下是我們過去一年在人工智能領域所做努力的亮點內容。

                通過半監督和無監督訓練促進人工智能學習

                Facebook 人工智能研究(FAIR)小組的創建目標之一是致力于開發具有人類智能的系統。實現這一里程碑還需要多年的研究,但我們相信,我們在2018年所做的努力有助于展示出一條通向通用人工智能的道路。雖然目前大多數 AI 系統使用監督學習來理解特定的任務,但對大量標記樣本的需求限制了他們可以學習的任務數量,并限制了技術的長期潛力。這就是為什么我們正在探索多種方法來減少訓練中所需的監督,包括展示從半監督甚至非監督數據中學習從而受益的項目。

                例如,為了增加系統可能翻譯或理解的語言數量,我們演示了一種新的方法(https://code.fb.com/ai-research/unsupervised-machine-translation-a-novel-approach-to-provide-fast-accurate-translations-for-more-languages/),在無監督數據上訓練自動翻譯 NMT 模型,其性能與在監督數據上訓練的系統相當。我們的系統的準確性比以前的無監督方法有了很大的提高。通過減少該領域對標記訓練數據的大型語料庫的依賴,它打開了翻譯更多語言的大門,包括資源比較少的語言(如烏爾都語),和英語相比,它們的數據集是非常有限的。

                多種語言中的二維單詞嵌入可以通過簡單的旋轉進行對齊

                另一個項目完全使用資源比較少的語言,使用多種方法來規避標記訓練數據的相對稀缺性。這項工作包括使用多語言建模來利用給定語言組(如白俄羅斯語和烏克蘭語)中方言之間的相似性。這是一項應用研究,該團隊采用的一系列技術在今年為我們的自動翻譯服務增加了 24 種語言。此外,在與紐約大學的合作中,我們在現有的 MultiNLI 數據集中添加了 14 種語言,這些語言被廣泛用于自然語言理解(NLU)研究,而在此之前,我們只研究了英語。我們更新的 XNLI 數據集(https://code.fb.com/ai-research/xlni/)中的語言包括兩種資源很少語言(斯瓦希里語和烏爾都語),我們的方法有助于跨語言理解,從而減少了對監督訓練數據的需求。

                我們還展示了數據監督的變化,例如通過數據精餾(data distillation)將有監督和無監督的數據結合起來,這一過程稱為全方位監督學習(omni-supervised learning,https://code.fb.com/ai-research/data-distillation-makes-omni-supervised-learning-possible/)。在基于哈希標簽的圖像識別(https://code.fb.com/ml-applications/advancing-state-of-the-art-image-recognition-with-deep-learning-on-hashtags/)的研究中,我們創造性地利用現有的非傳統標簽來生成大量訓練數據集,這些數據集里面基本上是自標記數據,包括一組 35 億張的 Instagram 公共圖像。該項目建議用戶提供的哈希標簽可以充當數據標簽,將現有的圖像轉換為弱監督訓練示例。我們的結果不僅證明了使用數十億個數據點對基于圖像的任務是非常有效的,而且還使我們打破了一個重要的記錄,也就是比以前最先進的圖像識別模型在 ImageNet 上的準確度得分高出 1%。

                哈希標簽可以幫助計算機視覺系統識別圖像中的特定的子類別和附加元素

                加速 AI 研究向生產的轉變

                AI 已經成為 Facebook 幾乎所有產品和服務的基礎,應用程序的多樣性反映在我們的工程師正在構建和增強的各種基于 AI 的平臺和工具中。2018 年我們平臺工作的共同主題是:將我們正在研究的 AI 技術轉化為可以部署的 AI 系統。

                自 2017 年我們發布 PyTorch 以來,深度學習框架已被 AI 社區廣泛采用,目前,它是 GitHub 上增長速度第二快的開源項目。PyTorch 的用戶友好界面和靈活的編程環境使其成為人工智能發展中快速迭代的通用資源。它的開放設計確保了框架將繼續增長和改進。2018 年,我們希望給 PyTorch 社區提供一套更統一的工具,重點是將他們的人工智能實驗轉化為生產就緒的應用程序。

                我們在 2018 年 5 月的第 8 次會議上宣布了框架的更新,詳細說明了它如何集成 Caffe2(https://caffe2.ai/) 的模塊化、面向生產的功能以及新擴展的 ONNX(https://code.fb.com/developer-tools/onnx-expansion-speeds-ai-development/),以簡化從原型系統到部署的整個 AI 開發流程。10 月,我們在第一次 PyTorch 開發者大會上發布了 PyTorch 1.0 開發者預覽版(https://code.fb.com/ai-research/facebook-accelerates-ai-development-with-new-partners-and-production-capabilities-for-pytorch-1-0/),在會議上我們還展示了框架快速增長的合作伙伴和平臺生態系統。Google、Microsoft、NVIDIA、Tesla 和許多其他技術提供商在那次活動中討論了他們的現狀和與 PyTorch 1.0 的集成計劃,fast.ai 和 Udacity 都創建了使用新版本來教授深度學習的課程。

                我們在今年 1 月初推出 PyTorch 1.0 完整版,這一版本包括我們一直在做的所有新特性,如能在 eager 和 graph 執行模式間無縫過渡的混合前端,改進的分布式訓練,用于高性能研究的純 C++前端。2018 年我們還發布了擴展 PyTorch 核心功能的工具和平臺,包括兩個內核庫 (QNNPACK 和 FBGEMM),它們能使移動設備和服務器更容易運行最新的 AI 模型,我們還發布了 PyText(https://code.fb.com/ai-research/pytext-open-source-nlp-framework/),這個框架能加速自然語言處理 (NLP) 開發。

                PyTorch 還為 Horizon(https://code.fb.com/ml-applications/horizon/)提供了基礎,Horizon 是第一個使用應用強化學習在大規模生產環境中優化系統的開源端到端平臺。Horizon 采用了 RL 大量研究但很少部署的基于決策的方法,并對其進行了調整,使之用于可能包含數十億條記錄的數據集的應用程序。

                在 Facebook 內部部署該平臺后,在優化流媒體質量和改進 Messenger 中 M suggestions 等用例中,我們開源了 Horizon,使得任何人都可以抵達連接 RL 研究和生產的橋梁。

                顯示 Horizon 反饋循環的高級圖。首先,對現有系統記錄的一些數據進行預處理,然后,訓練模型并分析離線環境下的反事實的策略結果,最后,將模型部署到一組人員中,并度量真正的策略。來自新模型的數據會反饋到下一個迭代,大多數團隊每天都會部署一個新模型。

                我們還發布了 Glow(https://code.fb.com/ml-applications/glow-a-community-driven-approach-to-ai-infrastructure/),這是一個社區驅動型開源框架,支持機器學習硬件加速。Glow 支持一系列不同的編譯器、硬件平臺和深度學習框架,包括 PyTorch,現在支持它的生態合作伙伴包括 Cadence、Esperanto、英特爾、Marvell 和高通。為了進一步鼓勵業界使用機器學習,我們發布了一個新的機器學習優化服務器設計 Big Basin v2(https://code.fb.com/ml-applications/the-next-step-in-facebook-s-ai-hardware-infrastructure/),這也是 Open Compute Project(開放計算項目)的一部分。我們已經將新的、模塊化的硬件添加到了數據中心機群,大家可以在 OCP Marketplace(https://www.opencompute.org/contributions)上下載不同版本的 Big Basin v2。

                2018 年是 Oculus 研究向 Facebook Reality 實驗室過渡,以及對 AI 和 AR/VR 研究重疊領域進行新探索的一年。我們不斷努力,想要開源盡可能多的人工智能相關工具,作為這些工具的一部分,我們已經發布了 DeepFocus 項目的數據和模型,該項目利用深度學習算法在 VR 中渲染逼真的視網膜模糊(https://www.oculus.com/blog/introducing-deepfocus-the-ai-rendering-system-powering-half-dome/)。DeepFocus 是一種將深度學習用于 AR /VR 的全新應用,它使用一個完全新型的網絡結構來適配于 Half Dome 頭顯,以及其他頭顯裝置。

                在未來的一年,我們希望得到更多關于所有這些開源工具的反饋。我們將繼續開發和開源一系列工具,進一步支撐 PyTorch 1.0,幫助整個開發社區,讓前沿人工智能系統走出實驗室,走出研究型論文,投入生產。

                構建造福所有人的 AI 系統

                我們研究廣泛傳播 AI 福祉的技術已有悠久的歷史,比如創建能生成照片音頻描述的系統,造福于視障人士。在過去一年,我們繼續開發基于 AI 的功能來造福世界,包括使用文本分類技術(https://code.fb.com/ml-applications/under-the-hood-suicide-prevention-tools-powered-by-ai/)來識別表達自殺想法言論的帖子,擴展現有的自殺預防工具。這一系統使用單獨的文本分類器來分析文章和評論中的文本,如果合適,它將把這些內容發送給 Community Operations 團隊審核。這個系統利用我們已經建立的文本理解模型和跨語言功能,通過支持服務,來增加可以連接到人員數量。

                我們還發布了一種使用人工智能快速準確地幫助確定受災最嚴重地區的方法(https://code.fb.com/ai-research/satellite-imagery/),無需等待人工標注數據。這種方法是與 CrowdAI 合作開發的,有可能以更快的速度和效率向受害者提供救援。在未來,這項技術還可以用來幫助量化大規模災害的損失,如森林火災、洪水和地震。

                我們部署了一個名為 Rosetta (https://code.fb.com/ai-research/rosetta-understanding-text-in-images-and-videos-with-machine-learning/)的 ML 系統,它每天從超過 10 億個公共圖像和視頻幀中提取文本,并使用文本識別模型來理解文本和圖像的上下文。Rosetta 支持多種語言,能幫助我們理解表情包和視頻的內容,包括自動識別違反策略的內容。

                Rosetta 文本提取兩步模型架構

                2018 年我們也開始了 fastMRI 項目(https://code.fb.com/ai-research/facebook-and-nyu-school-of-medicine-launch-research-collaboration-to-improve-mri/),這是我們與紐約大學醫學院 (NYU School of Medicine) 開展的一項長期合作,旨在改善影像診斷技術,起初我們將 MRI 的掃描速度提高了 10 倍。目前的掃描需要一個小時或更長時間,對于一些患者或者在某些情況下,這肯定不行,該聯合研究項目的目的是通過使用深度學習,從較少的原始掃描數據中生成圖像,增加這種潛在的救生診斷工具的可用性。

                fastMRI 的目的不是開發專有技術,而是加速領域內對這種技術的理解,紐約大學醫學院已經做了迄今最大的充分采樣的原始 MRI 數據集(數據集完全匿名)用于研究,也有開源模型來幫助更廣泛的研究社區開始這項任務。我們還推出了一個在線排行榜(http://fastmri.org/leaderboards),大家可以發布自己的結果進行比較。

                左圖:轉換成圖像之前的原始 MRI 數據。為了獲取診斷研究所需的全部原始數據,MRI 掃描會非常耗時。右圖:從充分采樣的原始數據中獲得的膝關節重建 MRI 影像圖。

                2018 年,我們還發表博客詳細介紹了我們在其他領域的工作,包括使用人工智能來改進系統(Getafix、 predictive test selection、SapFix、Sapienz 和 Spiral)、提升產品(SLAM 和 Marketplace 中的 AI),以及其他研究工作(wav2letter++,多詞匯表征、多語言嵌入和音頻處理)。

                我們對 2018 年在關鍵層面(開展基礎研究、部署前沿應用、分享使用人工智能幫助他人的新方法)取得的進展感到興奮,期待在未來一年繼續努力。

                文章點評
                星光彩票