長期以來，高質量的視頻需要依靠專業的編輯工具來處理原始素材以生成引人入勝的視頻畫面，但這種的情況正在發生改變。在今年11月，來自清華大學和北京航空航天大學，美國哈佛大學和以色列IDC Herzliya的全球人工智能科學家團隊，在澳大利亞布里斯班舉行的ACM SIGGRAPH亞洲會議上展示團隊開發的一種基于人工智能的 由文本生成視頻 的視頻生成技術。利用這個技術，只需要輸入文本，算法可以自動從數據庫中選擇場景或鏡頭來描繪故事情節，即便是不會視頻制作的 新手 也能制作高質量的視頻蒙太奇，而無需專業的視頻制作和編輯技能。

圖1：由文本生成視頻蒙太奇

圖2：文本生成視頻工具的制作過程

　　隨著以卷積神經網絡(CNN)及生成式對抗網絡(GAN)為代表的人工智能算法技術在影像領域的應用和進一步的成熟，使得計算機視覺技術在近年來大放異彩。特別是在許多單一場景下的技術進步更是加速了智能影像時代的到來，人工智能影像技術不同于靜態圖片的識別和處理，融合了圖、文、音、影等不同的信息內容，以其中的文本處理技術NLP為例，在過去的幾十年間NLP技術一直未有重大的突破，直到2018年谷歌AI團隊新發布的BERT模型(Bidirectional Encoder Representations from Transformers，即一種基于神經網絡的自然語言處理預訓練的技術)，在機器閱讀理解水平測試SQuAD1。1中表現出驚人的成績，全部兩個衡量指標上全面超越人類，BERT為NLP帶來里程碑式的改變。這些技術的發展促進了圖像、文字、音頻、視頻等不同信息載體之間實現任意的轉換，編輯，生產和加工，將成為智能影像的重要基礎設施。人類一直在追求的視覺享受，更有沖擊力的視覺效果和更加有創意的影像內容，這些需求一直在推動影視和媒體行業的發展。正如前文所展示這一的進展，IDC Herzliya的Efi Arazi計算機科學學院院長Ariel Shamir教授強調：由文本生成影像技術，展示了自然語言處理技術與技術機視覺技術結合的潛力，并通過獨特的用戶界面來實現更自然，更簡單的視頻制作。 這是將人的能力和人工智能技術以最易用的方式結合在一起，形成的智能影像工具可以幫助人們實現創意過程，不僅可以定義場景的視覺風格，鏡頭的美學吸引力，還可以實現復雜的蒙太奇效果。

　　實際上，除了利用人工智能技術實現影片中的形象和一系列表演的制作自動化以外，影視行業也在向自然語言文本自動生成影視內容的這一課題發起挑戰。迪士尼研究院的研究人員已經嘗試通過人工智能系統，從創作人員的劇本中通過自然語言技術提取信息并理解劇本的故事主線，再形成以故事為中心以及以人物為中心的推理。 這些推理功能的構建通過直觀的查詢系統向創作人員開放，允許腳本編寫者向系統詢問有關故事和角色信息的問題，并形成可視化的動畫或視頻的展示，導演可以更直觀地了解角色將如何在場景中進行表演，以及腳本的變化會怎樣影響場景，并對劇本進行分析然后生成故事分鏡和動畫。這一技術在近期的迪士尼一系列影片創作過程中得到了應用，證明可以大幅節省影視編劇人員的精力，縮短電影創作所消耗的時間。迪士尼的研究團隊通過在多個電影制作過程中的反饋，逐步地改進和優化這個系統。面對影視媒體這個萬億規模的市場，國內在影視和媒體制作方面也一直在發力追趕，將智能影像技術作為新型的內容生產工具已取得業界的重視。芒果TV獨立制作的熱播節目《我的女人們》通過與國內智能影像技術廠商影譜科技合作，在播出過程中品牌商只需要給出品牌露出的需求文本，通過人工智能技術會自動匹配內容中最合適的場景，并自動化對節目內容加工，品牌的展示與影視內容無縫融合，利用人工智能技術取代了傳統的 事前 、事中及事后布景、剪輯、編輯和加工所需的大量人力，這一技術同樣可用于影視拍攝和制作。

圖3：迪士尼的電影智能創作工具

　　由文本生成影像是智能影像技術領域的一個分支，這一應用的成熟可以用于很多不同領域，如電影劇本編寫、創意營銷、教學視頻和公共安全等眾多領域，發展前景十分廣泛，但依然面臨幾方面的挑戰：首先是數據的問題，人工智能算法的優化以及影像的生成需要有大量的可用于訓練的數據以及高質量的素材，這一點對眾多的企業和開發者形成了很高的門檻；其次是自然語言處理，BERT證明了一個非常深的模型可以顯著提高 NLP 任務的準確率，而這個模型可以從無標記數據集中預訓練得到，可以顯著提高知識圖譜質量，但仍需要在特定的場景中進行訓練以提高準確度；最后就是平臺化，除了少數在線視頻互聯網企業外，多數的影視及視頻行業仍缺乏對計算機視覺以及NLP方面的專業能力和經驗，更需要融合了算法、算力、數據以及用例的平臺。

　　國際及國內的影視、廣電、在線視頻等產業各方充分認識到了人工智能對這一產業的顛覆性意義，都在加大在智能影像領域的投入，以愛奇藝為例，其研發團隊調整了研發方向，在2019年提交的專利申請中超過60%都是與人工智能相關。智能影像行業的快速發展將出現新的產業格局，一方面是在產業核心生產流程中更為廣泛的引入人工智能技術，加速自身的智能化升級，另一方面是將涌現眾多融合算法、模型、數據、算力等多種能力的智能影像平臺企業，這一領域目前以影譜科技為代表企業。隨著智能影像平臺化企業的發展和生態的繁榮，將更深度地助力影視和媒體行業充分利用人工智能技術升級自身業務流程，并推動實現數字化到智能化的跨域。