世界級集群渲染落戶上海

世界級集群渲染落戶上海
訪上海渲染投資管理有限公司
World-class Render Farm in Shanghai
EDITOR…孫瞳

編者按：從2006年開始,中國的影視外包項目日益增多，這其中由以影視動畫外包對于硬件需求最為明顯，國內除了華龍和央視數碼等少數幾個國有背景的數字影視制作公司有不錯的硬件設備外，大多數公司只能痛苦的自己解決硬件集群渲染的壓力。隨著數字創意產業逐漸進入正規，如今行業已經從06年的“教育需求年”開始向07年的“企業需求年”轉變，這之中最有代表性的事件就是北京軟件協會針對數字創意產業進行的北京企業硬件需求調研，以及前不久由特新與我們雜志一起操作的集群渲染研討會企業積極參與。這都側面印證了我刊對于“企業需求年”的判斷。前不久我們從業內了解到上海一家公司正在并已經建設國內最大的集群渲染設備，針對這個世界級的設備投入，我刊記者采訪了這家新興且頗具實力的公司――上海渲染投資管理有限公司進行了專訪。本次接受我們采訪的是王疆皓（染農場公共平臺（上海）主任）和Shiny現任CG渲染農場公共平臺（上海）架構總監。
info

王疆皓介紹
現任上海渲染投資管理有限公司渲染農場公共平臺（上海）主任
長期從事CG相關大型項目的運營及運做，對CG行業資本運做及資源對接有較多成功案例，現正無償為組織百家高手特效聯盟承接國外大單潛心奮斗。

Shiny介紹
現任CG渲染農場公共平臺（上海）架構總監。
中國最早承接國外一流電影特效公司外單的技術先鋒之一，參與過多部大型動畫電影；具備比較強的故事編導能力；深諳成熟CG市場的整套運營模式；98年后轉型做外包業務中方質監，尤其熟悉多數國外數字及特效外包公司及發包人，業務渠道廣泛，籌措成功過多次中外CG業務雙選會；近幾年著重研究高端硬件的優化搭建及高速存儲系統等。現任CG渲染農場公共平臺（上海）架構總監。

Q ：首先很高興能和您兩位交流，通過我們刊物可以更多的介紹貴企業的觀點以及作為公共平臺能為行業帶來的服務。我們采訪的第一個問題是：貴公司為什么要在數字創意產業的各個環節中選擇投入到硬件設備平臺搭建這個領域？是如何考慮的？

A：首先我們認為未來的行業必將是場硬件支撐起來的變革來決定企業的去留或定位的根本性問題，到時候，很多企業可能因為硬件的“無可奈何”導致沒有飯吃。我們觀點的基礎可以從身邊的例子看出， Pixer從《玩具總動員》到《小鼠大廚》幾乎每年一部影片，試想在一個極其規范的電影市場下的動畫公司，沒有強有力的硬件支持，沒有效率和質量并衡的保證，怎么會贏得數字娛樂產業資本市場的屢屢青睞？我們身邊的很多企業制作完成相當數量要求的項目能力已經比較強，但由于設備的問題很多長期或者大型的國內外項目不敢承接，這也是處于對消化大型項目的綜合能力信心不足的表現。

本應該是一條起跑線上的硬件環節，國內卻因為多種原因從來不足夠重視，這幾年差距越來越大，比如我在日本看到2年前的設備在中國居然都是最高端的鎮山之寶，會全面成熟操控的人沒有，在公司里是擺設。如果說目前這些還屬于隱性問題。那么當客戶的要求全面提升到高清標準或電影標準時再絢麗的特效制作能力也通過不了硬件限制的壁壘。

--專業的CG硬件服務平臺可以有效規避企業的投資風險并幫助企業贏得更多訂單。中小企業這些優質股很容易在市場競爭中因為硬件瓶頸被抹殺。大企業因為資金占用大而沒有專業的服務商切實的解決架構、搭建、回收問題，淘汰周期快，弄不好就會因為一次硬件投資而損失巨大。

Q兩位如何認為目前中國CG企業的硬件設備的采購問題，而硬件對企業生產有哪些制約？
A：中國很多的CG企業都面臨一個硬件更新速度快及種類繁多的階段，于是大家開始考慮淘汰、置換、購買等方式去解決一些效率和質量問題，但是往往不能如愿。問題的關鍵在于沒有從多方面解決硬件設備更新區隔的問題，沒有專業的CG硬件工程師去為一線制作人做預算與效率的權衡。這樣的解決方案在中國要考慮實際情況，不然只是滿足速度丟掉穩定性；所以，硬件解決辦法已經成為了現在CG企業非常頭疼的一個問題，而我們就是用中國最好的硬件渠道和專業CG硬件人才搭建的渲染平臺，幫助每個愿意和我們合作的伙伴解決一切因硬件導致的CG生產難題。

Q：專業的CG硬件服務平臺可以有效規避企業的投資風險并幫助企業贏得更多訂單。從技術角度上講你們怎么看待渲染農場公共平臺的技術和硬件優勢？
TIPS：渲染農場（Renderfarm）其實就是“分布式并行集群計算系統”，這是一種利用現成的CPU、網絡負載和操作系統構建的超級計算機，它使用主流的商業計算機硬件設備達到或接近超級計算機的計算能力。集群（cluster）指的是一組計算機通過通信協議連接在一起的計算機群，它們能夠將工作負載從一個超載的計算機遷移到集群中的其他計算機上，這一特性稱為負載均衡（load balancing），它的目標是使用主流的硬件設備組成網格計算能力，達到、甚至超過天價的超級計算機的計算性能。
A：以往渲染農場在架構、管理、網絡方面不是很理想，為此我們用2年時間自主研發解決了多項技術難題，使之管理更簡單，運行更優化、穩定。
從速度角度來講是CG人自己的設備無法想象的，舉個例子，現在的建筑動畫5分鐘短片，生產出來也就2小時左右；什么概念，原來他們一個月一半時間花在渲染上了，現在看部電影就完成了，效率大大提高。

TIPS：在采訪中兩位專家又給我們介紹了CG渲染農場公共平臺（上海）所能達到的綜合指標。在此編輯進行了整理羅列：
1、 自主研發的管理軟件。管理這些CPU要達到分布并行計算，一般來說最好有集群管理軟件，主流的集群管理軟件有比較多的軟硬件方面的限制，必須每臺節點機器都安裝渲染場景所需的各類應用軟件，費用加大不說，優化很難做到，穩定性也不好，裝的越多，沖突越大；而且這些集群管理軟件不是對所有軟件、插件、渲染器都支持的；如果不能解決這個問題，就很難滿足有特殊偏好的人的渲染文件順利渲染。我們為此投入大量資金，聯合多方行業怪才自主研發了一套搭建簡便、管理簡單、界面清晰的集群軟件“Top-Render”，此套軟件真正做到了無縫并行計算，所有節點設備都只需安裝操作系統（更為簡潔明了的自創Mini Linux系統）；無須加載任何應用軟件，通過管理機即可做到調動全部管理范圍內CPU參與渲染計算任務；對渲染任務無限制，自動列隊，自動調取與存儲。真正做到1臺管理機可管無數個CPU，直至網絡負載極限。此種集群方法比傳統搭建模式省去了大量節點機高額軟件費用與超長時間，管理更自由，速度更快，應用性更高，資源得到更大化應用的同時還省電。
2、 全4GB光纖網絡系統。搭建渲染農場需要把分離的CPU調集起來同時運算單一（復合）任務，傳統做法是通過以太網做負載均衡；這也是我很反感的，以太網負載限制很多，主流的現在也就是個1GB帶寬，實際傳輸速度就更慢，只能滿足低負荷運載的需求，而且以太網的基礎是TCP/IP協議，需要通過尋址后進行IP管理，這個太麻煩而且隱患很多，搞不好就找不到某個節點機器了。更重要的是：“如此低的傳輸速度導致的網絡延遲是很明顯的，如果是大場景的電影文件，延遲最高能達到40%；甚至延遲等待，報錯；這個會白白浪費來此渲染的公司大量金錢與時間。而解決網絡傳輸速度的問題只能依靠光纖了，但從來還沒有運行在光纖網絡上的渲染集群；連加拿大蒙特利爾最大的渲染中心都是用的TCP/IP協議；這就對我們提出了 相當大的難題；這個過程耗費了一年時間，我們這里有好多設備是一年多前購買的，就是在反復測試，反復研究。在此要誠摯的感謝愛爾蘭及加拿大EMC公司的VINCE、Johnson，Brocade公司的Dwayne、MS張與我們一起的研究和對我們提供的大量幫助。終于，我們將集群管理平臺搭建在了全4GB通道的光纖網絡架構上，所有的PC機及刀片均裝載有4GB的HBA卡；而場景文件調取設備和最終完成存儲設備更是使用了AWAYA的10GB雙工通道HBA卡（光纖交換機使用的是48口4GB+4口10GB的高端產品），網絡延遲對我們來說已經是個笑話，管理還更簡單，徹底杜絕干擾、掉線、不穩定、速度不均衡的技術難題。在此我可以很自豪的說，此套網絡負載系統是目前世界領先，國內絕對唯一的。這個問題的解決將從根本上滿足對超級電影場景、大型科學、天文、地質數據集合運算的應用，尤其是1000個CPU計算單一任務，并從一套存儲上調取相同索引文件的詬病，試問誰能做到？飛機的速度肯定比靠車輪的快。
3、 絕對的安全、保密、高速存儲系統。實行自動分區存儲，每個人都能實時看到自己的完成文件，別人根本看不到你的半點信息，發現有設計方面的問題能及時進行修改，在平臺專為每個客戶配備的超級圖形工作站上就能進行修改，省卻大量時間。60TB的4GB通道存儲容量足夠裝下幾部電影的原文件了。
4、 無可超越的后期硬件優勢，平臺所有設備均達到了SD-4K甚至8K的渲染生產能力，后期具備SD-4K的全線制作設備，連最高端的配光校色系統都將在平臺運行；你的一切想法均可不受限制的完美暢快實現。屆時，使用平臺后期設備的作品將在各個方面提升畫面品質！
5、 網絡提交渲染的絕對優勢，之前還沒有人這樣做過。本平臺的建立是旨在為全世界所有CG制作公司提供力所能及的渲染服務（技術支持），平臺全部建設完畢具備3000個CPU同時運算的能力。不需要每位客戶都蒞臨現場才能渲染，尤其是外地或國外客戶想要親臨將會白白增大渲染的他項支出，不符合平臺省錢省時的建設初衷；因此非上海的所有客戶均可通過專用FTP網絡提交方式進行網絡自助渲染，渲染完畢后您就可通過服務網站的專用FTP軟件迅捷的下載已經打包好的成品文件，10M的多線專用帶寬保證您的下載與渲染一樣暢快淋漓。哪怕是一張效果圖也可以通過網絡提交方式渲染，事半功倍；犧牲夢幻效果來成全渲染的時代徹底終結，您的設備永遠只需要設計或制作，我們來為您批量的輸出。
6、 渲染瓶頸的解決。渲染農場解決了高密度任務計算不了的本質問題，可以調動多CPU同時計算單一任務，無論你是什么計算任務，只要在合理計算范圍內，理論上我們都能通過優化調配進行正常計算。比如三維方面的渲染問題，有些復雜、精度高的場景對內存、整體環境的要求很高，往往渲染中是報錯或沒有反應的， 在渲染農場這些問題都得到了很好的解決。可以很自信的說，解決您的一切渲染難題，所有奇幻的奇思妙想均可在實際項目中馳騁飛揚；徹底終結因渲染惡疾犧牲極至效果的悲慘往昔；趕超頂尖技術的豪邁激情不會因硬件的瓶頸自嘲為癡心妄想；五千年的深厚文化根基不會因為表現方式的單一變得蒼白無力!

TIPS：CG渲染農場公共平臺（上海）設備數據
Tyan S2891/2892 100套 共5組（20套一組渲染機，2臺調取、存儲機，1臺操作機）
配置：2顆AMD OP 285 CPU、2GB英飛凌DDR400ECC、1臺HP DL 100G2、146G/臺SEA SICS73GB 15K 320MB/S
??????????????????
HP BL45P 40套 共2組
配置：2顆HP/AMD OP 2218 CPU、4GB HP Pc5300 ECC、1臺HP BL 25P、72GB/臺72GB 10K SAS2.5HP HDDAL、1片/臺 HP/LOGIC BLC1105 FC
---------------------------------------
HP bl45P 10套 共一組 （10套一組渲染機，2臺調取、存儲機，1臺操作機）
配置：4顆HP/AMD OP 8220SE、16GB HP Pc5300 ECC、1臺/組 HP BL25P、72GB/臺72GB 10K SAS2.5HP HDDAL、1片/臺 HP FC 2242SR PCI-E/DC HBA
----------------------------------------------
HP BLC685 24套 共3組（8套一組渲染機，2臺調取、存儲機，1臺操作機）
配置：4顆HP/AMD OP 8218、16-64GB HP Pc5300 ECC、1臺/組 HP BL25P、72GB/臺72GB 10K SAS 2.5HP HDDAL、1片/臺 HP BLC CPE 1105FC HE

Q：我聽說您這里以后將會面對全CG行業提供高端硬件設備的租賃、銷售、咨詢等代理服務？
A：是的，我們的渲染農場公共平臺是在國家2個部委5個部門大力扶持下構建起來，取得了很多資金支持與政策扶持。飲水思源，我們將本著半公益的思路助力中國CG行業高速發展，除了渲染方面的支持外；我們還提供大批高端設備短、長期租賃服務；為他們降低風險，節省投資；而CG企業需要采購更新設備時，我們將利用我們的渠道以最優惠的價格幫他們搭建最合適的產品平臺。至于咨詢服務，可以通過我們的網站在線咨詢，我們的專業工程師將為他們提出優化合理建議；并提供諸多品質有保證的代理信息。

　 “我覺的最大推動就是完成了這個行業里的環節關聯化，行業所有的環節只有匹配了，那才有產業化的可能，否則就是這山望著那山高。”他們這樣談論這自己在行業中所扮演的角色。除了設備平臺搭建外兩位負責人也與我們交流了下一步的企業發展策略，“這個平臺也會逐步的肩負一種資源對接、交流、互換的功能，你有好的項目我們提供好的實現服務，你有的好技術我們提供好的應用領域，你有好的資金我們給你找好的項目和團隊等等，一個立體資源交互的平臺將是我們渲染農場硬件平臺所創造出來的附加，也只有通過我們高端的平臺，好的資源和資本才能對接起來。”簡單的話語中透露的這家企業對于行業的信心也表露著新一批投身數字創意產業的企業推動中國行業整體性發展的決心，宏大的目標期待更多有這樣實力的公司能加入進來，一起提供加入這個平臺，這個平臺就像一條紐帶，機會人人都可以爭取！渲染之旅，暢快淋漓；因為速度，因為效率，更因為享受一流服務的同時還能拓寬發展的機遇。“這個平臺針對制作能力突出的CG企業特設免費集中宣傳展示周；希望我們的盡心盡力能對您企業的騰飛起到綿薄之力，祝福行業、祝福大家！謝謝！”

相關事宜咨詢：cgrsh@hotmail.com