<th id="bfrze"></th>

    <button id="bfrze"><object id="bfrze"></object></button>

      1. <em id="bfrze"><acronym id="bfrze"><u id="bfrze"></u></acronym></em><button id="bfrze"></button>

        趙福全對話周鴻祎(中):汽車數字安全的誤區與正道
        2022-06-06 關鍵詞:汽車數字安全 點擊量:1253

        當“企業的各種漏洞信息在國際黑市賣出幾百萬、幾千萬”時,很多車企對汽車數字安全的認知還停留在過去,應對之策落伍且無效。

        新時代的數字安全與以往有何不同?如何打造真正數字安全能力?如何走出誤區?哪個環節是汽車應對數字安全危機的薄弱所在?何為“數字安全碰撞試驗”?

        《趙福全研究院》第70期,繼續探討“汽車技術生態創新”,這一次我們聚焦到數字化安全環節,趙福全院長對話紅衣教主——360集團創始人周鴻祎,從理論與實戰層面深度解析“未來汽車安全”的底層邏輯。

        0.png

        清華大學汽車產業與技術戰略研究院院長趙福全(左)與360集團創始人周鴻祎(右)


        觀點摘要

        人人對抗:靠殺毒軟件維護網絡安全的時代已經過去,我們需要面對的是無孔不入、隨時可能發起攻擊的黑客,而且很可能是有組織的。網絡安全的本質其實是人與人的對抗。

        基礎設施:企業應該建立一系列網絡安全防護的基礎設施;同時在網絡安全公司的支持下,建立和培養一支專業的網絡安全防護團隊。

        “數字安全碰撞試驗”:車企邀請外部網絡安全公司,對其汽車產品進行數字世界的攻防測試,即模擬實施各種網絡攻擊,以找出車內網絡、車云網絡等的弱點,讓企業能夠及時進行修補。

        “數字安全大腦”:車企要集中各種數據進行重點保護,為此可與網絡安全公司攜手建立“數字安全大腦”,隨時對各種網絡的所有數據的異動進行監測和響應。

        不要因噎廢食:網絡安全和數字安全的法律法規必須以讓數據能被安全應用為根本出發點,切不可因噎廢食,以安全為名過分限制數據的采集和使用。

        投入不足:企業在數字化方面是愿意投入的,但在數字安全防護上卻往往不舍得投入,導致這兩方面的投入差距極其懸殊。就像舍得花500萬元買房子,卻不舍得花5000元買防盜門。

        走出誤區:“軟件硬件化、硬件盒子化、盒子柜子化”。就是說相較于軟件,企業更愿意購買安全硬件;這其實是一種落伍且無效的做法。最重要也最有價值的不是硬件,也不是軟件,而是安全服務,尤其是高水平、專業化的安全服務。

        供應鏈企業是難題:因為整車企業通常規模大、資金足,有能力雇傭高水平的安全服務團隊。黑客不容易找到整車企業網絡的漏洞,很可能就會去攻擊供應鏈企業的網絡。

        OTA與模擬攻防試驗:需要持續進行“數字安全碰撞試驗”,不斷尋找系統漏洞并加以修復??赡苊總€月或者每次OTA升級之后都要進行一次模擬攻防才行。

        360為什么投資車企:這樣車企的各種網絡尤其是車內網絡,就可以對360充分開放,然后我們雙方攜手進行模擬攻防測試,共同確保持久的網絡安全。

        需要國家支持:面對一些有組織的甚至是有國家背景的黑客攻擊,大型整車企業都有可能力有未逮,需要共同建設國家或行業級的數字安全態勢感知中心、應急響應中心以及聯合研究中心等。



        以下為對話實錄

        網絡安全的本質是人與人的對抗

        趙福全:周總剛剛以很多真實的案例說明,當前網絡安全已經不只局限于虛擬空間,而是開始影響到物理世界了。未來隨著數字化的不斷推進,網絡安全將升級為數字安全,并對物理世界產生更大的影響,甚至關系到人類社會和國民經濟的安全。也就是說,數字安全將是一個大概念,所有產業都將面臨嚴峻的挑戰,而汽車是數字安全最復雜也最難防護的產業之一。

        這樣說并不是因為我們身處汽車產業,而是因為事實如此。一方面,汽車產品有上萬個零部件,涉及到幾百家供應商,今后都要互聯起來,也就是剛才談到的工業互聯網,這必然是一個高度復雜的網絡。另一方面,汽車要與外部世界全面連接,包括車輛與人的連接、與其他車輛的連接、與道路的連接、與環境的連接等等,也就是剛才談到的車聯網。這同樣是物聯網的重要組成部分之一,而且涉及到的主體極多、范圍極廣。顯然,要做好這兩個網絡的安全防控是極其困難的,但又是必須要解決的問題。那么在您看來,汽車數字安全的問題應該怎樣才能有效解決呢?

        周鴻祎:我是這樣考慮的,汽車產業的數字安全問題高度復雜,所以我們絕不能“眉毛胡子一把抓”。前面我把智能網聯汽車的網絡安全問題分解成了五個方面,因為這樣就可以分而治之。同時在實施過程中,并不是要幾個方面齊頭并進,我認為可以先解決其中最主要的三個方面的問題,即車內網絡、車云網絡和車數網絡。

        前面我說過,軟件必然存在漏洞,有漏洞就必然存在被人利用的風險,所以幻想著黑客不攻擊或者攻不進來是不現實的。問題的關鍵在于,我們怎樣才能在黑客侵入網絡的時候以最快的速度發現和應對。在這方面,360已經形成了一套行之有效的方法,具備了及時發現和應對網絡攻擊的強大能力。

        在過去的20年里,360從免費殺毒軟件開始,積累了防御網絡攻擊的豐富實戰經驗。360的目標是確保網絡安全,而不是單純的售賣安全產品。記得最初的時候,只有我們提供免費殺毒軟件。也正是因為免費,后來中國有90%的網民都安裝了360殺毒軟件,這樣每天中國發生的各種網絡攻擊,我們基本上都會知道。同時,360招募了亞太地區最多的白帽子黑客對這些攻擊進行分析。所謂白帽子黑客,通俗地講就是好的黑客,也就是站在黑客的立場攻擊系統、以排查安全漏洞的程序員。正是基于這樣的實戰演練,我們的安全防護能力才越來越強。

        至于說到如何確保汽車數字安全,我的建議是:汽車企業必須建立網絡安全的底線思維,并且做好網絡安全防護的頂層設計。也就是說,當企業花費大量資金去建設自動化生產車間、搭建供應鏈生態系統或者打造智能網聯汽車產品的時候,切不可對網絡安全漠不關心或不以為然,而是必須同步開展網絡安全防護的頂層設計,并切實做好相關工作。

        之所以強調頂層設計,是因為我在和很多企業領導交流時,發現大家對于網絡安全的認知普遍存在一個誤區:即大家都覺得,只要讓網絡安全防護公司為其提供一套足夠強大的設備,就可以一勞永逸地攔截住各種網絡攻擊,徹底解決黑客攻擊、勒索軟件等所有威脅了。這個想法是美好的,但非常遺憾,世界上根本沒有這樣的安全防護設備。

        又或者有人覺得只要像殺毒軟件那樣定期更新設備的版本就可以了。然而殺毒軟件能查殺的都是已知的病毒程序,這樣的病毒比較“傻”,很容易被找到和清除。而現在只靠殺毒軟件就能維護網絡安全的時代已經過去了,我們需要面對的是無孔不入、隨時可能發起攻擊的黑客,而不是相對固化的病毒。這是一群高智商的網絡攻擊者,而且很可能是有組織的,他們會隨機而變,不斷尋找新的漏洞。從這個意義上講,網絡安全的本質其實是人與人的對抗。這就遠比使用氣囊、安全帶等硬件來實現安全防護要復雜得多。

        正因如此,我認為在網絡安全方面最重要的是,企業必須有全面的正確認知和系統的頂層設計。其核心在于,企業應該建立一系列網絡安全防護的基礎設施;同時在網絡安全公司的支持下,建立和培養一支專業的網絡安全防護團隊。唯有如此,在遭遇網絡攻擊時,企業才能及時發現和有效封堵。

        為此,我提出了“數字安全碰撞試驗”的理念,建議車企邀請外部網絡安全公司,對其汽車產品進行數字世界的攻防測試,即模擬實施各種網絡攻擊,以找出車內網絡、車云網絡等的弱點,讓企業能夠及時進行修補。舉個例子,我們在與奔馳公司合作的過程中,發現了19個漏洞,通過這些漏洞可以控制其2017年以后出廠的、遍布全球的幾百萬輛汽車,能夠遠程讓車輛執行啟動、熄火或開窗等指令。后來我們把這個信息反饋給奔馳公司,并幫助其修復了這些漏洞,得到了奔馳方面的高度認可。最近,一汽等一些國內車企也開始與360合作,共同建立數字安全實驗室。這表明汽車企業對網絡安全的重視程度,正在不斷提升。

        不過我想強調的是,這些舉措還遠遠不夠。車企更應該建立一種長期性的機制,讓網絡安全公司持續幫助企業查找和修補漏洞。雖然網絡漏洞是無法窮盡的,但至少可以把我們目前能找到的漏洞都修補好,這樣才能不斷提升防護能力。

        除了反復查找網絡漏洞之外,還有一個重要方法,那就是車企可以把各種數據都匯總起來,不只包括每輛汽車的運行數據,還包括辦公電腦、加工機床等各種涉及網絡安全的設備的運行數據,然后建立一個我們360稱之為“網絡安全大腦”或者“數字安全大腦”的數據中心,用于安全地存放這些數據。這個數據中心具備對所有數據安全的動態感知能力,無論車內網絡、車聯網絡,還是車云網絡、車企網絡、車數網絡,一旦出現異常的數據變化,控制“網絡安全大腦”的應急團隊都能第一時間感知到,從而立即行動,及時阻止攻擊。

        趙福全:我簡單做個小結,周總給汽車企業的建議可以歸納為四點:一是車企負責人對于網絡安全要有正確的認知?,F在已經不是對抗固化的電腦病毒的時代了,今后網絡安全防護的本質是與黑客進行較量,即人與人的對抗。二是車企要做好網絡安全的頂層設計。即企業在打造數字化產品、數字化服務、數字化工廠的時候,必須同步做好相關網絡安全的整體性頂層設計。三是車企要建立負責保護網絡安全的專業團隊。在這方面,應該借助網絡安全公司的力量,不斷對自身網絡進行攻防測試,以及時發現和修補漏洞,同時應建立長期性的防護機制。四是車企要集中各種數據進行重點保護,為此可與網絡安全公司攜手建立“網絡安全大腦”或“數字安全大腦”,隨時對各種網絡的所有數據的異動進行監測和響應。

        在此,周總提出了一個讓我印象深刻的概念,即“數字安全碰撞試驗”。我理解就是要在數字世界中進行各種硬件、軟件及其接口的安全攻防試驗,模擬各種各樣的網絡攻擊,以驗證相關的防護和應對措施是否有效。這和我們車企需要進行的實車碰撞試驗可謂異曲同工,可以讓廣大汽車同仁很容易理解網絡安全攻防演練的過程和意義。


        網絡安全立法必須平衡好鼓勵創新和保障安全

        趙福全:周總,下面一個問題。在數字安全方面,您認為有多少問題需要國家出臺法規標準來解決?又有多少問題需要企業之間合作來解決呢?

        周鴻祎:應該說,在網絡安全立法方面,這幾年政府做了很多工作。比如國家繼《網絡安全法》之后,又發布了《數據安全法》,還有最近推出的《關鍵信息基礎設施保護條例》,以及工信部相繼發布的關于智能網聯汽車安全的一系列文件。按照最新法規的精神,今后信息基礎設施如果遭到網絡攻擊,就和能源、交通基礎設施遭到攻擊一樣嚴重,而智能網聯汽車就是一種關鍵的信息基礎設施。這意味著對于汽車企業來說,能不能把網絡安全防護做到位,已經不只是有無風險的問題,而是是否合規、合法的問題了。

        總體來看,政府在網絡安全和數字安全立法方面已經打下了良好的基礎。不過政府只能提出基本的要求和規范,最終要真正做好安全防護,還需要作為市場競爭主體的企業采取有力的行動。在這方面,國外企業的重視程度是很高的。例如奔馳、微軟、谷歌等很多公司會定期聘請網絡安全公司和白帽子黑客,進行模擬攻擊和測試,來幫助其發現自身系統的漏洞。相比之下,國內企業做得就不太充分了。我認為,一方面,我們應該著力打造眾包眾籌的白帽子黑客平臺;另一方面,國內企業也應該積極邀請白帽子黑客來對自己企業和產品的系統進行各種測試,以及時發現和解決問題,特別是企業要舍得為此進入投入。

        事實上,我在與車企領導交流的過程中,發現汽車行業在安全方面有不少理念和做法都很值得學習。例如汽車產品的安全碰撞試驗就非常好,不僅可以幫助車企改進產品的安全性能,而且可以用客觀數據向廣大消費者展示自身產品的安全等級,這遠比企業自我宣傳更有說服力。我提出的“數字安全碰撞試驗”也在一定程度上借鑒了這種理念,即任何安全防護能力都應該從實戰中得到檢驗。我建議今后每家車企都應該進行“數字安全碰撞試驗”,讓汽車產品的數字安全在出廠前經過多輪模擬攻擊的考驗和完善,以確保完全符合國家法規,并讓消費者充分放心。

        趙福全:這就引出了另一個重要問題:現在國家對網絡安全和數字安全越來越重視,不斷加強這方面的立法工作。對此也有人擔心,國家出臺越來越多且越來越嚴的法規,尤其是發布了《數據安全法》之后,會不會在一定程度上導致數據無法有效流通和應用,反而限制了企業的創新嘗試呢?周總,您怎么看這個問題?

        周鴻祎:我看過中國的《數據安全法》,與歐盟的GDPR即《通用數據保護條例》相比,我認為中國的數據法規總體上還是鼓勵數據應用以及這方面的創新的。另外,從工信部對汽車產品的一些管理規定來看,也是支持車企采集相關數據的;只是對某些數據的使用提出了要求,比如企業在收集用戶數據的過程中,必須把人臉信息模糊化,以防泄露用戶隱私。

        正如剛剛趙院長提到的,如果相關法律法規過于嚴苛,很可能會扼殺企業的創新嘗試。由于智能產品是基于數據來實現智能的,像智能網聯汽車就必須采集和使用數據,才能改進自動駕駛功能和智能座艙體驗。所以我認為,網絡安全和數字安全的法律法規必須以讓數據能被安全應用為根本出發點,切不可因噎廢食,以安全為名過分限制數據的采集和使用。當然,如果沒有法律法規的約束肯定是不行的,有法可依是必要的。畢竟今后數據是新的生產要素,也是國家重要的戰略資產。如果數據被盜竊或者破壞,輕則侵犯個人隱私,重則危及國家安全。

        從我接觸過的工信部、網信辦等相關部門的很多領導來看,他們思考問題的第一出發點還是想支持數字化轉型,并沒有限制企業數字化創新的意圖。正因如此,很多涉及隱私數據的人工智能技術也得到了推動。在這一點上,我認為中國政府的政策是務實而靈活的。政策的決策者們非常清楚,沒有發展只談安全或者只求發展不計安全,都是不可行的。

        總體而言,我對中國智能網聯汽車的發展很有信心。中國本身就是全球最大的汽車市場,加上國家政策的大力推動和各家車企的積極努力,我們在新技術應用推廣方面速度很快?,F在中國的新能源汽車銷量已經是全球第一,而且其市場滲透率增長之快,遠遠超出了大家的預期;未來我相信中國也將成為智能網聯汽車發展最快、銷量最大的國家。特別是中國政府在確保安全的前提下允許合理的數據采集,支持企業的數字化創新,由此將會支撐中國成為世界上自動駕駛相關數據積累數量最多的國家。事實上,自動駕駛的算法并沒有多大差異,真正起決定性作用的是基于數據的訓練。數據越多,訓練效果就越好。如果歐洲、美國的自動駕駛汽車保有量少于中國,同時又有法規限制車企采集某些數據,而中國數量更多的自動駕駛汽車每時每刻都在采集數據,那么最終的結果一定是,中國的自動駕駛汽車將在全球范圍內遙遙領先。

        趙福全:的確如此,國家制定法律法規時必須有效平衡好鼓勵創新發展和保障產業安全。如果不能守住數據安全的底線,那么整個數字經濟就是空中樓閣,甚至可能會給人們的生產和生活帶來嚴重威脅;而如果對數據收集和使用的要求過于嚴苛,那么萬物互聯的價值就將大打折扣,人工智能也將失去數據支撐而無從發展。

        周鴻祎:是的,歐盟GDPR的規定就比較嚴格,不僅美國等境外企業,也包括歐洲自己的企業,在數據采集和使用方面都有諸多限制,我覺得這對歐洲的數字化創新是非常不利的。

        反過來講,我們也要充分理解數據監管和安全保護的必要性。試想如果國家完全不清楚企業都在收集什么數據,已經有了多少數據,數據都流動到了哪里、又儲存在哪里,是不是足夠安全以確保不會外泄或者被破壞,那又怎么可能放心地支持數字化創新呢?而且對于每個消費者來說,這種狀況也有潛在的巨大風險。所以,企業的數據系統在開始運行之后,從數據的采集、清洗、流通到存儲、計算、使用的全過程,都應該對國家監管部門充分開放。

        另一方面,企業領軍人應該和國家一樣高度關注數據問題。比如360也是一家大數據公司,即使國家不監管,我自己作為老板,對公司的數據也要做到心中有數。為此,我提出了關于數據的所謂“靈魂三問”:第一,公司的數據都是從哪里來的?第二,公司都有哪些數據、存儲在哪里?第三,這些數據要流向哪里、供誰使用?事實上,360搭建大數據管理平臺,就是要幫助各類企業回答這三個問題。同時,我們也會按照國家的監管要求,把大數據管理平臺的接口向政府有關部門開放,這樣就能讓政府了解和認可這些企業在數據治理上的規范性。

        目前360正在幫助很多車企收集數據,實際上主要就是幫助它們做好大數據的安全策劃與保護。我相信會有越來越多的車企意識到,加強數字安全防護絕不是“白花錢”,而是為了保障企業能夠更好地利用數據,最終使企業的核心競爭力得到持續提升。

        趙福全:是的,對于數據監管法規的出臺,大家應該正面、積極地看待。國家要求數據透明,并對部分數據的采集和使用進行一定的限制,這既是對大眾個人隱私的一種必要保護,也是對國家數據資產的一種有效管理。事實上,數據不只是某家企業的重要資產,更是全社會的共同財富,因此國家加強監管是合理的、也是必要的。同時就像周總談到的,即便國家沒有提出相關要求,企業領軍人也應該了解自己數字資產的“家底”,因為這是未來企業核心競爭力的基礎所在。


        現階段方向性的引導政策比具體的固化標準更有意義

        趙福全:接下來,我們談談數據安全的標準。在我看來,這是國家、行業以及企業開展安全防護工作的依據。例如在傳統的汽車被動安全方面就有很多標準,主要是基于硬件制定的。也就是說,此前出臺的安全標準都是從產品質量的角度出發的,把安全視為非常重要的一個質量問題。

        那么,對于網絡安全和數字安全,您認為上述這種偏硬件的標準制定思路是不是需要調整?或者說,我們應該通過怎樣的國家和行業標準來保證數據安全?尤其是對于智能網聯汽車來說,涉及到跨行業、跨領域的不同數據,比如有些數據與交通環境直接相關,可能是比較敏感的。對此,我們又該如何有效制定跨行業的安全標準呢?

        周鴻祎:我覺得汽車現有的安全標準就是合規要求而已,就是說,汽車產品要達到什么標準就符合了基本的安全規范。從實踐來看,這些標準解決了汽車產品物理安全的底線問題和評價問題,是非常必要和有效的。

        但是今后僅僅符合這些標準的汽車產品并不是足夠安全的,因為我們還必須考慮網絡安全的問題。這是一個不確定性和實戰對抗性都非常強的領域,對手根本不會根據相關標準來展開攻擊,而是會無所不用其極?,F在的情況是,在網絡安全方面有很多公司進行了有益的創新實踐,在實戰中錘煉出了一些有效的方法和措施,而標準卻跟不上企業實戰的腳步。有鑒于此,我建議國家應該多制定一些方向性的產業政策,而不要急于在技術上制定所謂的固化標準。

        舉個例子,如果我們硬性要求多少行代碼中的漏洞數量必須低于多少個,恐怕是沒有辦法有效量化評估的。因為找出漏洞是一件很難預知的事情,比如我們幫助車企查找軟件漏洞,可能一個月就找出了10個,但也可能兩個月都沒找出1個,但這并不能說明后一種情況的安全性就一定更高。

        為此,我想給政府相關管理部門提以下三點建議:

        第一,國家應該要求車企必須在安全防護上進行足夠的投入。我發現目前企業在數字化方面是愿意投入的,例如建設超算中心、實現算力上云等等;但在數字安全防護上卻往往不舍得投入,導致這兩方面的投入差距極其懸殊。這就像舍得花500萬元買房子,卻不舍得花5000元買防盜門。為此,國家政策應該在這方面加強引導,可以強制要求企業在進行數字化投入時,必須拿出一定比例的資金投入到安全防護上。

        第二,國家應該引導和鼓勵企業購買網絡安全服務,這對于網絡安全產業的發展會有很大幫助。當前企業在購買網絡安全公司的服務時,往往要求必須以具體產品的形式體現。在我們業內稱之為“軟件硬件化、硬件盒子化、盒子柜子化”,就是說相較于軟件,企業更愿意購買安全硬件;這個安全硬件最好是一個很大的盒子,且越重就越顯得專業;這個盒子最好有很多的柜子,至少在理論上分別對應著各種安全功能。一些網絡安全公司為了迎合買家的喜好,也開發了很多這樣的產品。但正如前面我說到的,這其實是一種落伍且無效的做法。

        第三,國家應該鼓勵白帽子黑客通過眾籌等市場化的模式,幫助企業查找網絡漏洞,而企業應該為此向白帽子黑客提供相應的回報。

        我想,在網絡安全和數字安全方面,國家相關部門如果能夠多做一些方向上的引導,一定會對產業健康發展有更大的推動作用。


        未來整供車企需要共同負責供應鏈的網絡安全

        趙福全:周總剛才談了他對網絡安全標準的建議,其實這個話題在汽車行業內也有不同的看法。有不少人希望,通過國家標準的制定和完善,我們可以把網絡安全問題的危害降到最小。不過我覺得,所謂標準只能是最基本或者說最低的要求,如果確立一個很高的標準讓所有企業都必須做到,恐怕是不現實的。換句話說,我們不能寄希望于網絡安全標準能夠徹底解決所有相關的安全問題。這就好比為了防備小偷,我們可以規定一些基本的安全措施,但如果來的是高智商、有組織的小偷,只靠這些基本措施是防不住的。

        周鴻祎:趙院長的這番話也提醒了我。我們最近就在與有關部門探討,能否制定一套企業數字安全防護能力的評估標準?當然,要出臺這樣的標準難度非常大,但我覺得值得嘗試。這樣企業就可以根據評估結果了解自身防護能力的水平,并采取相應的措施,而不是只滿足國家最低限度的基本標準和要求。

        對于企業數字安全防護能力的評估,我認為最可靠的方法還是通過模擬實戰的攻防測試來進行。否則,評估標準很可能會變成安全防護產品紙面上的性能指標,只是一組數字而已,并不能反映實際情況。這就像評價汽車被動安全水平,要通過實車碰撞試驗的表現來衡量,不能說這款車裝了更多的氣囊,所以就一定是更安全的。

        另外我想強調的是,未來汽車供應鏈企業的數字安全防護是一大難題。因為整車企業通常規模大、資金足,有能力雇傭高水平的安全服務團隊,不斷提升自身的防護能力。如果黑客不容易找到整車企業網絡的漏洞,很可能就會去攻擊供應鏈企業的網絡。相比之下,很多供應鏈企業規模較小,有些企業對網絡安全不夠重視,還有些企業雖然比較重視,但卻有心無力。畢竟它們先要解決生存的問題,而加大安全投入并不能帶來直接的經濟效益。這也是趙院長剛才所說的,國家是不能強制所有企業都必須滿足一個很高的網絡安全標準的。

        從這個角度來看,或許整車企業未來需要肩負起這樣一種責任:即幫助其供應鏈企業把網絡安全能力提升到至少及格的水平,為此投入一定的資金是必要的,也是有益的。不過車企會不會愿意做這種投入呢?這恐怕還要有一個不斷加深認識的過程。

        趙福全:周總談到汽車企業可能不太愿意在網絡安全防護上加大投入,我倒覺得從長遠來看,在這方面您不必太過擔憂。接下來,我就從汽車行業的角度來談談我的看法。

        就企業而言,汽車產品的安全關乎生命安全,因此安全是汽車品牌最重要的基礎支撐,沒有一個汽車品牌能夠脫離安全而在行業立足。正因如此,一直以來汽車企業對于安全都是非常重視的,甚至有不少汽車品牌就是以安全為基因的。到了萬物互聯的時代,車企只把傳統的汽車安全做到位已經不夠了,網絡攻擊將成為越來越現實的可怕威脅。在這種情況下,車企肯定會盡最大努力防御網絡攻擊,以確保產品安全。

        我在很多場合都曾講過,智能汽車必須以安全為第一要務。無論汽車的智能化程度有多高,如果不能確保安全,就稱不上是真正的智能汽車。而產品是汽車品牌的載體和體現,如果產品出了安全問題,不管具體原因是什么,公眾都會質疑車企的能力和態度,進而對這個汽車品牌產生不信任感。所以,車企必須全方位地確保自身產品的安全,包括網絡安全或者說數字安全。

        就消費者而言,買汽車與買手機或電腦的心態也是不一樣的。360一直提供免費殺毒軟件,在很大程度上也是因為消費者不愿意花錢購買殺毒軟件。他們往往認為電腦和手機的安全防護就應該是免費的,或者覺得即便真的被攻擊了也沒關系,最多重裝一下系統就行了。但汽車不是這樣,消費者很清楚如果汽車失控會帶來什么后果,因此更容易認同汽車必須有更高的安全防護等級,會愿意支付合理的費用。同時,汽車產品的價格遠高于手機和電腦,也就有了容載安全防護成本的更大空間。假如今后360的汽車安全軟件搭載在汽車產品上,確實能夠為消費者保駕護航,我相信是可以收費的。

        所以,作為長期在汽車行業打拼的一位老兵,我的判斷是:既然車企有強烈的責任感去做這件事,而消費者也愿意為此買單,那么今后汽車企業對網絡安全防護的投入一定會越來越高,相應的,汽車企業及產品的網絡安全防護能力也一定會越來越強。


        比購買安全防護產品更重要的是訓練安全防護團隊

        趙福全:剛才周總談到了“數字安全碰撞試驗”的理念,對此我有一個問題。傳統的汽車安全碰撞試驗,我們是能夠掌控其邊界條件的,比如幾種測試車速、幾種碰撞角度等等,都是標準化的。但是“數字安全碰撞試驗”有很多未知的因素,就像您講到的,軟件漏洞無處不在,難以完全避免,而我們并不知道漏洞究竟在哪里,否則早就進行修補了。然而哪怕只有一個小漏洞被黑客抓住,后果都很可能是致命的。在這樣的情況下,我們應該怎樣設定數字安全碰撞的情景?或者說,我們能否找到一些相對極限的工況,能夠盡可能覆蓋潛在的安全風險,并基于此進行客觀的安全評價呢?

        周鴻祎:這是一個非常好的問題,模擬實戰攻防肯定不會也不能采用窮盡的方法,所以我們一定要選擇有代表性的場景。比如目前還不需要重點針對車內網絡進行模擬攻擊,雖然未來對車內網絡的攻擊肯定會越來越多,不過現在攻擊車內網絡的難度還比較高。因為不同車企的操作系統還沒有趨同,不像電腦的Windows系統或手機的安卓系統那樣容易被針對。

        我覺得當前汽車行業的模擬攻防測試應該主要針對車企網絡。大約從2016年開始,360就與國家有關部門開展網絡模擬攻防演習了。我們強調的理念是實網、實兵、實戰:實網就是真實的網絡,例如真實的工業互聯網;實兵是真實的攻擊隊,不是安排自己的團隊假扮黑客,而是從外部邀請白帽子黑客或者其他網絡安全公司來展開攻擊;實戰就是模擬真實的高級網絡攻擊。我們就是通過這樣的攻防演習來幫助企業發現網絡安全隱患的。

        我想再次強調,網絡安全防護永遠沒有止境,這就像矛和盾的關系。所謂“魔高一尺,道高一丈”。攻擊者一定會不斷尋找新的漏洞,持續提升自己的網絡攻擊能力;而防護者就一定要不斷發現和修補漏洞,持續提升自己的安全防護能力。所以,網絡安全防護是必須常抓不懈的一項工作。

        趙福全:我們能做的是不斷地提高自己的防護能力,讓黑客越來越難以找到我們的漏洞,這樣他們想要有效實施攻擊就會越來越難。

        周鴻祎:您說得很對。問題是我們的防護能力還不夠強,坦率地說,目前很多車企網絡就像靶子似的擺在那里,辦公網絡、生產車間的網絡基本上都沒有安全防護,只是能正常進行基本的通信和辦公而已。當然,現在這些網絡與汽車產品還沒有直接關聯,包括今天的車聯網也還沒有成熟,所以危害還不那么明顯。不過對于車企網絡,當前常規的網絡攻擊手段都是奏效的,這是很大的隱患。因此我認為,“數字安全碰撞試驗”除了測試汽車產品的車內網絡之外,還需要測試車企網絡,以提升車企的系統性防護能力。

        在2016年我們剛開始進行模擬攻防測試的時候,不少企業并不理解我們的做法,認為360是在給他們找麻煩。但是經過幾年的實踐之后,現在越來越多的企業領導對這件事開始有了新的認識。因為他們發現,曾經以為很安全的網絡系統,原來很容易被攻進來;同時,購置的很多昂貴的安全設備,原來并沒有那么有效。所以,近年來企業對網絡安全的重視程度越來越高,對模擬攻防測試也越來越認可了。

        有很多企業的網絡安全團隊都在模擬實戰中得到了鍛煉:過去他們往往自以為沒有遭受過網絡攻擊;現在他們經過演練才發現,原來很多時候自己只是不知道網絡已被侵入了而已。另一方面,過去由于沒有進行過演練,他們在遇到網絡攻擊時常常手忙腳亂;而現在通過實網、實兵、實戰的訓練之后,他們面對各種攻擊都非常淡定,能夠快速做出最佳的應對。

        在這方面,我們有一個目標:既然網絡攻擊不可避免,那我們就要努力幫助企業打造有韌性的系統和團隊。確保遭到攻擊時,企業能夠以最快的速度有效地解決問題。360以此作為自己的使命,全力為各種企業提供支持。

        從這一使命出發,我覺得現在汽車企業中普遍存在一個誤區,那就是依然以為確保網絡安全就是要購置防護設備。例如總是有車企領導問我,應該從360購買什么安全防護產品?我們當然也可以向車企出售一些安全防護產品,但是這并不能解決根本問題。事實上,車企真正需要360做的,一是幫助他們做好網絡安全乃至數字安全的頂層設計,進而明確現階段要解決哪些重點問題;二是幫助他們培養一支有戰斗力的安全防護團隊。我認為,這些工作才是最重要的。我經常這樣比喻:過去網絡安全行業就像是在賣藥,根據企業的病癥對癥下藥即可;而未來網絡安全行業必須幫助企業建立自己的醫院,可以解決可能出現的各種病癥。醫院里當然也需要B超、X光機等設備,但這些并不是最重要的,最重要的應該是由經驗豐富的醫生和護士組成的專業隊伍。


        未來車內網絡的安全防護挑戰更大

        趙福全:聽了周總剛才這番話,我認為所有車企都應該認識到:第一,在智能網聯汽車大行其道之后,汽車產業的網絡安全防護要比以前重要得多、也困難得多,因此我們必須予以高度重視。第二,這種重視不能簡單地停留在口頭上,更不能基于過去的固有“常識”來落實,我們必須摒棄PC時代那種購買殺毒軟件或防護設備來確保網絡安全的傳統理念,而是要努力建立起一支屬于自己的安全防護團隊,并不斷進行模擬攻防演練。

        到了萬物互聯的時代,智能網聯汽車的硬件和軟件之間,汽車與人、與其他汽車、與環境之間,以及各種企業之間,各類連接近乎涉及到無窮多種場景。而只要有相互連接和數據交換,就有被網絡攻擊的風險。也就是說,數字世界的網絡安全威脅將永遠存在,不可能被徹底根除,而且也難以預料具體會在什么時候、什么地方發生什么攻擊。為此,車企必須建立并不斷提升應對各種網絡安全威脅的能力。就像周總建議的那樣,要做好頂層設計并培養專業的團隊。那么,您覺得汽車企業究竟應該從何入手來開展這些工作呢?

        周鴻祎:說起來,車云網絡和車企網絡與一般企業的網絡相比,并沒有太多不同。盡管現在由于重視程度不足,存在的問題比較多,不過對于這類網絡的防護,我覺得還是有把握的。而在車數網絡方面,目前各個行業都在探索如何有效保護大數據,今后隨著大數據的不斷積累,數據安全治理方案一定會同步成熟起來。

        相較之下,我認為車內網絡的安全防護未來可能會面臨更大的挑戰。因為車內網絡非常復雜,又與行車安全直接相關。事實上,已經有很多車企找到我們,希望我們能夠提供360車載版產品,例如360汽車衛士,或者360汽車防火墻。我們原來也確實設想過打造這種外掛式的防護產品,但最終還是覺得這種產品作用有限,甚至可能只有心理安慰作用,并不能真正解決車內網絡安全的問題,因此并沒有這樣去做。更進一步地說,這也正是我決定投資一家車企的根本原因所在。因為這樣一來,這家車企的各種網絡尤其是車內網絡,就可以對360充分開放,然后我們雙方攜手進行模擬攻防測試,共同確保持久的網絡安全。

        趙福全:一些車企希望你們提供360車載版產品,恰恰說明他們對于智能網聯汽車網絡安全的認識還需要進一步提升,他們還沒有充分認識到智能網聯汽車的網絡安全問題具有高度的復雜性、系統性和動態性,根本不是某一款安全防護產品就能徹底解決的。正因如此,周總多次提到,車企應該建立自己的安全防護團隊,并對各種網絡不斷進行模擬實戰的攻防演練,即所謂的“數字安全碰撞試驗”。這樣一旦發生網絡攻擊,企業就能有一支強大的防護團隊進行有效應對。我認為,周總的建議不僅給出了網絡安全防護的方法論,而且指明了企業建設網絡安全體系的前進方向。


        今后汽車企業必須在數字安全防護方面持續投入

        趙福全:這就帶來了下一個問題,車企究竟應該如何把握產品競爭力與安全度之間的平衡呢?即使車企把所有準備工作都做得非常充分,智能網聯汽車還是會有很多安全隱患。因為智能網聯汽車的本質就是能夠基于數據不斷自我進化,這意味著汽車企業在數據積累和迭代到一定程度之后,需要通過OTA等方式對智能網聯汽車進行在線升級。這個過程必然伴隨著數據的傳送,所以也就必然存在網絡安全隱患。

        然而車企又不能不這樣做,否則推出的就不是真正的智能產品。事實上為了提升產品的競爭力,未來車企必須努力構建一個不斷擴展的大生態系統,特別要把很多數據公司、互聯網公司、人工智能公司等都納入進來。所以,智能網聯汽車的開放程度會越來越高。這樣雖然能夠更好地優化產品及服務,但同時也會隨之帶來更多的網絡安全隱患。對這個問題,您怎么看?

        周鴻祎:趙院長說得很對,這正是數字安全防護和物理安全防護不一樣的地方。要做好數字安全防護,必須像希臘神話中的西西弗斯那樣,不斷地把大石頭從山腳推到山頂,然后大石頭滾落下來,再重新把大石頭推向山頂,就這樣周而復始。

        一款傳統汽車只要設計沒有改變,理論上只需要做一次物理安全碰撞試驗就夠了,因為再做多少次試驗也不會改變結果。但是對于一款數字化的汽車,其操作系統和各種軟件是會改變的,會不斷地更新升級一些舊模塊,或者加載一些新模塊。所以,要確保數字化汽車產品的安全,就需要持續進行“數字安全碰撞試驗”,不斷尋找系統漏洞并加以修復。只要車輛還在使用,這個工作就不能停止,可能每個月或者每次OTA升級之后都要進行一次模擬攻防才行。

        其實電腦的Windows系統,也需要不停地打補丁,幾乎每個月微軟都會提供新的補丁。在過去也有不少人質疑,打補丁是不是說明系統質量有問題?而現在大家對此已經習以為常了,反而覺得能夠隨時發現系統里的漏洞并提供補丁,這本身恰恰是系統安全工作做得比較到位的體現。

        今后,車企使用的數字化技術一定會越來越多,為此我們應該提前做好心理準備:要充分認識到數字安全必須常抓不懈,否則數字化帶來的一切優勢就都沒有辦法保證。企業需要增加數字安全防護方面的投入,并且要持續不斷地投入。盡管這種成本可能確實不小,但卻是我們不得不支付的。


        汽車企業必須建立網絡安全防護的基本能力

        趙福全:與周總的交流,讓我更深刻地認識到,汽車網絡安全是一項復雜的系統工程。只靠購買外部產品和服務是不夠的,汽車企業需要建立自己的安全體系,組建自己的安全團隊,培育自己的安全能力。當然,這并不是說什么事情都要自己來做,恰恰相反,企業必須有效借助外部資源,這其實也是一種必不可少的能力。說到底,網絡安全防護能力只能在模擬攻防演練中才能不斷提升,因為網絡安全的本質就是破壞者與防護者,即人與人之間的角力。

        周鴻祎:您理解得非常到位。我估計今天的聽眾應該大都來自汽車行業,可能希望我這個來自網絡安全行業的人講講相關安全技術。但我認為,太具體的技術內容真的沒有必要多講。所謂“授人以魚不如授人以漁”,我更想借助今天這個難得的機會,把一些關于網絡安全的正確理念和方法傳遞給大家。所以我才一再強調,對于汽車企業來說,重要的并不是購買這樣或那樣的網絡安全防護設備,而是要形成自己的網絡安全防護能力。

        至于車企如何建立網絡安全防護的基本能力,我有以下三點建議:

        第一,車企應打造全方位的數據感知能力。為此應建立大數據感知及分析平臺,確保遭受攻擊時,企業至少能夠看得見。

        第二,車企應積極開展“數字安全碰撞試驗”。360原來稱之為“數字靶場”,可能“靶場”這個名稱不太適合汽車行業,但含義其實是一樣的。并且汽車“數字安全碰撞試驗”不能僅靠內部團隊來進行,而是應當邀請外部的網絡安全公司和白帽子黑客與企業一起進行測試。這個過程一方面要確保是“真刀實槍”的測試,否則達不到效果;另一方面,企業也要制定相應的規范,并做好監控,避免被邀請來的黑客在進行模擬攻擊時,又偷偷在系統中埋下新的“后門”。

        第三,車企應建立數字安全響應中心及運營團隊。未來車內網、車聯網和車企網等各種網絡都不可避免地會遭受攻擊,企業要做的就是在受到攻擊后,能夠盡可能做出最快的響應和最有效的應對。為此,必須建立響應中心,并配備安全防護的基礎設施,同時組建運營團隊,并不斷提升其專業能力。這相當于為自己建一個醫院,同時配備上專業的醫護人員。唯有如此,才能有效應對各種突如其來的病癥。

        當車企做好以上三點之后,自身就形成了一個閉環的安全防護環境,這個環境具備一定的自我成長和自我凈化能力。再加上外部資源的支持,包括安全服務公司和白帽子黑客群體,企業就能具備持久的網絡安全防護能力了。

        我曾經與一汽集團徐留平董事長說過:智能化網聯化是車企不容有失的發展機遇,為了抓住這個機遇,車企就一定要成為互聯網公司、大數據公司和人工智能公司。否則,是沒有機會在智能網聯汽車的時代取得勝利的。然而要成為這樣的公司,車企就一定要組建自己的網絡安全防護團隊,建立完整的網絡安全防護體系。否則,是沒有辦法主宰自己企業和產品的命運的。

        過去,一些大型國企都建有自己的職工醫院;未來,我覺得大型車企更需要建設自己的數字醫院。而且這個醫院要不停地給企業進行體檢,以確保企業能夠健康成長。從源頭上講,這不僅需要車企領導者具有網絡安全防護的正確認知,而且需要他們真正理解數字化的本質、形成數字化的思維方式,進而推動企業逐漸形成數字化的基因。這就是一個更大的話題了。


        數字安全防護最重要的不是硬件、軟件,而是服務

        趙福全:剛才我們談到智能網聯汽車,談到OTA,談到與汽車企業和產品相關的各種網絡,應該說,汽車產業數字安全防護的商機實在是太大了。我想您作為領域內代表性企業360的創始人,完全有理由為此感到激動。當然,面對汽車數字安全如此規模龐大的需求,恐怕只靠360一家企業是遠遠不夠的。

        周鴻祎:是的,肯定不能只靠360。雖然我們已經取得了一些成果,包括幫助多座城市建立起了數字安全空間或者應急響應中心?,F在幾乎每座城市都有物理上的應急系統,例如哪里煤氣爆炸了,哪里被水淹了,哪里斷電了,城市應急系統都能做出相應的快速反應。而未來城市將是高度數字化的,因為城市經濟將由數字經濟主導,城市中的產業也都是數字化的,這樣一來城市必然會成為網絡戰的焦點。這就需要在物理應急系統之外,建立起城市的數字應急系統。

        和企業的情況非常相似,我們在建設城市數字安全空間或者響應中心的過程中,重點同樣是幫助城市做好頂層設計,組建和訓練防護團隊,并與該團隊一起開展實戰化的模擬攻防演練。也就是說,我們并不是要把某種安全產品賣給城市,而是要把我們的知識庫、數據庫以及防護經驗對城市開放,包括提供一些高水平的網絡安全服務專家或白帽子黑客,以幫助城市快速建立起一套行之有效的數字安全防護機制。

        將來我希望把這套“授人以漁”的方式充分復制到汽車產業,而且不只限于360自己的資源,我們還要把行業內其他網絡安全服務公司以及個人都組織起來,為汽車企業提供其所需的安全防護支持。同時,我希望我們能為越來越多不同體制、不同規模、不同發展階段的汽車企業提供服務。因為只有隨著客戶群體的不斷擴大,我們自身網絡安全防護的經驗才能越來越豐富、能力才能越來越強大。

        據我目前觀察到的情況,恐怕汽車行業要建立正確的網絡安全觀念還需要一個過程。一方面,車企對網絡安全的重視程度普遍不足,不少企業雖然在口頭上也表示非常重視,但并不愿意真正投入資金。另一方面,我前面也講到了,即使一些企業愿意投入資金,也沒有花在建設團隊和培育能力上,而只熱衷于購買安全防護設備,總覺得唯有添置了固定資產,安裝了防火墻,心里才踏實??蛇@些防火墻的實際使用效果非常令人懷疑,甚至有的企業在防火墻報警后也沒有人來處理,更沒有人來研究防火墻為什么報警,后續如何避免。這樣一來,防火墻根本就是形同虛設。

        現在除了購買安全硬件,企業逐漸開始接受購買安全軟件了,這也是一種進步。但是未來對于數字安全來說,最重要也最有價值的不是硬件,也不是軟件,而是服務,尤其是高水平、專業化的服務。為此,企業一定要建立正確的安全觀,清楚最應該把錢花在哪里。相應的,360要做的就是為車企提供數字安全防護服務,幫助車企找到各種漏洞,而不是把防火墻或安全軟件賣給車企。

        在這個過程中,又涉及到如何合理評估安全服務價值的問題。硬件或軟件都是實實在在的產品,而安全服務似乎看不見、摸不著,即使找到了一系列漏洞,又憑什么說有很大的價值呢?對此,也需要企業形成正確的認識。要反過來想,如果這些漏洞被黑客抓住,侵入了企業的系統,將會帶來多么嚴重的后果?!事實上,現在就有國際黑市在交易企業的各種漏洞信息,有的漏洞甚至能賣出幾百萬、幾千萬的價格?,F在的情況是,很多企業平時不愿意在安全服務上花錢;等到網絡真的被攻擊了,才連忙請人來排查和處理,這時候就是花再多的錢也不在乎了。由于企業缺乏未雨綢繆的意識,結果最終還是購買了安全服務,但花費的成本卻往往更高,而且企業已經蒙受了損失。

        趙福全:周總這番話非常重要,希望企業都能聽得進去。我理解這就像居家防盜:并不是說門鎖越多就越安全,事實上,只要有一扇窗戶沒關好,即便在門上安裝了5道鎖也毫無意義,因為小偷還是可以溜進來。也不是說買足了安全設施就高枕無憂了,如果沒有訓練有素、能夠及時響應突發事件的警察和安保人員,安全設施再好再多也是不夠的。另外,對于網絡安全防護,企業應該盡可能未雨綢繆,而不是坐待亡羊補牢,為此平時就要舍得在安全服務上進行必要的投入。


        汽車安全體系應從行業層面上升至國家層面

        趙福全:聽了您剛才的分享,我覺得周總實際上是在強調一種系統性的綜合安全觀,而這與汽車產業一直以來的安全理念是完全契合的。汽車產業重視安全的傳統由來已久,并且我們始終強調打造安全體系、做好系統防護,而不是只靠單一的措施或單方面的能力去保障車輛的安全。過去,我們從各個零部件到總成、再到系統、直至整車,層層進行質量把關和安全校驗,以確保每輛汽車作為一個整體都是安全可靠的。這可不是整車企業自己努力就夠了,而是要把所有供應商,特別是重點安全件如氣囊、制動器等的供應商,都充分協同起來。既要確保單個零部件的絕對可靠,又要確保零部件集成后的絕對可靠。舉個例子,氣囊本身的功能可能不存在任何問題,但只要早彈出或者晚彈出半秒鐘,就不會起到保護作用,甚至反而可能給乘員造成嚴重的傷害。今后,從綜合安全的理念出發,汽車企業沒有理由不把網絡安全或者說數字安全也納入到整個安全體系中來。由此,或許相關投入的問題也就迎刃而解了。

        周鴻祎:您對汽車產業安全觀的描述也啟發了我,或許將來汽車產業在數字安全方面可以建立一種協同防護的模式。因為未來我們要面對一些有組織的甚至是有國家背景的黑客攻擊,只靠一家企業單獨應對,恐怕非常困難。即便是大型整車企業都有可能力有未逮,就更不用說那些中小型的供應商了。

        所以,我們應該繼承汽車產業協同各方力量共同確保產品安全的傳統,集聚行業的力量來為各家企業提供數字安全保護。畢竟在萬物互聯的環境下,任何一家企業的系統一旦被攻破,都有危及其他企業安全的可能。在這方面,360愿意全力參與其中。同時,也希望工信部等主管部委能夠從推動智能網聯汽車產業健康發展的角度出發,牽頭組織,把很多汽車及相關領域的企業都團結起來,共同建設國家或行業級的數字安全態勢感知中心、應急響應中心以及聯合研究中心等。

        趙福全:我做個小結。未來隨著人類進入萬物互聯的時代,所有的產業都將進入生態化發展的新階段。而汽車產業由于涉及面廣、復雜度高、連接主體多、關聯影響大,將成為最重要的生態系統之一。正因如此,汽車產業的數字安全防護將是一項龐大的系統工程,其中整車企業要做的工作必不可少,但肯定遠遠不夠。事實上,即便把汽車行業的力量都整合起來,可能也不足以確保萬全。畢竟未來汽車生態將和交通、能源、城市生態融合在一起,我們必須集聚多個產業的力量,才能確保汽車產業和產品的數字安全,確保交通、能源和城市系統的數字安全,進而確保生產活動的正常進行和社會生活的穩定有序。

        舉一個簡單的例子,汽車在充電過程中發生著火事故,可能是產品設計或生產質量的問題,但也可能是黑客侵入系統后加大了充電電壓而造成的。后者更加危險,或將導致車輛爆炸,甚至引爆整個充電站。

        從這個角度出發,我們談到了要建立新的汽車安全體系。過去,汽車安全體系主要是基于各種硬件以及硬件的集成;而未來我們必須把汽車硬件、軟件以及軟硬件的融合都考慮進來,此外還包括OTA升級、與車輛連接的外部環境、各類企業的各種網絡等等,所有這些都要納入到汽車安全體系中。換句話說,我們需要升級原有的綜合安全觀。

        那么,應該如何建立新的汽車安全體系呢?周總強調,企業只關注購置網絡安全防護設備的做法是錯誤的,正確的做法是在外部資源的支持下,建立自己的網絡安全防護團隊,并不斷提升團隊的專業能力。另外,周總還提到一個重要觀點,那就是網絡安全防護永無止境,所以企業需要持續進行“數字安全碰撞試驗”,即通過實戰化的模擬攻防演練,盡可能減少黑客可以攻擊的漏洞數量,并加強自身的應對措施。

        總體來說,由于汽車產業的邊界正在不斷拓展且漸趨模糊,汽車安全體系也將不斷擴大且日益重要。未來汽車安全體系不僅事關汽車產品、企業和產業的安全,而且還會影響國家信息安全、社會治理安全以及國防安全。所以,我們必須跳出汽車或者互聯網的單一視角,站在國家和跨產業的戰略高度,系統思考和布局未來汽車產業的數字安全體系。

        來源:鳳凰網汽車


        免責聲明:
        本文系網絡轉載,版權歸原作者所有。
        如涉及作品版權問題,請與我們聯系,我們將在第一時間協商版權問題或刪除內容!
        內容為作者個人觀點,并不代表本網站贊同其觀點和對其真實性負責。
        首頁 電話 聯系
        會員登錄
        還未注冊?點擊立即注冊
        注冊
        已有賬號?返回登錄
        亚洲人成日韩中文字幕不卡_国产精品无码专区第1页_亚洲A成人片在线播放_国内精品精彩无码视频