為什麼有些人同時做不只一件事情?
#最近開始在Podcast的IG上嘗試知識型內容
#喜歡的話也去追蹤一下
其實壞特的歌是兩年前突然從朋友的IG上看到,當時還以為是一個外國歌手,聽了一陣子才發現原來是台灣人,而且當時還很神秘,不但不露臉、社群媒體上也挺低調的。這一兩年越來越常看到壞特的身影後,才對她有更進一步的認識。拿到金曲最佳新人獎的隔天,台大某Power錕教授在臉書上PO文道:「準外科醫生獲得金曲獎最佳新人獎,你放心給她開刀嗎?」。老實說當下看到,只覺得一位台大教授跑去參加市長選舉的人,實在沒什麼資格講出這句話,教授跑去競選市場,難道有學生質疑你的教學實力嗎? 何況這位準外科醫生拿到了音樂界的最佳殊榮,而錕教授當年僅取得0.24%的選票。
這篇PO文一出來,本來對壞特還只有對音樂的欣賞之情,但因為這則文章,我瞭解更多關於她的背景和經歷,也才終於懂了她為什麼要在獲獎發言時這麼說。原來她是個準外科醫生,為了實現自己的音樂夢想,毅然決然地拋棄醫學院的光環(即便那不是她想要的),橫空跨出實踐夢想的步伐。
記得曾經看過台大 #葉丙成 教授在台大畢業生演講裡面說過的一句話,讓我印象很深刻並且顛覆想法,他分享完他去美國留學,在外國人派對中無法跟同學搭上任何一句話的他給自己的提醒:「千萬不要當一個只懂專業、其他什麼都不懂的貧乏之人!」這句話很震撼,因為考上台大電機系這件事情,縱然過去雄中生如我都覺得極度困難,何況還出國留學,簡直就是精英中的精英(前陣子很敏感XD),但葉教授卻體悟到一生若只懂自己的專業,將會是貧乏的、不足的。
「從徬徨20歲到現在過了七年,還真的得到一個金曲獎😭,終於有機會跟大家分享,謝謝你們❤️」字字句句不難看出,即便已經才華洋溢如她,仍然受到傳統思想的框架,選擇以「不露臉」的設定,嘗試隔著一層面紗對著世界嶄露頭角。這幾天我一直在想,難道發揮「一生懸命」的匠人精神,窮極一生把一件事情做好不對嗎? 而有人選擇同時做不只一件事情,為什麼他們要這樣做? 這樣做有什麼好處? 於是乎,我想自我整理一下,回顧自己的人生經歷和所知所聞,試圖推測一下,究竟這些選擇不只做一件事情的人,是基於哪些原因而這樣過他的人生,並且用自己很喜歡的人物和他的故事來做比喻:
(一)喜歡的事情還沒辦法養活你
通常會有兩種情況,一種通常會更常發生在亞洲,因為我們往往很晚才會發現甚至開始探索自己的興趣,發現的時候我們常需要去轉系、轉職,如果來不及的話就得要在下課、下班一邊學習想學的技能,一邊還得要繼續謀生。另外一種情況則是有興趣的事情卻不能幫你賺到足夠多的錢,比如說有些人喜歡畫畫,但是藝術這種東西通常需要仰賴天份和運氣的綜合加成,於是乎在遇到伯樂之前可能有很長一段時都得要在兼職打工來支持你的興趣發展。
上面提到很多次的 #壞特 應該就是屬於這類型,因為出生家庭很希望自己能夠走醫學這種更符合社會主流的職涯路線,而剛好自己也很擅長讀書能夠考上醫科,相對來說音樂夢的火苗就一直隱藏在大家吹捧醫科的光芒底下,在非常非常難能可貴的機會下,她找到了這株火苗並且逐漸保護它,讓它有機會成為現在大家看到的星星之火,並且在未來有燎原的機會。
(二)喜歡很多東西無法捨棄
#呱吉 是我真的很崇拜的一個人物,他秉持著對藝術創作的熱愛投入劇場,而後又意識到現實的殘酷而進入遊戲產業,在40歲重拾藝術魂很熱血地賣房創業,一股腦地投入網路影視創作,然後現在又搞起政治讓他可以在每部影片的開頭多補充一句aka台北市議員邱威傑。每一次的轉換又讓他喜歡上新的東西,然後利用現有的資源和團隊,重新打碎、排列組合,累積成新的優勢,就像飛輪效應一般把這個人的才華和表現越滾越大。
即便創業後開始有了「上班不要看」宇宙,他還得要發展「呱吉」宇宙,從廢片、好片,到每周直播,Podcast出現了也要進去搶占一波,甚至沾染政治又讓他的節目題材更豐富多元。喜歡很多東西,他一件也不想放棄,但很懂得利用既有的團隊和資源,產生不用放棄也能做得比很多人更好的本錢。
(三)過去喜歡的東西現在有更喜歡的
大多數人對 #博恩 的印象就是脫口秀演員、專長搞笑的那個帥哥,博恩夜夜秀的形象和成果讓剛剛崛起的鋼鋼(雙押)一舉變成現在STR Network的當家扛霸子。但我對於他在TED上演講的主題更有印象,就如他說的「興趣沒有目的,興趣本就是目的地」精神,他似乎完美演繹了什麼叫做「沒有為什麼我只是想做所以就去做了」的這個概念。
曾經我好像也有這個時刻,我以前很喜歡攝影,廢寢忘食那種,喜歡到把圖書館每一本關於攝影的書籍都讀透一遍,甚至喜歡到帶著相機到處衝,有一年過年為了拍到好看的佛陀紀念館煙火,我在那禮拜去排隊了3次。但因為別的事情加入,我突然就被吸走了,也沒有來由地莫名其妙,於是相機就這樣塵封了好幾年。
如果世界上有轉換領域冠軍,那博恩應該可以名列前茅吧。外文系的他,卻又學了心理系,然後跑到Stand up Comedy的舞台講笑話,去倫敦大學學院讀腦與心智科學研究所,之後又到巴黎第六大學唸整合生物研究所。現在好像又出了幾隻MV和歌曲,哪一天得金曲獎我可能也不意外。
(四)擴大既有的專長優勢
很想特別講一下 #丁特 ,特哥他是前LOL這款世界知名遊戲的職業選手,追蹤了他好幾年在前幾天,他所買下的戰隊竟然拿到PSG區域聯賽的冠軍,實現了他六年前作為職業選手沒辦法達成的夢想「打進世界賽」。講到這裡,我先擦兩滴眼淚,即便重播的影片我都看了兩遍還不過癮,當特哥感動落淚的時候我也深受感動,畢竟自己都喜歡了六年了,看著別人的夢想以不同的形式實現,不感動起來是不可能的。
不過我想講的就是舉他的例子來當作擴大既有專長優勢的解釋,職業選手的本業就是盡可能把自己打電動的技能練到世界頂尖,你很少看到一個職業是沒有KPI的,因為他們唯一的目標就是超越自己、超越全世界其他人,沒有中止或達到目標的一天。不過丁特他因為本身講話也很逗趣、笑聲也特別魔性,於是吸引大批粉絲來看他打電動和聽他講幹話。甚至到後來他以實況為生、偶爾接接業配、打打表演賽,甚至近年買下前AHQ戰隊,成立Beyond Gaming。上面這些衍伸的工作都脫離不了電競這件事情,他把自己本來就擅長的東西作了延伸,幫助他賺更多的錢、看到更遠的地方。
難得打那麼長的文章,整理下自己為什麼有些人會同時做很多事情的原因,有些可能是迫於無奈的、有些可能是擴大既有優勢的、有些甚至可能是無來由的。還有很多我很欣賞的人,都能夠在不只做一件事情的情況下把事情做到最好,Self Pick的 #徐嘉凱導演 、做Youtube的醫師 #蒼蘭鴿 、資訊工程師但卻超多人喜歡看他講故事的 #老高 。
今天就整理到這裡,希望你們會喜歡。
#不務正業的超能力 #職業圖書館 #職涯 #職涯規劃 #工作 #求職 #找工作 #找自己 #轉職 #離職 #迷惘 #成長 #自我成長 #人生方向 #人生規劃 #學習 #職業 #不務正業 #斜槓 #訪談 #個人成長 #創業 #選擇 #科系 #夢想
同時也有1部Youtube影片,追蹤數超過7萬的網紅王大喜,也在其Youtube影片中提到,2021/06/23(超自然現象紀實) 一封來自他的情書 琦夢的痣的故事,是真的! A love Letter from a missing link /.Yellowstix 今日共時經文: 「我觀看你指頭所造的天, 並你所陳設的月亮星宿, 便說:人算甚麼,你竟顧念他! 世人算甚麼,你竟眷顧他!...
超能醫生何家榮 在 李開復 Kai-Fu Lee Facebook 的精選貼文
近日,我與阿萊克斯·彭特蘭教授(Alex Pentland)展開了一場”AI如何重塑人類社會”的精彩對話。
《連線》雜誌的資深撰稿人威爾·奈特(Will Knight)主持了這場對話。
阿萊克斯·彭特蘭教授任教于麻省理工學院,為全球大資料權威專家之一,現任MIT連接科學研究所主任、MIT媒體藝術與科學教授,擁有“可穿戴設備之父”、《福布斯》“全球七大權威大資料專家”、《麻省理工科技評論》“年度十大突破性科技”兩度桂冠獲得者等頭銜,曾參與創建MIT媒體實驗室,是全球被引述次數最多的計算科學家之一。
對話金句:
李開復:
AI最大的機會蘊藏在與傳統企業的結合中,這種價值的產生極其迅速,只需要幾個月,甚至短短幾周。
未來突破很難預測,對奇點、超級智慧的爭辯,在我看來都過於樂觀了。
小型AI公司與巨頭競爭,我的建議是找准巨頭沒有平臺優勢的細分領域,為某個針對性產業創造價值,不要與巨頭核心業務正面硬碰。
阿萊克斯·彭特蘭:
AI絕非試圖取代人類,而是促進多元文化之間的相互連接、團隊合作,讓人們更好的進行社交和連接彼此。
最困難的其實是說服人們改變商業流程去使用AI,因為大多數人是墨守成規的。
人工智慧有朝一日可以取代人類所有的能力,但是這個過程會非常漫長,可能需要上百年或更久。
我在對話中表示,當我們試圖解決AI問題時,應該用技術來解決技術的問題,可以尋求與監管部門協作,而不只是丟給他們,“新技術會衍生新的問題,我們應該多方嘗試用更進階的技術性解決方案,就像電腦病毒剛出現時,殺毒軟體隨之誕生。”
彭特蘭教授認為,人工智慧的核心,是促進多元文化之間的相互連接。不只是工程師或科學家,連經濟學家、政治家都必須參與進來。“國家之間應該促進合作、制定互通標準,就像TCP/IP互聯網協定那樣,避免AI冷戰。” 我們都贊同,AI發展從來不是單打獨鬥,跨學科思維、跨領域合作尤為重要。 這場對話是麻省理工學院中國創新與創業論壇(MIT-CHIEF) 組織的高峰對話系列活動,主題是《計算與未來: AI與資料科學如何重塑人類社會》。
麻省理工學院中國創新與創業論壇(MIT-CHIEF)由麻省理工學院的中國留學生創立,至今已有十年,是北美歷史最悠久的、由高校學生組織的中國創新創業論壇。系列高峰對話邀請了頂級科學家、投資人及創業者,共同探討科技創新及商業化過程中面臨的挑戰。
以下是我們對話的核心內容,由我的同事整理、分享給大家:
Part I 主題演講
▌李開復:各方應協作,讓AI 更務實
非常榮幸再次受到MIT-CHIEF的邀請,對於人工智慧的看法,這次我主要想講四點。
第一點是我書裡的主題,人工智慧的超能力。我們已經從人工智慧的發明期步入應用期階段,從應用落地層面來說,正迎來了AI發展最大的機遇。
很多科技公司目前已對人工智慧進行了多樣化佈局,從視覺、語言、觸覺和其他感知技術,到自動化機器人、無人駕駛等,對很多領域開啟了深遠的影響。雖然眼下所見的AI應用仍有局限性,但我預測未來的格局會非常龐大,依據統計,各行各業採用AI的程度目前不到5%,AI應用的中長期增長曲線相當可期。
第二點是我很欣喜看到的一點,AI正在和傳統行業深度融合。隨著人們對人工智慧的瞭解越來越多,更多的AI公司湧現出來。
AI最大的機會蘊藏在與傳統企業的結合中,創新工場也正在説明金融、製造、物流、零售、醫療等行業的公司進行AI變革。
作為AI投資人,我認為在這些行業如果找到正確的AI應用方向,就能帶來上千萬的回報。這種商業價值的產生是極其迅速的,通常只需要幾個月,甚至短短幾周就能看到成果。
現在人工智慧在傳統產業的滲透率仍在個位數,仍然有很大的提升空間。然而對於很多公司來說,它們需要的是高度定制化的方案,而非通用型AI方案,所以融合的過程中,不可避免會遇到不少挑戰和痛點。
第三,我早年做過很多科研工作,很高興能看到關於系統一和系統二(System One, System Two)的討論,我們期待人工智慧技術從系統一升級為系統二,即從識別、決策、優化等能力,升級到感知、認知等進階智慧的能力。
有不同的學派都在努力讓人工智慧更接近人類智慧,其中一個流派主張回歸經典的AI理念,甚至重新構建嶄新的模型結構,在深度學習技術的基礎上利用人類的知識。但我更支持另一個理論——深度學習的潛力還沒有完全釋放。
回看人工智慧過去60多年的歷程,最大的突破來自於計算能力和資料量大增而產生的可擴展演算法。我們看到了卷積神經網路(CNN)帶來的喜人成績,還有預訓練自然語言處理模型(Pre-Trained Models for Natural Language Processing)的廣泛運用。
預訓練模型與人類語言學習的模式類似,不管是英語還是中文,在習得這些語言之後,再去學習程式設計、藝術、化學。在無人監督的學習環境中,這種模式比我們想像得還要強大,就像阿爾法圍棋(AlphaGo)一樣。
最後一點我想說的是,如何讓AI變得更務實。
AI有很多問題,例如隱私、資料安全、治理和監管,在此就不一一討論了。當我們試圖解決這些AI難題時,有人認為讓監管部門加強管理是唯一辦法,其實不然,我們是否也可以朝著研發更厲害的技術性解決方案去努力?
就像電腦病毒剛出現時,殺毒軟體隨之誕生;面對千年蟲難題時,也迅速找到了技術應對方案。我們可以通過研發新技術,應對DeepFake深度換臉程式的挑戰;或者通過聯邦學習技術,在保證資料私密性的同時,滿足深度學習訓練需求。
作為握有技術能力的群體,我們需要與監管部門一起協作,而不只是把工作丟給他們。相信有了各方的助力,我們可以讓AI的應用變得更有深度,更加務實,更高效地克服現在面臨的種種問題。
▌阿萊克斯·彭特蘭:國家間應建立互通標準,避免“AI冷戰”
我對當前的深度學習技術不太樂觀。
最為主要原因是,深度學習不僅需要龐大的資料來源,而且要求這些資料長時間恒定不變,以保證模型訓練結果的可靠性,例如人類的面容、語言,就是相對穩定不變的資料來源。
但深度學習卻沒法應對快速變化的真實情況。亞馬遜在新冠疫情蔓延速度暴增時,出現了倉庫貨物緊缺,不得不停止送貨服務。這種經過深度學習高度優化後的系統發生崩潰,就是因為快速變化的疫情,和深度學習對恒定資料來源的需求是矛盾的。
另外,我想談談如何通過聯邦學習,促進資料的流通。
大多數公司沒有足夠豐富的資料,需要聯合不同的資料來源。基於這種需求,出現了很多新商業模式,比如“資料經紀人”——他們不出售資料,而是把資料借出去,作特定需求的使用。
“資料經紀人”業務湧現了很多,他們促進了資料的流通,也加強了資料的隱私性。因此,像聯邦學習這樣的技術和商業策略結合,有效解決了資料在合規性和所有權方面的難題。
聯邦學習也依賴於新的基礎設施建設,為資料應用和深度學習提供基礎環境,比如區塊鏈技術。現在世界上很多國家在做相關系統的建設實驗,新加坡等國家設置了一種相互競爭的區塊鏈系統,來解決支付和物流問題。我們最近也幫助瑞士做了類似的實驗,涉及不同資料的互通性和連貫性問題。
我們仍在研究如何用儘量少的資料,實現人工智慧的目標。少量資料是指不斷更新的短期資料,這些資料能使AI應對迅速變化的情況,並及時做出調整。
我們打算將AI與其他基礎科學結合,例如阿爾法圍棋(AlphaGo)就是這類結合的初步嘗試。這些方法不依賴于大量恒定資料,可能會比深度學習更加強大。
除此之外,我們在探討用AI保障聯邦學習過程中不同資料方的權益,這是實現不同國家之間的互通性、支付信任度、物流運輸等方面合作的關鍵前提。
另一方面,我們探索如何將AI技術應用於加密資料上。我們和大公司以及政府密切合作,找出解決系統入侵和保障網路安全的方法。
我同時花了很多時間研究與政府的合作。政府很多時候不知道如何通過大資料做決策,也不知道如何進行資料優化。而AI能夠幫助政府實現更高的效率,比如聯合國現在已經有了很多可持續發展目標的相關評估指標,世界經濟論壇也可以為會員國提供不同的標準測算。
基於我們已有的多中繼資料庫,現在可以利用AI實現全新的資料優化方式,將貧困、不平等這種之前無法量化的指標,通過可量化的指標進行評估。
同時,要真正實現這個目標,我們還需要制定統一的互通性標準。如果沒有這個標準,國家之間就不會相互信任去合作,就可能出現AI冷戰。
因此我們需要找到促進合作的方式,就像TCP/IP互聯網協議那樣。而之前我提到的,新加坡、瑞士等現在正在嘗試的區塊鏈系統,將有希望解決國家間缺乏互通標準的問題。
Part II 對話
▌ 美國線上教育發展難度更大,只在ZOOM上講課是不夠的
Q1:疫情加速了行業的改變,遠端醫療、線上教育開始蓬勃發展,這只是AI對人類社會產生影響的冰山一角。想請兩位談一談,目前看好AI在哪些領域應用的未來前景?
李開復:疫情的確對整個社會產生了實質性的影響,人們行為習慣發生了很多改變,更願意接受線上學習和工作了。
這種新的行為習慣產生了大量資料流程,為AI應用帶來了更多可能性。比如大健康領域以及遠端醫療中所產生的資料,可以訓練更智慧的模型。同時更多人開始在基因組學、新藥研發方面結合新的AI技術進行研究,因此我相信AI在醫療健康領域的潛能是非常巨大的。
AI與教育的結合也很值得期待。一方面可以説明老師處理重複性的日常事務,例如批改作業,讓老師得以將時間精力投入到更有創造性的事情上,能更悉心地為孩子提供優質教學。另一方面可以提高學生的課堂參與度和積極性,比如設置卡通版AI虛擬老師,讓課程充滿趣味性。
在中國,有很多線上教育公司在疫情之前就已經發展迅速,像創新工場投資的VIPKID,讓國外的純正英語老師線上上教授中國學生。目前,中國的線上教育已經擴展到了更多科目,包括體育、舞蹈、書法等素質教育課程。
相比之下,美國線上教育發展的難度會更大。畢竟只在ZOOM上講課是不夠的,好的線上教育必須要有好的內容。
▌AI核心是增強人際互聯,應注重文化多樣性
阿萊克斯·彭特蘭:李開復博士提到的教育案例,我不是很認同。
MIT大約20年前就在教育中使用AI,重點根本不是內容,我們甚至提倡將內容免費開放給大眾。
AI絕非試圖取代人類的作用,我們更強調用AI增強人與人之間的互動,讓人們更好的社交和連接彼此。比如手機上人工智慧技術,不是要取代你,而是讓你高效地找到最適合的工作、最正確的人,讓你更容易的獲取資訊,並進行創新。
我們可以利用資料激發更強的創新力,培養領導力。只有基於這樣的宗旨,才能促進更有創造力的教育和學習,這比關注教育內容本身重要得多。
在加拿大,有家創業公司正在訓練普通民眾學習AI,比如水管工,教學效果非常不錯。他們的教育方式不是簡單的教授基本知識,而是以一種能夠激發人們互動思考的方式。
我們之前在中國調研了3000多個孵化器,發現創業公司成功的要素裡,第一個是文化多樣性,也就是說創始團隊背景的複雜性和多樣性。第二個是團隊成員專業的多樣性,他們能否發揮自己所長,並很好地進行團隊合作。
1956年,馬文·明斯基 (Marvin Minsky)提出了人工智慧這個詞。但我們對於人工智慧的理解,不應該只停留在“人工”層面,而應擴展到多元文化之間的相互連接、團隊合作,我把它叫做延伸智能(Extended Intelligence)。這也是我想強調的,人工智慧這個名詞有一定的偶然性,但它的核心點是增強人與人之間的互聯性。
▌AI未來突破難預測,奇點、超級智慧過於樂觀
Q2:未來十年AI有沒有可能取得重要突破?比如GPT-3近期展現驚人的能力。兩位認為未來的突破方向是什麼?
李開復:過去60多年來,深度學習是唯一的重大突破。在這之後,卷積神經網路(CNN)和GPT-3等都算是重要的改善,我對於人工智慧的漸進式改善保持樂觀。
對科學家來說,他們更期待著技術上的突破式進展。但我覺得未來十年基礎科研或許不會有大的突破。但模型相對容易,只要有大量的資料,就可以從實驗室進入到行業應用,CNN和GPT-3都是模型加海量資料的成果。
我是務實派的,雖然持有樂觀態度,但並不是一位“未來學家”。未來的突破很難預測,對奇點(Singularity)的爭辯,甚至預測超級智慧的出現,在我看來都過於樂觀了。
阿萊克斯·彭特蘭:我同意李博士的觀點。很多生物機制很難解釋,包括用感知認識事物、理解聲音、尋找食物等,是深度學習演算法做不到的。但深度學習可以研究科學、制定規則、研究理論,並進行實踐。
從務實的角度來說,我最感興趣的就是聯邦學習。就醫療而言,我們有這麼多醫院,在新冠疫情期間做了很多的實驗,為什麼這些實驗資料不能進行聯合呢?
儘管資料有不相容的地方,但這也是一個很好的機會去探究不同的資料之間的關聯性。在未來,我們對資料的需求也許會越來越少,外科醫生或者物理學家或許不需要太多資料,因為他們對規則已經瞭若指掌了。
▌不要墨守成規,要跨領域、跨學科應對挑戰
Q3:人工智慧會有什關鍵挑戰?對於想從事這個行業的人,有什麼是需要瞭解的關鍵點?
李開復:首先,大背景在改變,新科技層出不窮,我們每年都需要學習新的東西。
其次,人工智慧可能引起各種問題,包括偏見、歧視、倫理道德等,是否危害人類的身體健康,無人駕駛技術該何去何從等等。
第三,人工智慧的研發需要深刻地理解技術對社會、生活與人類健康會產生的影響。我非常欣賞斯坦福和MIT這樣的高校,能夠把AI教育擴展到各個學科,讓研發人員及早意識到自己的責任和價值。
阿萊克斯·彭特蘭:是的,我朋友做過一個有關電的趣味類比,電動馬達最初在工廠裡用於生產的時候,並沒有發揮出多大的作用,因為大家並不知道如何改造生產流程。
AI在一些領域發揮的作用是顯著的,但應用到其他領域時,就需要改造流程。很多情況下,最困難的就是說服人們改變商業流程去使用AI,因為大多數人是墨守成規的。
而有意思的是,就像李博士提到的,像MIT和斯坦福這樣的高校確實在認真嚴肅地對待這個問題。
比如,我今天早上正好就這個話題跟G20領導人對話,大家一致認為我們必須從跨領域、跨學科的角度去面對這個問題,不能只是工程師或者社會科學從業者們在做,經濟學家,政治家等等都必須參與進來緊密合作。
隨著AI的應用領域越來越廣,除了必須具備強有力的技巧來建立社會規則,還需要對研究經費、企業投入等進行各種調整。
▌雖然大公司實力不容小覷,但依舊對小公司抱有期待
Q4:AI研究會消耗大量的資源,我們是否應該將資源往學術界平衡?現在已經發生資源的重新分配和平衡了嗎?
李開復:就人才而言,現在已經有重新平衡的跡象了。
過去,頂尖大學的學者基於待遇和種種考量,不少選擇去企業界工作。而近期,曾任職於百度、海爾、位元組跳動等公司的數位優秀AI科學家已經回歸高校。
但像GPT-3這樣的技術,仍然不是大學和小公司能支付得起的。支撐GPT-3運行的電腦是世界算力第五的超級電腦。每進行一次演算法訓練,就要花費460萬美金,只有像騰訊、穀歌、微軟這個級別的公司才能負擔得起如此強大的算力。
我觀察到,近年的AI創業公司已經和5年前截然不同了。它們一般由AI科學家和商業人才共同創建,為了解決特定問題而生,並非紙上談兵做突破性科研,切入的領域也往往是巨頭公司忽略的地方。
例如,為製造業進行AI賦能,不是一件輕鬆的事,需要去工廠實地勘查,瞭解運作方式。大公司因為賺錢很容易,不願意做這些性價比低的苦活累活。這些小公司的努力一旦有了成果,就會給產業界帶來革命性的影響。所以,雖然大公司的實力不容小覷,但我依舊對小公司抱有期待。
阿萊克斯·彭特蘭:大學和公司是一種融合的關係,不僅體現在人才流動上,也會進行資訊資源分享,彼此是整體性的合作態勢。
當然這也不是絕對,產業界的保密需求還是存在的,只是從學校的出發點來說,我們願意毫無保留地為大家提供更好的研究成果,並與企業合作,形成標準化平臺。
▌人工智慧取代人類需要上百年或更久
Q5:兩位認為什麼是AI不能取代的?
李開復:一類是創造力、分析能力、邏輯辯論能力,瞭解自己知道什麼不知道什麼,這些是人工智慧無法取代的。另外一類是同理心,人類之間的信任、友誼,自我認知、意識等。
阿萊克斯·彭特蘭:人工智慧有朝一日可以取代人類所有的能力,但是這個過程會非常漫長,可能需要上百年或更久。
▌AI創業建議I:找到小切入點,不要與巨頭正面硬碰
Q6:李博士提到了AI在小企業中的運用,可否再舉例說明是如何運用的?
李開復:這個問題分兩部分:一個是小型AI公司與巨頭競爭,我的建議是找准巨頭沒有平臺優勢的細分領域,為某個針對性產業創造價值,並且不要與巨頭核心業務正面硬碰。
對於那些中小型非AI、但想應用AI的公司,需要確保有足夠的資料,以訓練與核心商業價值掛鉤的AI模型,並且有願意變革的開放性公司文化。
所以,早期應用AI的公司可能規模較大,因為他們有足夠大的資料,和可相容變革的商業模型。每個例子都不同,不是任何一家公司都要應用AI。
阿萊克斯·彭特蘭:如果我們放寬AI的定義,或許水管工、合同工都有資料,通過一些簡單的分析、整合,AI也可以在很大程度上改進他們的工作。
這些都是很小的切入點,基於簡單的AI分析、機器學習,依舊可以產生巨大的潛力。
▌ AI創業建議II:知曉技術,同時理解商業
Q7:兩位再分享一下最後的建議?
李開復:我們在步入一個AI開始滲透到方方面面的令人振奮的時代,我希望所有的學生們都能參與到這個改革浪潮中。要深刻地理解人工智慧的商業落地,而不僅僅鑽研技術本身。
阿萊克斯·彭特蘭:不要太較真於深度學習或者冗長的演算法,一切始於要解決的現實問題。不要止步於技術本身,要明白資料類型、形態和規律,關注商業流程。
感謝葉樂斐、劉諾、藍萱、張昊、陳冬傑、劉子昂、張梓煜、錢淩寒、水一方、沈雍在校譯和審閱上對本文的貢獻。
超能醫生何家榮 在 李開復 Kai-Fu Lee Facebook 的最佳貼文
近日,我與阿萊克斯·彭特蘭教授(Alex Pentland)展開了一場”AI如何重塑人類社會”的精彩對話。
《連線》雜誌的資深撰稿人威爾·奈特(Will Knight)主持了這場對話。
阿萊克斯·彭特蘭教授任教于麻省理工學院,為全球大資料權威專家之一,現任MIT連接科學研究所主任、MIT媒體藝術與科學教授,擁有“可穿戴設備之父”、《福布斯》“全球七大權威大資料專家”、《麻省理工科技評論》“年度十大突破性科技”兩度桂冠獲得者等頭銜,曾參與創建MIT媒體實驗室,是全球被引述次數最多的計算科學家之一。
對話金句:
李開復:
AI最大的機會蘊藏在與傳統企業的結合中,這種價值的產生極其迅速,只需要幾個月,甚至短短幾周。
未來突破很難預測,對奇點、超級智慧的爭辯,在我看來都過於樂觀了。
小型AI公司與巨頭競爭,我的建議是找准巨頭沒有平臺優勢的細分領域,為某個針對性產業創造價值,不要與巨頭核心業務正面硬碰。
阿萊克斯·彭特蘭:
AI絕非試圖取代人類,而是促進多元文化之間的相互連接、團隊合作,讓人們更好的進行社交和連接彼此。
最困難的其實是說服人們改變商業流程去使用AI,因為大多數人是墨守成規的。
人工智慧有朝一日可以取代人類所有的能力,但是這個過程會非常漫長,可能需要上百年或更久。
我在對話中表示,當我們試圖解決AI問題時,應該用技術來解決技術的問題,可以尋求與監管部門協作,而不只是丟給他們,“新技術會衍生新的問題,我們應該多方嘗試用更進階的技術性解決方案,就像電腦病毒剛出現時,殺毒軟體隨之誕生。”
彭特蘭教授認為,人工智慧的核心,是促進多元文化之間的相互連接。不只是工程師或科學家,連經濟學家、政治家都必須參與進來。“國家之間應該促進合作、制定互通標準,就像TCP/IP互聯網協定那樣,避免AI冷戰。” 我們都贊同,AI發展從來不是單打獨鬥,跨學科思維、跨領域合作尤為重要。 這場對話是麻省理工學院中國創新與創業論壇(MIT-CHIEF) 組織的高峰對話系列活動,主題是《計算與未來: AI與資料科學如何重塑人類社會》。
麻省理工學院中國創新與創業論壇(MIT-CHIEF)由麻省理工學院的中國留學生創立,至今已有十年,是北美歷史最悠久的、由高校學生組織的中國創新創業論壇。系列高峰對話邀請了頂級科學家、投資人及創業者,共同探討科技創新及商業化過程中面臨的挑戰。
以下是我們對話的核心內容,由我的同事整理、分享給大家:
Part I 主題演講
▌李開復:各方應協作,讓AI 更務實
非常榮幸再次受到MIT-CHIEF的邀請,對於人工智慧的看法,這次我主要想講四點。
第一點是我書裡的主題,人工智慧的超能力。我們已經從人工智慧的發明期步入應用期階段,從應用落地層面來說,正迎來了AI發展最大的機遇。
很多科技公司目前已對人工智慧進行了多樣化佈局,從視覺、語言、觸覺和其他感知技術,到自動化機器人、無人駕駛等,對很多領域開啟了深遠的影響。雖然眼下所見的AI應用仍有局限性,但我預測未來的格局會非常龐大,依據統計,各行各業採用AI的程度目前不到5%,AI應用的中長期增長曲線相當可期。
第二點是我很欣喜看到的一點,AI正在和傳統行業深度融合。隨著人們對人工智慧的瞭解越來越多,更多的AI公司湧現出來。
AI最大的機會蘊藏在與傳統企業的結合中,創新工場也正在説明金融、製造、物流、零售、醫療等行業的公司進行AI變革。
作為AI投資人,我認為在這些行業如果找到正確的AI應用方向,就能帶來上千萬的回報。這種商業價值的產生是極其迅速的,通常只需要幾個月,甚至短短幾周就能看到成果。
現在人工智慧在傳統產業的滲透率仍在個位數,仍然有很大的提升空間。然而對於很多公司來說,它們需要的是高度定制化的方案,而非通用型AI方案,所以融合的過程中,不可避免會遇到不少挑戰和痛點。
第三,我早年做過很多科研工作,很高興能看到關於系統一和系統二(System One, System Two)的討論,我們期待人工智慧技術從系統一升級為系統二,即從識別、決策、優化等能力,升級到感知、認知等進階智慧的能力。
有不同的學派都在努力讓人工智慧更接近人類智慧,其中一個流派主張回歸經典的AI理念,甚至重新構建嶄新的模型結構,在深度學習技術的基礎上利用人類的知識。但我更支持另一個理論——深度學習的潛力還沒有完全釋放。
回看人工智慧過去60多年的歷程,最大的突破來自於計算能力和資料量大增而產生的可擴展演算法。我們看到了卷積神經網路(CNN)帶來的喜人成績,還有預訓練自然語言處理模型(Pre-Trained Models for Natural Language Processing)的廣泛運用。
預訓練模型與人類語言學習的模式類似,不管是英語還是中文,在習得這些語言之後,再去學習程式設計、藝術、化學。在無人監督的學習環境中,這種模式比我們想像得還要強大,就像阿爾法圍棋(AlphaGo)一樣。
最後一點我想說的是,如何讓AI變得更務實。
AI有很多問題,例如隱私、資料安全、治理和監管,在此就不一一討論了。當我們試圖解決這些AI難題時,有人認為讓監管部門加強管理是唯一辦法,其實不然,我們是否也可以朝著研發更厲害的技術性解決方案去努力?
就像電腦病毒剛出現時,殺毒軟體隨之誕生;面對千年蟲難題時,也迅速找到了技術應對方案。我們可以通過研發新技術,應對DeepFake深度換臉程式的挑戰;或者通過聯邦學習技術,在保證資料私密性的同時,滿足深度學習訓練需求。
作為握有技術能力的群體,我們需要與監管部門一起協作,而不只是把工作丟給他們。相信有了各方的助力,我們可以讓AI的應用變得更有深度,更加務實,更高效地克服現在面臨的種種問題。
▌阿萊克斯·彭特蘭:國家間應建立互通標準,避免“AI冷戰”
我對當前的深度學習技術不太樂觀。
最為主要原因是,深度學習不僅需要龐大的資料來源,而且要求這些資料長時間恒定不變,以保證模型訓練結果的可靠性,例如人類的面容、語言,就是相對穩定不變的資料來源。
但深度學習卻沒法應對快速變化的真實情況。亞馬遜在新冠疫情蔓延速度暴增時,出現了倉庫貨物緊缺,不得不停止送貨服務。這種經過深度學習高度優化後的系統發生崩潰,就是因為快速變化的疫情,和深度學習對恒定資料來源的需求是矛盾的。
另外,我想談談如何通過聯邦學習,促進資料的流通。
大多數公司沒有足夠豐富的資料,需要聯合不同的資料來源。基於這種需求,出現了很多新商業模式,比如“資料經紀人”——他們不出售資料,而是把資料借出去,作特定需求的使用。
“資料經紀人”業務湧現了很多,他們促進了資料的流通,也加強了資料的隱私性。因此,像聯邦學習這樣的技術和商業策略結合,有效解決了資料在合規性和所有權方面的難題。
聯邦學習也依賴於新的基礎設施建設,為資料應用和深度學習提供基礎環境,比如區塊鏈技術。現在世界上很多國家在做相關系統的建設實驗,新加坡等國家設置了一種相互競爭的區塊鏈系統,來解決支付和物流問題。我們最近也幫助瑞士做了類似的實驗,涉及不同資料的互通性和連貫性問題。
我們仍在研究如何用儘量少的資料,實現人工智慧的目標。少量資料是指不斷更新的短期資料,這些資料能使AI應對迅速變化的情況,並及時做出調整。
我們打算將AI與其他基礎科學結合,例如阿爾法圍棋(AlphaGo)就是這類結合的初步嘗試。這些方法不依賴于大量恒定資料,可能會比深度學習更加強大。
除此之外,我們在探討用AI保障聯邦學習過程中不同資料方的權益,這是實現不同國家之間的互通性、支付信任度、物流運輸等方面合作的關鍵前提。
另一方面,我們探索如何將AI技術應用於加密資料上。我們和大公司以及政府密切合作,找出解決系統入侵和保障網路安全的方法。
我同時花了很多時間研究與政府的合作。政府很多時候不知道如何通過大資料做決策,也不知道如何進行資料優化。而AI能夠幫助政府實現更高的效率,比如聯合國現在已經有了很多可持續發展目標的相關評估指標,世界經濟論壇也可以為會員國提供不同的標準測算。
基於我們已有的多中繼資料庫,現在可以利用AI實現全新的資料優化方式,將貧困、不平等這種之前無法量化的指標,通過可量化的指標進行評估。
同時,要真正實現這個目標,我們還需要制定統一的互通性標準。如果沒有這個標準,國家之間就不會相互信任去合作,就可能出現AI冷戰。
因此我們需要找到促進合作的方式,就像TCP/IP互聯網協議那樣。而之前我提到的,新加坡、瑞士等現在正在嘗試的區塊鏈系統,將有希望解決國家間缺乏互通標準的問題。
Part II 對話
▌ 美國線上教育發展難度更大,只在ZOOM上講課是不夠的
Q1:疫情加速了行業的改變,遠端醫療、線上教育開始蓬勃發展,這只是AI對人類社會產生影響的冰山一角。想請兩位談一談,目前看好AI在哪些領域應用的未來前景?
李開復:疫情的確對整個社會產生了實質性的影響,人們行為習慣發生了很多改變,更願意接受線上學習和工作了。
這種新的行為習慣產生了大量資料流程,為AI應用帶來了更多可能性。比如大健康領域以及遠端醫療中所產生的資料,可以訓練更智慧的模型。同時更多人開始在基因組學、新藥研發方面結合新的AI技術進行研究,因此我相信AI在醫療健康領域的潛能是非常巨大的。
AI與教育的結合也很值得期待。一方面可以説明老師處理重複性的日常事務,例如批改作業,讓老師得以將時間精力投入到更有創造性的事情上,能更悉心地為孩子提供優質教學。另一方面可以提高學生的課堂參與度和積極性,比如設置卡通版AI虛擬老師,讓課程充滿趣味性。
在中國,有很多線上教育公司在疫情之前就已經發展迅速,像創新工場投資的VIPKID,讓國外的純正英語老師線上上教授中國學生。目前,中國的線上教育已經擴展到了更多科目,包括體育、舞蹈、書法等素質教育課程。
相比之下,美國線上教育發展的難度會更大。畢竟只在ZOOM上講課是不夠的,好的線上教育必須要有好的內容。
▌AI核心是增強人際互聯,應注重文化多樣性
阿萊克斯·彭特蘭:李開復博士提到的教育案例,我不是很認同。
MIT大約20年前就在教育中使用AI,重點根本不是內容,我們甚至提倡將內容免費開放給大眾。
AI絕非試圖取代人類的作用,我們更強調用AI增強人與人之間的互動,讓人們更好的社交和連接彼此。比如手機上人工智慧技術,不是要取代你,而是讓你高效地找到最適合的工作、最正確的人,讓你更容易的獲取資訊,並進行創新。
我們可以利用資料激發更強的創新力,培養領導力。只有基於這樣的宗旨,才能促進更有創造力的教育和學習,這比關注教育內容本身重要得多。
在加拿大,有家創業公司正在訓練普通民眾學習AI,比如水管工,教學效果非常不錯。他們的教育方式不是簡單的教授基本知識,而是以一種能夠激發人們互動思考的方式。
我們之前在中國調研了3000多個孵化器,發現創業公司成功的要素裡,第一個是文化多樣性,也就是說創始團隊背景的複雜性和多樣性。第二個是團隊成員專業的多樣性,他們能否發揮自己所長,並很好地進行團隊合作。
1956年,馬文·明斯基 (Marvin Minsky)提出了人工智慧這個詞。但我們對於人工智慧的理解,不應該只停留在“人工”層面,而應擴展到多元文化之間的相互連接、團隊合作,我把它叫做延伸智能(Extended Intelligence)。這也是我想強調的,人工智慧這個名詞有一定的偶然性,但它的核心點是增強人與人之間的互聯性。
▌AI未來突破難預測,奇點、超級智慧過於樂觀
Q2:未來十年AI有沒有可能取得重要突破?比如GPT-3近期展現驚人的能力。兩位認為未來的突破方向是什麼?
李開復:過去60多年來,深度學習是唯一的重大突破。在這之後,卷積神經網路(CNN)和GPT-3等都算是重要的改善,我對於人工智慧的漸進式改善保持樂觀。
對科學家來說,他們更期待著技術上的突破式進展。但我覺得未來十年基礎科研或許不會有大的突破。但模型相對容易,只要有大量的資料,就可以從實驗室進入到行業應用,CNN和GPT-3都是模型加海量資料的成果。
我是務實派的,雖然持有樂觀態度,但並不是一位“未來學家”。未來的突破很難預測,對奇點(Singularity)的爭辯,甚至預測超級智慧的出現,在我看來都過於樂觀了。
阿萊克斯·彭特蘭:我同意李博士的觀點。很多生物機制很難解釋,包括用感知認識事物、理解聲音、尋找食物等,是深度學習演算法做不到的。但深度學習可以研究科學、制定規則、研究理論,並進行實踐。
從務實的角度來說,我最感興趣的就是聯邦學習。就醫療而言,我們有這麼多醫院,在新冠疫情期間做了很多的實驗,為什麼這些實驗資料不能進行聯合呢?
儘管資料有不相容的地方,但這也是一個很好的機會去探究不同的資料之間的關聯性。在未來,我們對資料的需求也許會越來越少,外科醫生或者物理學家或許不需要太多資料,因為他們對規則已經瞭若指掌了。
▌不要墨守成規,要跨領域、跨學科應對挑戰
Q3:人工智慧會有什關鍵挑戰?對於想從事這個行業的人,有什麼是需要瞭解的關鍵點?
李開復:首先,大背景在改變,新科技層出不窮,我們每年都需要學習新的東西。
其次,人工智慧可能引起各種問題,包括偏見、歧視、倫理道德等,是否危害人類的身體健康,無人駕駛技術該何去何從等等。
第三,人工智慧的研發需要深刻地理解技術對社會、生活與人類健康會產生的影響。我非常欣賞斯坦福和MIT這樣的高校,能夠把AI教育擴展到各個學科,讓研發人員及早意識到自己的責任和價值。
阿萊克斯·彭特蘭:是的,我朋友做過一個有關電的趣味類比,電動馬達最初在工廠裡用於生產的時候,並沒有發揮出多大的作用,因為大家並不知道如何改造生產流程。
AI在一些領域發揮的作用是顯著的,但應用到其他領域時,就需要改造流程。很多情況下,最困難的就是說服人們改變商業流程去使用AI,因為大多數人是墨守成規的。
而有意思的是,就像李博士提到的,像MIT和斯坦福這樣的高校確實在認真嚴肅地對待這個問題。
比如,我今天早上正好就這個話題跟G20領導人對話,大家一致認為我們必須從跨領域、跨學科的角度去面對這個問題,不能只是工程師或者社會科學從業者們在做,經濟學家,政治家等等都必須參與進來緊密合作。
隨著AI的應用領域越來越廣,除了必須具備強有力的技巧來建立社會規則,還需要對研究經費、企業投入等進行各種調整。
▌雖然大公司實力不容小覷,但依舊對小公司抱有期待
Q4:AI研究會消耗大量的資源,我們是否應該將資源往學術界平衡?現在已經發生資源的重新分配和平衡了嗎?
李開復:就人才而言,現在已經有重新平衡的跡象了。
過去,頂尖大學的學者基於待遇和種種考量,不少選擇去企業界工作。而近期,曾任職於百度、海爾、位元組跳動等公司的數位優秀AI科學家已經回歸高校。
但像GPT-3這樣的技術,仍然不是大學和小公司能支付得起的。支撐GPT-3運行的電腦是世界算力第五的超級電腦。每進行一次演算法訓練,就要花費460萬美金,只有像騰訊、穀歌、微軟這個級別的公司才能負擔得起如此強大的算力。
我觀察到,近年的AI創業公司已經和5年前截然不同了。它們一般由AI科學家和商業人才共同創建,為了解決特定問題而生,並非紙上談兵做突破性科研,切入的領域也往往是巨頭公司忽略的地方。
例如,為製造業進行AI賦能,不是一件輕鬆的事,需要去工廠實地勘查,瞭解運作方式。大公司因為賺錢很容易,不願意做這些性價比低的苦活累活。這些小公司的努力一旦有了成果,就會給產業界帶來革命性的影響。所以,雖然大公司的實力不容小覷,但我依舊對小公司抱有期待。
阿萊克斯·彭特蘭:大學和公司是一種融合的關係,不僅體現在人才流動上,也會進行資訊資源分享,彼此是整體性的合作態勢。
當然這也不是絕對,產業界的保密需求還是存在的,只是從學校的出發點來說,我們願意毫無保留地為大家提供更好的研究成果,並與企業合作,形成標準化平臺。
▌人工智慧取代人類需要上百年或更久
Q5:兩位認為什麼是AI不能取代的?
李開復:一類是創造力、分析能力、邏輯辯論能力,瞭解自己知道什麼不知道什麼,這些是人工智慧無法取代的。另外一類是同理心,人類之間的信任、友誼,自我認知、意識等。
阿萊克斯·彭特蘭:人工智慧有朝一日可以取代人類所有的能力,但是這個過程會非常漫長,可能需要上百年或更久。
▌AI創業建議I:找到小切入點,不要與巨頭正面硬碰
Q6:李博士提到了AI在小企業中的運用,可否再舉例說明是如何運用的?
李開復:這個問題分兩部分:一個是小型AI公司與巨頭競爭,我的建議是找准巨頭沒有平臺優勢的細分領域,為某個針對性產業創造價值,並且不要與巨頭核心業務正面硬碰。
對於那些中小型非AI、但想應用AI的公司,需要確保有足夠的資料,以訓練與核心商業價值掛鉤的AI模型,並且有願意變革的開放性公司文化。
所以,早期應用AI的公司可能規模較大,因為他們有足夠大的資料,和可相容變革的商業模型。每個例子都不同,不是任何一家公司都要應用AI。
阿萊克斯·彭特蘭:如果我們放寬AI的定義,或許水管工、合同工都有資料,通過一些簡單的分析、整合,AI也可以在很大程度上改進他們的工作。
這些都是很小的切入點,基於簡單的AI分析、機器學習,依舊可以產生巨大的潛力。
▌ AI創業建議II:知曉技術,同時理解商業
Q7:兩位再分享一下最後的建議?
李開復:我們在步入一個AI開始滲透到方方面面的令人振奮的時代,我希望所有的學生們都能參與到這個改革浪潮中。要深刻地理解人工智慧的商業落地,而不僅僅鑽研技術本身。
阿萊克斯·彭特蘭:不要太較真於深度學習或者冗長的演算法,一切始於要解決的現實問題。不要止步於技術本身,要明白資料類型、形態和規律,關注商業流程。
感謝葉樂斐、劉諾、藍萱、張昊、陳冬傑、劉子昂、張梓煜、錢淩寒、水一方、沈雍在校譯和審閱上對本文的貢獻。
超能醫生何家榮 在 王大喜 Youtube 的最佳貼文
2021/06/23(超自然現象紀實)
一封來自他的情書
琦夢的痣的故事,是真的!
A love Letter from a missing link
/.Yellowstix
今日共時經文:
「我觀看你指頭所造的天, 並你所陳設的月亮星宿, 便說:人算甚麼,你竟顧念他! 世人算甚麼,你竟眷顧他! 你叫他比天使微小一點, 並賜他榮耀尊貴為冠冕。 你派他管理你手所造的, 使萬物,就是一切的牛羊、 田野的獸、空中的鳥、海裏的魚, 凡經行海道的,都服在他的腳下。」
詩篇 8:3-8 CUNP-神
*註:
2021/06/19生命紀實
https://youtu.be/64XQMXVP85U
真實的靈媒緝兇案。”建木又稱..時空U型金槽現象,
佚失時空全部回復現象”;
「Ancient Time Resetting」
(紀實;Documentary)
/.王大喜(Rasta Wang)
全部路徑光化後:
“本來15年的冤獄,降到900天..後來提供關鍵資訊後,成功無罪釋放,降至30天精神治療..
在這同一天..我收到一位陌生的台灣觀眾來信..
這位畫家給了我一封信:
”我有個關於精神醫生與靈媒的故事,請問可以以妳的形象作為畫本依據嗎?”
すべての経路の光化学化後:
「当初の15年間の不当な投獄は900日に短縮されました。その後、重要な情報が提供された後、彼は無罪判決を受け、30日間の精神的治療に短縮されました...
同じ日に..なじみのない台湾の聴衆から手紙を受け取りました...
画家は私に手紙をくれました:
「精神科医と超能力者についての話があります。あなたのイメージを絵の基礎として使用できますか?」
“靈媒緝兇案紀實”
「心臟溫度調節、時空金槽現象,
佚失時空全部回復術」;
「=Ancient Time Resetting Work」
(紀實;Documentary)
/.施術者 王大喜(Rasta Wang)
*=馬太福音6、啓示錄3(=Matthew 6; Revolution 3)
(目前專注於療癒及生命紀實、創作,恢復線上諮詢及捐款,麻煩名字不要打錯,如需手術請至以下官網詳閱。☀️🙏)
資訊如下
台幣帳號:
戶名:王大囍(Wang Ta Hsi)
銀行代號:808
銀行名稱:玉山銀行內湖分行
帳號:0462968127363
台幣帳號:
銀行代號:048
銀行名稱:王道銀行
帳戶名稱:王大囍(Wang Ta Hsi)
帳號:01000115473288
美元帳號:
戶名:王大囍(Wang Ta Hsi)
E.SUN Multi-Currency Deposit
存戶帳號:0015879086033
Dream Walker™: RastaWang.com
(夢行者,™,醒夢人)
超能醫生何家榮 在 引人入胜的小说御九天ptt- 第一百二十四章你帅你有理壯士十年 ... 的推薦與評價
超能醫生何家榮 繁體 其它人都是翻乜,完美無缺一場戲, ... “諾羽,你感到交通部長是否個很強的槍師,就憑這手精確點射,能決不能轟出一片天?”王峰笑着問旁的諾羽。 ... <看更多>