每次演唱會搶票,造成「系統大當機」他們是用什麼電腦系統呢?

有人知道購票系統是用什麼電腦或系統,
為什麼到了大家瘋狂訂購時卻系統會當機,

這問題要如何改善?跟便利商店的購票ibon也有關聯嗎?

為什麼淘寶網在光棍節大家瘋狂購物時不會系統當機,

購買票的系統會呢?

純粹好奇是什麼電腦在運作,怎麼運作。
說不定是租用虛擬主機,
也就是和其他架網站的用戶共用同一台伺服器。
這和用甚麼電腦和系統沒關
是和資料庫設計有關
資料庫管理系統(DBMS)在寫入/異動資料的過程中,
為保證交易(transaction)是正確可靠的,須具備的四個特性:
原子性(atomicity,或稱不可分割性)、一致性(consistency)、
隔離性(isolation,又稱獨立性)、持久性(durability)。
淘寶採取的方式是放棄一致性來換取系統的擴充性
很多個資料庫子系統同時運作
一段時間後做一次Eventual consistency
如此就會產生多賣的情況
如果賣家真的出不了貨
淘寶就送妳個50塊人民幣抵用卷
但是演唱會門票位置是固定的
不太可能說去犧牲掉一致性
除非你能接受買了但沒票
公司補償就送你200元7-11禮卷
當然你會說那為什麼不用好一點的server
規格好的Server很貴的
江蕙演唱會不是天天有
只要他的機子能負擔90%的狀況
是正常人都不會去升級機子
大家罵歸罵票還是可以賣完
當然最好的方式最好是能丟到AWS
用多少算多少
沒辦法台灣的hicloud太廢了

月薪22元 wrote:
有人知道購票系統是用...(恕刪)

顯然是台灣獨步世界專屬黑心餿水主機!
資料庫升級花費非常恐怖




硬體還算小咖, 現在x86 server就算是DL980或兩台並在一起的DL580
全插到滿了不起也才兩三千萬..

Storage就算用全SSD或硬體式全Flash
了不起也是兩千萬..




貴是貴在軟體, 每個core要23750美金左右 (oracle database enterprise list price(47500) * core factor (0.5))
大約七十萬台幣...
現在 xeon E7 V2 最少也有6核 , 找個中階的12核 , 8顆12核= 96核
96 x 70萬 = 6720萬

光軟硬體就要破億了...
還沒算上MA的錢, 備份備援的錢, 網路設備, 還有migration的成本哩...
月薪22元 wrote:
為什麼淘寶網在光棍節大家瘋狂購物時不會系統當機,...(恕刪)


看奇蹟的背後:淘寶複雜在哪裡?

雙11無疑是淘寶系(淘寶+天貓)的獨舞,支付寶總銷售額達到 191 億元。這次奇蹟的背後,是淘寶成千上萬頂尖工程師每天努力的結果,那麼他們每天都在努力什麼?淘寶的複雜在哪裡?為什麼這麼恐怖的訪問量,淘寶還是能撐得住?


淘寶帝國

阿里集團 11 月 12 日凌晨確認,11.11購物狂歡節的支付寶總銷售額達到 191 億元,是去年的三倍多,其中僅天貓就達成了 132 億元,淘寶則完成了 59 億元。

一個讓人瞠目的結果:如果將百元大鈔摞起來,191億元可高達1.9萬米,相當於世界最高建築迪拜塔(828米)的 23 倍,用常用點鈔機需要耗費 133 天。
另一個讓人瞠目的結果則是:「光棍節」當日天貓湧入了2.13億網民。

為了阻擊天貓光棍節促銷,競爭對手紛紛出擊,京東推出了沙漠風暴行動,蘇寧推出了「3天3 夜超級 0 元購」,形成「圍攻天貓」之勢。天貓最終成為贏家,儘管京東、易購尚未公佈結果,但 191 億元如一座高峰,競爭對手只能仰望。

從技術看淘寶

這次奇蹟的背後,是淘寶成千上萬頂尖工程師每天努力的結果,那麼他們每天都在努力什麼?淘寶的複雜在哪裡?為什麼這麼恐怖的訪問量,淘寶還是能撐得住?

先說你看到的頁面上,最重要的幾個:

搜索商品

這個功能,如果你有幾千條商品,完全可以用select * from tableXX where title like %XX%這樣的操作來搞定。但是——當你有10,000,000,000(一百億)條商品的時候,任何一個數據庫都無法存放了,請問你怎麼搜索?

這裡需要用到分佈式的數據存儲方案,另外這個搜索也不可能直接從數據庫裡來取數據,必然要用到搜索引擎(簡單來說搜索引擎更快)。好,能搜出商品了,是否大功告成可以啵一個了呢?早著呢,誰家的商品出現在第一頁?這裡需要用到巨複雜的排序算法。要是再根據你的購買行為做一些個性化的推薦——這夠一幫牛叉的算法工程師奮鬥終生了。

商品詳情

就是搜索完畢,看到你感興趣的,點擊查看商品的頁面,這個頁面有商品的屬性、詳細描述、評價、賣家信息等等,這個頁面的每天展示次數在30億以上。同樣的道理,如果你做一個網站每天有10個人訪問,你絲毫感覺不到服務器的壓力,但是30億,要解決的問題就多了去了。

首先,這些請求不能直接壓到數據庫上,任何單機或分佈式的數據庫,承受30億每天的壓力,都將崩潰到完全沒有幸福感,這種情況下要用到的技術就是大規模的分佈式緩存,所有的賣家信息、評價信息、商品描述都是從緩存裡面來取到的,甚至更加極致的一點「商品的瀏覽量」這個信息,每打開頁面一次都要刷新,你猜能夠從緩存裡面來取嗎?淘寶做到了,整個商品的詳情都在緩存裡面。

商品圖片

一個商品有5個圖片,商品描述裡面有更多圖片,你猜淘寶有多少張圖片要存儲?100億以上。這麼多圖片要是在你的硬盤裡面,你怎麼去查找其中的一張?要是你的同學想拷貝你的圖片,你需要他準備多少塊硬盤?你需要配置多少大的帶寬?你們的網卡是否能夠承受?你需要多長時間拷貝給他?這樣的規模,很不幸市面上已經沒有任何商業的解決方案,最終必須自己來開發一套存儲系統,如果你聽說過google的GFS,淘寶跟他類似,叫TFS。順便說一下,騰訊也有這樣的一套,也叫TFS。

廣告系統

淘寶上有很多廣告,什麼,你不知道?那說明淘寶的廣告做的還不錯,居然很多人不認為它是廣告,賣家怎麼出價去買淘寶的廣告位?廣告怎麼展示?怎麼查看廣告效果?這又是一套算法精奇的系統。

BOSS系統

淘寶的工作人員怎麼去管理這麼龐大的一個系統,例如某時刻突然宣佈某位作家的作品全部從淘寶消失,從數據庫到搜索引擎到廣告系統,裡面的相關數據在幾分鐘內全部消失,這又需要一個牛叉的後台支撐系統。

運維體系

支持這麼龐大的一個網站,你猜需要多少台服務器?幾千台?那是零頭。這麼多服務器,上面部署什麼操作系統,操作系統的內核能否優化?Java虛擬機能否優化?通信模塊有沒有搾取性能的空間?軟件怎麼部署上去?出了問題怎麼回滾?你裝過操作系統吧,優化過吧,被360坑過沒,崩潰過沒?這裡面又有很多門道。

除了上面提到的這些,還有很多很多需要做的技術,比如網站安全等等,當然並不是這些東西有多麼高不可攀,任何複雜的龐大的東西都是從小到大做起來的,裡面需要牛叉到不行的大犇,也需要充滿好奇心的菜鳥。

當用戶、數據和系統規模上到一個程度之後,所有曾經可以忽視的問題都會變得必須用從來不可想像的精力和技術去解決。問題規模大到一定級別,任何微小的改進都能帶來巨大的回報。但是這樣的改進往往不是那麼容易做到,所以需要大量頂尖高手來開發。

原文鏈接:http://www.zhihu.com/question/20303645

揭秘在淘寶買東西背後的複雜技術

對於淘寶網而言,2012年的「雙十一」是一個交易里程碑,是一個購物狂歡日,在這個「神棍節」裡,淘寶創下191億元的交易額,在交易的背後隱藏著哪些複雜技術?


你發現快要過年了,於是想給你的女朋友買一件毛衣,你打開了www.taobao.com。這時你的瀏覽器首先查詢DNS服務器,將www.taobao.com轉換成ip地址。不過首先你會發現,你在不同的地區或者不同的網絡(電信、聯通、移動)的情況下,轉換後的IP地址很可能是 不一樣的,這首先涉及到負載均衡的第一步,通過DNS解析域名時將你的訪問分配到不同的入口,同時儘可能保證你所訪問的入口是所有入口中可能較快的一個 (這和後文的CDN不一樣)。

你通過這個入口成功的訪問了www.taobao.com的實際的入口IP地址。這時你產生了一個PV,即Page View,頁面訪問。每日每個網站的總PV量是形容一個網站規模的重要指標。淘寶網全網在平日(非促銷期間)的PV大概是16-25億之間。同時作為一個獨立的用戶,你這次訪問淘寶網的所有頁面,均算作一個UV(Unique Visitor用戶訪問)。最近臭名昭著的12306.cn的日PV量最高峰在10億左右,而UV量卻遠小於淘寶網十餘倍,這其中的原因我相信大家都會知道。

因為同一時刻訪問www.taobao.com的人數過於巨大,所以即便是生成淘寶首頁頁面的服務器,也不可能僅有一台。僅用於生成www.taobao.com首頁的服務器就可能有成百上千台,那麼你的一次訪問時生成頁面給你看的任務便會被分配給其中一台服務器完成。這個過程要保證公正、公平、平均(暨這成百上千台服務器每台負擔的用戶數要差不多),這一很複雜的過程是由幾個系統配合完成,其中最關鍵的便是LVS(Linux Virtual Server),世界上最流行的負載均衡系統之一,正是由目前在淘寶網供職的章文嵩博士開發的。

經過一系列複雜的邏輯運算和數據處理,用於這次給你看的淘寶網首頁的HTML內容便生成成功了。對web前端稍微有點常識的童鞋都應該知道,下一步瀏覽器會去加載頁面中用到的css、js、圖片、腳本和資源文件。但是可能相對較少的同學才會知道,你的瀏覽器在同一個域名下並發加載的資源數量是有限制的,例如IE6-7是兩個,IE8是6個,Chrome各版本不大一樣,一般是4-6個。我剛剛看了一下,我訪問淘寶網首頁需要加載126個資源,那麼如此小的並發連接數自然會加載很久。所以前端開發人員往往會將上述這些資源文件分佈在好多個域名下,變相的繞過瀏覽器的這個限制,同時也為下文的CDN工作做準備。

據不可靠消息,在雙十一當天高峰,淘寶的訪問流量最巔峰達到871GB/S。這個數字意味著需要178萬個4Mb帶寬的家庭寬帶才能負擔的起,也完全有能力拖垮一個中小城市的全部互聯網帶寬。那麼顯然,這些訪問流量不可能集中在一起。並且大家都知道,不同地區不同網絡(電信、聯通等)之間互訪會非常緩慢,但是你卻發現很少發現淘寶網訪問緩慢。這便是CDN(Content Delivery Network),即內容分發網絡的作用。淘寶在全國各地建立了數十上百個CDN節點,利用一些手段保證你訪問的(這裡主要指js、css、圖片等)地方是離你最近的CDN節點,這樣便保證了大流量分散在各地訪問的加速節點上。

這便出現了一個問題,那就是假若一個賣家發佈了一個新的寶貝,上傳了幾張新的寶貝圖片,那麼淘寶網如何保證全國各地的CDN節點中都會同步的存在這幾張圖 片供用戶使用呢?這裡邊就涉及到了大量的內容分發與同步的相關技術。淘寶開發了分佈式文件系統TFS(Taobao File System)來處理這類問題。

好了,這時你終於加載完了淘寶首頁,那麼你習慣性的在首頁搜索框中輸入了'毛衣'二字並敲回車,這時你又產生了一個PV,然後,淘寶網的主搜索系統便開始為你服務了。它首先對你輸入的內容基於一個分詞庫進行分詞操作。眾所周知,英文是以詞為單位的,詞和詞之間是靠空格隔開,而中文是以字為單位,句子中所有的字連起來才能描述一個意思。例如,英文句子I am a student,用中文則為:「我是一個學生」。計算機可以很簡單通過空格知道student是一個單詞,但是不能很容易明白「學」、「生」兩個字合起來才表示一個詞。把中文的漢字序列切分成有意義的詞,就是中文分詞,有些人也稱為切詞。我是一個學生,分詞的結果是:我 是 一個 學生。

進行分詞之後,還需要根據你輸入的搜索詞進行你的購物意圖分析。用戶進行搜索時常常有如下幾類意圖:

(1)瀏覽型:沒有明確的購物對象和意圖,邊看邊買,用戶比較隨意和感性。Query例如:」2010年10大香水排行」,」2010年流行毛衣」, 「zippo有多少種類?」;

(2)查詢型:有一定的購物意圖,體現在對屬性的要求上。Query例如:」適合老人用的手機」,」500元 手錶」;

(3)對比型:已經縮小了購物意圖,具體到了某幾個產品。Query例如:」諾基亞E71 E63〞,」akg k450 px200〞;

(4)確定型:已經做了基本決定,重點考察某個對象。Query例如:」諾基亞N97〞,」IBM T60〞。通過對你的購物意圖的分析,主搜索會呈現出完全不同的結果來。

之後的數個步驟後,主搜索系統便根據上述以及更多複雜的條件列出了搜索結果,這一切是由一千多台搜索服務器完成。然後你開始逐一點擊瀏覽搜索出的寶貝。你開始查看寶貝詳情頁面。經常網購的親們會發現,當你買過了一個寶貝之後,即便是商家多次修改了寶貝詳情頁,你仍然能夠通過『已買到的寶貝』查看當時的快照。這是為了防止商家對在商品詳情中承諾過的東西賴賬不認。那麼顯然,對於每年數十上百億比交易的商品詳情快照進行保存和快速調用不是一個簡單的事情。這 其中又涉及到數套系統的共同協作,其中較為重要的是Tair,淘寶自行研發的分佈式KV存儲方案。

然後無論你是否真正進行了交易,你的這些訪問行為便忠實的被系統記錄下來,用於後續的業務邏輯和數據分析。這些記錄中訪問日誌記錄便是最重要的記錄之一, 但是前邊我們得知,這些訪問是分佈在各個地區很多不同的服務器上的,並且由於用戶眾多,這些日誌記錄都非常龐大,達到TB級別非常正常。那麼為了快速及時 傳輸同步這些日誌數據,淘寶研發了TimeTunnel,用於進行實時的數據傳輸,交給後端系統進行計算報表等操作。

你的瀏覽數據、交易數據以及其它很多很多的數據記錄均會被保留下來。使得淘寶存儲的歷史數據輕而易舉的便達到了十數甚至更多個 PB(1PB=1024TB=1048576GB)。如此巨大的數據量經過淘寶系統1:120的極限壓縮存儲在淘寶的數據倉庫中。並且通過一個叫做云梯的,由2000多台服務器組成的超大規模數據系統不斷的進行分析和挖掘。

從這些數據中淘寶能夠知道小到你是誰,你喜歡什麼,你的孩子幾歲了,你是否在談戀愛,喜歡玩魔獸世界的人喜歡什麼樣的飲料等,大到各行各業的零售情況、各類商品的興衰消亡等等海量的信息。

說了這麼多,其實也只是敘述了淘寶上正在運行的成千上萬個系統中的寥寥幾個。即便是你僅僅訪問一次淘寶的首頁,所涉及到的技術和系統規模都是你完全無法想 象的,是淘寶2000多名頂級的工程師們的心血結晶,其中甚至包括長江學者、國家科學技術最高獎得主等眾多大牛。同樣,百度、騰訊等的業務系統也絕不比淘寶簡單。你需要知道的是,你每天使用的互聯網產品,看似簡單易用,背後卻凝聚著難以想像的智慧與勞動。


「雙十一」背後的隱形戰場:電商後台IT技術大檢閱

熱鬧的「雙十一」電商戰背後,另一個戰場不可忽視:IT技術。作為這場戰役的作戰司令部,天貓商城「雙十一」指揮中心的一位內部人士向記者坦言,此次「雙十一」最為關鍵的備戰內容之一就是技術。


作為這場戰役的作戰司令部,天貓商城「雙十一」指揮中心的一位內部人士向記者坦言,此次「雙十一」最為關鍵的備戰內容之一就是技術。

在電商後台技術這塊隱形戰場中,相較於京東、蘇寧易購等對手,互聯網出身的阿里巴巴在IT方面的優勢更為明顯。不過,京東商城目前正迎頭追趕,而蘇寧、國美等對手反應尚有些遲鈍。

天貓預備700多種技術預案

「雙十一」當日,支付寶總銷售額高達191億元。191億元的背後是海量數據的井噴:天貓數據顯示,11日零時開始的第一分鐘,有超過1000萬人湧入天貓平台,該數據是去年同期342萬人的近三倍。11月11日當日,天貓平台共湧入了2.13億網民。支付寶的數據顯示,「雙十一」訂單量為1億零580萬筆,支付寶核心數據庫集群處理了41億個事務,執行285億次SQL數據語言,訪問1931億次內存數據塊。核心MySQL(開源數據庫管理系統)集群一天支持了20億個事務。

天貓一位技術人員向記者介紹,「為了應對 『雙十一』,我們準備了700多種技術預案,甚至包括了機房停電等。」

在阿里巴巴旗下電商平台業務量增長的同時,其IT技術平台一直在跟進。

以淘寶為例,為了在軟硬件投入上保持性能與成本之間的平衡,經過多年的籌劃,2012年5月7日,淘寶開始實行去IOE運動 (I=IBM小型機,O=Oracle數據庫,E=EMC2,是數據庫的存儲設備)。

「當年淘寶是Oracle的第一大客戶,去IOE並啟動阿里云戰略後,淘寶推崇完全自主研發和大量使用開源軟件定製。」EasyHadoop開源社區創始人童小軍向記者介紹說,這一舉動在當時引起業內不小的轟動,數據庫王國的老大Oracle在中國遇到第一個滑鐵盧。

淘寶為什麼要這麼做?淘寶核心系統數據庫組高級技術專家余鋒在接受媒體採訪時表示,「從高性能與成本角度來說,阿里集團擁有軟件的定製能力,硬件是根據軟件的特點進行採購的,做一些定製化的東西。我們需要高性能,但成本需要控制在合理的範圍內,不能太過分。」

童小軍則認為,「去IOE後,不容易被供應商鎖定。要知道IBM、Oracle、EMC的服務費是很貴的,被他們鎖定了,就意味著長期的服務成本,去IOE其實是為了擁有更多的自主權。」

京東追趕 「蘇美」尚未覺醒

互聯網出身的阿里巴巴,技術本身就是其強項之一。目前,阿里云平台是未來阿里巴巴的重點發展對象。相較而言,阿里巴巴的競爭對手,在IT技術平台的比拚上略顯遲鈍。

以此前的「8·15大戰」為例,在那場戰役中,京東商城和蘇寧易購在活動開始不久後皆因流量暴增而不同程度受到影響,蘇寧易購網站頁面更是屢次出現無法訪問和錯誤。

童小軍表示,京東商城目前已認識到技術比拚的重要性,正迎頭彌補短板。他指出,京東商城推出了自己的云戰略,選擇自主研發,在向阿里巴巴的技術路線靠攏。

記者注意到,2012年1月31日,京東商城宣佈設立CTO(首席技術官)職位,並邀請原Oracle全球副總裁王亞卿擔任公司首任CTO。

王亞卿後在公開場合表示,決定未來10年互聯網零售企業命運的因素,將不再只是渠道的優劣、價格的高低和服務的好壞。底層技術的可靠性、擴展性、穩定性以及對新技術的研發、吸收和利用將構成京東商城新的成長動力和競爭力。

與迎頭追趕的京東商城相比,傳統渠道出身於的蘇寧和國美,目前似乎還未覺醒。

童小軍表示,目前來看,蘇寧易購太過於依賴IBM等大廠商,缺少自主研發能力,這樣做雖然技術能快速上路,不需要長時間積累,但問題在於平台改造週期過長。

電子商務觀察員魯振旺認為,國美技術體系採用戴爾也存在一定的問題,其IT技術平台能力距離京東商城相差很遠,跟阿里巴巴相比更是存在天壤之別。

「由於其他電商比阿里系更保守,很難找到他們的技術材料。」童小軍表示,不管如何選擇技術策略,背後都是使用開源或閉源,自主開發或外包開發的競爭思路,也是PC集群和IOE的競爭。

「從全球網絡領域大環境來看,數據中心、硬軟件設施、應用系統能做到行業領先的,自主開發能力都是很強的,大家需要依賴這種能力來大規模降低成本和提高響應速度。」童小軍表示,未來,電商的較量其實也是IT技術的較量。
早上看新聞說寬宏只用了30台伺服器去應付定票
而阿妹的演唱會則用上了上千台

是不知道怎樣的伺服器啦!
但很明顯寬宏肯定就是拿爛設備在玩啦!
寬宏會沒錢嗎?玩活動這麼多年各種國家大型展演或是國外的演出
怎麼可能沒錢,不原意花而已
台灣老闆認為設計師不值錢,所以他們產品設計就不值錢
原價屋只要有廠商清庫存破盤價
網站也會當機
根據新聞媒體報導

寬宏把主機放在速博的機房裡
月薪22元 wrote:
有人知道購票系統是用...(恕刪)

隨風浮雲 wrote:
看奇蹟的背後:淘寶複...(恕刪)


握曹,真的複雜...
文章分享
評分
評分
複製連結

今日熱門文章 網友點擊推薦!