鐜嬮箯娑?/p>
鎽樎?瑕侊細闅忕潃鍥芥皯缁忔祹鐨勪笉鏂闀匡紝绉戝鎶€鏈殑涓嶆柇鍒涙柊锛屾垜鍥界數瀛愬晢鍔¤涓氬彂灞曞緱鍒颁簡璐ㄧ殑椋炶穬銆傛捣閲忔暟鎹畨鍏ㄥ瓨鍌ㄤ綔涓虹幇浠ｇ數瀛愬晢鍔″缓璁捐繍钀ョ鐞嗚繃绋嬬殑閲嶄腑涔嬮噸锛屾槸涓€椤瑰繀涓嶅彲缂虹殑鍏抽敭鍐呭锛岀洿鎺ュ叧绯诲埌鐢靛瓙鍟嗗姟绯荤粺杩愯鐨勭ǔ瀹氭€э紝鑳藉惁淇濋殰姣忎釜鐢ㄦ埛鍒囪韩鍒╃泭銆傚洜姝ょ幇浠ｇ數瀛愬晢鍔′紒涓氬繀椤婚珮搴﹂噸瑙嗘暟鎹畨鍏ㄥ瓨鍌ㄥ伐浣滐紝闈㈠鎸佺画澧為暱鐨勭數瀛愬晢鍔℃暟鎹绉戝閲囩敤鍒嗗竷寮忓瓨鍌ㄧ郴缁燂紝浼樺寲鏀瑰杽涓嶅悓绫诲瀷鏁版嵁瀛樺偍缁勭粐鏂瑰紡锛屽叏闈㈡彁楂樼數瀛愬晢鍔℃暟鎹畨鍏ㄥ偍瀛樿川閲忋€傝鏂囧皢杩涗竴姝ュ鐢靛瓙鍟嗗姟鏁版嵁瀛樺偍灞曞紑鍒嗘瀽涓庢帰璁ㄣ€?/p>
鍏抽敭璇嶏細鐢靛瓙鍟嗗姟聽 鏁版嵁聽 瀛樺偍
涓浘鍒嗙被鍙凤細TP333 聽 聽鏂囩尞鏍囪瘑鐮侊細A 鏂囩珷缂栧彿锛?672-3791锛?020锛?1锛坆锛?0020-02
褰撳墠鏄竴涓簰鑱旂綉鏃朵唬锛岀數瀛愬晢鍔″彂灞曟瀬澶у湴鏂逛究浜嗕汉浠殑鏃ュ父鐢熸椿锛屽悓鏃朵篃缁欏晢瀹跺甫鏉ヤ簡鏇村鍒涢€犲埄鐩婄殑鏈轰細銆傛暟鎹偍瀛樹綔涓虹數瀛愬晢鍔¤繍钀ョ鐞嗗伐浣滅殑閲嶈鍐呭锛屽彈鍒颁簡绀句細鍚勭晫浜哄＋鐨勯珮搴﹀叧娉紝鑳藉惁灏嗗鐞嗗ソ鐨勫悇椤规暟鎹畨鍏ㄥ偍瀛樺湪绯荤粺鏁版嵁搴撲腑锛屼細鐩存帴褰卞搷鍒扮郴缁熸棩甯歌繍琛岀殑绋冲畾鎬э紝骞朵负鐢ㄥ競鍦虹敤鎴锋彁渚涙洿鍔犺壇濂界殑UE浣撻獙鏈嶅姟銆備负浜嗕繚闅滄垜鍥界數瀛愬晢鍔″拰璋愬仴搴风殑鎸佺画鍙戝睍锛屽氨蹇呴』鍔犲己瀵圭數瀛愬晢鍔℃暟鎹俊鎭殑瀹夊叏瀛樺偍淇濇姢宸ヤ綔锛屽叏闈㈡彁楂樼數瀛愬晢鍔＄綉缁滄暟鎹畨鍏ㄥ偍瀛樼鐞嗘按骞炽€?/p>
1聽 鏁版嵁瀛樺偍姒傝堪
鏁版嵁瀛樺偍瀹炶川鏄寚鏁版嵁娴佸湪鍔犲伐澶勭悊杩囩▼涓骇鐢熺殑涓存椂鏂囦欢鎴栬€呭姞宸ュ鐞嗚繃绋嬩腑闇€瑕佹绱㈣幏鍙栫殑鐩稿叧淇℃伅銆傛暟鎹瓨鍌ㄦ柟寮忎笌鏁版嵁鏂囦欢缁勭粐瀛樺湪鐫€瀵嗕笉鍙垎鐨勮仈绯伙紝鍏舵牳蹇冨湪浜庡缓绔嬭褰曠殑閫昏緫涓庣墿鐞嗛『搴忛棿瀵瑰簲鐨勫叧绯伙紝鏄庣‘鏁版嵁瀛樺偍鍦颁綅锛屼互姝ゆ潵鍏呭垎鎻愬崌鏁版嵁瀛樺偍鏁堢巼銆傚湪褰撳墠璁＄畻鏈哄競鍦轰笂甯歌鐨勬暟鎹瓨鍌ㄦ柟寮忎富瑕佸寘鎷簡3绉嶏紝瀹冧滑鍒嗗埆鏄疍AS銆丯AS浠ュ強SAN锛屾暟鎹瓨鍌ㄥ簲鐢ㄦ渶涓烘樉钁楃殑鐗瑰緛灏辨槸涓嶅瓨鍦ㄧ粺涓€鏍囧噯鐨勪綋绯荤粨鏋刐1]锛岃繖3绉嶆暟鎹瓨鍌ㄦ柟寮忔槸鐩歌緟鐩告垚銆佺浉浜掑叡瀛樼殑锛岃兘澶熸渶澶х▼搴﹀湴婊¤冻甯傚満浼佷笟淇℃伅鍖栫殑搴旂敤鍙戝睍锛岀幇浠ｇ數瀛愬晢鍔′紒涓氬湪浼樺寲璁捐鏁版嵁搴撴椂锛岃缁撳悎鑷韩绯荤粺搴旂敤鐜鐗圭偣锛屽悎鐞嗘瀯寤哄嚭鏈€浣崇殑鏁版嵁搴撹繍琛岀鐞嗘ā寮忥紝鍚屾椂绉戝瀹屽杽绯荤粺鏁版嵁搴擄紝纭繚鍏惰兘澶熺鍚堟捣閲忔暟鎹殑瀹夊叏鍌ㄥ瓨鍜岄珮鏁堟绱㈤渶姹傘€?/p>
2聽 鐢靛瓙鍟嗗姟鐜鏁版嵁瀛樺偍鍒嗘瀽
鍦ㄧ幇浠ｇ數瀛愬晢鍔¤涓氫腑闃块噷宸村反浣滀负榫欏ご浼佷笟锛屽叾搴曚笅鐨勬窐瀹濈綉姣忓ぉ閮戒細浜х敓娴烽噺鐨勪俊鎭暟鎹紝杩欎簺鏁版嵁闄や簡鍖呮嫭鍚勭绾夸笂浜у搧浜ゆ槗鏁版嵁淇℃伅銆佺敤鎴蜂俊鎭€侀棬鎴风綉绔欑瓑锛岃繕娑夊強鍒版窐姹熸箹銆佺ぞ鍖虹瓑淇℃伅浜ゆ祦鍐呭锛岄渶瑕佷负涓€у寲鐢ㄦ埛鎻愪緵鍏朵粬鏁版嵁鍔熻兘浣滅敤銆傝€屽湪杩欎簺娴烽噺鏁版嵁褰撲腑锛岀粷澶у鏁伴兘鏄互鍥剧墖鍜屾枃瀛楁弿杩扮殑灏忔枃浠朵负涓伙紝澶ф枃浠剁殑瑙嗛鏁版嵁銆佺储寮曡緝灏戙€傚洜姝わ紝褰撴窐瀹濈綉鍦ㄦ瀯寤虹數瀛愬晢鍔℃捣閲忔暟鎹瓨鍌ㄦā鍨嬫椂锛岀浉鍏虫妧鏈汉鍛樿鍏呭垎鑰冭檻鍒拌В鍐充笉鍚屽ぇ灏忔枃浠剁殑楂樻晥瀛樺偍闂锛屽苟涓旇繕闇€瑙ｅ喅瀵瑰ぇ閲忓皬鏂囦欢鐨勮鍙栭棶棰榌2]锛岀‘淇濇暣涓數瀛愬晢鍔＄郴缁熻兘澶熺ǔ瀹氭寔缁殑杩愯銆備即闅忕潃鏃堕棿鐨勪笉鏂帹绉伙紝鐢靛瓙鍟嗗姟鐢ㄦ埛鐨勪笉鏂鍔狅紝鐢靛瓙鍟嗗姟浼佷笟灏嗕細闈复鐫€鏇村鏁版嵁鐨勫偍瀛樼鐞嗛棶棰橈紝浼佷笟闇€瑕佹牴鎹疄闄呮儏鍐靛悎鐞嗛噰鍙栨暟鎹瓨鍌ㄦ柟寮忥紝鎵撻€犲嚭绉戝瀹屽杽鐨勭郴缁熸暟鎹偍瀛樺簱銆?/p>
3聽 鐢靛瓙鍟嗗姟鏁版嵁瀛樺偍妯″瀷璁捐
3.1 Hadoop瀛樺偍绯荤粺
鍦ㄦ垜鍥界數瀛愬晢鍔℃暟鎹偍瀛樼鐞嗗伐浣滀腑锛孒adoop鍒嗗竷寮忕郴缁熸槸涓€绉嶅父鐢ㄧ殑浠庢暟鎹偍瀛樼郴缁燂紝鍍忕數鍟嗗競鍦轰笂鐨勬窐瀹濈綉銆佷含涓滀互鍙婄櫨搴︾瓑閮藉湪鐢ㄨ繖绉嶅偍瀛樼郴缁熴€傝櫧鐒惰Hadoop瀛樺偍绯荤粺鏈€鏃╂槸涓轰簡鎼滅储寮曟搸涓殑澶ф枃浠跺紑鍙戠殑锛屾洿鍔犻拡瀵逛簬澶ф枃浠剁殑澶勭悊鍜屽偍瀛橈紝涓嶉€傚疁鐢ㄥ湪澶ч噺灏忔枃浠剁殑澶勭悊瀛樺偍宸ヤ綔涓紝浣嗘槸鍙閫氳繃瀵瑰叾杩涜涓€瀹氱殑浼樺寲璁捐锛屽氨鍙互鏈€澶х▼搴﹀湴鍙戞尌鍑鸿绉嶆暟鎹瓨鍌ㄧ郴缁熺殑浠峰€间綔鐢紝淇冧娇鍏惰兘澶熶负鍚勭澶у皬娴烽噺鏁版嵁鎻愪緵瀹夊叏鍙潬鐨勫瓨鍌ㄦ湇鍔＄煡璇嗐€侶adoop瀛樺偍绯荤粺璁捐涓昏鍖呮嫭浜嗕袱涓儴鍒嗭紝瀹冧滑鍒嗗埆鏄疕DFS锛圚adoop鍒嗗竷寮忔枃浠剁郴缁燂級銆丠base锛圚adoop鍒嗗竷寮忔暟鎹簱锛夈€?/p>
3.2 娴烽噺鏁版嵁瀛樺偍妯″瀷璁捐
娴烽噺鏁版嵁瀛樺偍妯″瀷鐨勮璁′富瑕佸寘鎷簡3涓儴鍒嗗唴瀹癸紝鍒嗗埆鏄富鏈嶅姟鍣ㄣ€佹鏈嶅姟鍣ㄤ互鍙婂鎴风銆傚娴烽噺鏁版嵁瀛樺偍妯″瀷涓富鏈嶅姟鍣ㄧ殑鏋勬垚鏈変袱涓儴鍒嗭細涓€閮ㄥ垎鏄富鏈嶅姟鍣ㄩ儴鍒嗭紝鍙︿竴閮ㄥ垎鏄煡璇富鏈嶅姟鍣紝鍦ㄤ紭鍖栬璁℃暟鎹瓨鍌ㄦā鍨嬩富鏈嶅姟鍣ㄦ椂锛屾妧鏈汉鍛樿纭繚涓绘湇鍔″櫒鑳藉閫氳繃涓诲姩鍙戦€佷慨鏀逛俊鎭笌鏌ヨ涓绘湇鍔″櫒淇濇寔涓€鑷存€3]锛岃繖鏍疯兘澶熶繚闅滅郴缁熷唴鏁版嵁琚慨鏀瑰悗锛屾煡璇富鏈嶅姟鍣ㄨ兘澶熸湁鏁堣幏鍙栧埌瀵瑰簲鐨勬槧灏勬暟鎹慨鏀逛俊鎭?娆℃湇鍔″櫒鏄敱浼楀鐙珛鏈嶅姟鍣ㄥ熀浜庣綉缁滆繛鎺ユ瀯鎴愮殑锛屽叾鑳藉甯姪鐢靛瓙鍟嗗姟浼佷笟瀹炵幇瀵规捣閲忔暟鎹瓨鍌ㄥ姛鑳斤紝浠讳綍涓€涓鏈嶅姟鍣ㄩ兘鏄敱绯荤粺涓绘湇鍔″櫒鍒嗛厤鍐冲畾瀹㈡埛鎻愪氦鐨勬暟鎹〃鍜屾枃浠跺瓨鍌紝褰撳鎴蜂粠涓绘湇鍔″櫒涓婅幏鍙栧埌鏁版嵁浣嶇疆淇℃伅鍚庯紝灏辫兘澶熸湁鏁堜粠瀵瑰簲娆℃湇鍔″櫒涓婅幏鍙栧埌淇℃伅鏁版嵁;瀹㈡埛绔綔涓烘捣閲忔暟鎹瓨鍌ㄧ郴缁熶腑鐨勫悇绉嶅懡浠ゅ彂璧风锛屽畠鐨勪富瑕佸姛鑳戒綔鐢ㄦ槸璇诲彇銆佹洿鏂颁互鍙婂垱寤烘暟鎹瓑銆傚鎴风浼氳嚜鍔ㄦ寜鐓х敤鎴风殑涓嶅悓鍛戒护灏嗗叾绉戝鏈夋晥鍦板垎閰嶅埌瀵瑰簲鐨勬湇鍔″櫒褰撲腑锛屽€樿嫢鏄鍙栧懡浠ゅ氨浼氳嚜鍔ㄥ垎閰嶅埌鏌ヨ涓绘湇鍔″櫒锛屽€樿嫢鏄叾浠栭€昏緫鍛戒护灏变細鑷姩鍒嗛厤鍒颁富鏈嶅姟鍣ㄧ銆傜幇浠ｇ數瀛愬晢鍔′紒涓氳鎯冲疄鐜板娴烽噺鏁版嵁鐨勫揩閫熸绱㈣鍙栵紝闄や簡瑕佸畨鎺掍笓涓氭妧鏈汉鍛樿缃笓闂ㄦ暟鎹煡璇㈤儴闂ㄥ锛岃繕蹇呴』鍦ㄥ瓨鍌ㄦā鍨嬪綋涓紭鍖栬璁′竴涓叏灞€鐨勪袱灞傛鍒嗗竷寮忕紦瀛樼郴缁燂紝璇ュ垎甯冨紡缂撳瓨绯荤粺璁捐鍙互閲囩敤甯傚満涓婂簲鐢ㄨ緝涓哄箍娉涚殑寮€婧怣emcached绯荤粺鏉ュ畬鎴愩€傜數瀛愬晢鍔＄郴缁熷唴鐨勪富鏈嶅姟鍣ㄤ箣闂淬€佹鏈嶅姟鍣ㄤ箣闂寸殑閫氫俊鍗忚閮芥槸鍩轰簬TCP/IP鍗忚鐨勩€傜浉鍏冲伐浣滀汉鍛樺彲浠ュ湪Hadoop瀛樺偍绯荤粺涓悎鐞嗚璁PC浠ユ瀹炵幇涓や釜鍗忚銆?/p>
3.3 闆诲瓙鍟嗗姟鏁版嵁缁勭粐鏂瑰紡
鍩轰簬鐜颁唬鐢靛瓙鍟嗗姟鍙戝睍鐜涓嬶紝娴烽噺鏁版嵁鏈夌潃澶氱褰㈠紡锛屾瘮濡傜粨鏋勫寲鏁版嵁涓庨潪缁撴瀯鍖栨暟鎹€佽秴濯掍綋鏁版嵁绛夈€傚叾涓粨鏋勫寲鏁版嵁涓昏鎸囩殑鏄枃鏈暟鎹€侀潪缁撴瀯鍖栨暟鎹寚鐨勬槸鍥剧墖瑙嗛銆佽秴濯掍綋鏁版嵁鎸囩殑鏄枃鏈俊鎭拰澶氬獟浣撲俊鎭殑缁撳悎浜х墿銆傚湪Hbase鍒嗗竷寮忔暟鎹簱鎼缓杩囩▼涓紝鎵€鏈夊瓨鍌ㄦ暟鎹兘浼氳榛樿鎴愬瓧绗︿覆绫诲瀷锛岄拡瀵逛簬姝わ紝宸ヤ綔浜哄憳鍦ㄥ鐞嗙粨鏋勫寲鏂囨湰鏁版嵁鏃堕渶瑕侀噰鐢℉base鍒嗗竷寮忔暟鎹簱绉戝瀛樺偍瀵瑰簲鐨勫瓧绗︿覆[4];瀵逛簬闈炵粨鏋勫寲鏁版嵁鍥剧墖鍜岃棰戞暟鎹椂锛屽伐浣滀汉鍛橀渶瑕佸皢鍏朵互鏂囦欢褰㈠紡楂樻晥瀛樺偍鍦ㄥ搴旂殑HDFS涓紝鍚屾椂杩橀渶鍦℉base鏈夋晥璁剧疆瀵瑰簲鐨勬弿杩板拰鍦板潃淇℃伅琛?鑰屽浜庝互HTML琛ㄧず鐨勮秴濯掍綋鏁版嵁锛屽伐浣滀汉鍛橀渶瑕佸皢HTML鏁版嵁鏈夋晥杞崲鎴愮浉瀵瑰簲鐨刋ML鏁版嵁锛岃繖鏍峰氨鑳藉灏嗗叾鏈夋晥瀛樺偍鍦℉base鍒嗗竷寮忔暟鎹簱涓紝杞崲鍚庣殑XML鏁版嵁鏇村姞鏈夊姪浜庢弿杩颁俊鎭唴瀹圭殑鏂逛究妫€绱㈡煡璇€傜數瀛愬晢鍔′紒涓氬湪鏁版嵁瀛樺偍绠＄悊宸ヤ綔涓紝杩樺彲浠ユ牴鎹笉鍚岀被鍨嬫暟鎹俊鎭紝閲囧彇涓嶅悓娆℃湇鍔″櫒瀛樺偍鐨勬柟寮忋€傛瘮濡傦紝宸ヤ綔浜哄憳閫氳繃寤虹珛涓撻棬鐨勬枃鏈鏈嶅姟鍣ㄣ€佸浘鐗囪棰戞鏈嶅姟鍣ㄧ瓑銆?/p>
4聽 缁撹
缁间笂鎵€杩帮紝鐜颁唬鐢靛瓙鍟嗗姟浼佷笟瑕侀珮搴﹂噸瑙嗘捣閲忔暟鎹畨鍏ㄩ珮鏁堝瓨鍌ㄧ鐞嗗伐浣滐紝閫氳繃浼樺寲璁捐娴烽噺鏁版嵁瀛樺偍妯″瀷锛屾湁鏁堝疄鐜板娴烽噺鐢靛瓙鍟嗗姟鏁版嵁鐨勫鐞嗐€傚熀浜庣數瀛愬晢鍔″彂灞曠幆澧冧笅锛屼紒涓氬彲浠ラ€氳繃璁捐搴旂敤Hadoop绯荤粺鐨勫瓨鍌ㄦ灦鏋凥base鍜孒DFS锛屽悓鏃惰繕闇€娉ㄩ噸瑙ｅ喅瀛樺偍绯荤粺涓殑灏忔枃浠跺鐞嗛棶棰橈紝鍚堢悊澧炲姞鍩轰簬Memcached鐨勫垎甯冨紡缂撳瓨绯荤粺锛屾牴鎹笉鍚岀被鍨嬫暟鎹悎鐞嗛噰鍙栧搴旂殑瀛樺偍缁勭粐鏂瑰紡銆?/p>
鍙傝€冩枃鐚?/p>
[1] 鏉庡厠鐒讹紝鍒樹笢鑻忥紝閭撳獩.鐢靛瓙鍟嗗姟鐜涓嬫捣閲忔暟鎹瓨鍌ㄦā鍨媅J].鎯呮姤鏉傚織锛?016锛?锛夛細54-57.
[2] 琚佸缓鍐?鐢靛瓙鍟嗗姟娴烽噺鏁版嵁鐨勮幏鍙栥€佸瓨鍌ㄥ強妫€绱J].璁＄畻鏈虹爺绌讹紝2017锛?锛夛細142-143.
[3] 寰愬浗鍗?鏁版嵁绠＄悊锛氱數瀛愬晢鍔℃暟鎹殑瀛樺偍闂[J].閲戣瀺淇℃伅鍖栬鍧涳紝2018锛?1锛夛細35-37.
[4] 绔犱附鑺?浜戣绠楃幆澧冧笅鐨勭數瀛愬晢鍔℃暟鎹鐞嗘ā寮忕爺绌禰J].鐢佃剳鐭ヨ瘑涓庢妧鏈紝2017锛?锛夛細81-83.
