¡¡¡¡¡°È¥ÄĶù¡±ÊÇÒ»¸öÂÃÓÎËÑË÷ÒýÇæÖÐÎÄÔÚÏßÂÃÐÐÍøÕ¾£¬½¨Á¢ÓÚ2005Äê2Ô£¬×ܲ¿ÔÚ±±¾©¡£×÷Ϊһ¼ÒÁ¢ÒìµÄ¼¼Êõ¹«Ë¾£¬È¥ÄĶùÍøÖÂÁ¦ÓÚΪÖйúÂÃÓÎÏû·ÑÕßÌṩȫÃ桢׼ȷµÄÂÃÓÎÐÅϢЧÀÍ£¬Ôö½øÖйúÂÃÓÎÐÐÒµÔÚÏß»¯Éú³¤¡¢Òƶ¯»¯Éú³¤¡£È¥ÄĶùÍøΪÏû·ÑÕßÌṩ»úƱ¡¢¾Æµê¡¢¶È¼Ù²úÆ·µÄʵʱËÑË÷£¬²¢ÌṩÂÃÓβúÆ·ÍŹºÒÔ¼°ÆäËûÂÃÓÎÐÅϢЧÀÍ£¬ÎªÂÃÓÎÐÐÒµÏàÖúͬ°éÌṩÔÚÏß¼¼Êõ¡¢Òƶ¯¼¼Êõ½â¾ö¼Æ»®¡£
¡¡¡¡¿Í»§ÐèÇó
¡¡¡¡¡°È¥ÄĶù¡±ÎªÂÃÓÎÕßÌṩº£ÄÚÍâ»úƱ¡¢¾Æµê¡¢¶È¼ÙºÍǩ֤ЧÀ͵ÄÉî¶ÈËÑË÷£¬×ÊÖúÖйúÂÃÓÎÕß×ö³ö¸üºÃµÄÂÃÐÐÑ¡Ôñ¡£Æ¾½èÆä±ã½Ý¡¢ÈËÐÔÇÒÏȽøµÄËÑË÷¼¼Êõ£¬¡°È¥ÄĶù¡±¶Ô»¥ÁªÍøÉϵĻúƱ¡¢¾Æµê¡¢¶È¼ÙºÍÇ©Ö¤µÈÐÅÏ¢½øÐÐÕûºÏ£¬ÎªÓû§ÌṩʵʱµÄÂÃÓβúÆ·¼Û¸ñÅÌÎʺÍÐÅÏ¢±È½ÏЧÀÍ¡£
¡¡¡¡¡°È¥ÄĶù¡±»ùÓÚ´óÊý¾ÝΪÓû§ÊµÏÖ¾«×¼ËÑË÷£¬ÈÃÐÅÏ¢¸ü¾«×¼Á¬½Óµ½ÈË£¬ÔÚ´ó¹æÄ£¼¯ÈºÉÏÌṩMPI¡¢BSP¡¢MapReduce¡¢SparkµÈ¶àÖÖÅÌËãÄ£ÐÍ£¬ÊµÏÖ´ó¹æÄ£»ù´¡Í³¼Æ¡¢·ÖÀà¡¢¾ÛÀà¡¢¾ØÕóÆÊÎö¡¢Í¼Ëã·¨µÈһϵÁÐËã·¨£¬Í¨¹ýÕâÖÖ·½·¨¹¹½¨´óÊý¾ÝÆÊÎöƽ̨¡£ÀûÓÃonline learning¼¼Êõ£¬¸ïлúеѧϰËã·¨µÄ¹æÄ£ÒÔ¼°ÐÔÄÜ£¬¶ÔÍøÕ¾½øÐÐÄÚÈÝ»ùÒòÆÊÎö£¬¶ÔÓû§½øÐкã¾ÃÐËȤµã¡¢¶ÌÆÚÐËȤµãµÈµÄ»ÏñÆÊÎö£¬×ÊÖúÓû§¸ü¿ì»ñÈ¡ÓÐÐËȤµÄÐÅÏ¢¡£
¡¡¡¡ÓÉÓÚÒµÎñÉú³¤£¬ÐèÒª½¨Á¢hadoop´óÊý¾Ý¼¯Èº¡£´óÊý¾Ý¼¯Èº²î±ðÀàÐ͵ĽڵãÓвî±ðµÄÅÌËãÐÔÄÜ¡¢´æ´¢ÈÝÁ¿¡¢IOÐÔÄÜÐèÇó£¬Ð§ÀÍÆ÷Ó²¼þÐèÒª¶ÔHadoopÊÂÇ鸺ÔؽøÐÐÓÅ»¯Éè¼Æ¡£
¡¡¡¡½â¾ö¼Æ»®£ºSA5112M4+SA5212M4µÄ×éºÏ¼Æ»®
¡¡¡¡
¡¡¡¡È¥ÄÄ1
¡¡¡¡Hadoop¼¯ÈºÖ÷Òª°üÀ¨Á½Àà½Úµã£ºMasterºÍSlave½Úµã¡£²î±ð½Úµã£¬½ÓÄÉSA5112M4+SA5212M4ЧÀÍÆ÷×éºÏµÄ·½·¨£¬ÊÊÓ¦²î±ðµÄÊÂÇ鸺ÔØÒÔ¼°´æ´¢ÈÝÁ¿µÄÐèÇó¡£
¡¡¡¡½ÓÄÉInspur SA5112M4ЧÀÍÆ÷ΪÓû§ÌṩhadoopµÄMaster½Úµã¼Æ»®£¬Master½Úµã°üÀ¨Jobtracker¡¢NamenodeµÈ¡£ Éè¼ÆÕë¶ÔHadoopÊÂÇ鸺ÔؽøÐÐÓÅ»¯µÄƽºâ¼Ü¹¹£º 2¿ÅIntel Xeon E5-2630v3´¦ÀíÆ÷£¬ÒÔ¼°128GÄÚ´æÂú×ãÖÎÀí½Úµã¸ßÐÔÄÜÐèÇó¡£ÆäÖÐÒÔNameNodeΪÀý£¬NameNode´æ´¢ÁËËùÓÐÂþÑÜʽÎļþϵͳµÄÔªÊý¾Ý£¬ÆäÖаüÀ¨Îļþ¡¢Ä¿Â¼½á¹¹ÒÔ¼°ÄÚ´æÖеķֿé·ÖÅÉ¡£Ã¿¸öÂþÑÜʽÎļþϵͳ·Ö¿éÔÚNameNodeµÄÄÚ´æÖоÞϸԼΪ250×Ö½Ú£¬ÁíÍâ¼ÓÉÏÎļþºÍĿ¼ËùÐèµÄ250×Ö½Ú¡£Æ¾¾Ý64MµÄÂþÑÜʽÎļþϵͳ·Ö¿é¾Þϸ£¬Í¬Ê±¸±±¾Òò×ÓΪ3£¬64Mʵ¼ÊÊý¾ÝÐèÒª1500×Ö½ÚÄÚ´æ¿Õ¼ä¡£Æ¾¾ÝÓû§Çé¿ö£¬haddop¼¯ÈºÓÐPB¼¶Îļþ£¬ÇÒÿ¸öÎļþÖÁÉÙÓÉ1¸ö·Ö¿é×é³É£¬Òò´ËΪNameNodeÅäÖÃ128GÄÚ´æÒÔÂú×ãÀ©Õ¹ÐèÒª¡£³ý´ËÖ®Í⣬½ÓÄÉ2GB»º´æµÄ¸ßËÙÂÊraid¿¨¡¢Ë«600GÓ²ÅÌ×öRaid1£¬ÎªÏµÍ³Ìṩ¸ß¿É¿¿ÐÔ¡£
¡¡¡¡½ÓÄÉInspur SA5212M4ЧÀÍÆ÷ΪÓû§Ìṩslave½Úµã£¬ÆäÖÐÖ÷Òª°üÀ¨TaskTrackerºÍDataNode¡£Ð§ÀÍÆ÷½ÓÄÉ2¿ÅIntel Xeon 2620V2´¦ÀíÆ÷£¬128GÄڴ棬°ü¹ÜÊý¾Ý²¢Ðлá¼ûЧÂÊ£»ÅäÖÃ2¿é600G SASÅÌ×öRaid1ΪϵͳÅÌ£¬12¿é3T SASÓ²ÅÌÌṩ´óÈÝÁ¿Êý¾Ý¿Õ¼ä£¬¶øIOPSÐÔÄÜÓÉhadoop¼Ü¹¹×Ô¼ºÅâ³¥¡£
¡¡¡¡pgµç×Ó¹ÙÍøÊÇÖйú»¥ÁªÍøÊг¡×î´óµÄЧÀÍÆ÷¹©Ó¦ÉÌ£¬ÓÐ×Å12ÄêÉî¸û»¥ÁªÍøµÄ¸»ºñ¾Ñ飬×îеÄGrantleyϵÁÐЧÀÍÆ÷רΪ»¥ÁªÍøÓ¦ÓÃÉè¼Æ¡£Ëü½ÓÄÉÈ«ÐÂÖÇÄÜÅÌËã¼ÓËÙ¼¼Êõ£¬´îÔØ×îÐÂÒ»´úÓ¢ÌضûÖÁÇ¿E5-2600V3ϵÁд¦ÀíÆ÷£¬¿Éƾ¾ÝÓû§Ó¦ÓÃÖÇÄܵ÷ÀíÌṩ¸üÓÅÐÔÄÜ£¬¿ÉÏÔÖøÌáÉýÓ¦ÓóÌÐòÐÔÄÜ¡£½ÓÄÉ×îеÄDDR4ÄÚ´æ¼¼Êõ£¬ÄÚ´æ´ø¿íÌáÉý50%¡£Ïà±ÈDDR3£¬´«ÊäËÙÂÊÌá¸ß2~4±¶£¬µ«ºÄµçÁ¿¼õÉÙ£¬Ê¹µÃÏàͬ´«ÊäËÙÂÊÏ£¬¹¦ÂʽµµÍ¸ß´ï57.1%£¬×ÊÖú¡°È¥ÄĶù¡±´ó·ù¶ÈÌáÉý´óÊý¾Ý´¦ÀíËÙÂÊ£¬²¢Í¬Ê±½µµÍÄܺġ£´æ´¢ÉÏSA5112M4Ö§³Ö8¿é2.5´ç»ò4¿é3.5´çÓ²Å̼ÓÉÏ2¿éÇ°ÖÃSSD£¬SA5212M4Ö§³ÖÇ°ÖÃ12¿é3.5´ç¼ÓºóÖÃ4¿é2.5´çÓ²ÅÌ£¬Îª¡°È¥ÄĶù¡±µÄ´óÊý¾ÝÆÊÎöÌṩ×ã¹»µÄ´æ´¢¿Õ¼ä¼°ÏìÓ¦Ëٶȡ£×îеÄ12GbpsÓ²ÅÌ¿ØÖÆÆ÷£¬½«Ê¹µÃ´ÅÅÌ¿ØÖÆÆ÷ÓëÓ²ÅÌÖ®¼äÊý¾Ý´«ÊäËٶȷ±¶£¬Ò²¾ÍÒâζ×ÅÕû¸öÊý¾Ý´«ÊäϵͳËٶȷ±¶¡£
¡¡¡¡Æ¾¾Ý¡°È¥ÄĶù¡±µÄʵ¼ÊÐèÇó£¬InspurΪÆäÌṩSA5112M4+SA5212M4˫·ЧÀÍÆ÷µÄ×éºÏ¼Æ»®£¬½èÖú×éºÏ¼Æ»®Ð§ÀÍÆ÷¾«²ÊµÄ¿É¿¿ÐÔ¡¢¿É»á¼ûÐÔ¡¢Áé»îÐÔ¡¢Ò×ÓÃÐÔµÈÌص㣬Âú×ãÓû§¹ØÓÚIT²úÆ·ÐÔÄÜ¡¢ÖÎÀíµÈ·½ÃæµÄÒªÇó£¬Ìá¸ßÓû§µÄʹÓúÍÖÎÀíЧÂÊ£¬ÓÐЧÌá¸ß¿Í»§µÄÔËάЧÂÊ£¬½µµÍЧÀÍÆ÷É豸µÄ×ÜÌåÓµÓб¾Ç®¡£
¡¡¡¡SA5112M4ЧÀÍÆ÷ÒÔ1UµÄ½ô´Õ³ß´çÌṩ¸üºÃµÄÐÔÄÜ¡¢Ð§ÂÊ¡¢´æ´¢ÈÝÁ¿ºÍ¿É¿¿ÐÔ£¬ÎªÓû§Ìṩ¸ßÃܶÈÒÔ¼°¸ßÐÔÄÜÊÂÇ鸺ÔØ£¬ÊÊӦĿ½ñÒµÎñÉú³¤ÐèÒª¡£
¡¡¡¡SA5212M4ЧÀÍÆ÷Ϊ2UЧÀÍÆ÷£¬Ïà½ÏSA5112M4¾ß±¸¸ü¸ßµÄPCIEÀ©Õ¹ÐÔÒÔ¼°´æ´¢ÈÝÁ¿¡£,ΪÓû§ÌṩԽ·¢Áé»îµÄÒµÎñÄÜÁ¦Ñ¡Ôñ¡£
¡¡¡¡SA5112M4+SA5212M4×éºÏÈ·½·¨£¬¶à½Ç¶ÈÏìÓ¦Óû§ÐèÇó£¬ÎªÓû§Ìṩ¸ü¶àÒµÎñÉϵÄÁé»îÑ¡Ôñ¡£