zc985552943
- 浏览: 287364 次
- 性别:
- 来自: 北京
-
博客专栏
-
-
云计算--hadoop
浏览量：11490
-
-
redis解说
浏览量：26649
-
-
MongoDB读书笔记
浏览量：15634
-
-
Maven读书笔记
浏览量：26690
-
-
Java通信
浏览量：13399
最新评论
-
sjzcmlt：
，一直读你的文章，写的真好
01_Redis非关系型数据库的安装 -
feng_zhi_zi510：
博主你好。我这有点问题始终没搞明白。关于继承的在父模块定义了依 ...
04_Maven核心_POM_聚合与继承 -
贝塔ZQ：
java实现excel的导入导出，也可是用插件进行实现的，Pa ...
java实现excel的导入导出（poi详解） -
TIMJAMES：
java实现excel的导入导出（poi详解） -
cheleiyan：
如何创建空的mave项目，用eclipse建的时候，选择哪个类 ...
04_Maven核心_POM_聚合与继承
文章列表
这篇讲告诉我们怎么使用私服。
1.首先启动私服，然后再浏览器中输入地址：http://192.168.81.128:8081/nexus/index.html#welcome
2.登陆
默认用户名：admin
默认密码：admin123
3.登陆之后可以看左边的菜单：
这节主要说明一下仓库管理，其他菜单大家自己摸索吧
4.点击左边菜单：Repositories 5.首先看一下title都表示什么意思
repository：仓库名称type：仓库类型（group：仓库组；hosted：宿主；proxy：代理；virtual：虚拟）format：仓库格式policy：仓库策略（r ...
前面两节说了一下Maven仓库。
这里我们使用nexus搭建Maven仓库——私服
1.下载软件：nexus下载地址 使用Linux环境 下载 tgz包http://www.sonatype.org/nexus/go2.将nexus放在Linux下，使用的是root账号3.解压 tar -zvxf 文件名4.目录下面生成一个
5.进入下面的bin目录6.使用
7.提示警告：warning - not recommended to run as root解决方法：A.临时生效export RUN_AS_USER=rootB.加入系统变量vi /etc/profile 加入expo ...
这节描述两点：远程仓库的认证；镜像
一、远程仓库认证
有些远程仓库是需要认证的。如果仓库需要认证。我们该怎么配置呢？
打开setting文件
可以看到在setting文件中有<servers>--><server>这个元素。表示配置一个仓库的认证信息。
<id>：为远程仓库设置一个id，这个id将会与配置远程仓库的id相呼应
<username>：认证用户名
<password>：认证密码
然后我们看一下与这个相呼应的仓库配置
<repository>
<id>nexus ...
通过配置项目的POM文件，Maven就可以帮助我们构建相应的jar包依赖，编译等等。
这节描述一下项目是在哪个地方下载构件的
PS：构建：在Maven世界中，任何一个依赖、插件、或者项目构建的输出都叫做一个构件。
一、Maven仓库 ...
这节将要描述一下聚合和继承。
首先看个问题：如果项目A和项目B是两个单独的项目组开发的，但是这两个项目又是从属于一个顶层项目。项目A和项目B都有自己的POM文件，怎样才能整合两个项目呢？
答：聚合
一、聚合
其实聚合就是从新建立一个空的Maven项目，通过POM文件来整合项目A和项目B
因为在实际应用中，我没有怎么使用过，所以这里仅仅介绍如何实现
<project xmlns="http://maven.apache.org/POM/4.0.0" xmlns:xsi="http://www.w3.org/2001/XMLSchema-instan ...
POM（Project Object Model，项目对象模型）文件定义了项目的基础信息，用于描述项目如何构建，声明项目依赖等等。
打开新建项目的POM文件
<project xmlns="http://maven.apache.org/POM/4.0.0" xmlns:xsi="http://www.w3.org/2001/XMLSchema-ins ...
01_在win7上搭建Maven环境
- 博客分类：
- Maven
系统环境：win7-64位
下载Maven：apache-maven-3.0.4下载地址：http://maven.apache.org/download.cgi
1.解压
2.配置Maven环境变量：
打开环境变量配置界面，在Path中添加;D:\Program Files (x86)\apache-maven-3.0.4\bin;
3.查看Maven是否配置好，使用命令：mvn -v
4.在eclipse里面配置关联Maven
5.将Maven下面的setting文件考到C:\Users\Administrator\.m2。如果没有.m2这个文件夹，就创建它。Mav ...
前面介绍了复杂的MapReduce Job流在实际中的应用方法：006_hadoop中MapReduce详解_3
这节主要是通过实例来分析MapReduce在实际中的应用，从中得到一些启发，在项目开发中，设计MapReduce往往是比较复杂的。我们先通过简单的实例入手后面慢慢加深。
先简单说一下后面还会出现什么实例吧：
1.数据排序-->partition
2.找隔代关系-->单表关联
3.学生课程-->多表关联
4.好友推荐
5.PageRank
6.倒排序索引
7.最优路径
基本上通过上面的7+1+1=9个实例，我们应该可以基本掌握MapReduce ...
前面介绍了什么是MapReduce，然后通过一个简单的例子来说明MapReduce的流程。但都是针对单个Map函数和Reduce函数。在实际业务中可能会很复杂，可能含有多个MapReduce流程配合使用才能得到想要的结果。本节介绍复杂的MapReduce流程
1 ...
前面介绍了的MapReduce的入门。利用了一个hadoop自带的例子来说明MapReduce的流程。现在我们自己动手写一个小例子来锻炼一下。
问题描述：现在有一个文件，文件内容如下：
黄晓明 89
刘杰 48
黄晓明 78
郑爽 90
……
求学生的平均成绩？
分析：
1.在Map阶段我们的输入可以每行读取，生成类似<行号,行内容>即：
<1,黄晓明 89>
<2,刘杰 48>
<3,黄晓明 78>
等等。
2.然后这些记录进入Map函数。我们要充分利用Map--->洗牌--->Reduce这中间的洗牌 ...
1.什么是MapReduce
MapReduce是Google公司的核心计算模型，我在前面提到过，Google的三大论文。hadoop受到Google的启发开发出自己的MapReduce框架，基于这个框架写出的应用程序能够在上千台计算机上组成大型集群，并以一种可靠容错的方式并行处理上T级别的数据，实现hadoop在集群上的数据和任务并行计算与处理1.一个MapReduce作业通常会把输入的数据集切分成若干个独立的数据块，由Map Task以完成并行的方式处理他们。对于Map的输出，框架会首先进行排序，然后把结果输入给Reduce Task。2.通常计算节点和数据节点在一起，这样可以减少网络带 ...
003_HDFS详解
其实应该先来教大家怎么样搭建完全分布式的，由于时间原因，以后再补上。
这篇主要聊一下Hadoop分布式文件系统——HDFS
大纲：
1.HDFS设计目标
2.HDFS里面的NameNode和DataNode
3.操作HDFS的两种方式
1.HDFS设计目标
硬件错误
硬件错误是常态而不是异常。（每每读这句我就想到了：程序员加班是常态不是异常）HDFS可能由成百上千的服务器所构成，每个服务器上存储着文件系统的部分数据。我们面对的现实是构成系统的组件数目是巨大的，而且任一组件都有可能失效，这意味着总是有一部分HDFS的组件是不工作的。因此错误检测和快速、自 ...
002_看大纲_hadoop大纲
通过前面一节可以了解一个大概，知道云计算的含义和hadoop的生态体系
知识链接：001_扎马步_初识hadoop
Hadoop有两大部分：HDFS+MapReduce
其中HDFS实现分布式存储的底层支持，Mapreduce来实现分布式并行计算。
HDFS采用主从结构模型。一个master，若干个slave。对应到集群中由一个NameNode和若干个DataNode组成。其中NameNode作为主服务器管理文件系统的命名空间和客户端对文件的访问。DateNode负责保存数据。为了增加HDFS的安全性，Hadoop采用了备份的方式，默认将同一个文 ...
业务描述：在我们系统中要这样一个需求，我们会将html当作字符串保存在数据库中，然后再后期通过Java需要操作这个html比如增加一个文件框，改变其结构，添加事件。
解决方案：jsoup Java HTML解析器
使用方法：
1.导入jar包。可以使用maven帮你下载这个jar包和源码
<dependency>
<groupId>org.jsoup</groupId>
<artifactId>jsoup</artifactId>
<version>1.3.3</version>
< ...