分类 默认分类 下的文章

1、虚拟机上安装了Hadoop集群,仅仅在Windows下使用MyEclipse调试

2、安装MyEclipse8.5,低版本不行,下载hadoop-eclipse-plugin-2.6.0.jar插件至MyEclipse插件目录

3、启动MyEclipse,调出MapReduce环境,配置属性并连接,即可看到Hadoop文件目录

4、新建MapReduce项目,配置目录至hadoop-2.6.0.tar.gz解压的windows目录,并下载hadoop.dll和winutils.exe至该目录bin下,重启机器(否则后面执行程序报错)

5、修改服务器hdfs-site.xml,添加属性,否则报访问权限错误

<name>dfs.permissions</name>
<value>false</value>
<description>
</description>


6、如果报权限错误,需要从源码种拷贝NativeIO.java文件access(2),直接return true;

7、如果报vm内存错误,则配置vm 参数-Xmx1024m

8、到此为止,wordcount 程序在windows上总算能跑起来了。别忘了最后启动时候,加参数hdfs://hadoop200:9000/tmp/input/ hdfs://hadoop200:9000/tmp/output/

总结:

1、报错就搜索,基本都能查找到原因

2、各种自定义的环境真能折腾人

参考文章:

windows7+eclipse+hadoop2.5.2环境配置

hadoop :java.lang.OutOfMemoryError: Java heap space

Hadoop 解除 “Name node is in safe mode”

1、CentOS 32 位安装

由于是在mac上装的虚拟机,暂不支持64位,所以装了32位的CentOS-6.3-i386-minimal.iso

2、jdk安装
JDK-6u45 Linux 32位 http://download.csdn.net/detail/javahr/7297047

vi ~/.bash_profile

set java env

export JAVA_HOME=/root/bigdata/software/jdk1.6.0_45/
export CLASSPATH=.:$JAVA_HOME/jre/lib:$JAVA_HOME/lib:$JAVA_HOME/lib/tools.jar
PATH=$PATH:$HOME/bin:$JAVA_HOME/bin
export PATH
保存并source ~/.bash_profile

3、其他过程摘录自网络

Hadoop2.6版本集群环境搭建

ssh免密码验证

下载Hadoop版本

Linux系统下如何修改主机名

事件经过:
2015-10-27
正在单位吸奶时妈妈打电话说米粒儿有热,发烧了,问我何时能回,到家后发现宝贝虽然发烧,但是精神很好,贴退热贴,物理降温。

2015-10-28
米粒儿依旧没有退烧,体温38度上下,依旧物理降温。奶奶很着急,说要是在老家烧这么久就去诊所打一针,吃点药就好了,因为没到38.5以上,我依旧坚持不给退烧药,物理降温。下午五点多米粒儿哭闹时,发现口中有小白块,类似成人的口腔溃疡,疑似鹅口疮,遂带医院。查血确认病毒感染,医生确认鹅口疮,当时体温38.9,医生让回家吃退烧药。

2015-10-29
28日晚上一夜给宝贝量体温很多次,因为晚上宝宝睡觉不爱让擦洗,每次量只要体温在38.5以下就继续睡觉了,没有做特别处理,依旧贴着退热贴。到早上量的时候,体温39.2,赶紧喂泰诺林,今天白天的一天, 宝贝体温一直挺高,在39左右,最高39.4,依旧是物理降温+泰诺林,根据医嘱,泰诺林要6个小时才能吃一次,还好宝贝比较给力,吃完泰诺林体温一般能降在38.5度以下,而且一整天宝贝精神很好,吃喝玩乐样样不误。晚上睡觉前给宝贝洗了个比平时稍微热的热水澡,10点左右给测量体温在39.2,赶紧给吃泰诺林,然后守着宝贝睡觉。

2015-10-30
米粒儿发烧第四天,早上起来温度依旧38度以上,贴退热贴,多喂水,没有给吃退烧药,中午的时候体温就到37左右了,但是反复,有时候体温还是会上去,晚上睡觉的时候体温又到了38.5以上,给吃了泰诺林,一夜体温在37以上38以下,没给吃药。

2015-10-31
米粒儿早上起来体温37度以上,就没给吃药,也没再擦洗,继续贴退热贴。午睡觉的时候,总是睡不安稳,各种哼唧,手探额头发现不热,但是比较凉,赶紧给量体温,35度,不太相信,换成水银体温计量,依旧35度,放床上就哭,怎么抱他都不舒服的哼唧,于是靠着床头,让宝贝趴我身上睡觉,就这样抱睡大概有两个小时(当时大概下午六点多),宝贝出了很多汗,然后体温恢复到36度多点,不再哼唧,开心的玩。当时看孩子脸上没什么反应,也就没去掀开衣服检查,晚上给宝贝换尿不湿,发现前胸后背密密麻麻的小红点,赶紧各种网上搜图对比,等奶奶遛弯回来一起研究,终确定是幼儿急诊。

总结:

1、孩子生病,老人特别容易慌神,孩子爸爸妈妈一定要稳住阵脚,冷静处理。

2、孩子发烧,如果精神状态很好,吃喝玩乐一点不误,不要急于送医院,体温超过38.5给退烧药+物理降温;但是如果来自发冷,浑身哆嗦,这种情况一定要马上送医院。

3、非常感谢孩子奶奶的细心照顾和一切以我们为主。妈妈虽然特别特别的着急,说在老家早都去打针输液了,但是只是说说,要怎么办以我们自己的意见为准,我们决定不去医院屋里降温她就全心全意的替孩子擦洗身体。

4、再次验证米粒儿爸爸说自己的“乌鸦嘴”。在发烧第二天的时候,我跟奶奶说孩子发烧精神还这么好,估计是要出幼儿急诊了,奶奶说这么小的孩子怎么可能出,说养了这么多小孩没一个出过的,说米粒儿爷爷是三十多岁出的,虽然没继续跟奶奶辩解,但是总觉得是要出急诊。然后我的想法应验以后,米粒儿爸爸和奶奶都在说我是乌鸦嘴,因为我说过的很多事情绝大部分都应验了,所以米粒儿爸爸总是说我是乌鸦嘴。可是,这个真不能怪我,所谓推测的结果,都是以事实为依据的,米粒儿有这样的表现,又验血排除了其他一切问题,只有幼儿急诊最可能,以事实为依据的推测怎能称之为“乌鸦嘴”呢!

幼儿急诊后遗症:

米粒儿发烧的四五天,我一直请假在家亲力亲为的照顾,直接亲喂,结果孩子病好了,但是再也不用奶瓶喝奶了,换奶瓶也不行,就是不用奶瓶喝。从此以后,米粒儿开始了用勺子喝奶的历程。

一、功能

解析新的协议,该协议前八个字节为自定义字节,剩余的部分为rtp或者rtcp协议。使用lua脚本编写解析器

二、代码

do

local p_demoproto = Proto("demoproto", "DemoProto","demo stream")
 
local S_R_Shows = {[0x5253] = "SR"}
local CMD_Shows = {[104] = "RTP", [107] = "RTCP", [114] = "AUDIO"}
--normal parameters
local field_sr = ProtoField.uint8("multi.DemoProto","SR",base.DEC, S_R_Shows)
local field_version = ProtoField.uint8("multi.DemoProto","version",base.DEC)
local field_data_len = ProtoField.uint16("multi.DemoProto","datalen",base.DEC)
local field_seqnum = ProtoField.uint16("multi.DemoProto","seqnum",base.DEC)
local field_timestamp = ProtoField.uint32("multi.DemoProto","timestamp",base.DEC)
--filter parameters
local field_channel_id = ProtoField.new("channelid", "DemoProto.channelid", "ftypes.UINT8", nil, base.DEC)
local field_cmd_type = ProtoField.new("cmdtype", "DemoProto.cmdtype", "ftypes.UINT16", CMD_Shows, base.DEC)
local field_ssrc = ProtoField.new("ssrc", "DemoProto.ssrc", "ftypes.UINT32", nil, base.DEC)
 
p_demoproto.fields = {field_sr, field_version, field_channel_id, field_data_len, field_cmd_type, field_seqnum, field_ssrc, field_timestamp}
 
local data_dis = Dissector.get("data")
 
local function ScoreBoard_dissector(buf,pkt,root)
    local buf_len = buf:len();
    if buf_len < 8 then return false end
     
    --check error
    if ((buf(0,1):uint()~=83) and (buf(1,1):uint()~=82)) then 
        return false 
    end
     
    local cmd_type = buf(6,1):uint()
    local temp = bit.bswap(cmd_type)
    if( cmd_type ~=104 and cmd_type ~= 107 and cmd_type ~= 114 ) then
        return false
    end

    local buffer_len = buf:len() 
    local t = root:add(p_demoproto,buf(0,buffer_len))
    pkt.cols.protocol = "demomedia"
     
    t:add_le(field_sr,buf(0,2))
    t:add_le(field_version,buf(2,1))
    t:add_le(field_channel_id,buf(3,1))
    t:add_le(field_data_len,buf(4,2))
    t:add_le(field_cmd_type,buf(6,2))
     
    if (cmd_type == 104) then 
        --rtp
        t:add(field_seqnum,buf(10,2)) --seq num
        t:add(field_timestamp,buf(12,4)) --seq timestamp
        t:add(field_ssrc,buf(16,4)) --seq num
         
        --call internal rtp dissector
        local rtp_dissector = Dissector.get("rtp")
        --rtp_dissector:call(rtp_buf, pkt, root)
        rtp_dissector:call(buf(8, buf_len-8):tvb(),pkt,root)
        return true
    elseif ( cmd_type == 107 ) then
        --rtcp
        local rtcp_dissector = Dissector.get("rtcp")
        rtcp_dissector:call(buf(8, buf_len-8):tvb(),pkt,root)
        return true
    elseif ( cmd_type == 114 ) then
        --audio
        t:add_le(field_channel_id,buf(8,1))
         
        local audio_dissector = Dissector.get("rtcp")
        audio_dissector:call(buf(9, buf_len-9):tvb(),pkt,root)
    else
        return false
    end
end
 
function p_demoproto.dissector(buf,pkt,root) 
    if ScoreBoard_dissector(buf,pkt,root) then
    else
        data_dis:call(buf,pkt,root)
    end
end
 
local udp_table = DissectorTable.get("udp.port")
udp_table:add(2000,p_demoproto)

end
三、参考文章

使用Lua脚本为wireshark编写自定义通信协议解析器插件

rtp实时传输协议

Lua/Examples

计划:

1、每天晚上站墙根冥想 15 分钟

2、隔天跑步 10~20 公里,安排在早上(马拉松是早上,上班在奥森跑步,还不用挤车)

3、晚上固定两个小时:处理个人事务

活动:

运动篇:

每周100公里跑量。(10+10+20)* 4 = 160

大数据学习篇:

每周两个知识点。

软考学习篇:

每周一节课。

系统篇:

王亚辉的系统要尽快做。

习惯:

1、站墙根

2、冥想

3、跑步

4、自省

时间:

1、早上 2小时

2、中午 1小时

3、晚上 2小时

4、工作日 白天5个小时

5、周末 8个小时