ITeye博客

李傲的博客

andilyliao · 共 71 篇文章

hadoop生态圈

分布式文件系统: HDFS(可计算资源仓库)、mooseFS、fastDFS+nginx(115网盘)、riak、GlusterFS(intel hbase发行版) 分布式爬虫: Nutch、httpclient 计算框架: MapReduce: hadoop的mapreduce(依托于hadoop、适合于100T以上计算) mongodb DAG: hadoop2的Tez框架(hive on hadoop2支持tez框架,TB以上) spark:(依托于rdd,GB以上,窄依赖最佳) Graph图计算: Giraph、graphX(spark) neo4j(不支持分布式) MPI: HAM…

2015-04-22 17:44 · hadoop生态圈 · 评论(2)

b树建立的例子

b树建立的例子b树建立的例子b树建立的例子b树建立的例子b树建立的例子b树建立的例子b树建立的例子b树建立的例子b树建立的例子b树建立的例子b树建立的例子b树建立的例子b树建立的例子

2015-03-13 17:25 · b树建立的例子b树建立的例子b树建立的例子b树建立的例子b树建立的例子 · 评论(0)

hadoop源码调试跟踪方法

最近经常有问我hadoop源码怎么看的问题,做以下讲解希望有用(hdfs调试为例) 1.在eclipse中建立java工程,然后把hadoop的src包中的内容拷贝到src资源下(仅org的即可) 2.导入hadoop中lib目录下的jar直到代码不再报错 3.搭建一个hadoop的集群,我的测试环境是1个nn和3的dn 4.修改hadoop-env.sh,我们以nn的调试为例: hadoop-env.sh中找到 export HADOOP_NAMENODE_OPTS="-Dcom.sun.management.jmxremote $HADOOP_NAMENODE_OPTS" 然后注释掉 #…

2014-11-02 23:59 · hadoop源码调试跟踪方法 · 评论(1)

mapreduce详细流程

mapreduce详细流程 mapreduce详细流程

2014-05-07 11:43 · mapreduce详细流程 · 评论(0)

centos6安装chrome

centos6安装chrome,这个脚本里面地址我已经改好了,直接下载就可以用。

2014-02-26 09:53 · centos6安装chrome · 评论(0)

thrift例子

thrift例子 thrift例子 thrift例子 thrift例子 thrift例子

2013-08-28 09:28 · thrift例子 · 评论(0)

无锁队列

一次偶然的机会了解到了无锁队列的概念,看了博文性能确实很不错,但是没想到能快到这个地步。

2013-08-16 18:04 · java · 评论(0)

kettle4 job插件模板

整理了一个kettle4 job插件模板供大家使用。

2013-04-28 11:02 · kettle4 job插件模板 · 评论(0)

面试中遇到的“黑嘴”现象

面试中遇到的“黑嘴”现象 这两天看了一个项目破坏者和反制项目破坏者的文章,忽然想起还有个情况也很让人觉得闹心,我很多朋友包括我自己就经常被人“黑嘴”,本文意在调侃,如有不挡不要太当回事,成天弄技术搞管理,快放假了轻松下,哈哈。 所谓黑嘴人员我大致总结有以下几种情况: 1.自己是刚被提升的管理人或者面试官,熟知自己的经历艰辛觉得自己能力是天底下最出类拔萃的,于是问一些很detail的问题,导致面试者全然无措,例如: 谁知道回字有3种写法?哈哈 开个玩笑 2.自己刚刚关注了某个问题不久,以探讨的心态面试,所以问出来的问题完全含糊不清,面试者一头雾水,例如: 你怎么看某某问题,你是怎么理解某某问题…

2013-02-05 17:12 · 面试中遇到的“黑嘴”现象 · 评论(0)

ssh无密码手顺

由于网上好多配置无密码登录都很不好用,我干脆自己写一个放上来共大家参考了,我这边准备了3台测试机,需求是这三台机器都可以不使用密码互相访问。 步骤如下: 192.168.100.67 master 192.168.100.68 slave1 192.168.100.69 slave2 进入master (hadoop用户) 执行: ssh-keygen -t rsa 进入~/.ssh目录 生成的id_rsa id_rsa.pub cp id_rsa.pub authorized_keys 然后确认authorized_keys的权限是600如果不是就chmod 600 id_rsa 其余的都…

2013-01-09 17:23 · ssh无密码手顺 · 评论(0)

完整的jta例子 mysql测试

完整的jta例子 mysql测试

2012-11-20 13:11 · 完整的jta例子 mysql测试 · 评论(0)

一本不错的portlet中文书

portlet的核心实现方式就是jsp:include 映射java code就是request.getrequestdispatcher.include 但是自己写这些太麻烦了,包括要写布局(皮肤),用户管理等,还是用专业的portal中间件比较好,下面推荐一本不错的portlet中文电子书

2011-11-29 09:24 · 一本不错的portlet中文书 · 评论(0)

zxing二维码的生成与解码(java)

zxing二维码的生成与解码(java) import java.awt.image.BufferedImage; import java.io.File; import java.io.IOException; import java.util.Hashtable; import javax.imageio.ImageIO; import com.google.zxing.BarcodeFormat; import com.google.zxing.BinaryBitmap; import com.google.zxing.DecodeHintType; import com.google…

2011-06-23 15:23 · 评论(13)

js工具

前台调试察看工具 chrom浏览器 http爪包工具 ie使用

2011-05-27 17:46 · 评论(0)

java 引用相关文档

java 引用相关文档 做个备忘

2011-05-19 13:01 · 评论(0)