hadoop生态圈

分布式文件系统：
HDFS（可计算资源仓库）、mooseFS、fastDFS+nginx（115网盘）、riak、GlusterFS（intel hbase发行版）

分布式爬虫：
Nutch、httpclient

计算框架：
MapReduce：
hadoop的mapreduce（依托于hadoop、适合于100T以上计算）
mongodb

DAG：
hadoop2的Tez框架（hive on hadoop2支持tez框架，TB以上）
spark：（依托于rdd，GB以上，窄依赖最佳）

Graph图计算：
Giraph、graphX（spark）
neo4j（不支持分布式）

MPI：
HAMA
openmpi

流计算：
storm、spark streaming（小批量流）

日志收集：
chukwa
flume
Scribe

数据导入：
Hiho, sqoop

newsql：
Pig, Hive、Phoenix
spark on sql-->前身是shark（处理java程序统计数据困难）
impala、drill

数据处理流：
oozie, Cascading

监控工具：
ganglia，nagos，zabbix，ambari

高一致性：
zookeeper、bookeeper

大表（大磁盘缓存、避免sql等运算出结果）（nosql）：
hbase、Cassandra

k，v库（nosql）：
redis、memcached、leveldb（SSD磁盘）

文档库（nosql）：
couchdb、mongodb

简单的web框架：h5+node.js+mongodb

机器学习：
mahout、mlib（spark）、R（Rhadoop，Rspark）、weka


消息队列：
activemq、rabbitmq、qpid、kafka、hedwig，redis，memcacheq

ETL：
kettle

分布式搜索：
solr（web）、elasticsearch

评论

2 楼 andilyliao 2015-12-11  

haha_liu 写道

李导你好，我是达内的学员，春节后在广州报读了达内大数据课程，因此特地上来李导的博客看看 李导的课程讲得非常好，我也深受影响，燃起了我对技术的兴趣和进入互联网公司的欲望。我是大学毕业后才半路学习java的，大学的专业也和计算机完全无关，现在已经28岁了，我的毕业学校今年才刚升上一本。很不幸我目前所在的正是技术能力比较弱的做内部办公系统的传统行业，这是我的第一份it工作，刚做满了一年。上了李导的课后，觉得自己需要提高技术能力，所以开始看李导推荐的书，就算上班多忙，经常加班我都坚持看。我看了java程序性能优化，深入理解java虚拟机，数据结构等等，而且自学了设计模式。linux c也准备看了，因为之前完全没有学过c（我只学过java），所以把这本书押后看。现在的状态是只要不上班，不吃饭的时候，我都在拿着书看，这种看书的热情已经持续了半年。也许是对技术的渴望，也许是不甘心，也许我真的很想成为架构师，所以最近有了跳槽的想法。目前在广州，以我的情况，李导觉得我有可能进入互联网公司么，如果我想往这个方向发展，我今后应该注意和学习些什么，希望听听李导对我的发展的意见和看法，焦急并期待着李导的回复，万分感谢~~~

其实可以去尝试面试一下，看书只能入门，必须到真实的场景解决问题，其实这样的学习速度要更快。

1 楼 haha_liu 2015-07-12  

李导你好，我是达内的学员，春节后在广州报读了达内大数据课程，因此特地上来李导的博客看看 李导的课程讲得非常好，我也深受影响，燃起了我对技术的兴趣和进入互联网公司的欲望。我是大学毕业后才半路学习java的，大学的专业也和计算机完全无关，现在已经28岁了，我的毕业学校今年才刚升上一本。很不幸我目前所在的正是技术能力比较弱的做内部办公系统的传统行业，这是我的第一份it工作，刚做满了一年。上了李导的课后，觉得自己需要提高技术能力，所以开始看李导推荐的书，就算上班多忙，经常加班我都坚持看。我看了java程序性能优化，深入理解java虚拟机，数据结构等等，而且自学了设计模式。linux c也准备看了，因为之前完全没有学过c（我只学过java），所以把这本书押后看。现在的状态是只要不上班，不吃饭的时候，我都在拿着书看，这种看书的热情已经持续了半年。也许是对技术的渴望，也许是不甘心，也许我真的很想成为架构师，所以最近有了跳槽的想法。目前在广州，以我的情况，李导觉得我有可能进入互联网公司么，如果我想往这个方向发展，我今后应该注意和学习些什么，希望听听李导对我的发展的意见和看法，焦急并期待着李导的回复，万分感谢~~~