hadoop源码调试跟踪方法

最近经常有问我hadoop源码怎么看的问题，做以下讲解希望有用（hdfs调试为例）
1.在eclipse中建立java工程，然后把hadoop的src包中的内容拷贝到src资源下（仅org的即可）
2.导入hadoop中lib目录下的jar直到代码不再报错
3.搭建一个hadoop的集群，我的测试环境是1个nn和3的dn
4.修改hadoop-env.sh，我们以nn的调试为例：
hadoop-env.sh中找到

export HADOOP_NAMENODE_OPTS="-Dcom.sun.management.jmxremote $HADOOP_NAMENODE_OPTS"

然后注释掉

#export HADOOP_NAMENODE_OPTS="-Dcom.sun.management.jmxremote $HADOOP_NAMENODE_OPTS"

重新发布这个变量：

export HADOOP_NAMENODE_OPTS="-Xdebug -Xrunjdwp:transport=dt_socket,address=8080,server=y,suspend=y"

其中：

-Xdebug 设置为调试启动
-Xrunjdwp 调试方式，后面的都是该方式的参数：
transport=dt_socket：表示断点通过socket传输（远程打断点）
address=8000：调试用的服务端口，远程被调试的那个nn就是服务
server=y 表示是被调试的服务，如果是n表示调试者
suspend=y 表示是否等待链接调试

搞好上面的步骤后，在eclipse中找到NameNode.java类，该类在org.apache.hadoop.hdfs.server.namenode中
在这个里面找到main，然后在main中加上断点，然后右键debug configuration：
配置链接那个标签页：
ip和端口你懂的
启动你的hadoop集群，然后debug方式启动你的代码，就可以调试了。
顺便说下，hbase等都差不多，这个调试技术叫做JPDA，hbase调试就修改hbase-env.sh，地方和hadoop差不多，你肯定能找到。
hive本人没搞过远程调试，我一直觉得这个东西就是个高级的客户端，至于hadoop1的mapreduce和hadoop2的yarn非常讨厌，这个我是看了别人的博客才了解到的，此处也分享下吧
hadoop1的mapreduce在hadoop-site.xml中配置：

<property> 
    <name>mapred.child.java.opts</name> 
    <value>-Xmx1024m -Xdebug -Xrunjdwp:transport=dt_socket,server=y,suspend=y,address=8081</value> 
</property>

并且要限制map和reduce个数为1个，否则会有问题：

<property>
    <name>mapred.tasktracker.map.tasks.maximum</name>
    <value>1</value>
</property>
<property>
    <name>mapred.tasktracker.reduce.tasks.maximum</name>
    <value>1</value>
</property>

问题我当时没有遇到，因为我的测试用的虚拟环境烂的要死，所以我提前就这么配置的，呵呵
yarn的配置在bin/yarn中
找到：

case "${COMMAND}" in
  application|applicationattempt|container)
    CLASS=org.apache.hadoop.yarn.client.cli.ApplicationCLI
    hadoop_debug "Append YARN_CLIENT_OPTS onto YARN_OPTS"
    YARN_OPTS="${YARN_OPTS} ${YARN_CLIENT_OPTS}"
    set -- "${COMMAND}" "$@"
  ;;
  classpath)
    hadoop_finalize
    echo "${CLASSPATH}"
    exit
  ;;
  daemonlog)
    CLASS=org.apache.hadoop.log.LogLevel
    hadoop_debug "Append YARN_CLIENT_OPTS onto YARN_OPTS"
    YARN_OPTS="${YARN_OPTS} ${YARN_CLIENT_OPTS}"
  ;;
  jar)
    CLASS=org.apache.hadoop.util.RunJar
    hadoop_debug "Append YARN_CLIENT_OPTS onto YARN_OPTS"
    YARN_OPTS="${YARN_OPTS} ${YARN_CLIENT_OPTS}"
  ;;
  historyserver)
    daemon="true"
    echo "DEPRECATED: Use of this command to start the timeline server is deprecated." 1>&2
    echo "Instead use the timelineserver command for it." 1>&2
    echo "Starting the History Server anyway..." 1>&2
    CLASS='org.apache.hadoop.yarn.server.applicationhistoryservice.ApplicationHistoryServer'
  ;;
  logs)
    CLASS=org.apache.hadoop.yarn.client.cli.LogsCLI
    hadoop_debug "Append YARN_CLIENT_OPTS onto YARN_OPTS"
    YARN_OPTS="${YARN_OPTS} ${YARN_CLIENT_OPTS}"
  ;;
  node)
    CLASS=org.apache.hadoop.yarn.client.cli.NodeCLI
    hadoop_debug "Append YARN_CLIENT_OPTS onto YARN_OPTS"
    YARN_OPTS="${YARN_OPTS} ${YARN_CLIENT_OPTS}"
  ;;
  nodemanager)
    daemon="true"
    CLASS='org.apache.hadoop.yarn.server.nodemanager.NodeManager'
    hadoop_debug "Append YARN_NODEMANAGER_OPTS onto YARN_OPTS"
    YARN_OPTS="${YARN_OPTS} ${YARN_NODEMANAGER_OPTS}"
    if [[ -n "${YARN_NODEMANAGER_HEAPSIZE}" ]]; then
      JAVA_HEAP_MAX="-Xmx${YARN_NODEMANAGER_HEAPSIZE}m"
    fi
  ;;
  proxyserver)
    daemon="true"
    CLASS='org.apache.hadoop.yarn.server.webproxy.WebAppProxyServer'
    hadoop_debug "Append YARN_PROXYSERVER_OPTS onto YARN_OPTS"
    YARN_OPTS="${YARN_OPTS} ${YARN_PROXYSERVER_OPTS}"
    if [[ -n "${YARN_PROXYSERVER_HEAPSIZE}" ]]; then
      JAVA_HEAP_MAX="-Xmx${YARN_PROXYSERVER_HEAPSIZE}m"
    fi
  ;;
  resourcemanager)
    daemon="true"
    CLASS='org.apache.hadoop.yarn.server.resourcemanager.ResourceManager'
    YARN_OPTS="${YARN_OPTS} ${YARN_RESOURCEMANAGER_OPTS}"
    hadoop_debug "Append YARN_RESOURCEMANAGER_OPTS onto YARN_OPTS"
    if [[ -n "${YARN_RESOURCEMANAGER_HEAPSIZE}" ]]; then
      JAVA_HEAP_MAX="-Xmx${YARN_RESOURCEMANAGER_HEAPSIZE}m"
    fi
  ;;
  rmadmin)
    CLASS='org.apache.hadoop.yarn.client.cli.RMAdminCLI'
    hadoop_debug "Append YARN_CLIENT_OPTS onto YARN_OPTS"
    YARN_OPTS="${YARN_OPTS} ${YARN_CLIENT_OPTS}"
  ;;
  timelineserver)
    daemon="true"
    CLASS='org.apache.hadoop.yarn.server.applicationhistoryservice.ApplicationHistoryServer'
    hadoop_debug "Append YARN_TIMELINESERVER_OPTS onto YARN_OPTS"
    YARN_OPTS="${YARN_OPTS} ${YARN_TIMELINESERVER_OPTS}"
    if [[ -n "${YARN_TIMELINESERVER_HEAPSIZE}" ]]; then
      JAVA_HEAP_MAX="-Xmx${YARN_TIMELINESERVER_HEAPSIZE}m"
    fi
  ;;
  sharedcachemanager)
    daemon="true"
    CLASS='org.apache.hadoop.yarn.server.sharedcachemanager.SharedCacheManager'
    YARN_OPTS="$YARN_OPTS $YARN_SHAREDCACHEMANAGER_OPTS"
  ;;
  version)
    CLASS=org.apache.hadoop.util.VersionInfo
    hadoop_debug "Append YARN_CLIENT_OPTS onto YARN_OPTS"
    YARN_OPTS="${YARN_OPTS} ${YARN_CLIENT_OPTS}"
  ;;
  *)
    CLASS="${COMMAND}"
    if ! hadoop_validate_classname "${CLASS}"; then
      hadoop_exit_with_usage 1
    fi
  ;;
esac

调试那个就在那个的最后加入调试的那个配置，以rm举例：

YARN_RESOURCEMANAGER_OPTS="$YARN_RESOURCEMANAGER_OPTS -Xdebug -Xrunjdwp:transport=dt_socket,server=y,suspend=y,address=22222"

这个端口的目的是肯定不会重复的，因为谁会用这么2的端口呀，呵呵

评论

1 楼 rashly 2017-08-07  

请问一下address=8000的8000是随便写的吗