spark 错误集锦

作者: 疯狂小兵 | 2016-04-27 | 阅读
「编辑」 「本文源码」

基于hadoop2.7.1集群

系统为centos 6.4 ,64bit

1.spark-shell 不能执行

错误信息:

Java HotSpot(TM) 64-Bit Server VM warning: INFO: os::commit_memory(0x0000000755500000, 2863661056, 0) failed; error=’Cannot allocate memory’ (errno=12)#

  • 1.There is insufficient memory for the Java Runtime Environment to continue.
  • 2.Native memory allocation (malloc) failed to allocate 2863661056 bytes for committing reserved memory.
  • 3.An error report file with more information is saved as:
  • 4./datac/spark/app-20150123091936-0000/89/hs_err_pid2247.log

错误原因: 执行内存不够,最小约370M

解决办法:

  1. # spark-shell --executor-memory 500M  --driver-memory 500M 
    
  2. 取消spark-default.sh的所有自定义设置

版权声明:本文由 在 2016年04月27日发表。本文采用CC BY-NC-SA 4.0许可协议,非商业转载请注明出处,不得用于商业目的。
文章题目及链接:《spark 错误集锦》




  相关文章:

「游客及非Github用户留言」:

「Github登录用户留言」:

TOP