[105]Jobtracker裡沒有顯示wordcount

雲端應用程式設計-授課教授:XO

版主: XO

分享到: Facebook

[105]Jobtracker裡沒有顯示wordcount

文章banana » 週三 6月 07, 2017 11:53 am

按照星期五老師提供的PPT試用了windoop
我跑了總統大選的檔案跟數字數的檔案
PPT上面說跑完後看Jobtracker, Completed Jobs的Name中有wordcount
PPT上面顯示的:
圖檔

不過我按照步驟只能在eclipse裡面看到哪些字出現幾次
用瀏覽器去看Jobtracker都沒有顯示完成的Job裡面有wordcount, 像這樣:
圖檔

這樣對嗎?? :roll: :roll: :roll:
頭像
banana
剛學走路的小朋友
 
文章: 3
註冊時間: 週三 6月 07, 2017 11:38 am

Re: [105]Jobtracker裡沒有顯示wordcount

文章XO » 週四 6月 08, 2017 9:46 am

咦!這有點兒玄!
WordCount 結果都顯示出來了,Completed Jobs 卻沒顯示出來。

該不會做完後,你觀察 Job tracker 的頁面沒有 Refresh (按 F5 啦) ?
跑 WordCount 之前你是不是跑過總統大選兩次?
eXtra Old 的是我「不是酒」哦!
제 이름은 오조휘 입니다

臉書裡依舊是 Extra.Old: http://www.facebook.com/extra.old
頭像
XO
資管系教師
 
文章: 5351
註冊時間: 週二 4月 27, 2004 12:20 pm
來自: CQ Inc.

Re: [105]Jobtracker裡沒有顯示wordcount

文章banana » 週四 6月 08, 2017 1:16 pm

XO 寫:該不會做完後,你觀察 Job tracker 的頁面沒有 Refresh (按 F5 啦) ?

我百分之百確定我有按F5重整網頁 (d8)


XO 寫:跑 WordCount 之前你是不是跑過總統大選兩次?

我是先跑一次總統大選的再跑WordCount
但WordCount的Completed Jobs沒顯示出來, 我覺得很奇怪才又跑了一次總統大選
第二次跑總統大選依然有在Completed Jobs顯示出來



剛剛我又試了一次, 詳細比對PPT後發現 :
圖檔

會是因為沒有_logs這個資料夾才導致這個問題嗎??
但是執行總統大選的時候_logs這個資料夾它是自動生成的阿.......
為什麼執行WordCount會不見 :shock:

PPT反覆做了幾次, 我肯定自己應該也沒漏掉什麼步驟才對 :( :(
頭像
banana
剛學走路的小朋友
 
文章: 3
註冊時間: 週三 6月 07, 2017 11:38 am

Re: [105]Jobtracker裡沒有顯示wordcount

文章banana » 週四 6月 08, 2017 2:15 pm

我剛剛比對總統大選跟wordcount這兩個程式
想看能不能找出來有哪句是在講jobtracker的, 還真的被我在總統大選的java裡找到:

代碼: 選擇全部
      boolean useJobTracker = true;
      if(useJobTracker)
         conf.set("mapred.job.tracker", "localhost:9001");
      else
         conf.set("mapred.job.tracker", "local");


我把上面這段貼進去WordCount_jdwang.java再執行
就看到原本不存在的_logs這個資料夾蹦出來了
重整網頁http://localhost:50030也成功看到了Completed Jobs裡面有word count了

圖檔


這樣算是解決了嗎??我這樣算是瞎貓碰到死耗子吧....... :lol:
頭像
banana
剛學走路的小朋友
 
文章: 3
註冊時間: 週三 6月 07, 2017 11:38 am

Re: [105]Jobtracker裡沒有顯示wordcount

文章XO » 週四 6月 08, 2017 9:01 pm

樓上的厲害唷!會想到參考比對總統大選那個範例!
沒錯!是解決了啦!

瞎貓碰到死耗子的是老書!我下載錯了 WordCount 版本 (詳如下圖),那個版本是給改採 YARN 架構的 Hadoop 2.x 版本所用的,居然只就著 Eclipse 指出錯誤處 debug,改了一行還可以在我們 Windoop 1.0.3 版跑出結果! (呵呵呵!不解為啥!? ^o^)

圖檔

其實在參考網站的頁面稍微下面一點兒處,有標示出分別給 Hadoop 1.x 以及 Hadoop 2.x 版本用的 WordCount 專案:

圖檔

  • WordCount_Project_jdwang2014_10_7.rar(Hadoop 1.0)
  • WordCount_jdwang_2016_10_12.zip (Hadoop 2.0)

我們應該要下載前者那郭給 Hadoop 1.0 的 WordCount_Project_jdwang2014_10_7.rar
eXtra Old 的是我「不是酒」哦!
제 이름은 오조휘 입니다

臉書裡依舊是 Extra.Old: http://www.facebook.com/extra.old
頭像
XO
資管系教師
 
文章: 5351
註冊時間: 週二 4月 27, 2004 12:20 pm
來自: CQ Inc.


回到 雲端應用程式設計(CAP)

誰在線上

正在瀏覽這個版面的使用者:沒有註冊會員 和 2 位訪客