[Hadoop] [API] [翻訳] Class JobHistory

[Hadoop] [API] [翻訳] Class JobHistoryorg.apache.hadoop.mapred

Class JobHistory

java.lang.Object
└ org.apache.hadoop.mapred.JobHistory

public class JobHistory
extends Object

ジョブヒストリーから読み込み書きだすための用意されたメソッド。ジョブヒストリーは追加モードでの働き、ジョブイベントをログするインナークラスのメソッドを用意している。ジョブヒストリーはレコードのタイプを識別し、各行のフォーマット[type (key=value)*]にプレーンテキストフォーマットの各ファイルにマルチプルファイルを分割します。このクラスの内部クラスのUIDにマップを入力。ジョブヒストリーはマスターインデックスのスタート/ストップタイムを含む、他のジョブレベルプロパティを持つ全てのジョブにより維持されている。各ジョブヒストリーは、分割されたヒストリーファイルに保持されている。
ジョブヒストリーファイルの名前は、ジョブヒストリーの解析は、各行毎に解析しリスナーに渡すのをサポートする、リスナーベースのインターフェースのための、jobtrackerId_jobidフォーマットに従う。リスナーはヒストリーのObjectモデルの生成、または特定イベントとヒストリーの破棄をロックが可能。
CHANGE LOG : Version 0 : ヒストリーは次のフォーマットを持つ : TAG KEY1="VALUE1" KEY2="VALUE2" などTAGはJob、Task、MapAttempt、またはReduceAttemptすることができる。
注意:'"'は行の区切り文字。Version 1 : 行の区切り文字の'.'の値への変更は明白な解析を回避する。
バージョン情報を格納するためにメタタグを追加


階層クラス

static class JobHistory.HistoryCleaner
一ヶ月以上古いヒストリーファイルを削除

static class JobHistory.JobInfo
ロギング、またはリーディングバックイベントに関連したジョブのスタート、終了、失敗のためのクラスを助ける、

static class JobHistory.Keys
ジョブヒストリーファイルは、key="value"ペア、キーが属する列挙型を含む

static interface JobHistory.Listener
JobHistoryからのリーディングバックログイベントのためのコールバックインターフェース

static class JobHistory.MapAttempt
ロギング、またはリーディングバックイベントに関連したノード上のマップ試験のスタート、終了、または失敗のためのクラスを助ける

static class JobHistory.RecordTypes
入力記録がヒストリーファイル内のログの各行を識別する

static class JobHistory.ReduceAttempt
ロギング、またはリーディングバックイベントに関連したノード上のマップ試験のスタート、終了、または失敗のためのクラスを助ける

static class JobHistory.Task
ロギング、またはリーディングバックイベントに関連したノード上のタスクのスタート、終了、または失敗のためのクラスを助ける

static class JobHistory.TaskAttempt
マップアンドリデュースのタスク試験のためのベースクラス

static class JobHistory.Values
一般的にヒストリーログのイベントに使われるいくつかの値がここに含まれる

フィールド

static Pattern CONF_FILENAME_REGEX

static int JOB_NAME_TRIM_LENGTH

static Pattern JOBHISTORY_FILENAME_REGEX

static org.apache.commons.logging.Log LOG

コンストラクタ

JobHistory()

メソッド

static String getHistoryFilePath(JobID jobId)
キャッシュからヒストリーファイルパスを返しジョブIDを受け取る

static String getTaskLogsUrl(JobHistory.TaskAttempt attempt)
特定のTaskAttemptのTaskLogsUrlを返す

static void init(JobTracker jobTracker, JobConf conf, String hostname, long jobTrackerStartTime)
JobHistory ファイルのイニシャライズ

static void parseHistoryFromFS(String path, JobHistory.Listener l, FileSystem fs)
ヒストリーファイルの解析とヒストリーの各行を呼び出すためのListener.handle()

java.lang.Objectクラスの継承メソッド
clone, equals, finalize, getClass, hashCode, notify, notifyAll, toString, wait, wait, wait


フィールド詳細

LOG
public static final org.apache.commons.logging.Log LOG

JOB_NAME_TRIM_LENGTH
public static final int JOB_NAME_TRIM_LENGTH
参照:
Constant Field Values

JOBHISTORY_FILENAME_REGEX
public static final Pattern JOBHISTORY_FILENAME_REGEX

CONF_FILENAME_REGEX
public static final Pattern CONF_FILENAME_REGEX

コンストラクタ詳細

JobHistory
public JobHistory()

メソッド詳細

getHistoryFilePath
public static String getHistoryFilePath(JobID jobId)
キャッシュからヒストリーファイルパスを返しジョブIDを受け取る

init
public static void init(JobTracker jobTracker, JobConf conf, String hostname, long jobTrackerStartTime) throws IOException
JobHistory ファイルのイニシャライズ
Parameters:
conf - ジョブトラッカーのJobconf
hostname - ジョブトラッカーのホストネーム
jobTrackerStartTime - ジョブトラッカーの開始時間
Throws:
IOException

parseHistoryFromFS
public static void parseHistoryFromFS(String path, JobHistory.Listener l, FileSystem fs) throws IOException
ヒストリーファイルの解析とヒストリーの各行を呼び出すためのListener.handle()
これはヒストリーファイルを通してメモリ内のヒストリが継続して保持するものを除いた特定のアイテムを探すことができる
Parameters:
path - ヒストリーファイルのパス
l - ヒストリーイベントのリスナー
fs - 履歴ファイルが存在するFileSystem
Throws:
IOException

getTaskLogsUrl
public static String getTaskLogsUrl(JobHistory.TaskAttempt attempt)
特定のTaskAttemptのTaskLogsUrlを返す
Parameters:
attempt -
Returns:
taskLogsUrl、http-port tracker-name、または、task-attempt-idが使用不可能な場合にnull

原文:
Class JobHistory (Hadoop 0.20.205.0 API)

不備や気づいた点ありましたらコメントいただけると助かります。

About the author
  • コメントを残す