[Hadoop] [API] [翻訳] Class JobConf

[Hadoop] [API] [翻訳] Class JobConforg.apache.hadoop.mapred

Class JobConf

java.lang.Object
└ org.apache.hadoop.conf.Configuration
└ org.apache.hadoop.mapred.JobConf

実装しているインターフェース
Iterable<Map.Entry<String,String>>, Writable

public class JobConf
extends Configuration
A map/reduce job configuration.

JobConfはユーザーのHadoopフレームワーク上でのマップ/リデュースジョブの実行を説明するインターフェースで、フレームワークはJobConfの説明を忠実に実行します。
例えば、いくつかの構成パラメーターは管理者によってマークされているため、変更ができない。

いくつかのジョブパラメーターを(例 setNumReduceTasks(int))は簡単に設定するには、いくつかのパラメーターは相互に作用しフレームワークの休止、またはユーザーが細かく制御するためのジョブ設定比較的ややこしい(例 setNumMapTasks(int)) JobConfには通常指定するマッパーとコンバイナー(もしあれば)、パーテーション、リデューサー、インプットフォーマット、アウトプットフォーマット、インプリメンテーションなどが使われる

JobConfのオプションでは、コンパレータというジョブの先進的な面を指定し使うことができる。ファイルのディストロビュートキャッシュへの配置、中間でのジョブ出力の圧縮、ユーザーのスクリプトを介したデバッグ能力( setMapDebugScript(String)/setReduceDebugScript(String))、タスクログ上でのポスト処理、タスクの標準出力、エラー出力、システムログなど

JobConfを介した構成例:
// JobConfの新規作成
JobConf job = new JobConf(new Configuration(), MyJob.class);

// 多様なジョブパラメータの指定
job.setJobName("myjob");

FileInputFormat.setInputPaths(job, new Path("in"));
FileOutputFormat.setOutputPath(job, new Path("out"));

job.setMapperClass(MyJob.MyMapper.class);
job.setCombinerClass(MyJob.MyReducer.class);
job.setReducerClass(MyJob.MyReducer.class);

job.setInputFormat(SequenceFileInputFormat.class);
job.setOutputFormat(SequenceFileOutputFormat.class);

参照:
JobClient, ClusterStatus, Tool, DistributedCache


階層クラス

class org.apache.hadoop.conf.Configurationクラスの継承インターフェース・階層クラス
Configuration.IntegerRanges

フィールド

static String DEFAULT_MAPRED_TASK_JAVA_OPTS

static String DEFAULT_QUEUE_NAME
送信されるジョブのキューネーム

static long DISABLED_MEMORY_LIMIT
値はメモリに関連するオプションを設定する場合に、オフなことを示します。

static String MAPRED_LOCAL_DIR_PROPERTY
Property name for the configuration property mapred.local.dir
mapred.local.dir設定プロパティのプロパティネーム

static String MAPRED_MAP_TASK_ENV
マップタスクが使用可能な最大仮想メモリ設定する設定キー

static String MAPRED_MAP_TASK_JAVA_OPTS
マップタスクのためのJAVAコマンドラインオプションの設定キー

static String MAPRED_MAP_TASK_ULIMIT
マップタスクが使用可能な最大仮想メモリ設定する設定キー(KB)

static String MAPRED_REDUCE_TASK_ENV
Configuration key to set the maximum virutal memory available to the reduce tasks.
リデュースタスクが使用可能な最大仮想メモリ設定する設定キー

static String MAPRED_REDUCE_TASK_JAVA_OPTS
リデュースタスクのためのJAVAコマンドラインオプションの設定キー

static String MAPRED_REDUCE_TASK_ULIMIT
リデュースタスクが使用可能な最大仮想メモリ設定する設定キー(KB)

static String MAPRED_TASK_DEFAULT_MAXVMEM_PROPERTY
非推奨

static String MAPRED_TASK_ENV
非推奨 MAPRED_MAP_TASK_ENV または MAPRED_REDUCE_TASK_ENVを使用

static String MAPRED_TASK_JAVA_OPTS
非推奨 Use MAPRED_MAP_TASK_JAVA_OPTS または MAPRED_REDUCE_TASK_JAVA_OPTSを使用

static String MAPRED_TASK_MAXPMEM_PROPERTY
非推奨

static String MAPRED_TASK_MAXVMEM_PROPERTY
非推奨 MAPRED_JOB_MAP_MEMORY_MB_PROPERTY と MAPRED_JOB_REDUCE_MEMORY_MB_PROPERTYを使用

static String MAPRED_TASK_ULIMIT
非推奨 Use MAPRED_MAP_TASK_ULIMIT または MAPRED_REDUCE_TASK_ULIMITを使用

static String UPPER_LIMIT_ON_TASK_VMEM_PROPERTY
非推奨

コンストラクタ

JobConf()
マップ/リデュースジョブの設定コンストラクタ

JobConf(boolean loadDefaults)
新規のマップ/リデュースの設定でデフォルトリソースから動作の読み込みをオフにできる

JobConf(Class exampleClass)
マップ/リデュースジョブ設定のコンストラクタ

JobConf(Configuration conf)
マップ/リデュースジョブ設定のコンストラクタ

JobConf(Configuration conf, Class exampleClass)
マップ/リデュースジョブ設定のコンストラクタ

JobConf(Path config)
マップ/リデュースジョブ設定のコンストラクタ

JobConf(String config)
マップ/リデュースジョブ設定のコンストラクタ

メソッド

void deleteLocalFiles()

void deleteLocalFiles(String subdir)

Class<? extends Reducer> ()
リデュースに送る前に組み合わせたマップ出力に使うユーザー標準コンバイナークラスを取得

boolean getCompressMapOutput()
出力するマップの圧縮有無

Credentials getCredentials()
ジョブの証明を取得

InputFormat getInputFormat()
明示的な指定がない場合には、マップ/リデュースジョブのために実装される標準のテキストインプットフォーマットを取得

String getJar()
マップ/リデュースジョブのためのユーザーJARを取得

void deleteLocalFiles()

void deleteLocalFiles(String subdir)

Class<? extends Reducer> ()
リデュースに送る前に組み合わせたマップ出力に使うユーザー標準コンバイナークラスを取得

boolean getCompressMapOutput()
出力するマップの圧縮有無

Credentials getCredentials()
ジョブの証明を取得

InputFormat getInputFormat()
明示的な指定がない場合には、マップ/リデュースジョブのために実装される標準のテキストインプットフォーマットを取得

String getJar()
マップ/リデュースジョブのためのユーザーJARを取得

String getJobEndNotificationURI()
ジョブの完了後(成功/失敗)に起動されるURLの案内を送信する

String getJobLocalDir()
スクラッチ領域として使用するためのジョブ指定の共有領域を取得

String getJobName()
ユーザー指定のジョブネームを取得

JobPriority getJobPriority()
ジョブのJobPriorityを取得

boolean getKeepFailedTaskFiles()
失敗したタスクのテンポラリーファイルの保持の有無

String getKeepTaskFilesPattern()
保持する場合に、正規表現に一致するタスクネームを取得

String getKeyFieldComparatorOption()
KeyFieldBasedComparatorオプションを取得

String getKeyFieldPartitionerOption()
KeyFieldBasedPartitionerオプションを取得

String[] getLocalDirs()

Path getLocalPath(String pathString)
ローカルファイルネームのコンストラクタ

String getMapDebugScript()
マップタスクのデバッグスクリプトを取得

Class<? extends CompressionCodec> getMapOutputCompressorClass(Class<? extends CompressionCodec> defaultValue)
マップ出力を圧縮するためのコンプレッションコーデックを取得

Class<?> getMapOutputKeyClass()
マップ出力データのためのキークラスを取得

Class<?> getMapOutputValueClass()
マップ出力データのバリュークラスを取得

Class<? extends Mapper> getMapperClass()
ジョブのMapperクラスを取得

Class<? extends MapRunnable> getMapRunnerClass()
ジョブのMapRunnableクラスを取得

boolean getMapSpeculativeExecution()
マップタスクのためのジョブを指定実行の有無、デフォルトではtrueを返す

int getMaxMapAttempts()
mapred.map.max.attemptsプロパティの指定による生成されたマップタスクの最大試行数を取得

int getMaxMapTaskFailuresPercent()
中止されたジョブを除いたマップタスクの最大で失敗するパーセンテージを取得

long getMaxPhysicalMemoryForTask()
非推奨 使用されていない推奨されない変数

int getMaxReduceAttempts()
mapred.reduce.max.attempts プロパティの指定による生成されたリデュースタスクの最大試行回数を取得

int getMaxReduceTaskFailuresPercent()
中止されたジョブを除いたリデュースタスクの最大で失敗するパーセンテージを取得

int getMaxTaskFailuresPerTracker()
最大数を取得

long getMaxVirtualMemoryForTask()
非推奨 getMemoryForMapTask()とgetMemoryForReduceTask()を使用

long getMemoryForMapTask()
ジョブのマップタスクの実行に必要なメモリ(MB)を取得

long getMemoryForReduceTask()
ジョブのリデュースタスクの実行に必要なメモリ(MB)を取得

int getNumMapTasks()
ジョブのマップタスク数の設定を取得

int getNumReduceTasks()
ジョブのリデュースタスク数の設定を取得

int getNumTasksToExecutePerJvm()
生成するJVMが実行するタスク数を取得

OutputCommitter getOutputCommitter()
マップ/リデュースジョブのOutputCommitterの実装を取得、指定がない場合は標準のFileOutputCommitter

OutputFormat getOutputFormat()
マップ/リデュースジョブのOutputFormatの実装を取得、指定がない場合は標準のTextOutputFormat

Class<?> getOutputKeyClass()
ジョブの出力データのためのキークラスを取得

RawComparator getOutputKeyComparator()
RawComparatorコンパレーターに使われる比較キーを取得

Class<?> getOutputValueClass()
ジョブ出力のためのバリュークラスを取得

RawComparator getOutputValueGroupingComparator()
リデュースの入力グループキーのためのWritableComparableコンパレーターの定義を取得

Class<? extends Partitioner> getPartitionerClass()
Partitionerで使われるMapper-outputsに送られたReducersの仕切りを取得

boolean getProfileEnabled()
タスクプロファイリングの有効有無の取得

String getProfileParams()
プロファイラ構成の引数を取得

Configuration.IntegerRanges getProfileTaskRange(boolean isMap)
プロファイルのマップかリデュースの範囲を取得

String getQueueName()
ジョブが送信したキューネームを返す

String getReduceDebugScript()
リデュースタスクのデバッグスクリプトを取得

Class<? extends Reducer> getReducerClass()
ジョブのリデューサークラスを取得

boolean getReduceSpeculativeExecution()
リデュースタスクのために推測の実行の使用有無、デフォルトはtrueを返す

String getSessionId()
ユーザー指定のセッション識別子を取得

boolean getSpeculativeExecution()
ジョブの推測実行の有無、デフォルトではtrueを返す

boolean getUseNewMapper()
マッパーの実行のためのフレームワークの新規コンテキストオブジェクトコードの使用有無

boolean getUseNewReducer()
リデューサーの実行のためのフレームワークの新規コンテキストオブジェクトコードの使用有無

String getUser()
ジョブのレポートされたユーザーネームを取得

Path getWorkingDirectory()
現在のデフォルトファイルシステムのワーキングディレクトリを取得

static long normalizeMemoryConfigValue(long val)
構成内の負の値を正規化

void setCombinerClass(Class<? extends Reducer> theClass)
リデューサーへ送信前のユーザー定義コンバイナークラスが使うコンバインマップ出力
void setCompressMapOutput(boolean compress)
マップ出力の変換前にシークエンスファイル圧縮の有無

void setInputFormat(Class<? extends InputFormat> theClass)
マップ/リデュースジョブのためのInputFormatの実装設定

void setJar(String jar)
マップ/リデュースジョブためのユーザーJARを設定

void setJarByClass(Class cls)
サンプルクラスの場所にジョブのJARファイルを設定

void setJobEndNotificationURI(String uri)
URIに呼び出される、ジョブ完了後(成功/失敗)に送信する案内を設定

void setJobName(String name)
ユーザーのジョブネームを設定

void setJobPriority(JobPriority prio)
ジョブのJobPriorityを設定

void setKeepFailedTaskFiles(boolean keep)
失敗したタスクの中間ファイルのフレームワークの保持の有無

void setKeepTaskFilesPattern(String pattern)
保持するべきタスクネームの正規表現を設定

void setKeyFieldComparatorOptions(String keySpec)
キーフィールドベースドコンパレーターオプションが使うコンペアキーの設定

void setKeyFieldPartitionerOptions(String keySpec)
キーフィールドベースドコンパレーターオプションが使うパーテーションの設定

void setMapDebugScript(String mDbgScript)
マップタスクの失敗時に実行するデバッグスクリプトの設定

void setMapOutputCompressorClass(Class<? extends CompressionCodec> codecClass)
マップ出力のためのコンプレッションコーデックとしてのクラスを設定

void setMapOutputKeyClass(Class<?> theClass)
マップ出力データのキークラスを設定

void setMapOutputValueClass(Class<?> theClass)
マップ出力データのバリュークラスを設定

void setMapperClass(Class<? extends Mapper> theClass)
ジョブのためのマッパークラスを設定

void setMapRunnerClass(Class<? extends MapRunnable> theClass)
エキスパート:ジョブのMapRunnableクラスを設定

void setMapSpeculativeExecution(boolean speculativeExecution)
マップタスクのためのジョブの推測実行のオン、またはオフ

void setMaxMapAttempts(int n)
エキスパート:生成され実行するマップタスクの最大試行回数を取得

void setMaxMapTaskFailuresPercent(int percent)
エキスパート:中止されたジョブを除いで失敗できる最大のマップタスクのパーセンテージを取得

void setMaxPhysicalMemoryForTask(long mem)
非推奨

void setMaxReduceAttempts(int n)
エキスパート:生成され実行するリデュースタスクの最大試行回数を取得

void setMaxReduceTaskFailuresPercent(int percent)
エキスパート:中止されたジョブを除いで失敗できる最大のリデュースタスクのパーセンテージを取得

void setMaxTaskFailuresPerTracker(int noFailures)
最大数の設定

void setMaxVirtualMemoryForTask(long vmem)
非推奨 setMemoryForMapTask(long mem) と setMemoryForReduceTask(long mem)を使用

void setMemoryForMapTask(long mem)

void setMemoryForReduceTask(long mem)

void setNumMapTasks(int n)
ジョブのマップタスク数を設定

void setNumReduceTasks(int n)
ジョブの必要なリデュースタスク数を設定

void setNumTasksToExecutePerJvm(int numTasks)
終了前に生成されたJVMが実行されるタスク数を設定

void setOutputCommitter(Class<? extends OutputCommitter> theClass)
マップ/リデュースジョブのOutputCommitterの実装を設定

void setOutputFormat(Class<? extends OutputFormat> theClass)
マップ/リデュースジョブのOutputFormatの実装を設定

void setOutputKeyClass(Class<?> theClass)
ジョブの出力データのためのキークラスを設定

void setOutputKeyComparatorClass(Class<? extends RawComparator> theClass)
RawComparatorコンパレーターが使うコンペアキーを設定

void setOutputValueClass(Class<?> theClass)
ジョブの出力のためのバリュークラスを設定

void setOutputValueGroupingComparator(Class<? extends RawComparator> theClass)
リデュースへの入力するグルーピングキーのためのユーザー定義RawComparatorコンパレーターを設定

void setPartitionerClass(Class<? extends Partitioner> theClass)
リデューサーに送られるマッパーアウトプットのパーティーションのPartitionerクラスの設定

void setProfileEnabled(boolean newValue)
ジョブに同じタスクのためのプロファイル情報をシステムが集めるための設定有無。情報が格納されるログディレクトリ

void setProfileParams(String value)
プロファイル構成の引数を設定

void setProfileTaskRange(boolean isMap, String newValue)
プロファイルのマップ、まはたリデュースのレンジを設定

void setQueueName(String queueName)
送信すべきジョブのキューネームを設定

void setReduceDebugScript(String rDbgScript)
リデュースタスクの失敗時に実行するデバッグスクリプトを設定

void setReducerClass(Class<? extends Reducer> theClass)
ジョブのReducerクラスを設定

void setReduceSpeculativeExecution(boolean speculativeExecution)
リデュースタスクのための推測実行のオン、オフ

void setSessionId(String sessionId)
ユーザー指定のセッション識別子を設定

void setSpeculativeExecution(boolean speculativeExecution)
ジョブの推測実行のオン、オフ

void setUseNewMapper(boolean flag)
フレームワークのマッパーの新規APIの使用有無

void setUseNewReducer(boolean flag)
フレームワークのリデューサーの新規APIの使用有無

void setUser(String user)
ジョブのユーザーネームを設定

void setWorkingDirectory(Path dir)
デフォルトファイルシステムのためのワーキングディレクトリを設定

org.apache.hadoop.conf.Configurationクラスの継承メソッド
addDefaultResource, addResource, addResource, addResource, addResource, clear, dumpConfiguration, get, get, getBoolean, getClass, getClass, getClassByName, getClasses, getClassLoader, getConfResourceAsInputStream, getConfResourceAsReader, getEnum, getFile, getFloat, getInt, getLocalPath, getLong, getRange, getRaw, getResource, getStringCollection, getStrings, getStrings, getValByRegex, iterator, main, readFields, reloadConfiguration, set, setBoolean, setBooleanIfUnset, setClass, setClassLoader, setEnum, setFloat, setIfUnset, setInt, setLong, setQuietMode, setStrings, size, toString, write, writeXml

java.lang.Objectクラスの継承メソッド
clone, equals, finalize, getClass, hashCode, notify, notifyAll, wait, wait, wait


フィールド詳細

MAPRED_TASK_MAXVMEM_PROPERTY
public static final String MAPRED_TASK_MAXVMEM_PROPERTY
非推奨 Use MAPRED_JOB_MAP_MEMORY_MB_PROPERTY and MAPRED_JOB_REDUCE_MEMORY_MB_PROPERTY
参照:
Constant Field Values

UPPER_LIMIT_ON_TASK_VMEM_PROPERTY
public static final String UPPER_LIMIT_ON_TASK_VMEM_PROPERTY
非推奨
参照:
Constant Field Values

MAPRED_TASK_DEFAULT_MAXVMEM_PROPERTY
public static final String MAPRED_TASK_DEFAULT_MAXVMEM_PROPERTY
非推奨
参照:
Constant Field Values

MAPRED_TASK_MAXPMEM_PROPERTY
public static final String MAPRED_TASK_MAXPMEM_PROPERTY
非推奨
参照:
Constant Field Values

DISABLED_MEMORY_LIMIT
public static final long DISABLED_MEMORY_LIMIT
値はメモリに関連するオプションを設定する場合に、オフなことを示します。
参照:
Constant Field Values

MAPRED_LOCAL_DIR_PROPERTY
public static final String MAPRED_LOCAL_DIR_PROPERTY
mapred.local.dir設定プロパティのプロパティネーム
参照:
Constant Field Values

DEFAULT_QUEUE_NAME
public static final String DEFAULT_QUEUE_NAME
送信されるジョブのキューネーム
参照:
Constant Field Values

MAPRED_TASK_JAVA_OPTS
public static final String MAPRED_TASK_JAVA_OPTS
非推奨 Use MAPRED_MAP_TASK_JAVA_OPTS or MAPRED_REDUCE_TASK_JAVA_OPTS
構成キーはチャイルドマップとリデュースタスクのためにJavaコマンドラインオプションを設定する、タスクトラッカーのチャイルドプロセスためのJava opts。以下のシンボルが存在する場合には、現在のタスクIDへの置換により補完される: @taskid@。@の箇所は変更されずに移動します。
例として、/tmp内のタスクIDのファイルネームへ冗長なgcがロギングしヒープの最大値をgigabyteで設定が可能になる。
-Xmx1024m -verbose:gc -Xloggc:/tmp/@taskid@.gc の値を渡すことで、構成ファイルの変数MAPRED_TASK_ULIMITはチャイルドプロセスの最大仮想メモリのコントロールに使うことができる
構成ファイルの変数MAPRED_TASK_ENVはチャイルドプロセスの他の環境変数に渡すことに使える
参照:
Constant Field Values

MAPRED_MAP_TASK_JAVA_OPTS
public static final String MAPRED_MAP_TASK_JAVA_OPTS
構成キーはチャイルドマップとマップタスクのためにJavaコマンドラインオプションを設定する、
タスクトラッカーのチャイルドプロセスためのJava opts。以下のシンボルが存在する場合には、現在のタスクIDへの置換により補完される: @taskid@。@の箇所は変更されずに移動します。
例として、/tmp内のタスクIDのファイルネームへ冗長なgcがロギングしヒープの最大値をgigabyteで設定が可能になる。
-Xmx1024m -verbose:gc -Xloggc:/tmp/@taskid@.gc の値を渡すことで、構成ファイルの変数MAPRED_MAP_TASK_ULIMITはマッププロセスの最大仮想メモリのコントロールに使うことができる
構成ファイルの変数MAPRED_MAP_TASK_ENVはマッププロセスの他の環境変数に渡すことに使える
参照:
Constant Field Values

MAPRED_REDUCE_TASK_JAVA_OPTS
public static final String MAPRED_REDUCE_TASK_JAVA_OPTS
構成キーはチャイルドマップとリデュースタスクのためにJavaコマンドラインオプションを設定する、
タスクトラッカーのチャイルドリデュースプロセスためのJava opts。以下のシンボルが存在する場合には、現在のタスクIDへの置換により補完される: @taskid@。@の箇所は変更されずに移動します。
例として、/tmp内のタスクIDのファイルネームへ冗長なgcがロギングしヒープの最大値をgigabyteで設定が可能になる。

-Xmx1024m -verbose:gc -Xloggc:/tmp/@taskid@.gc の値を渡すことで、構成ファイルの変数MAPRED_REDUCE_TASK_ULIMITはリデュースプロセスの最大仮想メモリのコントロールに使うことができる

構成ファイルの変数MAPRED_MAP_TASK_ENVはリデュースプロセスの他の環境変数に渡すことに使える
参照:
Constant Field Values

DEFAULT_MAPRED_TASK_JAVA_OPTS
public static final String DEFAULT_MAPRED_TASK_JAVA_OPTS
参照:
Constant Field Values

MAPRED_TASK_ULIMIT
非推奨
public static final String MAPRED_TASK_ULIMIT
非推奨 Use MAPRED_MAP_TASK_ULIMIT または MAPRED_REDUCE_TASK_ULIMITを使用
構成キーはチャイルドマップとリデュースタスクの使用可能な仮想メモリ(KB)の最大を設定
注意: XmxがMAPRED_TASK_JAVA_OPTSを介してJavaVMへ渡した値、もしくはVMの設定より以上が必須
参照:
Constant Field Values

MAPRED_MAP_TASK_ULIMIT
public static final String MAPRED_MAP_TASK_ULIMIT
構成キーはマップタスクの使用可能な仮想メモリ(KB)の最大を設定
注意: XmxがMAPRED_MAP_TASK_JAVA_OPTSを介してJavaVMへ渡した値、もしくはVMの設定より以上が必須
参照:
Constant Field Values

MAPRED_REDUCE_TASK_ULIMIT
public static final String MAPRED_REDUCE_TASK_ULIMIT
構成キーはリデュースタスクの使用可能な仮想メモリ(KB)の最大を設定
注意: XmxがMAPRED_REDUCE_TASK_JAVA_OPTSを介してJavaVMへ渡した値、もしくはVMの設定より以上が必須
参照:
Constant Field Values

MAPRED_TASK_ENV
非推奨
public static final String MAPRED_TASK_ENV
非推奨 Use MAPRED_MAP_TASK_ENV または MAPRED_REDUCE_TASK_ENVを使用
構成キーはチャイルドマップ、リデュースタスクの環境を設定する、値のフォーマットは、k1=v1,k2=v2。さらに、$keyを介して既存の環境変数を参照することができる。
A=foo 環境変数Aにfooを設定
B=$X:c タスクトラッカーXの環境変数を継承
参照:
Constant Field Values

MAPRED_MAP_TASK_ENV
public static final String MAPRED_MAP_TASK_ENV
構成キーはマップタスクの使用可能な仮想メモリ(KB)の最大を設定する、値のフォーマットは、k1=v1,k2=v2。さらに、$keyを介して既存の環境変数を参照することができる。
A=foo 環境変数Aにfooを設定
B=$X:c タスクトラッカーXの環境変数を継承
参照:
Constant Field Values

MAPRED_REDUCE_TASK_ENV
public static final String MAPRED_REDUCE_TASK_ENV
構成キーはリデュースタスクの使用可能な仮想メモリ(KB)の最大を設定する、値のフォーマットは、k1=v1,k2=v2。さらに、$keyを介して既存の環境変数を参照することができる。
A=foo 環境変数Aにfooを設定
B=$X:c タスクトラッカーXの環境変数を継承
参照:
Constant Field Values

コンストラクタ詳細

JobConf
public JobConf()
マップ/リデュースジョブの設定コンストラクタ

JobConf
public JobConf(Class exampleClass)
マップ/リデュースジョブの設定コンストラクタ
Parameters:
ジョブに使用されているJARを含むクラス

JobConf
public JobConf(Configuration conf)
マップ/リデュースジョブの設定コンストラクタ
Parameters:
継承する構成

JobConf
public JobConf(Configuration conf,
Class exampleClass)
マップ/リデュースジョブの設定コンストラクタ
Parameters:
継承する構成
ジョブに使用されているJARを含むクラス

JobConf
public JobConf(String config)
マップ/リデュースジョブの設定コンストラクタ
Parameters:
XMLフォーマットのジョブ記述ファイル

JobConf
public JobConf(Path config)
マップ/リデュースジョブの設定コンストラクタ
Parameters:
XMLフォーマットのジョブ記述ファイル

JobConf
public JobConf(boolean loadDefaults)
新規のマップ/リデュースの設定でデフォルトリソースから動作の読み込みをオフにできる
パラメーターloadDefaultsがfalseの時には、新しいインスタンスはデフォルトファイルからリソースを読み込まない
Parameters:
デフォルトファイルの読み込み有無

メソッド詳細

getCredentials
public Credentials getCredentials()
ジョブの証明を取得
Returns:
ジョブの証明

getJar
public String getJar()
マップ/リデュースジョブのためのユーザーJARを取得
Returns:
JAR

setJar
public void setJar(String jar)
マップ/リデュースジョブためのユーザーJARを設定
Parameters:
JAR

setJarByClass
public void setJarByClass(Class cls)
サンプルクラスの場所にジョブのJARファイルを設定
Parameters:
サンプルクラス

getLocalDirs
public String[] getLocalDirs() throws IOException
Throws:
IOException

deleteLocalFiles
public void deleteLocalFiles() throws IOException
Throws:
IOException

deleteLocalFiles
public void deleteLocalFiles(String subdir) throws IOException
Throws:
IOException

getLocalPath
public Path getLocalPath(String pathString) throws IOException
ローカルファイルネームのコンストラクタ、ファイルは設定されたローカルディレクトリに分散される
Throws:
IOException

getUser
public String getUser()
ジョブのレポートされたユーザーネームを取得
Returns:
the username

setUser
public void setUser(String user)
ジョブのユーザーネームを設定
Parameters:
ジョブのユーザーネーム

setKeepFailedTaskFiles
public void setKeepFailedTaskFiles(boolean keep)
失敗したタスクの中間ファイルのフレームワークの保持の有無
Parameters:
true 保持

getKeepFailedTaskFiles
public boolean getKeepFailedTaskFiles()
失敗したタスクのテンポラリーファイルの保持の有無
Returns:

setKeepTaskFilesPattern
public void setKeepTaskFilesPattern(String pattern)
保持するべきタスクネームの正規表現を設定、
例:実行しているmap123のファーストインスタンスを保持する、正規表現 ".*_m_000123_0"
Parameters:
java.util.regex.Patternに一致するタスクネーム

getKeepTaskFilesPattern
public String getKeepTaskFilesPattern()
保持する場合に、正規表現に一致するタスクネームを取得
Returns:
文字列パターン

setWorkingDirectory
public void setWorkingDirectory(Path dir)
デフォルトファイルシステムのためのワーキングディレクトリを設定
Parameters:
ディレクトリ

getWorkingDirectory
public Path getWorkingDirectory()
現在のデフォルトファイルシステムのワーキングディレクトリを取得
Returns:
ディレクトリ

setNumTasksToExecutePerJvm
public void setNumTasksToExecutePerJvm(int numTasks)
終了前に生成されたJVMが実行されるタスク数を設定
Parameters:
実行すうるタスク数
デフォルト:1
無制限:-1

getNumTasksToExecutePerJvm
public int getNumTasksToExecutePerJvm()
生成するJVMが実行するタスク数を取得

getInputFormat
public InputFormat getInputFormat()
明示的な指定がない場合には、マップ/リデュースジョブのために実装される標準のテキストインプットフォーマットを取得
Returns:
マップ/リデュースジョブのために実装するInputFormat

setInputFormat
public void setInputFormat(Class<? extends InputFormat> theClass)
マップ/リデュースジョブのためのInputFormatの実装設定
Parameters:
マップ/リデュースジョブのために実装するInputFormat

getOutputFormat
public OutputFormat getOutputFormat()
マップ/リデュースジョブのOutputFormatの実装を取得、指定がない場合は標準のTextOutputFormat
Returns:
マップ/リデュースジョブのために実装するOutputFormat

getOutputCommitter
public OutputCommitter getOutputCommitter()
マップ/リデュースジョブのOutputCommitterの実装を取得、指定がない場合は標準のFileOutputCommitter
Returns:
マップ/リデュースジョブのために実装するOutputCommitter

setOutputCommitter
public void setOutputCommitter(Class<? extends OutputCommitter> theClass)
マップ/リデュースジョブのOutputCommitterの実装を設定
Parameters:
マップ/リデュースジョブのために実装するOutputCommitter

setOutputFormat
public void setOutputFormat(Class<? extends OutputFormat> theClass)
マップ/リデュースジョブのOutputFormatの実装を設定
Parameters:
マップ/リデュースジョブのために実装するOutputFormat

setCompressMapOutput
public void setCompressMapOutput(boolean compress)
マップ出力の変換前にシークエンスファイル圧縮の有無
Parameters:
圧縮の有無

getCompressMapOutput
public boolean getCompressMapOutput()
出力するマップの圧縮有無
Returns:
マップの出力ファイルが圧縮された場合にtrueを返す

setMapOutputCompressorClass
public void setMapOutputCompressorClass(Class<? extends CompressionCodec> codecClass)
マップ出力のためのコンプレッションコーデックとしてのクラスを設定
Parameters:
マップ出力のためのコンプレッションコーデック

getMapOutputCompressorClass
public Class<? extends CompressionCodec> getMapOutputCompressorClass(Class<? extends CompressionCodec> defaultValue)
マップ出力を圧縮するためのコンプレッションコーデックを取得
Parameters:
未設定の場合に返すCompressionCodec
Returns:
the CompressionCodec class that should be used to compress the map outputs.
マップ出力のためのコンプレッションコーデック
Throws:
IllegalArgumentException - if the class was specified, but not found

getMapOutputKeyClass
public Class<?> getMapOutputKeyClass()
マップ出力データのためのキークラスを取得
未設定時には出力キーを使用する、最終的に出力されるアウトプットキーとは異なるマップ出力キークラス
Returns:
マップ出力のアウトプットキークラス

setMapOutputKeyClass
public void setMapOutputKeyClass(Class<?> theClass)
マップ出力データのキークラスを設定
未設定時には出力キーを使用する、最終的に出力される値のクラスとは異なるマップ出力キークラス
Parameters:
マップ出力のアウトプットキークラス

getMapOutputValueClass
public Class<?> getMapOutputValueClass()
マップ出力データのバリュークラスを取得
未設定時には出力バリュークラスを使用する、最終的に出力されるバリュークラスとは異なる出力クラス
Returns:
マップ出力のアウトプットバリュークラス

setMapOutputValueClass
public void setMapOutputValueClass(Class<?> theClass)
マップ出力データのバリュークラスを設定
最終的に出力されるバリュークラスとは異なるユーザー指定のマップ出力クラス
Parameters:
マップ出力バリュークラス

getOutputKeyClass
public Class<?> getOutputKeyClass()
ジョブの出力データのためのキークラスを取得
Returns:
ジョブ出力データのキークラス

setOutputKeyClass
public void setOutputKeyClass(Class<?> theClass)
ジョブの出力データのためのキークラスを設定
Parameters:
ジョブ出力データのキークラス

getOutputKeyComparator
public RawComparator getOutputKeyComparator()
RawComparatorコンパレーターに使われる比較キーを取得
Returns:
RawComparator コンパレーターが使うコンペアキー

setOutputKeyComparatorClass
public void setOutputKeyComparatorClass(Class<? extends RawComparator> theClass)
RawComparatorコンパレーターが使うコンペアキーを設定
Parameters:
RawComparator コンパレーターが使うコンペアキー
参照:
setOutputValueGroupingComparator(Class)

setKeyFieldComparatorOptions
public void setKeyFieldComparatorOptions(String keySpec)
キーフィールドベースドコンパレーターオプションが使うコンペアキーの設定
Parameters:
キー指定 -k pos1[,pos2]、posの形式は、使用するキーフィールドの数f、フィールドの先頭の最初の文字数のcからなる、f[.c][opts]
フィールドと文字のポストは1から始まる番号が付けられる。pos2内の0の文字位置がフィールドの最後の文字を示す。'.c'がpos1から省された場合、デフォルトでは1(先頭フィールド)、pos2の場合にデフォルトで0(最後のフィールド)。サポートオプションは、-n(並び替え数値)、 -r(比較の結果の逆順)

getKeyFieldComparatorOption
public String getKeyFieldComparatorOption()
KeyFieldBasedComparatorオプションを取得

setKeyFieldPartitionerOptions
public void setKeyFieldPartitionerOptions(String keySpec)
キーフィールドベースドコンパレーターオプションが使うパーテーションの設定
Parameters:
キー指定 -k pos1[,pos2]、posの形式は、使用するキーフィールドの数f、フィールドの先頭の最初の文字数のcからなる、f[.c][opts]
フィールドと文字のポストは1から始まる番号が付けられる。pos2内の0の文字位置がフィールドの最後の文字を示す。'.c'がpos1から省された場合、デフォルトでは1(先頭フィールド)、pos2の場合にデフォルトで0(最後のフィールド)。

getKeyFieldPartitionerOption
public String getKeyFieldPartitionerOption()
KeyFieldBasedPartitionerオプションを取得

getOutputValueGroupingComparator
public RawComparator getOutputValueGroupingComparator()
リデュースの入力グループキーのためのWritableComparableコンパレーターの定義を取得
Returns:
グルーピングバリューのためのユーザーによるコンパレータ設定

setOutputValueGroupingComparator
public void setOutputValueGroupingComparator(Class<? extends RawComparator> theClass)
リデュースへの入力するグルーピングキーのためのユーザー定義RawComparatorコンパレーターを設定
コンパレータは、Reducer.reduce(Object, java.util.Iterator, OutputCollector, Reporter)がコール前の、グルーピングキーと異なる等価規則でキーを並び替えた中間ファイルである場合に提供される
キーバリューは(K1,V1)と(K2,V2)、バリューは(V1, V2) 、K1 と K2が等しい場合、渡されたリデュースファンクションへのシングルコール
setOutputKeyComparatorClassはキーの並び替えの程度をコントロールすることができ、値によるセカンダリのシュミレートの並び替えを組み合わせにも使える
注意: リデュースの並び替えの安定性を保証しない(いずれの場合も、リデュースする非決定が可能なマップ出力は多数の場合に作られない)
Parameters:
RawComparatorの実装にするコンパレータクラスに使われるグルーピングキー
参照:
setOutputKeyComparatorClass(Class)

getUseNewMapper
public boolean getUseNewMapper()
マッパーの実行のためのフレームワークの新規コンテキストオブジェクトコードの使用有無
Returns:
新規のAPIに使われる場合にtrueを返す

setUseNewMapper
public void setUseNewMapper(boolean flag)
フレームワークのマッパーの新規APIの使用有無
Parameters:
api使用時にtrue

getUseNewReducer
public boolean getUseNewReducer()
リデューサーの実行のためのフレームワークの新規コンテキストオブジェクトコードの使用有無
Returns:
api使用時にtrue

setUseNewReducer
public void setUseNewReducer(boolean flag)
フレームワークのリデューサーの新規APIの使用有無、新規のジョブapiに送信するデフォルトのジョブ
Parameters:
api使用時にtrue

getOutputValueClass
public Class<?> getOutputValueClass()
ジョブ出力のためのバリュークラスを取得
Returns:
ジョブ出力のバリュークラス

setOutputValueClass
public void setOutputValueClass(Class<?> theClass)
ジョブの出力のためのバリュークラスを設定
Parameters:
ジョブ出力のバリュークラス

getMapperClass
public Class<? extends Mapper> getMapperClass()
ジョブのMapperクラスを取得
Returns:
ジョブのマッパークラス

setMapperClass
public void setMapperClass(Class<? extends Mapper> theClass)
ジョブのためのマッパークラスを設定
Parameters:
ジョブのマッパークラス

getMapRunnerClass
public Class<? extends MapRunnable> getMapRunnerClass()
ジョブのMapRunnableクラスを取得
Returns:
ジョブのMapRunnableクラス

setMapRunnerClass
public void setMapRunnerClass(Class<? extends MapRunnable> theClass)
エキスパート:ジョブのMapRunnableクラスを設定、通常はマッパーよりコントールに影響する
Parameters:
ジョブのMapRunnableクラス

getPartitionerClass
public Class<? extends Partitioner> getPartitionerClass()
Partitionerで使われるMapper-outputsに送られたReducersの仕切りを取得
Returns:
Partitionerが使うマップ出力のパーティーション

setPartitionerClass
public void setPartitionerClass(Class<? extends Partitioner> theClass)
リデューサーに送られるマッパーアウトプットのパーティーションのPartitionerクラスの設定
Parameters:
Partitionerが使うマップ出力のパーティーション

getReducerClass
public Class<? extends Reducer> getReducerClass()
ジョブのReducerクラスを取得
Returns:
ジョブのReducerクラス

setReducerClass
public void setReducerClass(Class<? extends Reducer> theClass)
ジョブのReducerクラスを設定
Parameters:
ジョブのReducerクラス

getCombinerClass
public Class<? extends Reducer> getCombinerClass()
リデュースに送る前に組み合わせたマップ出力に使うユーザー標準コンバイナークラスを取得
通常コンバイナーはジョブのReducerと同様。getReducerClass()
Returns:
ユーザー定義のコンバイナクラスが使うマップ出力のコンバイン

setCombinerClass
public void setCombinerClass(Class<? extends Reducer> theClass)
リデューサーへ送信前のユーザー定義コンバイナークラスが使うコンバインマップ出力
コンバイナはアプリケーション指定のマッパーとリデューサーの間のデータ転送量を削減を助けるアグリゲーションを実行し、よりよいパフォーマンスにつなげる

フレームワークは、マッパーとリデューサーのどちらのタスクでコンバイナーを呼び出す、0、1、または複数回。通常、コンバイナーはソート/マージの結果はディスクに書き込まることで呼ばれる。
同じ入出力キータイプ、それと同じ入出力バリュータイプを持っている、一般的にコンバイナーはジョブのReducerと同じである。setReducerClass(Class)
Parameters:
ユーザー定義のコンバイナークラスがコンバインマップ出力に使用する

getSpeculativeExecution
public boolean getSpeculativeExecution()
ジョブの推測実行の有無、デフォルトではtrueを返す
Returns:
推測実行がジョブのために使われる場合にtrueを返す

setSpeculativeExecution
public void setSpeculativeExecution(boolean speculativeExecution)
ジョブの推測実行のオン、オフ
Parameters:
ジョブの推測実行の有無

getMapSpeculativeExecution
public boolean getMapSpeculativeExecution()
マップタスクのためのジョブを指定実行の有無、デフォルトではtrueを返す
Returns:
マップタスクのためのジョブを指定実行の有無

setMapSpeculativeExecution
public void setMapSpeculativeExecution(boolean speculativeExecution)
マップタスクのためのジョブの推測実行のオン、またはオフ
Parameters:
マップタスクのためのジョブの推測実行の有無

getReduceSpeculativeExecution
public boolean getReduceSpeculativeExecution()
リデュースタスクのために推測の実行の使用有無、デフォルトはtrueを返す
Returns:
リデュースタスクのために推測の実行の使用の有無

setReduceSpeculativeExecution
public void setReduceSpeculativeExecution(boolean speculativeExecution)
リデュースタスクのための推測実行のオン、オフ
Parameters:
リデュースタスクのための推測実行の有無

getNumMapTasks
public int getNumMapTasks()
ジョブのマップタスク数の設定を取得
Returns:
ジョブのリデュースタスク数

setNumMapTasks
public void setNumMapTasks(int n)
ジョブのマップタスク数を設定
注:これはフレームワークのためのヒントです。
生成されたマップタスク数は実際にはInputSplitsがジョブのInputFormat.getSplits(JobConf, int)によって生成する数に依存している、InputFormatは通常実際のジョブのマップタスク数をコントールことに使われる

どれくらいのマップか?
マップの数は通常入力の合計サイズによって駆動される。つまり、合計入力ファイルのブロック数
マップのライトレベルの並列処理はノード単位に10-100前後のマップに思われる、けれども300以上、まはた非常に軽いCPUのマップタスクが設定されている。タスクの設定の間に、マップタスクが1分程度で実行するようであれば、最高です。
ただし、ファイルシステムが入力するファイルのブロックサイズは上限で分割入力に交換する、下限の分割サイズはmapred.min.split.sizeを介して設定できる
このように、10TBの入力データと128MBのブロックサイズの保持を実行する場合には、setNumMapTasks(int) により高く設定しない限り、82,000 mapsが最大となる
Parameters:
ジョブのマップタスク数
参照:
InputFormat.getSplits(JobConf, int), FileInputFormat, FileSystem.getDefaultBlockSize(), FileStatus.getBlockSize()

getNumReduceTasks
public int getNumReduceTasks()
ジョブのリデュースタスク数の設定を取得
Returns:
ジョブのリデュースタスク数

setNumReduceTasks
public void setNumReduceTasks(int n)
ジョブの必要なリデュースタスク数を設定
どれくらいのリデュースか?
リデュースの適切な数はおよそ0.95または1.75の複数回を掛けた数に思われる(<no. of nodes> * mapred.tasktracker.reduce.tasks.maximum)
0.95と共にすべてのリデュースはマップの終了までマップ出力の変換を開始と実装するができる、1.75は速いノードが最初のリデュースのラウンドを終了し、第2波起動しジョブの負荷分散を最良にする
リデュース数が増えることでフレームワークのオーバヘッドが増加するが、負荷分散が増加することで失敗のコストを抑えます、
スケーリング係数は、障害や推測タスクのためのフレームワークに含まれるいくつかのリデューススロットの予約するため、全体より少ない
リデュースタスクをゼロにするための妥当な設定
このケースでは、マップタスクの出力は直接分散先ファイルシステムのFileOutputFormat.setOutputPath(JobConf, Path)が設定されるパスに進む。また、フレームワークはHDFSへの書き込み以前にはマップ出力の並び替えができない
Parameters:
ジョブのリデュースタスク数

getMaxMapAttempts
public int getMaxMapAttempts()
mapred.map.max.attemptsプロパティの指定による生成されたマップタスクの最大試行数を取得
もしこのプロパティが未設定の場合には、デフォルトで4回試行する
Returns:
マップタスク毎の最大試行回数

setMaxMapAttempts
public void setMaxMapAttempts(int n)
エキスパート:生成され実行するマップタスクの最大試行回数を取得
Parameters:
マップタスク毎の最大試行回数

getMaxReduceAttempts
public int getMaxReduceAttempts()
mapred.reduce.max.attempts プロパティの指定による生成されたリデュースタスクの最大試行回数を取得
もしこのプロパティが未設定の場合には、デフォルトで4回試行する
Returns:
リデュースタスク毎の最大試行回数

setMaxReduceAttempts
public void setMaxReduceAttempts(int n)
エキスパート:生成され実行するリデュースタスクの最大試行回数を取得
Parameters:
リデュースタスク毎の最大試行回数

getJobName
public String getJobName()
ユーザー指定のジョブネームを取得
Returns:
ジョブネーム、デフォルトは空文字列

setJobName
public void setJobName(String name)
ユーザーのジョブネームを設定
Parameters:
ジョブの新規ネーム

getSessionId
public String getSessionId()
ユーザー指定のセッション識別子を取得
デフォルトは空の文字列。セッション識別子、はorg.apache.hadoop.metrics APIを介したいくつかのパフォーマンスマトリックスシステムのレポートデータのタグ付けに使われる
セッションIDは、特にHadoop-On-Demand (HOD)の動的で一時的な仮想Hadoopクラスターの割り当ての使用を意図しています。HODはクラスターの起動前にmapred-site.xmlによって編集されたセッション識別子を設定できる。HODの下で実行していない時、この識別子は空の文字列を継続し設定する
Returns:
セッション識別子、デフォルトは空文字列

setSessionId
public void setSessionId(String sessionId)
ユーザー指定のセッション識別子を設定
Parameters:
新規のセッション識別子

setMaxTaskFailuresPerTracker
public void setMaxTaskFailuresPerTracker(int noFailures)
最大数の設定
未設定時、タスクの失敗がnoFailuresを超えた場合にtasktrackerはこのジョブをブラックリストに載せる
Parameters:
最大回数、タスクトラッカー毎のジョブ失敗数

getMaxTaskFailuresPerTracker
public int getMaxTaskFailuresPerTracker()
最大数を取得
未設定時、タスクの失敗がnoFailuresを超えた場合にtasktrackerはこのジョブをブラックリストに載せる
Returns:
最大回数、タスクトラッカー毎のジョブ失敗数

getMaxMapTaskFailuresPercent
public int getMaxMapTaskFailuresPercent()
中止されたジョブを除いたマップタスクの最大で失敗するパーセンテージを取得
各マップタスクは、失敗と宣言される以前にgetMaxMapAttempts()の最小試行を実行する。デフォルトは0、すなわちいくつかのマップタスクの結果フィールドではJobStatusとして失敗が宣言される
Returns:
ジョブの中止を除いた失敗が可能なマップタスクの最大パーセンテージ

setMaxMapTaskFailuresPercent
public void setMaxMapTaskFailuresPercent(int percent)
エキスパート:中止されたジョブを除いで失敗できる最大のマップタスクのパーセンテージを取得
各マップタスクは失敗と宣言される以前にgetMaxMapAttempts()の最小試行を実行する。
Parameters:
ジョブの中止を除いた失敗が可能なマップタスクの最大パーセンテージ

getMaxReduceTaskFailuresPercent
public int getMaxReduceTaskFailuresPercent()
中止されたジョブを除いたリデュースタスクの最大で失敗するパーセンテージを取得
各マップタスクは、失敗と宣言される以前にgetMaxReduceAttempts()の最小試行を実行する。デフォルトは0、すなわちいくつかのリデュースタスクの結果フィールドではJobStatusとして失敗が宣言される
Returns:
ジョブの中止を除いた失敗が可能なリデュースタスクの最大パーセンテージ

setMaxReduceTaskFailuresPercent
public void setMaxReduceTaskFailuresPercent(int percent)
エキスパート:中止されたジョブを除いで失敗できる最大のリデュースタスクのパーセンテージを取得
各リデュースタスクは失敗と宣言される以前にgetMaxReduceAttempts()の最小試行を実行する。
Parameters:
ジョブの中止を除いた失敗が可能なリデュースタスクの最大パーセンテージ

setJobPriority
public void setJobPriority(JobPriority prio)
ジョブのJobPriorityを設定
Parameters:
ジョブのJobPriority

getJobPriority
public JobPriority getJobPriority()
ジョブのJobPriorityを取得
Returns:
ジョブのJobPriority

getProfileEnabled
public boolean getProfileEnabled()
タスクプロファイリングの有効有無の取得
Returns:
タスクプロファイリングの場合はtrueを返す

setProfileEnabled
public void setProfileEnabled(boolean newValue)
ジョブに同じタスクのためのプロファイル情報をシステムが集めるための設定有無。情報が格納されるログディレクトリ
Parameters:
trueで集約する

getProfileParams
public String getProfileParams()
プロファイラ構成の引数を取得
このプロパティのデフォルトバリュ"-agentlib:hprof=cpu=samples,heap=sites,force=n,thread=y,verbose=n,file=%s"
Returns:
タスクチャイルドのプロファイル構成に渡す引数

setProfileParams
public void setProfileParams(String value)
プロファイル構成の引数を設定
文字列に'%s'が含まれた場合に、タスク実行時にプロファイリングの出力ファイルネームに置換する。このバリューはコマンドライン上のタスクチャイルドJVMに渡される
Parameters:
構成文字列

getProfileTaskRange
public Configuration.IntegerRanges getProfileTaskRange(boolean isMap)
プロファイルのマップかリデュースの範囲を取得
Parameters:
マップタスク確認
Returns:
タスク範囲

setProfileTaskRange
public void setProfileTaskRange(boolean isMap, String newValue)
プロファイルのマップ、まはたリデュースのレンジを設定。setProfileEnabled(true) もコールしなければいけない
Parameters:
マップIDの整数型レンジを設定

setMapDebugScript
public void setMapDebugScript(String mDbgScript)
マップタスクの失敗時に実行するデバッグスクリプトの設定
デバッグスクリプトは失敗したマップタスクのデバッギングを援助する。スクリプトは引数として標準出力、標準エラー出力、システムログ、jobconfを与える
マップの障害が発生したノード上で実行するデバッグコマンド
$script $stdout $stderr $syslog $jobconf.
スクリプトファイルはDistributedCache APIを通して配布されている。スクリプトはシンボリックリンクを張る必要がある
スクリプトの送信サンプル
job.setMapDebugScript("./myscript");
DistributedCache.createSymlink(job);
DistributedCache.addCacheFile("/debug/scripts/myscript#myscript");
Parameters:
スクリプトネーム

getMapDebugScript
public String getMapDebugScript()
マップタスクのデバッグスクリプトを取得
Returns:
失敗したマップタスクのマップレイドジョブのためのデバッグスクリプト
参照:
setMapDebugScript(String)

setReduceDebugScript
public void setReduceDebugScript(String rDbgScript)
リデュースタスクの失敗時に実行するデバッグスクリプトを設定
デバッグスクリプトは失敗したリデュースタスクのデバッギングを援助する。スクリプトは引数として標準出力、標準エラー出力、システムログ、jobconfを与える
マップの障害が発生したノード上で実行するデバッグコマンド
$script $stdout $stderr $syslog $jobconf.
スクリプトファイルはDistributedCache APIを通して配布されている。スクリプトはシンボリックリンクを張る必要がある
スクリプトの送信サンプル
job.setReduceDebugScript("./myscript");
DistributedCache.createSymlink(job);
DistributedCache.addCacheFile("/debug/scripts/myscript#myscript");
Parameters:
スクリプトネーム

getReduceDebugScript
public String getReduceDebugScript()
リデュースタスクのデバッグスクリプトを取得
Returns:
失敗したリデュースタスクのマップレイドジョブのためのデバッグスクリプト
参照:
setReduceDebugScript(String)

getJobEndNotificationURI
public String getJobEndNotificationURI()
ジョブの完了後(成功/失敗)に起動されるURLの案内を送信する
Returns:
ジョブの終了通知のURI、未設定の場合はNULL
参照:
setJobEndNotificationURI(String)

setJobEndNotificationURI
public void setJobEndNotificationURI(String uri)
URIに呼び出される、ジョブ完了後(成功/失敗)に送信する案内を設定
URIは2つの特別なパラメーター $jobId and $jobStatusを格納することができる。これらが存在するとき、ジョブの識別子と完了ステータスをそれぞれに置換する
これは通常アプリケーション作成者に非同期な方法でのMap-Reduceジョブのチェインの実装に使われる
Parameters:
ジョブ完了通知のURI
参照:
JobStatus, Job Completion and Chaining

getJobLocalDir
public String getJobLocalDir()
スクラッチ領域として使用するためのジョブ指定の共有領域を取得
ジョブ開始時の共有領域が生成された場所 ${mapred.local.dir}/taskTracker/$user/jobcache/$jobid/work/
このディレクトリはjob.local.dirを通してユーザーに露出することで、タスクはこのスクラッチスペースと共有ファイルを使うことができる
このバリューはシステムプロパティとしても使用可能です。
Returns:
ローカライズしたジョブ指定の共有ディレクトリ

getMemoryForMapTask
public long getMemoryForMapTask()
ジョブのマップタスクの実行に必要なメモリ(MB)を取得
下位互換性のために、ジョブの構成にキーの設定のキーMAPRED_TASK_MAXVMEM_PROPERTYの値が、DISABLED_MEMORY_LIMITと異なる場合に、バイトからメガバイトに変換後の値が使われる
Returns:
ジョブのマップタスク実行に必要なメモリ、またはDISABLED_MEMORY_LIMIT

setMemoryForMapTask
public void setMemoryForMapTask(long mem)

getMemoryForReduceTask
public long getMemoryForReduceTask()
ジョブのリデュースタスクの実行に必要なメモリ(MB)を取得
下位互換性のために、ジョブの構成にキーの設定のキーMAPRED_TASK_MAXVMEM_PROPERTYの値が、DISABLED_MEMORY_LIMITと異なる場合に、バイトからメガバイトに変換後の値が使われる
Returns:
ジョブのマップタスク実行に必要なメモリ、またはDISABLED_MEMORY_LIMIT

setMemoryForReduceTask
public void setMemoryForReduceTask(long mem)

getQueueName
public String getQueueName()
ジョブが送信したキューネームを返す、デフォルトは'default'
Returns:
キューネーム

setQueueName
public void setQueueName(String queueName)
送信すべきジョブのキューネームを設定
Parameters:
キューネーム

normalizeMemoryConfigValue
public static long normalizeMemoryConfigValue(long val)
構成内の負の値を正規化
Parameters:
val -
Returns:
正規化値

getMaxVirtualMemoryForTask
非推奨
public long getMaxVirtualMemoryForTask()
非推奨 getMemoryForMapTask()とgetMemoryForReduceTask()を使用
ジョブのタスク実行に必要なメモリを取得(バイト)
参照
MAPRED_TASK_MAXVMEM_PROPERTY
このメソッドは非推奨、ジョブのマップとリデュースタスクのための異なるメモリ制限(MB)を設定することができる。
ジョブ構成設定のキーMAPRED_TASK_MAXVMEM_PROPERTYの値が、DISABLED_MEMORY_LIMITと異なる場合に、下位互換性のために値を返す。それ以外の場合に、このメソッドはgetMemoryForMapTask() とgetMemoryForReduceTask() の値の多きい方を返す
Returns:
ジョブのタスク実行に必要なメモリ、またはDISABLED_MEMORY_LIMIT
参照:
setMaxVirtualMemoryForTask(long)

setMaxVirtualMemoryForTask
非推奨
public void setMaxVirtualMemoryForTask(long vmem)
非推奨 setMemoryForMapTask(long mem) と setMemoryForReduceTask(long mem)を使用
ジョブのいくつかのタスクに使うことができる最大メモリを設定
参照 MAPRED_TASK_MAXVMEM_PROPERTY
mapred.task.maxvmem は、mapred.job.map.memory.mbとmapred.job.map.memory.mb,mapred に分割し新規のキーの各々をmapred.task.maxvmem/1024 としてMB単位を設定する
Parameters:
ジョブのいくつかのタスクが使用できる仮想メモリの最大値
参照:
getMaxVirtualMemoryForTask()

getMaxPhysicalMemoryForTask
非推奨
public long getMaxPhysicalMemoryForTask()
非推奨 使用されていない推奨されない変数

setMaxPhysicalMemoryForTask
public void setMaxPhysicalMemoryForTask(long mem)
非推奨

原文:
Class JobConf (Hadoop 0.20.205.0 API)

不備や気づいた点ありましたらコメントいただけると助かります。

About the author
  • コメントを残す