建站
咨詢
售后
建站咨詢
新聞中心
本篇文章為大家展示了reduce輸出結(jié)果到sqlserver數(shù)據(jù)庫異常，內(nèi)容簡明扼要并且容易理解，絕對能使你眼前一亮，通過這篇文章的詳細介紹希望你能有所收獲。
為黃州等地區(qū)用戶提供了全套網(wǎng)頁設(shè)計制作服務(wù)，及黃州網(wǎng)站建設(shè)行業(yè)解決方案。主營業(yè)務(wù)為網(wǎng)站建設(shè)、網(wǎng)站設(shè)計、黃州網(wǎng)站設(shè)計，以傳統(tǒng)方式定制建設(shè)網(wǎng)站，并提供域名空間備案等一條龍服務(wù)，秉承以專業(yè)、用心的態(tài)度為用戶提供真誠的服務(wù)。我們深信只要達到每一位用戶的要求，就會得到認可，從而選擇與我們長期合作。這樣，我們也可以走得更遠！
最近在做個hadoop統(tǒng)計的小項目，結(jié)果需要輸出到sqlserver數(shù)據(jù)，其中遇到一些小問題
在map、reduce進行的比較順利，因為數(shù)據(jù)比較規(guī)范，很快都搞定了
在運行時出現(xiàn)以下情況
遇到這種情況，第一時間想到是因為結(jié)點上驅(qū)動包的問題
對于缺少驅(qū)動的問題，有兩種方案
1、在集群的每個結(jié)點${HADOOP_HOME}/lib下添加驅(qū)動包，并重啟集群。這是最原始的方法，因為需要重啟集群，不建議使用
2、先把驅(qū)動包上傳到集群中
hadoop fs -put /lib/sqljdbc.jar
然后在新建Job之前添加到classpath環(huán)境中
Configuration conf = new Configuration();
FileSystem fs = FileSystem.get(conf);
//添加到classpath
DistributedCache.addFileToClassPath(new Path("/lib/sqljdbc.jar"), conf, fs);
//必須在新建JOB之前執(zhí)行，這樣才能在初始化 加載數(shù)據(jù)庫驅(qū)動、以及連接數(shù)據(jù)庫 傳入到conf中供JOB使用
DBConfiguration.configureDB(conf, "com.microsoft.sqlserver.jdbc.SQLServerDriver",
"jdbc:sqlserver://192.168.240.1:1433;DatabaseName=dbname", "sa", "123456");
Job job = new Job(conf, "statistic");
job.setJarByClass(DbnameDownedStatistic.class);
job.setMapperClass(StatisticMap.class);
job.setReducerClass(StatisticReducer.class);
job.setMapOutputKeyClass(Text.class);
job.setMapOutputValueClass(IntWritable.class);
job.setOutputKeyClass(StatisticDBWritable.class);
job.setOutputValueClass(Text.class);
job.setNumReduceTasks(4);
job.setInputFormatClass(TextInputFormat.class);
job.setOutputFormatClass(DBOutputFormat.class);
FileInputFormat.addInputPath(job, new Path("hdfs://node1:9000/user/hadoop/statictic/"));
String[] fileds = new String[] { "name","down", "count" };
DBOutputFormat.setOutput(job, "statistic", fileds);
System.exit(job.waitForCompletion(true) ? 0 : 1);這里需要注意的是
DBConfiguration.configureDB();
這個方法必須在new Job()之前執(zhí)行，這樣conf才能加載到驅(qū)動包，才能保證其他結(jié)點也能加載到驅(qū)動包。
上述內(nèi)容就是reduce輸出結(jié)果到sqlserver數(shù)據(jù)庫異常，你們學(xué)到知識或技能了嗎？如果還想學(xué)到更多技能或者豐富自己的知識儲備，歡迎關(guān)注創(chuàng)新互聯(lián)行業(yè)資訊頻道。
本文名稱：reduce輸出結(jié)果到sqlserver數(shù)據(jù)庫異常怎么辦
網(wǎng)頁路徑：http://ef60e0e.cn/article/jhdopc.html
