人工 知能

1/53ページ

Sqoopはしばしば問題に遭遇する

1、sqoopインポートハイブデータ (1)空文字列、空オブジェクト処理 -null-string '\\ N' -null-non-string '\\ N' (2)インポートデータに特殊文字が含まれている -hive-drop-import-delims (3)インポート時にクエリを使用したクエリ Target-dirは、データベースの最終保存場所と一致 […]

kubernetesのスパーククラスタの構築(2)

適用可能なシナリオ:Linuxシステム、kubernetes1.4以上のクラスターを構築し、CAおよびその他の証明書が設定されていない、DNSがセットアップされている、その他のシナリオは参照用です。 DNSを設定していない場合は、 kubernetesを参照してDNSを導入してください。 関連するyamlファイルが私のgithubにアップロードされました。私が使用する必要がある外部イメージはAli […]

kubernetesのスパーククラスタの構築(1)

適用可能なシナリオ:Linuxシステム、kubernetes1.4以上のクラスターを構築し、CAおよびその他の証明書が設定されていない、DNSがセットアップされている、その他のシナリオは参照用です。 DNSを設定していない場合は、 kubernetesを参照してDNSを導入してください。 関連するyamlファイルが私のgithubにアップロードされました。私が使用する必要がある外部イメージはAli […]

ES5.6を次の場所にインストールします。

今日、ESを見てから、数日前に5.2.0がリリースされたことが分かりました。インストール後に起動できません。バグだと言えます。 エラー: エラー:ブートストラップノートが失敗しました システムコールフィルタのインストールに失敗しました。ログを確認して設定を修正するか、システムコールフィルタを無効にしてください 理由: これはCentOS6がSecCompをサポートしておらず、ES5.2.0のデフォ […]

ELKログ解析プラットフォームがプロセス全体を構築

まず、背景を使用する 運用環境に多数のサーバーがある場合、多くのビジネスモジュールのログを毎回表示する必要があります。 第二に、環境 システム:centos 6.5 JDK:1.8 弾性検索 – 5.0.0 Logstash-5.0.0 木場 – 5.0.0 第三に、インストール 1、JDKをインストールする JDKをダウンロードします。http://www.oracle. […]

JavaプログラマーのAIの道 – 大きなデータ記事hadoopのインストール

JavaプログラマーのAIの道 – 大きなデータの記事 Hadoopのインストール 最近AI(人工知能)は大きな熱意を示しています.WAZIについて語るのは誰でも覚えていますが、そのような市場ではAIの動向に触れず、人工知能の熱波を受け入れることができません。そこに行こう。 それでは、あなたはどこから始めたのですか?これまで行っていたやり方とはまったく違って感じるので、私はAIの経路を […]

HiveはSentryを統合し、次にBeeline create関数

HiveがSentryを統合した後、スケジューリングタスクがBeelineを使用してHQLを実行するように変更されますが、Hive CLIで作成された関数はBeeline接続では表示されません。 1. CMにログインし、Hive設定項目を設定します。 hive.aux.jars.path=/opt/local/hive/lib/ 2. UDF JARパッケージをHDFSにアップロードします。 ha […]

Java NIO

Java NIO入門 チャネルとバッファ(チャネルとバッファ) 従来のioはバイトストリームと文字ストリームに基づいて動作し、nioはチャネルとバッファで動作し、データは常にチャネルからバッファに、またはバッファからチャネルに読み込まれます。 ノンブロッキングIO(ノンブロッキングIO) ioが非ブロックの場合 Nioは、セレクタのコンセプトを導入しています。これは、コネクションのオープンやデータ […]

分散型リアルタイムログ解析ソリューションELKデプロイメントアーキテクチャ

I.概要 ELKは、Beats、Logstash、Elasticsearch、Kibanaなどのコンポーネントを中心に、リアルタイムのログ収集、保存、表示などのワンストップソリューションを共同で行う集中管理型のロギングソリューションとなっています。 この記事では、ELKの共通アーキテクチャと関連する問題解決方法について説明します。 Filebeat:Filebeatは、わずかなサービスリソースしか […]

1 53