Um Guia Abrangente para Construir e Depurar o Apache Doris

Tutoriais

Apache

O Apache Doris, um banco de dados analítico em tempo real de alto desempenho, possui uma impressionante arquitetura subjacente e design de código. Para os desenvolvedores, dominar a compilação do código-fonte e a depuração é fundamental para entender o núcleo do Doris. No entanto, o processo de compilação envolve múltiplas ferramentas e configurações de dependências, e durante a depuração, você pode encontrar vários problemas complexos que podem deixar os iniciantes se sentindo sobrecarregados.

Este artigo o guiará pelo processo, do código-fonte à execução, fornecendo uma análise detalhada dos procedimentos de compilação e depuração do Apache Doris. Desde a configuração do ambiente e o checkout do código até a resolução de problemas comuns, combinamos exemplos práticos para ajudá-lo a começar rapidamente com o desenvolvimento e a depuração do Doris.

Visão Geral

Você já se perguntou como uma consulta SQL é analisada e executada do início ao fim? No Apache Doris, esse processo envolve múltiplos componentes principais e mecanismos internos complexos. Este artigo o guiará pela jornada do código-fonte à execução, oferecendo uma análise abrangente do processo de compilação e depuração do Doris, e ajudando-o a obter uma compreensão profunda dos princípios de execução do SQL.

1. Ambiente

Ambiente Básico

Configuração do Computador. MacBook Pro (Chip: Apple M1, macOS: 15.1)
JDK. Versão 17
Ramo do Doris. Use o ramo Doris Master (especificamente, o ramo-2.1)

Instalando Dependências do Ambiente

Ao usar o Homebrew, a versão do JDK instalada é a 17, pois na macOS a versão arm64 do Homebrew não inclui o JDK 8 por padrão. Atualmente, o Doris suporta apenas JDK8 e JDK17.

PowerShell

brew install automake autoconf libtool pkg-config texinfo coreutils gnu-getopt \ python@3 cmake ninja ccache bison byacc gettext wget pcre maven llvm@16 openjdk@17 npm

Explicação das Dependências

1. Java, Maven, etc. Estes podem ser baixados separadamente para uma gestão mais fácil.

No macOS, é recomendado o Zulu JDK17.
O Maven pode ser baixado do site oficial do Maven.
O Java e o Maven baixados manualmente devem ser configurados nas suas variáveis de ambiente.

2. Variáveis de ambiente de outras dependências (exemplo para Macs com Apple Silicon):

PowerShell

export PATH=/opt/homebrew/opt/llvm/bin:$PATH 

export PATH=/opt/homebrew/opt/bison/bin:$PATH

export PATH=/opt/homebrew/opt/texinfo/bin:$PATH 

​

ln -s -f /opt/homebrew/bin/python3 /opt/homebrew/bin/python

Adicione as configurações acima ao seu arquivo ~/.bashrc ou ~/.zshrc e execute source ~/.bashrc ou source ~/.zshrc para aplicar as alterações.

Instalando o Thrift

Nota: O Thrift precisa ser instalado apenas quando você está depurando apenas o FE (Frontend). Ao depurar tanto o BE (Backend) quanto o FE, as bibliotecas de terceiros do BE já incluem o Thrift.

Plain Text

MacOS:

1. Download: `brew install [email protected]`

2. Create a symbolic link:

`mkdir -p ./thirdparty/installed/bin`

# Apple Silicon 芯片 macOS

`ln -s /opt/homebrew/Cellar/[email protected]/0.16.0/bin/thrift ./thirdparty/installed/bin/thrift`

# Intel 芯片 macOS

`ln -s /usr/local/Cellar/[email protected]/0.16.0/bin/thrift ./thirdparty/installed/bin/thrift`

Note: Running `brew install [email protected]` on macOS may report that the version cannot be found. To resolve this, execute the following commands in the terminal:

    1. `brew tap homebrew/core --force`

    2. `brew tap-new $USER/local-tap`

    3. `brew extract --version='0.16.0' thrift $USER/local-tap`

    4. `brew install [email protected]`

 Reference: `https://gist.github.com/tonydeng/02e571f273d6cce4230dc8d5f394493c`

Obtendo Seu Código

Clone seu código executando os seguintes comandos:

PowerShell

cd ~

mkdir DorisDev

cd DorisDev

git clone <https://github.com/GitHubID/doris.git>

Configurando Variáveis de Ambiente

PowerShell

export DORIS_HOME=~/DorisDev/doris

export PATH=$DORIS_HOME/bin:$PATH

Download das Dependências de Compilação do Doris

1. Visite a página Apache Doris Third Party Prebuilt (link) para encontrar o código-fonte de todas as bibliotecas de terceiros. Você pode baixar diretamente doris-thirdparty-source.tgz.

2. Alternativamente, você pode baixar as bibliotecas de terceiros pré-compiladas na mesma página, o que poupa você de compilar essas bibliotecas manualmente. Consulte os comandos abaixo.

PowerShell

cd thirdparty

rm -rf installed

​

# For Intel Macs: curl -L <https://github.com/apache/doris-thirdparty/releases/download/automation/doris-thirdparty-prebuilt-darwin-x86_64.tar.xz> \\

    -o - | tar -Jxf -

# For Apple Silicon Macs: curl -L <https://github.com/apache/doris-thirdparty/releases/download/automation/doris-thirdparty-prebuilt-darwin-arm64.tar.xz> \\

    -o - | tar -Jxf -

​

# Verify that protoc and thrift run correctly: 

cd installed/bin

​

./protoc --version

./thrift --versio

Ao executar protoc e thrift, você pode encontrar problemas ao abri-los devido a problemas de verificação do desenvolvedor. Nesse caso, vá para Segurança & Privacidade e clique no botão Abrir Mesmo Assim na guia Geral para confirmar que deseja abrir o binário. Para mais detalhes, consulte o Suporte da Apple.

Aumentar o Limite Máximo de Descritores de Arquivos do Sistema

Depois de modificar, execute source no arquivo correspondente para aplicar as alterações.

PowerShell

# For bash: echo 'ulimit -n 65536' >>~/.bashrc 

# For zsh: echo 'ulimit -n 65536' >>~/.zshrc

2. Compilando o Doris

Vá para o diretório inicial do Doris e execute o script de compilação:

PowerShell

cd $DORIS_HOME

# Compile the entire Doris project: 

sh build.sh 

# Or compile only FE and BE: 

sh build.sh --fe --be

Se você deseja acelerar o processo de compilação e não precisa da página de frontend FE, você pode comentar a seção de compilação da interface do usuário FE no script build.sh:

Shell

# FE UI must be built before building FE

#if [[ "${BUILD_FE}" -eq 1 ]]; then

#    if [[ "${BUILD_UI}" -eq 1 ]]; then

#        build_ui

#    fi

#fi

Após uma compilação bem-sucedida, você deverá ver uma saída semelhante à seguinte:

3. Depuração

Configurando o Ambiente de Depuração

Este guia aborda apenas a depuração do Doris FE.

Plain Text

# Copy the compiled package to a separate directory:

 cp -r output/ ../doris-run 

​

# Configure FE/BE settings: 

 1. Set the IP and directories. 

 2. For BE, add the extra configuration: min_file_descriptor_number = 10000.

Comece a depurar usando o IntelliJ IDEA.

Importante: Não abra o diretório raiz do projeto Doris; em vez disso, abra o diretório FE para evitar conflitos com o CLion.

Gerando Código FE

Abra o terminal do IDEA, navegue até o diretório raiz do código e execute:

PowerShell

sh generated-source.sh

Espere até ver a mensagem “Feito”.

Configurando Depuração para FE

1. Editar configurações.

2. Adicionar uma configuração DorisFE. Clique no ícone + no canto superior esquerdo para adicionar uma configuração de Aplicativo. Consulte a imagem abaixo para as configurações específicas.

3. Diretório de trabalho. Defina-o para o diretório fe dentro do código-fonte.

4. Variáveis de ambiente. Configure as variáveis de ambiente de forma semelhante às exportadas em fe/bin/start_fe.sh no diretório raiz do Doris. A variável DORIS_HOME deve apontar para o diretório que você copiou anteriormente durante a configuração.

Plain Text

JAVA_OPTS=-Xmx8092m;

LOG_DIR=/Users/abc/DorisDev/doris-run/fe/log;

PID_DIR=/Users/abc/DorisDev/doris-run/fe/log;

DORIS_HOME=/Users/abc/DorisDev/doris-run/fe

Iniciando FE

Clique em Executar ou Depurar. Isso acionará o processo de construção para o FE; uma vez concluído, o FE será iniciado. Neste guia, escolhemos Depurar.

Iniciando BE

Como você já copiou o pacote compilado para o diretório doris-run, inicie o BE a partir desse diretório:

PowerShell

sh bin/start_be.sh --daemon

Depuração FE

1. Conecte-se ao FE. Use um cliente MySQL ou o DBeaver para se conectar ao FE iniciado pelo IDEA.

MySQL

mysql -uroot -h127.0.0.1 -P9030

2. Adicione o nó BE ao cluster.

MySQL

alter system add backend "127.0.0.1:9050";

3. Defina pontos de interrupção no código. Localize o código ConnectProcessor no projeto:

Defina um ponto de interrupção no método handleQuery. Quando você executar uma consulta, o depurador atingirá o ponto de interrupção, e você poderá iniciar uma jornada de depuração agradável. Por exemplo, se você estiver trabalhando na tarefa de migração de sintaxe do Doris mencionada nas sessões anteriores, você pode usar a depuração para refinar iterativamente seu código.

FAQs

Pergunta 1

Ao compilar, você pode encontrar um erro de conflito de bloqueio:

Plain Text

Could not acquire lock(s)

Resposta

Exclua quaisquer arquivos .lock em seu repositório Maven local executando:

Plain Text

find ~/.m2/repository -name "*.lock" -delete

Pergunta 2

Ao compilar, um erro causado por uma versão mais recente do Node.js pode ocorrer:

Plain Text

opensslErrorStack: ['error:03000086:digital envelope routines::initialization error'] library: 'digital envelope routines' reason: 'unsupported' code: 'ERR_OSSL_EVP_UNSUPPORTED'

Resposta

Defina o Node.js para usar o provedor de OpenSSL legado executando:

Plain Text

# Instruct Node.js to use the legacy OpenSSL provider export NODE_OPTIONS=--openssl-legacy-provider

Referência: Discussão no StackOverflow

Pergunta 3

O IntelliJ IDEA falha ao iniciar o FE com o erro:

Plain Text

java: OutOfMemoryError: insufficient memory

Resposta

O compilador do Maven pode não ter memória suficiente. Aumente a alocação de memória conforme mostrado abaixo:

Questão 5

O IntelliJ IDEA falha ao iniciar o FE com o erro:

Plain Text

java: cannot find symbol  Symbol:   class GeneratedMemoPatterns  Location: package org.apache.doris.nereids.pattern

Resposta

Resolva este problema executando os seguintes comandos no diretório raiz do Doris:

Plain Text

mv fe/fe-core/target/generated-sources/annotations/org/apache/doris/nereids/pattern/ fe/fe-core/target/generated-sources/org/apache/doris/ 

mv fe/fe-core/target/generated-sources/cup/org/apache/doris/analysis/ fe/fe-core/target/generated-sources/org/apache/doris/

Questão 5

Em algumas versões, a compilação pode falhar com o erro:

Plain Text

error: reference to ‘detail’ is ambiguous

Resposta

Modifique o código de acordo com este PR ou execute os seguintes comandos:

Plain Text

wget https://github.com/apache/doris/pull/43868.patch 

git apply 43868.patch

Questão 6

Em algumas versões, durante a depuração, o FE na porta 9030 falha ao iniciar, e o fe.log relata:

Plain Text

Can not find help zip file: help-resource.zip

Resposta

Navegue até o diretório doris/docs, execute os seguintes comandos e depois reinicie o FE:

Plain Text

cd doris/docs sh build_help_zip.sh

cp -r build/help-resource.zip ../fe/fe-core/target/classes

Ao seguir este guia, você deve ser capaz de configurar seu ambiente, compilar e depurar o Apache Doris com mais facilidade. Feliz depuração!

Source:
https://dzone.com/articles/guide-to-building-and-debugging-apache-doris