Как установить clickhouse на windows

Опубликовано: 10 мар 2019

Данная статья возникла, как результат желания протестировать функционал ClickHouse на простом привычном окружении. Поскольку я в основном использую Windows 10, в которой имеется возможность подключить компонент Windows Subsystem for Linux, эта операционная система и была выбрана для развертывания ClickHouse. Фактически все описанное здесь было выполнено на самом простом домашнем ноутбуке.

Поскольку я не являюсь экспертом Linux, я искал такой вариант развертывания, который можно было бы осуществить просто следуя небольшому набору команд. Пришлось протестировать несколько вариантов, и так как в некоторых случаях возникали ошибки, с которыми не очень хотелось разбираться, я выбрал тот дистрибутив, в котором все прошло наиболее гладко. Таким дистрибутивом оказалась Ubuntu 16.04, пакет которой для WSL можно скачать на странице Manually download Windows Subsystem for Linux.

Установка Ubuntu

Прежде чем устанавливать Ubuntu нужно активировать компонент Windows Subsystem for Linux в Windows 10. Для этого, нажав клавиши Win + R нужно запустить команду appwiz.cpl, затем в открывшемся окне перейти на вкладку «Включение и отключение компонентов Windows» и поставить галочку на против нужного компонента:

Развертывание ClickHouse

После установки Ubuntu на наш ноутбук с Windows 10 можно приступить к установке ClickHause. Cледуя шагам, предложенным в инструкции от Яндекса, выполним ряд соответствующих команд в терминале Ubuntu:

1. Добавляем репозиторий яндекса в список репозиториев

sudo sh -c "echo deb http://repo.yandex.ru/clickhouse/deb/stable/ main/ >> /etc/apt/sources.list"

2. Добавляем ключ авторизации пакета

sudo apt-key adv --keyserver keyserver.ubuntu.com --recv E0C56BD4

3. Устанавливаем пакет ClickHouse, состоящий из сервера и клиента

sudo apt-get update
sudo apt-get install clickhouse-client clickhouse-server

4. Поскольку мы разворачиваем ClickHouse на локальной машине, мы можем дать ему расширенные права доступа к соответсвующим директориям, что упростит процесс установки.

sudo chmod 777 /var/lib/clickhouse/
sudo chmod 777 /var/log/clickhouse-server/

sudo chown -R clickhouse:clickhouse /var/log/clickhouse-server/
sudo chown -R clickhouse:clickhouse /var/lib/clickhouse

5. По ходу установки выяснилось, что дополнительно нужно сконфигурировать в развернутой Ubuntu региональную временную зону

sudo dpkg-reconfigure tzdata

6. Теперь мы можем проверить готов ли к работе развернутый clickhouse-server, запустив его в режиме логирования в окно терминала:

clickhouse-server --config-file=/etc/clickhouse-server/config.xml

На экране появится много информационных сообщений, из которых нам по сути важно только поддтверждение запуска сервера и слушания приложением портов localhost:

Application: Listening http://127.0.0.1:8123

Ubuntu напрямую коммуницирует с localhost в Windows, что естественно очень удобно, и что позволяет работать с ClickHouse непосредственно из браузера в Windows, в том числе в Jupyter Notebook.

7. Если все установилось, запускаем сервер и клиент ClickHouse:

sudo service clickhouse-server start --config-file=/etc/clickhouse-server/config.xml
clickhouse-client

Увидев приглашение от clickhouse-client, вы можете отправить тестовый запрос:

ClickHouse client version 0.0.18749.
Connecting to localhost:9000.
Connected to ClickHouse server version 0.0.18749.

:) SELECT 1

┌─1─┐
│ 1 │
└───┘

1 rows in set. Elapsed: 0.003 sec.

Параметр config-file в большинстве случаев можно опустить. Эти две команды и будут в дальнейшем использоваться для запуска ClickHouse:

sudo service clickhouse-server start
clickhouse-client

Доступ по API к отчетам Яндекс Метрики и к Logs API

Чтобы иметь возможность обращаться по API к данным отчетов метрики и к данным хитов в Logs API нужно выполнить несколько несложных действий, следуя инструкциям от Яндекса:

• API отчетов v1 — Введение
• Logs API — Введение

По сути все сводится к регистрации условного приложения и получения для него токена для авторизации в вышеперечисленных API. Наиболее простой способ для начала работы — это получить отладочный токен, который действует достаточно долго, затем его можно будет обновить.

Работа с ClickHouse и Logs API в Jupyter Notebook

Благодаря сообществу пользователей ClickHouse появились ряд визуальных интерфейсов и библиотек, упрощающих взаимодействие с инструментом. Данная же статья будет следовать примерам, которые демонстрировали сами специалисты Яндекса на проводимых ими лекциях и вебинарах.

Открываем Jupyter Notebook и первым делом загружаем ряд необходимых пакетов:

import requests
import sys
from datetime import date
from datetime import timedelta
import urllib

Мы можем сохранить выданный нашему приложению авторизационный токен в файл и прочитать его с помощью команды:

with open('token.txt') as f:
    TOKEN = f.read().strip()

В качетсве димонстрации вот пример обращения к API отчетов метрики, где мы берем некоторые данные за вчерашний день:

header = {'Authorization': 'OAuth '+TOKEN}
ids = 11113333
payload = {
    'metrics': 'ym:s:pageviews, ym:s:users',
    'date1': (date.today() - timedelta(days=1)).isoformat(),
    'date2': (date.today() - timedelta(days=1)).isoformat(),
    'ids': ids,
    'accuracy': 'full',
    'pretty': True,
}
r = requests.get('https://api-metrika.yandex.ru/stat/v1/data', params=payload, headers=header).content

import json
print (json.dumps(json.loads(r)['data'], indent = 2))

[
  {
    "metrics": [
      112770.0, 
      15020.0
    ], 
    "dimensions": []
  }
]

При обращение же к Logs API вначале нам нужно проверить возможность формирования данных. Зададим параметры: мы обращаемся к хитам, а не к визитам и берем данные за вчерашний день. Отправим соответствующий запрос:

API_HOST = 'https://api-metrika.yandex.ru'
COUNTER_ID = 11113333
START_DATE = (date.today() - timedelta(days=1)).isoformat()
END_DATE = (date.today() - timedelta(days=1)).isoformat()
SOURCE = 'hits'
API_FIELDS = ('ym:pv:date', 'ym:pv:dateTime', 'ym:pv:URL', 'ym:pv:deviceCategory', 
         'ym:pv:operatingSystemRoot', 'ym:pv:clientID', 'ym:pv:browser', 'ym:pv:lastTrafficSource')

url_params = urllib.urlencode(
    [
        ('date1', START_DATE),
        ('date2', END_DATE),
        ('source', SOURCE),
        ('fields', ','.join(API_FIELDS))
    ]
)

url = 'https://api-metrika.yandex.ru/management/v1/counter/11113333/logrequests/evaluate?'\
    .format(host=API_HOST, counter_id=COUNTER_ID) + url_params
r = requests.get(url, headers={'Authorization': 'OAuth '+TOKEN})
r.status_code

Код 200 означает, что запрос отправлен успешно. А вот ответ о возможности получить данные:

json.loads(r.text)['log_request_evaluation']

{u'max_possible_day_quantity': 340, u'possible': True}

Как видно, в случае данного сайта есть возможность получить одним запросом данные за 341 день. Теперь отправим запрос непосредственно на получение данных:

url_params = urllib.urlencode(
    [
        ('date1', START_DATE),
        ('date2', END_DATE),
        ('source', SOURCE),
        ('fields', ','.join(sorted(API_FIELDS, key=lambda s: s.lower())))
    ]
)
url = '{host}/management/v1/counter/{counter_id}/logrequests?'\
    .format(host=API_HOST,
            counter_id=COUNTER_ID) \
      + url_params
r = requests.post(url, headers={'Authorization': 'OAuth '+TOKEN})

print (json.dumps(json.loads(r.text)['log_request'], indent = 2))

{
  "date1": "2019-03-09", 
  "status": "created", 
  "date2": "2019-03-09", 
  "counter_id": 11113333, 
  "fields": [
    "ym:pv:browser", 
    "ym:pv:clientID", 
    "ym:pv:date", 
    "ym:pv:dateTime", 
    "ym:pv:deviceCategory", 
    "ym:pv:lastTrafficSource", 
    "ym:pv:operatingSystemRoot", 
    "ym:pv:URL"
  ], 
  "source": "hits", 
  "request_id": 2782240
}

Поскольку данные могут формироваться некоторое время из этих данных нам потребуется request_id для проверки готовности ответа.

request_id = json.loads(r.text)['log_request']['request_id']

Задаем параметры и проверяем готовность ответа:

url = '{host}/management/v1/counter/{counter_id}/logrequest/{request_id}' \
            .format(request_id=request_id,
                    counter_id=COUNTER_ID,
                    host=API_HOST)
r = requests.get(url, params="", headers=header)

print (json.dumps(json.loads(r.text)['log_request'], indent = 4))

{
    "date1": "2019-03-09", 
    "status": "processed", 
    "date2": "2019-03-09", 
    "counter_id": 11113333, 
    "fields": [
        "ym:pv:browser", 
        "ym:pv:clientID", 
        "ym:pv:date", 
        "ym:pv:dateTime", 
        "ym:pv:deviceCategory", 
        "ym:pv:lastTrafficSource", 
        "ym:pv:operatingSystemRoot", 
        "ym:pv:URL"
    ], 
    "source": "hits", 
    "parts": [
        {
            "part_number": 0, 
            "size": 25338635
        }
    ], 
    "request_id": 2782240, 
    "size": 25338635
}

Если видим статус "created" — ждем, если статус "processed", это означает, что данные готовы, и что ответ будет состоять из какого-то количества частей.

parts = json.loads(r.text)['log_request']['parts']
print(parts)

[{u'part_number': 0, u'size': 25338635}]

Получаем ответ и помещаем его в Pandas DataFrame

import io
import StringIO
import pandas as pd

tmp_dfs = []
for part_num in map(lambda x: x['part_number'], parts):
    url = '{host}/management/v1/counter/{counter_id}/logrequest/{request_id}/part/{part}/download' \
            .format(
                host=API_HOST,
                counter_id=COUNTER_ID,
                request_id=request_id,
                part=part_num
            )
    r = requests.get(url, headers=header)
    if r.status_code == 200:
        tmp_df = pd.read_csv(io.StringIO(r.text), sep = '\t')
        tmp_dfs.append(tmp_df)
    else:
        raise ValueError(r.text)
df = pd.concat(tmp_dfs)

Мы можем сохранить полученные данные в csv файл, если в дальнейшем они нам могут понадобится

df.to_csv('site_data.csv', sep = '\t', index = False, encoding='utf-8', line_terminator='\n')

Один из параметров, которые нужны для взаимодействия с ClickHouse через браузер это хост:

HOST = 'http://localhost:8123'

Так, к примеру, если вы зайдете на http://localhost:9000 то можно прочесть:

Port 9000 is for clickhouse-client program.
You must use port 8123 for HTTP.

Определим функции для работы с ClickHouse из нашего Jupyter Notebook. Функции повторяют примеры, размещенные на вебинарах Яндекса¹:

def get_clickhouse_data(query, host = HOST, connection_timeout = 1500):
    r = requests.post(host, params = {'query': query}, timeout = connection_timeout)
    if r.status_code == 200:
        return r.text
    else:
        raise ValueError(r.text)
def get_clickhouse_df(query, host = HOST, connection_timeout = 1500):
    data = get_clickhouse_data(query, host, connection_timeout) 
    df = pd.read_csv(StringIO.StringIO(data), sep = '\t')
    return df
def upload(table, content, host=HOST):
#   content = content.encode('utf-8')
    query_dict = {
             'query': 'INSERT INTO ' + table + ' FORMAT TabSeparatedWithNames '
        }
    r = requests.post(host, data=content, params=query_dict)
    result = r.text
    if r.status_code == 200:
        return result
    else:
        raise ValueError(r.text)

С чегобы начать? Давайте, например, посмотрим что за базы данных в ClickHouse есть в текущеий момент:

q = '''
    SHOW DATABASES
'''
get_clickhouse_df(q)

Поскольку я уже немного поработал с данными, мы видим три базы данных, одна из которых системная. Создадим таблицу в базе funnels, в которую поместим данные из Logs API:

q = 'drop table if exists funnels.visits'
get_clickhouse_data(q)
q = '''
create table funnels.visits (
    browser String,
    clientID UInt64,
    date Date,
    dateTime DateTime, 
    deviceCategory String,
    trafficSource String,
    system String,
    URL String
) ENGINE = MergeTree(date, intHash32(clientID), (date, intHash32(clientID)), 8192)
'''
get_clickhouse_data(q)

Для демонстрации возможности прочтем полученные данные из созданного нами на предыдущих шагах csv файла

df = pd.read_csv('site_data.csv', sep='\t',encoding='utf-8')

Загружаем данные в нашу таблицу:

# %%time
upload(
    'funnels.visits',
    df.to_csv(index = False, sep = '\t', encoding='utf-8',line_terminator='\n'))

Квест пройден, а вот и приз — посмотрим, к примеру, сколько пользователей было вчера на основном разделе нашего сайта:

q = '''
SELECT
    uniq(clientID) as users
FROM funnels.visits
WHERE date = yesterday()
      AND match(URL,'^https://yoursite.ru/main')
FORMAT TabSeparatedWithNames
'''
get_clickhouse_df(q)

Foreword

Recently, listening to the roommate said that their company uses Clickhouse’s database, just caught up with overtime mission, and studied it. The first is the installation of the database. I found a lot of tutorial on the Internet. Although I’ve been very detailed, it is very smooth, I feel very strange, there is no step on the pit during the installation process. This blog records the whole process of this person, with some stepping pits and solutions.

Tip: The following is the textual content of this article, the case is available for reference

I. Introduction to Clickhouse Database

Clickhouse is an online analysis (OLAP)Columns databaseManagement System (DBMS).

Common columnar database has: Vertica, Paraccel (Actian Matrix, Amazon Redshift), Sybase IQ, Exasol, Infobright, InfiniDB, MonetDB (VectorWise, Actian Vector), LucidDB, SAP HANA, Google Dremel, Google PowerDrill, Druid, kdb +.

Clickhouse is the most commonly used in the column database, which is the true DBMS. There are a lot of very detailed blog articles on the Internet to learn. Specific learning is not the main content of this blog.

Attach Clickhouse official documentation:Clickhouse official documentation

Second, preparation

1. Install Linux

First, Clickhouse is currently supporting operating in Linux, Mac OS X, and does not support direct installation in the Windows platform. So you need to know about Linux related knowledge and experience.

Installing Linux You can install the virtual machine, then install the LINUX release system such as CENT OS or Ubuntu. But the installation is more troublesome, but also to install the virtual machine, but also download the system image. Here is a method herein to use the built-in Linux subsystem of Windows 10. This method is also shared on the Internet, it is really easy to use. The specific installation is as follows:

1. Open Windows Developer Mode

Open «Settings» -> «Update and Security» -> «Developer Options» to select «Developer Mode».

There will be a toolkit to install the developer option, you can wait a few minutes.

2. Install the Windows subsystem suitable for Linux

Turn on the control panel, select «Programs», click «Enable or turn Windows function», check «Windows Subsystem for Linux». The package will be installed here, you can wait a few minutes.Restart the system after installation。

3. Install Ubuntu

Open Microsoft Store, search Ubuntu, select a nearest department, click Get to be automatically installed.

Start Ubuntu after installation, there will be a short initial process, then go to the username and password, as shown below, it is successful.

4. Set up administrator privileges

Using Linux systems often require administrator privileges. So here is set first, so as not to trouble later. Since Ubuntu is not known, I have stepped on a pit.

Question 1: SU: AUTHENTICATION FAILURE solution

The reason is: Ubuntu is not allowed to log in by default, so the initial root account cannot be used, and the root password is required to use sudo permissions under normal accounts.

The solution is very simple: set a root password. Note that SUDO is not SU. This is solved!

Reference Blog Original:SU: AUTHENTICATION FAILURE solution

The previous work is ready, you can enter the installation of Clickhouse.

Third, install CLICKHOUSE

At first installed Clickhouse is to refer to this blog post:Ubuntu under Clickhouse installation and accessHowever, the installation process is not as smooth as the blog post, and the installation process is not very detailed. Here, the following will be combined with the blog post and its own actual operation, and make a detailed installation deployment.

Get installation files

Here is the installation of the installation package through the official website, and you can attempt yourself through the way, this is not repeated, and the installed version is in the same blog post.

Official address:download link

Download three installation packages:

clickhouse-common-static_20.9.2.20_amd64
clickhouse-server_20.9.2.20_all
clickhouse-client_20.9.2.20_all

Search directly in the download list can be found.

2. Execute the installation

After downloading, the three files download can be copied to the TMP file, and then move it to this folder via the CD command, the ls command views the file in the Ubuntu system. Because this is in this pit, it is always prompted that the file does not exist when the command is executed, so I have to move to other places.

Then install it, execute the command:

sudo dpkg -i clickhouse-common-static_20.9.2.20_amd64.deb
sudo dpkg -i clickhouse-server_20.9.2.20_all.deb
sudo dpkg -i clickhouse-client_20.9.2.20_all.deb

The installed is already installed as shown. It should be noted that when installing Clickhouse-Server, prompt the input password. I have entered 123456 this (Very important), If you do not enter a password, you can use it directly to you.

And I saw the installed Clickhouse under the ETC folder.

3. Start the Clickhouse service

It can be said that it has been successful here, you can start Clickhouse service. However, when starting the service, you will report an error, and the solution is to modify the content file content. Here we first start the service directly, what will be reported. (Focus）

There are two ways to start the service:

The first, can run the following command in the background:

sudo service clickhouse-server start

You can view the log in the / var / log / clickhouse-server / directory.

If the service is not started, check the configuration file /etc/clickhouse-server/config.xml.

Second, you can also start the service directly in the console:

clickhouse-server --config-file=/etc/clickhouse-server/config.xml

In this case, the log will be printed into the console, which is very convenient during development.

If the configuration file is in the current directory, you may not specify the ‘-config-file’ parameter. It uses ‘./config.xml’ by default.

Let’s execute it first.sudo service clickhouse-server startWatch what will be prompted (it is possible to succeed, talk about the pit encountered).

Question 1: Time zone error

Note that the red line is wrong, meaning that this is not to determine the time zone of this machine operating system, you need to manually set yourself.

sudo vim /etc/clickhouse-server/config.xml

Find Timezone, modify as follows:

<timezone>Asia/Shanghai</timezone>

This time zone is default that this code is not available by default, so try to add it in advance.

Question 2: Starting an error

Startup parameters: sudo clickhouse-server —config-file = / etc / clickhouse-server / config.xml

2020.08.20 18:49:28.189321 [ 29338 ] {} <Error> Application: DB::Exception: Effective user of the process (root) does not match the owner of the data (clickhouse). Run under 'sudo -u clickhouse'

Tip is already very clear, Run Under ‘Sudo -u Clickhouse’.

Start the parameters after modification: sudo -u clickhouse clickhouse-server —config-file = / etc / clickhouse-server / config.xml

Question 3: Connection Server Error Connection Refused: Connet

Configure external network access (remote access).

In Config.xml, the red box part is opened.

Question 4: Can’t include Node Clickhouse_remote_servers

When startup, you may prompt the error that cannot be introduced into the clickhouse_remote_servers node, this node is mainly configuring the cluster. It may be because there is no Metrika.xml file, resulting in the introduction node error. Since it is a single-machine version installation, here you can temporarily delete the nodes of the following image (recommended backup original files before modifying the configuration file).Note: You cannot directly Ctrl + / annotation here, because there is a comment in the node, it will report an error.

4. Start / stop / restart service

sudo service clickhouse-server start #start up
sudo service clickhouse-server stop #Stop
sudo service clickhouse-server restart # Restart the service, actually a first Stop, then start

5. Connect the Clickhouse server

Excuting an order:

clickhouse-client

Note: If the password is set, there will be such a prompt.

So use the following command (now the default account):

clickhouse-client --port 9000 --host 127.0.0.1 --password 123456 --multiline

This is successful.

6. Connect Clickhouse with Database Tools

If Java is developed, the Clickhouse tool built into IDEA can be connected, and the operation is also very simple.

Here the port is 8123 default, and the HTTP port connected to Clickhouse is 8123.

After installing the plugin, you can use it in Idea.

to sum up

It is basically over, and the first installation has stepped on many pits, and a lot of strange blame has also appeared. The second installation is very smooth. This is just a single-machine deployment, but in actual work, production, important or cluster, will continue to study the deployment of the cluster in the future.

Reference blog

Here are some of the books, and there is a cluster deployment method, you can reference:
1.clickhouse cluster installation
2. One of the Clickhouse Series: Clickhouse Introduction and Installation
3. Clickhouse Series 2: Clickhouse encountered error issues and solutions
4. Under the installation and access of Clickhouse under theUbuntu
5.Clickhouse Basic Operation One User Rights Management