Download as PDF, PPTX
![Nginx
POST http://host.com/api
BODY:
{
"id": 0,
"method": "squire"
"params": [5]
}
RESPONSE:
{
"result": 25
}](https://image.slidesharecdn.com/andreydrozdov-161128090125/75/rest-api-tarantool-12-2048.jpg)
![Схемы Avro
{
"First": "John",
"Last": "Doe"
}
{
"name": "Person",
"type": "record",
"fields": [
{ "name": "First",
"type": "string" },
{ "name": "Last",
"type": "string" }
]
}
Хранится как: ["John", "Doe"]](https://image.slidesharecdn.com/andreydrozdov-161128090125/75/rest-api-tarantool-14-2048.jpg)
![[
"John",
"Doe",
"Was here!"
]
{
"First": "John",
"Last": "Doe"
"Notes": "Was here!"
}
V2 V2
Versions](https://image.slidesharecdn.com/andreydrozdov-161128090125/75/rest-api-tarantool-15-2048.jpg)
![[
"John",
"Doe",
"Was here!"
]
{
"First": "Jane",
"Last": "Doe"
}
V2 V1
Versions](https://image.slidesharecdn.com/andreydrozdov-161128090125/75/rest-api-tarantool-16-2048.jpg)
![[
"Jane",
"Doe"
]
{
"First": "Jane",
"Last": "Doe"
"Notes": ""
}
V1 V2
Versions](https://image.slidesharecdn.com/andreydrozdov-161128090125/75/rest-api-tarantool-17-2048.jpg)
![Пример конфигурации
{
"memory": 30,
"port": 3301,
"index": [
"user":["uid"],
"device":["uid", "sno"]
],
"relations": {
"user": ["device"]
}
"api": {
"v1": {
"user":{},
"device":{}
]
}
}](https://image.slidesharecdn.com/andreydrozdov-161128090125/75/rest-api-tarantool-31-2048.jpg)
![Join
{
"uid": 1,
"First": «John",
"Last": «Doe"
"device": [
{
"uid": 1,
"sno": 1,
"name":"myD",
}
]
}](https://image.slidesharecdn.com/andreydrozdov-161128090125/75/rest-api-tarantool-34-2048.jpg)
Uploaded byTanya Denisyuk
Андрей Дроздов "Создание высокопроизводительных rest api на tarantool"
Документ описывает возможности и применение Tarantool в 2016 году, включая интеграцию с Nginx, создание REST API на чистой СУБД, а также производительность и опыт использования в продакшене. Приведены примеры конфигураций, использования Avro схем, распределенного хранения и управления версиями запросов. Упоминаются различные архитектурные решения, производительность и потенциальные подводные камни при разработке.
More Related Content
Similar to Андрей Дроздов "Создание высокопроизводительных rest api на tarantool"
Андрей Дроздов "Создание высокопроизводительных rest api на tarantool"
- 2. Agenda Что представляет изсебя Tarantool в 2016 году Как подружить Nginx и Tarantool Как сделать REST API на чистой СУБД Как это используется в production Бенчмарки и цифры
- 3. Tarantool Tuple storage ACID Transactions Writeahead log Lua application server Ecosystem
- 4.
- 5.
- 6. How to build? Shard AvroSchema Nginx upstream module
- 7.
- 8.
- 9. Shard local cfg ={ servers = { { uri = 'host1:3301', zone = 'z1' }; { uri = 'host2:3301', zone = 'z2' }; }; login = 'my_user'; password = 'i_love_bananas'; redundancy = 2; binary = 3301; }
- 10. Nginx upstream tnt { serverhost.com:4301 max_fails=1; server host.com:4302 max_fails=1; server host.com:4303 max_fails=1; } location /api { tnt_http_rest_methods get delete; tnt_http_methods all; tnt_multireturn_skip_count 2; tnt_pure_result on; tnt_pass_http_request on parse_args; tnt_pass tnt; } }
- 11. Nginx function square(request, a) return{result=a*a} end
- 12. Nginx POST http://host.com/api BODY: { "id": 0, "method":"squire" "params": [5] } RESPONSE: { "result": 25 }
- 13.
- 14. Схемы Avro { "First": "John", "Last":"Doe" } { "name": "Person", "type": "record", "fields": [ { "name": "First", "type": "string" }, { "name": "Last", "type": "string" } ] } Хранится как: ["John", "Doe"]
- 15. [ "John", "Doe", "Was here!" ] { "First": "John", "Last":"Doe" "Notes": "Was here!" } V2 V2 Versions
- 16. [ "John", "Doe", "Was here!" ] { "First": "Jane", "Last":"Doe" } V2 V1 Versions
- 17. [ "Jane", "Doe" ] { "First": "Jane", "Last": "Doe" "Notes":"" } V1 V2 Versions
- 18. Compiler • Apache implementation(too slow) • Code generation? • LuaJIT • LLVM
- 19. RPS (×1000) 500 1000 1500 2000 Baseline (C)Codegen (LuaJIT) Interpretor JIT
- 20. RPS (×1000) 500 1000 1500 2000 2500 3000 3500 Baseline (C)Codegen (LuaJIT) Codegen (LLVM)
- 21.
- 22. Примеры архитектур • Одноуровневаясистема с репликацией • Отдельно приложение, отдельно хранение (shard) • Хранение по ttl (expirationd) • Совместное хранение в памяти и на диске(vinyl)
- 23. Use cases • Виртуализацияданных • Роутинг запросов в биллинге • Обогащение данных от источника • Интеграция с legacy проектами • Объединение данных от нескольких источников
- 24. Bench Железо 4 ядра 2,6GHz 64 GB оперативной памяти Данные 100 ГБ данных, размер запроса 2 КБ(JSON) избыточность(2 датацентра) Кластер 4 storage сервера(16 инстансов tarantool) 4 application сервера(16 инстансов tarantool) Клиентские машины для создания нагрузки
- 25.
- 26.
- 27.
- 28. Подводные камни • Нужноописать логику преобразования версий • Нужно написать хранимые процедуры под каждый тип запроса • Нужно связывать авро схему и индексы в tuple • Удобно иметь связи между схемами • Удобно создавать простые API автоматически (не программируя на lua)
- 29.
- 30. Что это дает? •Автоматическая настройка tarantool • Вся конфигурация - один json файл • Версионирование запросов на лету • Хранится только актуальная версия • Иерархические связи между схемами • Не нужно программировать на lua
- 31. Пример конфигурации { "memory": 30, "port":3301, "index": [ "user":["uid"], "device":["uid", "sno"] ], "relations": { "user": ["device"] } "api": { "v1": { "user":{}, "device":{} ] } }
- 32.
- 33. Что произойдет снаружи? •/api/v1/user/1 • /api/v1/user?limit=100&offset=0 • /api/v1/device/1/1 • /api/v1/device?limit=100&offset=0 • /api/v1/user/1/?related=prefetch
- 34. Join { "uid": 1, "First": «John", "Last":«Doe" "device": [ { "uid": 1, "sno": 1, "name":"myD", } ] }
- 35.
- 36. Производительность • 4 ядра2,6 GHz • 2кб данных на один запрос • Преобразование версии во время запроса
- 37.
- 38.
- 39.
- 40.
- 41. Производительность 4 ядра Чтение:120000 rps Запись: 80000 rps
- 42. Use cases • Легковесныеrestful сервисы • Бекенды для мобильных приложений • Выкатывание нескольких версий приложения одновременно • Scientific приложения (анализ данных) - хранение грязных и чистых данных в разных версиях
- 43. Спасибо за внимание •http://tarantool.org • https://github.com/tarantool/avro-schema • http://avro.apache.org/docs/1.8.0/spec.html