Страница 20 из 43

Re: Установка Системы Majordomo на Raspberry pi

Добавлено: Ср ноя 12, 2014 3:51 pm
depo
Если каму надо будет, могу выложить образ под последнию малинку.

Буду благодарен за работающий образ, а то самому победить не удается :(

Re: Установка Системы Majordomo на Raspberry pi

Добавлено: Пт ноя 14, 2014 12:56 am
lanket
depo писал(а):
Если каму надо будет, могу выложить образ под последнию малинку.

Буду благодарен за работающий образ, а то самому победить не удается :(
Так как глюки побороть не удалось и ни у кого не появилось мыслей или желания в сторону помощи. Пришлось все поставить с нуля.

Кому надо образ свежеустановленного Мажордомо на Raspberry PI B+
МДМ самой последней сборки со всеми обновлениями на данную минуту.
Пароли:
ssh>pi:raspberry
mysql>root:1Ft1UDfelsUJ
mysql>mdm:S4hLfTzo3nmU (база "mdm")
raspberryIP/phpmyadmin>0ZCu4sZKeN3o

В образе уже обновлен пакет для новых часовых поясов.
Синхронизация времени каждый час и при загрузки.
Часовой пояс сейчас Московский
Запуск цикла при старте.

Собственно все готово к первому запуску МДМ.

Рекомендации первых действий:
Если часовой пояс отличный от Московского то по SSH выполнить "sudo dpkg-reconfigure tzdata"
Так как при 4 гиг остается очень мало свободного места то желательно иметь флэшку побольше а для того чтобы использовалось все пространство то выполнить "sudo raspi-config"
Выбрать в меню пункт expand_rootfs Expand root partition to fill SD card.

Правда dd копирует всю флэшку, у меня она 16 гиг, пришлось ее просить только 4 гига скопировать. Думаю что при заливки образа голого rasbiana она туда же,в начало, и засунуло.
Если образ окажется битый то выложу весь 16 гиговый образ. Но теоритически должно работать.

https://yadi.sk/d/IA5YzPC9chUWA
md5Hash:939669d926fe21b5a067042bde388525

Re: Установка Системы Majordomo на Raspberry pi

Добавлено: Вт ноя 18, 2014 12:12 pm
sergejey
Уважаемые пользователи Raspberry, у меня тут мысль пришла одна насчёт оптимизации работы системы, может кому будет интересно проверить идею, а то у меня сейчас под рукой нет платы для эксперимента. В общем, суть идеи -- перенести базу данных в память (на tmpfs). Алгоритм в общих чертах такой -- при инициализации системы линковать каталог базы данных mysql на виртуальную файловую систему и импортировать базу данных из файла, затем периодически в процессе работы экспортировать дамп базы данных в файл. Это в общих чертах, детали ещё предстоит проработать. По идее хранение базы данных в памяти должно существенно ускорить работу (чтение/запись мелких блоков с SD это долгая операция) и избавить от проблемы "выгорания" карточки памяти из-за большого количества циклов записи (а МЖД этим грешит, чего уж скрывать). Периодическая выгрузка дампа в файл это, как мне видится, гораздо более экономичный вариант по циклам записи. Размер базы будет до 100Мб (у меня за несколько лет она выросла до 50Мб и без оптимизации), а если её выгружать сначало в тот же tmpfs, а потом на карточку сбрасывать ужатым в tar.gz, то физически записывать вообще "копейки" нужно будет. Ну и попутно избавляемся от необходимости подключать внешний жёсткий диск для системы. Что скажете?

Re: Установка Системы Majordomo на Raspberry pi

Добавлено: Вт ноя 18, 2014 2:28 pm
Vittaly
sergejey писал(а):Уважаемые пользователи Raspberry, у меня тут мысль пришла одна насчёт оптимизации работы системы, может кому будет интересно проверить идею, а то у меня сейчас под рукой нет платы для эксперимента. В общем, суть идеи -- перенести базу данных в память (на tmpfs). Алгоритм в общих чертах такой -- при инициализации системы линковать каталог базы данных mysql на виртуальную файловую систему и импортировать базу данных из файла, затем периодически в процессе работы экспортировать дамп базы данных в файл. Это в общих чертах, детали ещё предстоит проработать. По идее хранение базы данных в памяти должно существенно ускорить работу (чтение/запись мелких блоков с SD это долгая операция) и избавить от проблемы "выгорания" карточки памяти из-за большого количества циклов записи (а МЖД этим грешит, чего уж скрывать). Периодическая выгрузка дампа в файл это, как мне видится, гораздо более экономичный вариант по циклам записи. Размер базы будет до 100Мб (у меня за несколько лет она выросла до 50Мб и без оптимизации), а если её выгружать сначало в тот же tmpfs, а потом на карточку сбрасывать ужатым в tar.gz, то физически записывать вообще "копейки" нужно будет. Ну и попутно избавляемся от необходимости подключать внешний жёсткий диск для системы. Что скажете?
У меня похожие мысли были (увеличение ресурса nand), когда решал: переезжать на hdd, или нет. У меня Cubietruck. Проанализировав активность системы, пришёл к выводу, что перенести только бд - недостаточно. В МД не только sql активно работает, там ещё куча файлов часто обновляется других в директории /var. А всю /var переселять в tmpfs - нереально. Так что лучше переехать на hdd. По крайней мере я так для себя решил.

Re: Установка Системы Majordomo на Raspberry pi

Добавлено: Вт ноя 18, 2014 3:44 pm
Ivan
Лучше сделать настройки mySql которые будут писать на винт раз в 30 мин.

т.к. Делать в памяти - значит потерять всю базу при потере питания. И иметь много гемороя на копирование. Уже пробовал ничего хорошего не получается.

И ещё. Как показали тесты, mysql хавает всю память сразу (даже на убунту при 3г). Нужно делать баланс настроек базы данных. Чтобы дампила по минимуму на флэшь. Где то на хабаре была статья по это.

Re: Установка Системы Majordomo на Raspberry pi

Добавлено: Вт ноя 18, 2014 3:44 pm
electric
sergejey писал(а):Уважаемые пользователи Raspberry, у меня тут мысль пришла одна насчёт оптимизации работы системы, может кому будет интересно проверить идею, а то у меня сейчас под рукой нет платы для эксперимента. В общем, суть идеи -- перенести базу данных в память (на tmpfs). Алгоритм в общих чертах такой -- при инициализации системы линковать каталог базы данных mysql на виртуальную файловую систему и импортировать базу данных из файла, затем периодически в процессе работы экспортировать дамп базы данных в файл. Это в общих чертах, детали ещё предстоит проработать. По идее хранение базы данных в памяти должно существенно ускорить работу (чтение/запись мелких блоков с SD это долгая операция) и избавить от проблемы "выгорания" карточки памяти из-за большого количества циклов записи (а МЖД этим грешит, чего уж скрывать). Периодическая выгрузка дампа в файл это, как мне видится, гораздо более экономичный вариант по циклам записи. Размер базы будет до 100Мб (у меня за несколько лет она выросла до 50Мб и без оптимизации), а если её выгружать сначало в тот же tmpfs, а потом на карточку сбрасывать ужатым в tar.gz, то физически записывать вообще "копейки" нужно будет. Ну и попутно избавляемся от необходимости подключать внешний жёсткий диск для системы. Что скажете?
Не перенося всю систему на винт, работая только с SD-карты, я уже убил две карточки (правда одна не новая была). У меня не только MDM работал на малинке, но основную нагрузку по записи/чтению давал именно SQL и запись/ротация логов. Можно конечно логи/БД отключить/перенести - но проблему это не решит. Еще на роутерах с OpenWRT и вынесеным оверлеем на USB-flash тоже проблемы с памятью - одна флешка уже почти мертвая, первую самую (китай за 5 у.е.) уже выбросил. ИМХО такие системы ставить на HDD, причем имеется ввиду НМЖД или выносить в облака и пр.

Re: Установка Системы Majordomo на Raspberry pi

Добавлено: Вт ноя 18, 2014 4:04 pm
sergejey
Честно говоря, пока не увидел серьёзных аргументов против. MDM сама по себе в файлы пишет крайне редко, основная нагрузка идёт на базу данных, а последняя уж конечно это делает часто. Логи все можно отключить -- это не проблема. Что ещё может интенсивно писать на диск?

Насчёт настройки базы данных, что б писала раз в 30 минут -- интересно, но я не знаю как такое сделать (в своё время искал, не нашёл). Проблем с созданием/восстановлением дампа совершенно не вижу -- обычно это дело нескольких секунд, т.к. база не такая уж и большая.

Я не говорю, что результат будет идеальный, но подружить MDM с флэш-памятью по-моему возможно. Не буду настаивать, но сам обязательно попробую :)

Re: Установка Системы Majordomo на Raspberry pi

Добавлено: Вт ноя 18, 2014 6:48 pm
Ivan

Re: Установка Системы Majordomo на Raspberry pi

Добавлено: Вт ноя 18, 2014 7:00 pm
sergejey
Ivan писал(а):http://sys.uz/archives/146
К сожалению, это совсем не то. MySQL использует кэш и временные таблицы и я согласен, что им уж точно место в tmpfs, но проблема в том, что они не являются основными "киллерами". По крайней мере не в нашем случае, т.к. у нас много мелких запросов на запись и совсем мало тяжеловесных, так что оно нам не поможет.

Re: Установка Системы Majordomo на Raspberry pi

Добавлено: Ср ноя 19, 2014 4:50 am
rusya
sergejey писал(а):Честно говоря, пока не увидел серьёзных аргументов против. MDM сама по себе в файлы пишет крайне редко, основная нагрузка идёт на базу данных, а последняя уж конечно это делает часто. Логи все можно отключить -- это не проблема. Что ещё может интенсивно писать на диск?

Насчёт настройки базы данных, что б писала раз в 30 минут -- интересно, но я не знаю как такое сделать (в своё время искал, не нашёл). Проблем с созданием/восстановлением дампа совершенно не вижу -- обычно это дело нескольких секунд, т.к. база не такая уж и большая.

Я не говорю, что результат будет идеальный, но подружить MDM с флэш-памятью по-моему возможно. Не буду настаивать, но сам обязательно попробую :)
А вот я после убийства нескольких карточек только за! думаю стоит попробовать перенести кеш и базу данных в рам и потестить, жду решения, у самого как-то не очень получилось