Hadoop تداول نظام

أنا م يلهون التعلم عن هادوب والمشاريع المختلفة من حوله، ولها حاليا 2 استراتيجيات مختلفة أنا م التفكير لبناء نظام لتخزين مجموعة كبيرة من البيانات القراد السوق، أنا م بدأت للتو مع كل من هادوب هدسف و هبيس ولكن يأمل شخص ما يمكن أن تساعدني في زراعة نظام البذور التي فزت يجب أن يكون غير المرغوب فيه في وقت لاحق باستخدام هذه التقنيات وفيما يلي مخططا لنظام بلدي ومتطلبات مع بعض الاستعلام واستخدام استخدام البيانات الحالات وأخيرا بلدي التفكير الحالي حول أفضل نهج من القليل من الوثائق I قد قرأت وهو سؤال مفتوح انتهت وسأحب بكل سرور أي الجواب الذي هو الثاقبة وقبول أفضل واحد، لا تتردد في التعليق على أي أو كل من النقاط أدناه - دنكان Krebs. System متطلبات - تكون قادرة على الاستفادة من مخزن البيانات لاختبار التاريخ التاريخي للأنظمة، وتخطيط البيانات التاريخية والتنقيب عن البيانات في المستقبل مرة واحدة المخزنة، فإن البيانات تكون دائما للقراءة فقط، مطلوب الوصول إلى البيانات بسرعة ولكن ليس يجب أن يكون عند اختبار الظهر. مخطط ثابت - بسيط جدا، أريد أن التقاط 3 أنواع من الرسائل من التغذية. تيمستامب بما في ذلك التاريخ، اليوم، time. Quote بما في ذلك الرمز والطابع الزمني، نسأل، أسكزيزي، محاولة، بيدزيزي، حجم حوالي 40 أعمدة من data. Trade بما في ذلك الرمز والطابع الزمني ، السعر، الحجم، الصرف حول 20 أعمدة من البيانات. إدخال البيانات استخدام حالات - إما من تيار السوق الحية من البيانات أو البحث عن طريق وسيط API. Data الاستعلام استخدام حالات - أدناه يوضح كيف أود أن الاستعلام منطقي البيانات. جميع علامات الاقتباس، الصفقات، الطوابع الزمنية ل غوغ في 9 22 2014.Get لي كل الصفقات ل غوغ، فب قبل 9 1 2014 وبعد 5 1 2014.Get لي عدد الصفقات لهذه الرموز 50 لكل يوم على مدى 90 يوما الماضية. الكأس المقدسة - يمكن استخدام مابريدوس لحالات الاستخدامات مثل هذه أدناه. تحويل البيانات الوصفية من بيانات السوق الخام من خلال وكلاء موزعة على سبيل المثال، كتابة وظيفة من شأنها حساب متوسط ​​حجم التداول على 1 دقيقة فاصل لجميع الأسهم وجميع الجلسات المخزنة في قاعدة البيانات إنشاء المهمة لديك وكيل لكل جلسة تداول ثا t أقول ما المخزون والجلسة التي ينبغي أن تحسب هذه القيمة ل هذا ما يمكن مابريدوس القيام به. على كلاسباث من وكلاء يمكنني إضافة بلدي استخدام التعليمات البرمجية بحيث حالة الاستخدام أعلاه على سبيل المثال يمكن أن تنشر قيمته في الريبو المركزي أو خادم المراسلة هل يمكنني نشر وكيل كحزمة أوسجي. إنشاء أنواع مختلفة من وكلاء لأنواع مختلفة من المقاييس والدرجات التي يتم تنفيذها كل صباح قبل التداول قبل السوق. تجارة عالية التردد أنا مهتم أيضا إذا كان أي شخص يمكن أن تشترك بعض الخبرة باستخدام هادوب في سياق أنظمة التداول عالية التردد مجرد الدخول في هذه التكنولوجيا إحساسي الأولي هو هادوب يمكن أن تكون كبيرة لتخزين ومعالجة كميات كبيرة من البيانات القراد التاريخية، إذا كان أي شخص يستخدم هذا للتداول في الوقت الحقيقي أنا د مهتمة في معرفة المزيد - دنكان Krebs. Based من فهمي لمتطلباتك، هادوب سيكون حلا جيدا حقا لتخزين البيانات الخاصة بك وتشغيل الاستفسارات الخاصة بك على ذلك باستخدام Hive. Storage يمكنك تخزين البيانات في هادوب في مدير y هيكل مثل. في داخل مجلد ساعات البيانات الخاصة إلى تلك الساعة من اليوم يمكن أن يقيم. ميزة واحدة من استخدام مثل هذا الهيكل هو أنه يمكنك إنشاء جداول خارجية في خلية على هذه البيانات مع أقسامك على سنوات، أشهر، أيام وساعات شيء من هذا القبيل لجزء الاستفسارات، وبمجرد الانتهاء من البيانات المخزنة في تنسيق المذكورة أعلاه يمكنك تشغيل بسهولة queries. Get لي كل الأسعار، الصفقات، الطوابع الزمنية ل غوغ في 9 22 2014.Get لي كل الصفقات ل غوغ، فب قبل 9 1 2014 وبعد 5 5 1 2014. يمكنك تشغيل أي استعلامات التجميع مرة واحدة في يوم واحد واستخدام الإخراج من أجل التوصل إلى المقاييس قبل التداول قبل السوق منذ خلية داخليا يعمل مابريدوس هذه الاستفسارات فاز ر تكون سريعة جدا. من أجل للحصول على نتائج أسرع، يمكنك استخدام بعض من المشاريع في الذاكرة مثل إمبالا أو سبارك لقد استخدمت نفسي إمبالا لتشغيل الاستعلامات على جداول بلدي خلية ولقد رأيت تحسنا كبيرا في وقت التشغيل لبلدي الاستفسارات حول 40x كما كنت لن t تحتاج إلى إجراء أي تغييرات على الهيكل من data. Data إدراج استخدام حالات يمكنك استخدام أدوات مثل المسيل أو كافكا لإدراج البيانات في الوقت الحقيقي ل هادوب وبالتالي إلى جداول خلية المسيل هو قابلة للقياس خطيا ويمكن أن تساعد أيضا في معالجة الأحداث على الطاير في حين transfering. Overall، و مزيج من تكنولوجيات البيانات الكبيرة متعددة يمكن أن توفر حلا لائقا حقا للمشكلة التي اقترحتها وهذه الحلول سوف نطاق لكميات ضخمة من data. Apache برشام هو نظام لخلق محتوى ويب ديناميكي عبر لغة البرمجة تكل متكاملة مع أباتشي خادم الويب فمن مصممة لتكون سريعة وقوية وموسع، تستهلك موارد النظام قليلة، يكون من السهل على التعلم، وتزويد المستخدم مع منصة التي يمكن أيضا أن أويزدمونس-إو يحتوي على فئات المرافق، تيار التطبيقات، مرشحات الملفات، ومقارنات الملف والطبقات إندانية. يسر مجتمع أباتشي فليكس أن يعلن عن إطلاق أباتشي فليكس سك 4 16 0.The أباتشي فليكس سك هو إطار إنتاجي عالي الإنتاجية ومفتوح المصدر. فريق أباتشي تومكات يصف توافر فوري من أباتشي تومكات 8 5 12.Tomcat 8 x المستخدمين يجب أن يكون عادة باستخدام 8 5 x الإصدارات في تفضيل ل 8 0 x الإصدارات. يعلن فريق أباتشي تومكات توافر فوري من أباتشي تومكات 9 0 0 M18.Apache تومكات 9 هو برنامج مفتوح المصدر تنفيذ جافا سيرفليت، صفحات جافاسيرفر، جافا Unified. Latest النشاط. ثاسف في أباتشيكون تلبية الناس مقدمي المنتجات وراء المجتمعات مشروع أباتشي في بيئة ودية وغير المبيعات. ويسر المجتمع أباتشي فليكس أن يعلن عن الافراج عن أباتشي فليكس سك 4 16 0.The أباتشي فليكس سك هو إنتاجية عالية المصدر، وتطبيق مفتوح المصدر إطار لبناء و. أباتش اشتعال المجتمع يرحب بكم لحضور بيج داتا بوتكامب في 27 مارس، 28 و 29 2017 في سانتا كلارا، USA. The المؤتمر يجمع الخبراء والبائعين من بيج Data. And ق الجمعة بالفعل هنا ق ما مجتمع أباتشي وقد تم العمل على هذا الأسبوع. أسف إدارة مجلس الإدارة والرقابة على أعمال وشؤون الشركة وفقا ل. 10 أكتوبر 2009.MapReduce اكتساب بالتأكيد الجر، وخاصة ولكن بأي حال من الأحوال إلا في شكل هادوب في أعقاب هادوب العالم جيف هامرباشر من كلوديرا مشى لي بسرعة من خلال 25 العملاء انه سحب من الملفات كلوديرا s وتراوحت المقاييس والمقياس على نطاق واسع، بالطبع. بعض في إنتاج الثقيلة مع هادوب، و تشارك عن كثب مع كلوديرا آخرون نشطون المستخدمين هادوب ولكن سرية للغاية بعد أن وقعت آخرين حتى للتدريب هادوب الأولي الأسبوع الماضي. لديها مجموعات هادوب في الآلاف من العقد العديد من مجموعات هادوب في نطاق عقدة 50-100 البعض هو مجرد النماذج استخدام هادوب ويبدو أن واحد هو أومينغ كتلة هادوب صغيرة في كل قطعة من المعدات المباعة. أكثر من تصدير البيانات من هادوب إلى دبمس العلائقية العديد من الآخرين مجرد ترك الأمر في هدفس هادوب نظام الملفات الموزعة، على سبيل المثال مع خلية كلغة الاستعلام، أو في واحد بالضبط حالة jaql. Some هي أسماء الأسرة، في الشركات على شبكة الإنترنت أو غير ذلك يبدو أن تكون غامضة جدا. وتشمل صناعات الخدمات المالية والاتصالات آسيا فقط، وجديدة تماما، المعلوماتية الحيوية وغيرها من البحوث والاستخبارات، والكثير من شبكة الإنترنت أو الإعلان media. Application والمناطق المذكورة وهذه التداخل في بعض الحالات تشمل. لوغ و أو تحليل النقر كليستريم من أنواع مختلفة. تحليل التسويق. التعلم الآلي أو استخراج البيانات المتطورة. الصورة بيأر أوسيسينغ. معالجة رسائل شمل. زحف الويب أو معالجة النصوص. الأرشفة العامة، بما في ذلك البيانات الجدولية العلائقية، على سبيل المثال للامتثال. ذهبنا أكثر من هذه القائمة بسرعة أننا لم تذهب إلى الكثير من التفاصيل على أي مستخدم واحد ولكن مثال واحد أن وقفت خارجا من شركة عرض الإعلانات التي لديها خط تجميع تتكون من 70-80 مابريدوس الوظائف. أنا أيضا تحدث أمس مرة أخرى w أومير تراجمان من فيرتيكا، الذي فاجأني من خلال الإشارة إلى عدد واحد من عدد كبير من عملاء فيرتيكا في الإنتاج مع هادوب أي أكثر من 10 من عملاء الإنتاج فيرتيكا ق جعلت فيرتيكا في الآونة الأخيرة بيعها 100، وبالطبع ليس كل هؤلاء المشترين هي في الإنتاج بعد يبدو فيرتيكا هادوب الاستخدام قد بدأت في فيرتيكا ق الخدمات المالية معقل خصيصا في التداول المالي مع تحليلات الويب و مثل القادمة على بعد ذلك بناء على جهود النماذج الأولية الحالية، يتوقع عمر المعلوماتية الحيوية لتكون ثالث سوق الإنتاج ل فيرتيكا هادوب، مع الاتصالات القادمة في أربعة h. Nururisingly، ويبدو أن نموذج استخدام فيرتيكا هادوب العام أن يكون. Do شيء إلى البيانات في Hadoop. Dump في فيرتيكا أن يتم الاستعلام عنها. ما لم أجد من المستغرب هو أن البيانات في كثير من الأحيان إسن ر خفضت من خلال هذا التحليل، ولكن انفجرت بدلا في حجم E غا مخزن كامل من البيانات التجارية الرهن العقاري قد يكون عدد قليل من تيرابايت في الحجم، ولكن هادوب القائم على تجهيز آخر يمكن أن تزيد من قبل 1 أو 2 أوامر من حجم التناظر لأهمية وحجم البيانات المطبوخة في معالجة البيانات العلمية يتبادر إلى الذهن . وأخيرا، تحدثت إلى أستر قبل بضعة أيام حول استخدام موصل نادوستر هادوب أستير يتميز مستخدمي هادوب هادوب استخدام هادوب كونها من مجموعة متنوعة إيتل، وهي حالة الاستخدام الكلاسيكي واحد يعترف هادوب حتى لو كان أحد يعتقد أن مابريدوس ينبغي عادة أن يتم الحق في DBMS. Subscribe إلى موقعنا تغذية كاملة 9. الردود على كيفية 30 الشركات تستخدم Hadoop. Vlad في 11 أكتوبر 2009 3 34 صباحا. وقد جعلت بعض الحسابات على أساس البيانات أفا علنا إيليابل أون ذي إنترنيت سجل ياهو تيراسورت الشهير الفرز 1 تيرابايت من البيانات في الواقع 10 مليارات 100 بايت سجل على كتلة الخادم Hadoop.3400 في 60 ثانية وسوف حذف تفاصيل الحساب ولكن متوسط ​​بو وحدة المعالجة المركزية القرص إو واستخدام الشبكة إو أثناء التشغيل .1، 5-6 و 30 على التوالي هذه ليست الأرقام الدقيقة بطبيعة الحال، ولكن التقديرات على أساس خوارزمية الفرز المستخدمة، وتكوين العنقودية s، وحدة المعالجة المركزية الخادم السلطة، أقصى نيك 1GB 1GB و 4 ساتا القرص مجموعة إو القدرة. لذلك، عنق الزجاجة بالتأكيد هو شبكة أعتقد أنه ليس فقط لفرز ولكن بالنسبة لكثير من المشاكل الأخرى ولكن يبدو أن إما ياهو العنقودية هو الأمثل من وجهة نظر ماكس الإنتاجية المستدامة أو هادوب لا يمكن تشبع 1Gb رابط موافق، يتيح تخيل أننا لا تستخدم السلع الأجهزة ولكن أكثر الأمثل خوادم وتكوينات الشبكة. ماذا عن 2 10Gb ميناء نيك لكل خادم و 128 ميناء 10GB التبديل واحد فقط عن طريق زيادة الإنتاجية الشبكة من 30MB ثانية إلى 2GB ق 2 منفذ 10Gb نيك لكل ملقم ثانية يمكن أن تقلل من عدد من الخوادم في كتلة عن طريق عامل من 70.50 ملقمات وما زالت تحتفظ نفس 60 ثانية تشغيل هل من الممكن لفرز 2GB في الثانية 20 مليون 100 بايت السجلات على خادم واحد من المؤكد أنها تكاليف مجموعة. Yahoo حوالي 7 مليون يمكنني بناء كتلتي لأقل من 1 مليون ونحن لا نتحدث عن استهلاك الطاقة وغيرها من التكاليف المرتبطة بها. مابريدوس والسلع الأجهزة فازت t توفير المال لا تشتري رخيص. كورت، هل تعرف كم من هؤلاء العملاء الخامس في سحابة أي أنها إعادة تشغيل على V أمي في EC2 وكم من تلك في ذلك 10 أو نحو ذلك كنت أذكر. فاد في 11 أكتوبر 2009 10 40 مساء. يتم الترويج بشكل كبير مابريديوس لسبب ما، من قبل ياهو والفيسبوك ولكن ليس من قبل جوجل جوجل ومايكروسوفت قد وضعت بالفعل الجيل القادم هادوبس بريجل و درياد لكنها لا تزال غير متوفرة للجمهور العام وليس مفتوحة المصدر حتى المعلومات عن بريجل محدودة. بالنسبة لي الوضع يذكر الاتحاد السوفيتي في منتصف 80s في وقت متأخر عدم القدرة لخلق حاولت سوفيتس لعكس الهندسة الأمريكية منها كراي الخ يمكنك إنتاج ما تم القيام به بالفعل ولكن كنت دائما وراء. أوبد درياد يمكن تحميلها من موقع مس ولكن فقط للبحث الأكاديمي. رك في 12 أكتوبر 2009 3 46 صباحا. هو درياد أفضل بكثير من هادوب إذا كان الأمر كذلك، ما هي التحسينات. فلاد في 12 أكتوبر 2009 3 53 مساء. أرسي من درياد ويتيبابر الفرق الأساسي بين النظامين درياد و مابريدوس هو أن تطبيق دريد قد تحدد داغ الاتصال التعسفي بدلا من تتطلب سلسلة من خريطة توزيع الفرز تقليل العمليات على وجه الخصوص، قد تستهلك القمم الرسم البياني مدخلات متعددة، وتوليد مخرجات متعددة ، من أنواع مختلفة لكثير من التطبيقات هذا يبسط رسم الخرائط من الخوارزمية إلى التنفيذ، يتيح لنا بناء على مكتبة أكبر من الفرعية الفرعية، و، جنبا إلى جنب مع القدرة على استغلال أنابيب تكب والذاكرة المشتركة لحواف البيانات، يمكن أن يحقق مكاسب كبيرة في الأداء وفي الوقت نفسه، وتنفيذنا هو عام بما فيه الكفاية لدعم جميع الميزات المذكورة في ورقة مابريدوس. أندرو S في 19 أكتوبر 2009 7 54 مساء. Vlad، والفرق هو أن السوفييت لم يكن لديها مصدر مفتوح وراءها وهناك أكثر شيوعا نمط في التاريخ الحديث. 1 حل البرمجيات الملكية يخرج 2 حل جيد المصدر المفتوح مع قدرات مماثلة تأتي s في وقت لاحق 3 حل المصدر المفتوح مكاسب كبيرة الداعمين، كبار المطورين، شركات التكنولوجيا المتطورة، وأكاديميين الرائدة 4 حل المصدر المفتوح الكسوف حل الملكية في الاستخدام بسبب سهولة التوثيق والتوثيق 5 حل الملكية يموت خارج لأنه يصبح مربحا للتبديل إلى فتح مصدر الحل. هادوب في مكان ما في 3 وجزئيا في 4. لا شيء من هذا يتعارض مع المسوحات السابقة من الحالات استخدام هادوب. أن يكون المدير التنفيذي لبنك أوف أميركا للبيانات والتحليلات الكبيرة قبل عام، بالفعل، أشار فيرتيكا إلى أن ما يقرب من 10 في المئة من عملائها كانوا في الإنتاج مع هادوب الاتجاه الذي يقوده عملاء الخدمات المالية على. بحث بلوق لدينا والأوراق البيضاء. موناش البحوث بلوق. دبمس 2 يغطي إدارة قاعدة البيانات والتحليلات والتقنيات ذات الصلة. تكست تكنولوجيز يغطي استخراج النص، والبحث، والبرامج الاجتماعية. استراتيجية الرسائل يحلل التسويق والرسائل الاستراتيجية. تقرير موناش يدرس التكنولوجيا والسياسة العامة القضايا. الروبوتات البرمجيات يروي التاريخ من صناعة البرمجيات. استشارة المستخدم. بناء قائمة قصيرة تكرير الخطة الاستراتيجية الخاصة بك يمكننا مساعدة. فيندور الاستشارية. نقول للبائعين ما يحدث - و، الأهم من ذلك، ما يجب القيام به حول it. Monash يسلط الضوء على البحوث.