فئات المنتجات
اتصل بنا
هانغتشو Wintek بناء منتجات Co.Ltd
إضافة: 2-703 ، Shengao Mingzuo ، شارع Wuchang ، حي Yuhang ، Hangzhou ، Zhejiang ، الصين
الجوال: +8618629068417
البريد الإلكتروني: aaron@wintekco.com
تطوير البيانات الكبيرة: من محركات البحث إلى الذكاء الاصطناعي
Nov 15, 2018

لقد خضع استخدامنا لتقنية البيانات الكبيرة أيضًا لعملية تطوير. منذ البداية ، بدأت جوجل في استخدام تكنولوجيا البيانات الكبيرة في محركات البحث ، وفي الوقت الحاضر تطبيقات الذكاء الاصطناعي المختلفة في كل مكان ، جنبا إلى جنب مع تطوير تكنولوجيا البيانات الكبيرة ، تطبيقات البيانات الكبيرة قد ذهبت أيضا من الأعلى إلى الوقت الحاضر.

فعندما نشرت غوغل لأول مرة أوراق صنع الحقبة على البيانات الضخمة ، ربما لم يكن يعتقد أنه فتح حقبة جديدة من البيانات الضخمة. لا يمكن فصل إنجازات اليوم في البيانات الكبيرة والذكاء الاصطناعي عن جهود الملايين من ممارسي البيانات الضخمة في جميع أنحاء العالم ، بما في ذلك أنت وأنا. قد يتم فتح التاريخ من قبل العبقرية ، ولكن يتم إنشاؤها في نهاية المطاف من قبل الناس. كمشارك في عصر البيانات الضخمة ، نحن نصنع التاريخ.

عصر محركات البحث لتطبيقات البيانات الضخمة

باعتبارها أكبر شركة محركات بحث في العالم ، فإن Google معترف بها أيضًا كمنشئ للبيانات الضخمة. تقوم بتخزين جميع صفحات الويب التي يمكن الوصول إليها تقريبًا في جميع أنحاء العالم ، وقد يتجاوز عددها تريليونًا ، وكلهم يحتاجون إلى تخزين عشرات الآلاف من الأقراص. لتخزين هذه الملفات ، طوّرت Google نظام GFS (Google File System) ، والذي يدير عشرات الآلاف من الأقراص على آلاف الخوادم ثم يخزنها كنظام ملفات.

قد تشعر أنه إذا كنت ببساطة تخزين جميع الصفحات ، يبدو أن لا شيء كبير جدا. هذا صحيح ، ولكن وصول Google إلى صفحات الويب هذه هو إنشاء محرك بحث يتطلب إحصائيات تردد الكلمات للكلمات في جميع الملفات ثم يقوم بحساب ترتيب الصفحات استنادًا إلى خوارزمية تصنيف الصفحات PageRank. في غضون ذلك ، تحتاج Google إلى حساب الملفات على عشرات الآلاف من الأقراص ، مما يبدو رائعًا. وبالطبع ، وبناءً على هذه الاحتياجات ، قامت Google بتطوير إطار عمل حوسبة البيانات الكبيرة MapReduce.

في الواقع ، قبل جوجل ، محرك البحث الأكثر شهرة في العالم هو ياهو. ومع ذلك ، بفضل تقنية البيانات الضخمة وخوارزمية تصنيف الصفحات ، حققت Google قفزة نوعية في تجربة البحث في محرك البحث. لقد تخلى الناس عن Yahoo و تحولوا إلى Google. لذا عندما نشرت جوجل أوراقها الخاصة في GFS و MapReduce ، يجب أن تكون Yahoo أول شركة تركز على هذه الأوراق.

جعل دوغ قطع لأول مرة Hadoop على أساس أوراق جوجل ، لذلك حفرت ياهو حتى قطع دوغ وتطوير Hadoop بدوام كامل. ومع ذلك ، فإن شهر العسل من ياهو وقط القطع لم يدم طويلا. كان "دوغ كت" غير مرتاح لصراع "ياهو" الداخلي ، وانتقل إلى "كلوديرا" ، وهي شركة متخصصة في تسويق "هادوب" ، بينما استثمرت "ياهو" في منافسة "كلورتا" HortonWorks.

الشركات الكبرى ، مثل كبار اللاعبين ، لديها جمالية أنيقة. يمكنك مشاهدة Google على طول الطريق ، من محركات البحث ، Gmail ، الخرائط ، Android ، وبدون سائق ، كل خطوة تدفع حدود التقنية البشرية إلى مستويات أعلى. حتى أن الشركات الفقيرة اكتسبت مكانة بارزة ، ولكن بمجرد أن تفقد الإحساس بالجمال والإيقاع في القيام بالأشياء ، في عصر التغير السريع هذا ، يكون الانخفاض أسرع من النيزك.

عصر مستودع البيانات لتطبيقات البيانات الكبيرة

عندما تم نشر ورقة جوجل لأول مرة ، فقد جذبت شركات محركات البحث مثل ياهو ومطوري محركات البحث المفتوحة المصدر مثل دوغ كتشن. شركات أخرى كانت مجرد أكل الناس. ولكن عندما أطلقت Facebook Hive ، لم تكن شركات التكنولوجيا الحساسة للرائحة هادئة ، وبدأت تدرك أن حقبة البيانات الضخمة قد انفتحت بالفعل.

وبمجرد قيامنا بتحليل البيانات وإحصائياتها ، اقتصرنا على قواعد البيانات وقمنا بتحليل جداول البيانات في قاعدة البيانات في بيئة الحوسبة في قاعدة البيانات. ونظرًا لكمية البيانات وقوة الحوسبة ، يمكننا فقط حساب وتحليل أهم البيانات. أهم البيانات هنا تشير إلى البيانات والبيانات المالية ذات الصلة التي تعطى لرئيسه.

يمكن Hive إجراء عمليات SQL على Hadoo لتحقيق إحصائيات وتحليل البيانات. وبعبارة أخرى ، يمكننا الحصول على المزيد من تخزين البيانات والحوسبة أكثر من أي وقت مضى وبسعر أقل. يمكننا وضع سجل التشغيل ، وبيانات تجميع التطبيقات ، وبيانات قواعد البيانات معًا للحساب والتحليل ، والحصول على نتائج البيانات التي لم تكن متوفرة من قبل ، وسيتوسع مستودع بيانات المؤسسة بشكل كبير.

ليس فقط المدير ، ولكن كل موظف عادي في الشركة ، مثل مدير المنتج والمشغل والمهندس ، يمكنه توفير احتياجات التحليل والحصول على نتائج تحليل البيانات التي يريدون معرفتها من مستودع البيانات الضخمة طالما لديهم وصول للبيانات حقوق.

ترى ، في عصر تخزين البيانات ، طالما هناك بيانات ، فمن الضروري إجراء التحليل الإحصائي. إذا كان حجم البيانات كبيرًا ، فسنفكر في استخدام تقنية البيانات الكبيرة من Hadoop ، وهو أحد الأسباب التي جعلت Hadoop سريعة بشكل خاص خلال هذه الفترة. كما عزز تطوير التكنولوجيا تطبيق التكنولوجيا ، الأمر الذي مهد الطريق لتطبيقات البيانات الكبيرة القادمة لدخول عصر استخراج البيانات.

عصر استخراج البيانات لتطبيقات البيانات الكبيرة

عندما تدخل البيانات الضخمة المزيد من الشركات ، سنقدم المزيد من التوقعات للبيانات الكبيرة. بالإضافة إلى إحصائيات البيانات ، نأمل أيضًا في اكتشاف قيمة المزيد من البيانات ، وستدخل البيانات الكبيرة عصر استخراج البيانات.

لإثبات وجود حالة حقيقية ، اكتشف التجار منذ فترة طويلة من خلال البيانات أن الأشخاص الذين يشترون الحفاضات يشترون البيرة كثيرًا ، لذلك يضع التجار الأذكياء هذين المنتجين معًا لتعزيز المبيعات. يمكنك الحصول على مجموعة متنوعة من التفسيرات للعلاقة بين البيرة والحفاضات ، ولكن إذا كنت لا تستخدم التنقيب عن البيانات ، فقد تكسر رأسك وتفكر في العلاقة بينهما. في بيئة الأعمال ، ليس من المهم تفسير هذه العلاقة. ما هو مهم هو أنه ما دام هناك ارتباط بينهما ، يمكن إجراء تحليل الارتباط. الهدف النهائي هو السماح للمستخدم بمشاهدة السلع التي يريد شراءها قدر الإمكان.

بالإضافة إلى العلاقة بين السلع والبضائع ، يمكنك أيضًا استخدام العلاقة بين الأشخاص للتوصية بالسلع. إذا كان العديد من السلع التي يشتريها شخصان متشابهان أو حتى متشابهان ، بغض النظر عن المسافة بين الشخصين ، يجب أن يكون بينهما علاقة معينة ، مثل الخلفية التعليمية المحتملة ، والدخل الاقتصادي ، والهوايات. وفقًا لهذه العلاقة ، من الممكن تقديم توصيات حول الارتباطات بحيث يمكنهم مشاهدة المنتجات التي يهتمون بها.

وعلاوة على ذلك ، يمكن للبيانات الضخمة أن تحفر الخصائص المختلفة لكل شخص وتضع على مختلف العلامات: بعد 90 ، تعيش في مدن الدرجة الأولى ، الدخل الشهري من 10،000 إلى 20،000 ، المنازل ... هذه التسميات تشكل صورة المستخدم. وطالما أن هناك تسميات كافية ، يمكنك تصوير الشخص تمامًا ، وحتى الشخص الأقرب إليك أكثر اكتمالًا ودقة.

بالإضافة إلى الترويج ، يمكن أيضًا استخدام استخراج البيانات في التعدين بين الأشخاص. هل سمعت "ست درجات من نظرية الانفصال"؟ ويعتقد أن شخصين في العالم لا يعرف كل منهما الآخر يحتاجان إلى وسطاء فقط لربطهم. نتيجة هذه النظرية في الولايات المتحدة هي أنه يمكن الوصول إلى اثنين من الأمريكيين غير المألوفين في ست خطوات. واستناداً إلى هذه النظرية ، درس فيسبوك بيانات أكثر من مليار مستخدم ، محاولاً العثور على الرقم بين اثنين من الغرباء ، والإجابة مدهشة 3.57. وكما ترون ، فإن جميع أنواع البرامج الاجتماعية تسجل علاقات الأصدقاء ، ومن خلال تعدين خريطة العلاقة ، يمكن تصوير جميع الشبكات البشرية في العالم تقريبًا.

لا يمكن فصل الحياة العصرية عن الإنترنت تقريبًا ، وجميع أنواع التطبيقات تجمع البيانات طوال الوقت. هذه البيانات يتم تحليلها باستمرار وإستخراجها في مجموعة البيانات الكبيرة في الخلفية. هذه التحليلات والحفريات تجلب لنا الخير أو الخوف وتعتمد على جهود ممارسي البيانات الكبيرة. ولكن يمكنك التأكد من أنه مهما كانت النتيجة النهائية ، فإن هذه العملية سوف تتسارع ولن تتوقف. أنت وأنا لا يمكن إلا أن تستثمر في ذلك.

عصر تعلم الآلة لتطبيقات البيانات الضخمة

لقد اكتشفنا منذ زمن طويل وجود قانون في البيانات. هذا القانون هو أن يتم اتباع جميع البيانات. ما حدث في الماضي يتبع هذا القانون ، والأشياء التي ستحدث في المستقبل تتبع هذا القانون. حالما يتم العثور على هذا القانون ، يمكن التنبؤ به وفقًا لهذا القانون لما يحدث.

في الماضي ، كنا مقيدين بقدرة جمع البيانات وتخزينها والحوسبة. لا يمكننا الحصول إلا على كمية صغيرة من البيانات عن طريق أخذ العينات ، ولا يمكننا الحصول على قواعد كاملة وعالمية ومفصلة. الآن مع البيانات الكبيرة ، يمكنك جمع كل البيانات التاريخية ، وحساب قواعدها ، والتنبؤ بما يحدث.

هذا هو التعلم الآلي.

في التاريخ ، يتم تخزين بيانات اللعبة للعبة Go البشرية ، ومن الممكن الحصول على فوز أعلى لكل نوع من أنواع القرص. بعد الحصول على هذا القانون الإحصائي ، يمكنك استخدام هذه القاعدة للعب الشطرنج مع الناس. كل خطوة حساب تحسب حيث ستحصل على فوز أكبر. حتى نحصل على الروبوت الذي سيلعب الشطرنج. هذه هي أول سنتين من الإحساس. فاز AlphaGo ، مع ميزة ساحقة ، لاعبين كبار للبشرية.

دعوني أعطيكم مثالاً أقرب إلى حياتنا. جمع بيانات المحادثة من الدردشات الناس وتسجيل سياق كل محادثة. إذا كانت الجملة السابقة هي أن نسأل كيف يمضي اليوم ، عندئذ يمكن حساب كيفية التعامل مع الجملة التالية من خلال التعلم الآلي. في المستقبل ، إذا سأل أحدهم كيف يفعلون اليوم ، فيمكنهم الرد تلقائيًا على الجملة التالية ، حتى نحصل على روبوت يدردش. سيري ، Tmall Elf ، وشياو Ai ، مثل روبوت الدردشة الصوتية مليء بالفعل بالشوارع في عصر التعلم الآلي.

يمكن تعلم البيانات التي تولدها الأنشطة البشرية إحصائياً من خلال التعلم الآلي ، والتي يمكن أن تحاكي السلوك البشري وتجعل الآلة تبدي ذكاء خاص بالأنسان. هذا هو الذكاء الاصطناعي الذكاء الاصطناعي.

الآن لدينا بعض المواقف غير العقلانية تجاه الذكاء الاصطناعي. يعتقد بعض الناس أن الذكاء الاصطناعي سيصبح أكثر وأكثر قوة وسيحكم البشرية في المستقبل. في الواقع ، سيكشف الفهم القليل لمبدأ الذكاء الاصطناعي أن هذا هو فقط القانون الإحصائي الذي تحسبه البيانات الضخمة. إن إعادة ذكاء الأداء أمر مستحيل لفهم معنى القيام بذلك ، والمعنى هو مصدر الذكاء البشري. وفقاً للتطور الحالي للذكاء الاصطناعي ، فإنه من غير الممكن أبداً تجاوز الذكاء البشري ، بل إنه من المستحيل أكثر أن نحكم البشرية.


أخبار ذات صلة

SUBSCRIBE TO OUR SPECIAL OFFERS

Please send us your requirement by email.

حقوق الطبع والنشر © هانغتشو Wintek بناء منتجات Co.Ltd جميع الحقوق محفوظة.