微信二维码
  • 微信公众号
  • chengzhushuo
    • 微博二维码
  • 新浪微博搜索
  • 诚筑说
    • qq号二维码
  • QQ扫一扫
  • 442350769

    • 1

    建校年数

    1

    国家级资格证取得人数

    3 +

    规模级企业就业人数

    9 +

    教学视频小时数

    3 +

    海外就业人数

    1

    教学案例数

    12大实战项目

    【社交行业】诚筑说交友项目

    项目说明

    使用全新技术更新项目，诚筑说交友基于Django+Mysql+Redis+Nginx+Uwsgi开发，新增功能:即时消息发送、实时推送(IM技术)、人脸识别验证解决方案(基于第三方开放平台)、附近的人地理位置搜索等

    项目介绍

    掌握快速开发模式已是必备技能，学员可基于Django+Mysql+Redis实现前后端的快速开发。

    技术点

    HTML/CSS MySQL语句 Python基础 MySQL进阶语句 Flask FastAPI 掌握django快速开发框架，快速构建项目 能够掌握django-orm来完成功能的CRUD 能够掌握前后端分离开发流程 能够掌握jwt来完成用户token校验 了解圈子推荐功能的流程 能够掌握对接第三方接口阿里云安全完成对"说说"内容的审核 能够掌握分析项目中的数据迁移方案 掌握基于好友的过滤算法 掌握企业开发模式以及规范 掌握百度地图开放平台的使用 能够使用Git进行代码管理 能够独立完成朋友圈功能 能够独立完成圈子的的功能 能够独立完成小视频相关功能 能够独立实现好友功能 独立实现点赞、评论功能 采用Mongodb进行海量数据存储 采用Redis进行数据缓存 Echarts报表工具应用能力 能够掌握前后端分离的开发模式

    【数据抓取】数据分析实战

    项目说明

    在这个已经沉淀了海量数据的时代，掌握数据抓取、数据分析已经是每个Python人必备的技能，爬虫项目的设计以及开发流程是需要我们去急需掌握的！

    项目介绍

    搜索引擎离不开爬虫，比如百度搜索引擎的爬虫叫作百度蜘蛛(Baiduspider)。百度蜘蛛每天会在海量的互联网信息中进行爬取，爬取优质信息并收录，当用户在百度搜索引擎上检索对应关键词时，百度将对关键词进行分析处理，从收录的网页中找出相关网页，按照定的排名规则进行排序并将结果展现给用户。在这个过程中，百度蜘蛛起到了至关重要的作用。

    技术点

    Spark Flink selenium pyecharts 掌握requests快速数据抓取库 能够掌握urlib2来完成指定的需求 能够掌握MongoDB的数据存储技术 了解后端接口开发流程以及规范 能够掌握分析项目中的数据迁移方案 Echarts报表工具应用能力 能够掌握bs4库对数据的快速清洗 能够使用Git进行代码管理 采用Mysql进行数据存储 采用Redis进行数据缓存 实现私人订制搜索引擎 掌握企业开发模式以及规范

    【物流行业】千亿级离线数仓项目实战

    项目说明

    离线数仓的分层与建模，从需求、设计、研发、测试到落地上线的完整项目流程; ClouderaManager可视化、自动部署和配置、Git、CodeReview功能;

    项目介绍

    按照企业级大数据开发流程，独立完成项目开发，掌握企业级多场景大数据离线数仓开发能力，从数仓分层，数仓建模，指标统计，指标展示完成完整的大数据项目。。

    技术点

    数据采集：sqoop 数据分析：hive 拉链表的具体应用 能够掌握pymysql 能够掌握jwt来完成用户token校验 了解物流系统流程 能够掌握分析项目中的数据迁移方案 掌握企业开发模式以及规范 掌握百度地图开放平台的使用 能够使用Git进行代码管理 采用Mongodb进行海量数据存储 采用Redis进行数据缓存 Echarts报表工具应用能力 能够掌握前后端分离的开发模式

    【办公自动化】办公自动化项目

    项目说明

    自动化运维，实际上需要利用一些开源的自动化工具如：ansible、saltstark、puppet 等这些比较常见工具， 网页自动登录, Excel数据处理, API调用与数据提取, PDF转换为图片, 智能文本分析等等功能;

    项目介绍

    自动化发布：利用自动工具，shell 。自动化部署： 利用 shell、ansible。日志管理。监控自动化。

    技术点

    掌握openpyxl库 掌握pymysql库 掌握Selenium库 掌握re库 掌握Linux系统指令 掌握Numpy库 掌握Pandas库 掌握SciPy库 掌握Matplotlib库 掌握Scrapy等库 掌握selenium自动抓取数据 能够掌握MongoDB的数据存储技术 掌握requests快速数据抓取库 能够掌握urlib2来完成指定的需求 了解后端接口开发流程以及规范 能够掌握分析项目中的数据迁移方案 掌握企业开发模式以及规范 能够使用Git进行代码管理 采用Mysql进行数据存储 采用Redis进行数据缓存 实现私人订制搜索引擎 Echarts报表工具应用能力 能够掌握bs4库对数据的快速清洗

    【计算机视觉】人脸识别项目

    项目说明

    计算机视觉（Computer Vision）又称为机器视觉（Machine Vision），顾名思义是一门“教”会计算机如何去“看”世界的学科。

    项目介绍

    在机器学习大热的前景之下，计算机视觉与自然语言处理（Natural Language Process， NLP）及语音识别（Speech Recognition）并列为机器学习方向的三大热点方向。而计算机视觉也由诸如梯度方向直方图（Histogram of Gradient， HOG）以及尺度不变特征变换（Scale-Invariant Feature Transform， SIFT）等传统的手办特征（Hand-Crafted Feature）与浅层模型的组合逐渐转向了以卷积神经网络（Convolutional Neural Network， CNN）为代表的深度学习模型。

    技术点

    face_recognition Opencv Openvss Faceservice Pyecharts 掌握Matplotlib库 掌握Selenium库 掌握Numpy库 掌握Pandas库 掌握SciPy库 掌握Scrapy等库 掌握re库 掌握Zabbix库 掌握Linux系统指令 能够掌握bs4库对数据的快速清洗 掌握企业开发模式以及规范 能够使用Git进行代码管理 采用Mysql进行数据存储 采用Redis进行数据缓存 实现私人订制搜索引擎 掌握selenium自动抓取数据 能够掌握MongoDB的数据存储技术 掌握requests快速数据抓取库 能够掌握urlib2来完成指定的需求 了解后端接口开发流程以及规范 能够掌握分析项目中的数据迁移方案

    【算法实战】搜索引擎实战

    项目说明

    搜索算法是指在一个数据集合中查找特定元素的算法，它是计算机科学中非常基本的算法。 Python中有很多搜索算法，比如线性搜索、二分搜索、深度优先搜索、广度优先搜索等, 在本实战项目中, 会重点使用搜索算法来完成需求;

    项目介绍

    算法使用不同的方法进行查找，但它们的核心思想都是一样的，即在数据集合中查找特定元素。

    技术点

    选择排序 冒泡排序 快速排序 归并排序 二叉树 红黑树 深度学习算法 卷积神经网络、循环神经网络、自编码器 线性搜索、二分搜索、深度优先搜索、广度优先搜索 线性回归、逻辑回归、决策树、支持向量机、神经网络 自然语言处理算法 词袋模型、TF-IDF模型、主题模型、情感分析

    【用户画像】AI商品推荐

    项目说明

    根据Chrome配合Selenium的爬虫支撑, 搭配Spark作为数据引擎, 为每个用户制作独一无二的用户画像, 然后再通过AI模型推荐适合的商品;

    项目介绍

    用户画像是指根据用户的属性、用户偏好、生活习惯、用户行为等信息而抽象出来的标签化用户模型。通俗说就是给用户打标签，而标签是通过对用户信息分析而来的高度精炼的特征标识。通过打标签可以利用一些高度概括、容易理解的特征来描述用户，可以让人更容易理解用户，并且可以方便计算机处理。

    技术点

    Pandas Spark Flink PIL Jupyter Notebook 掌握企业开发模式以及规范 能够使用Git进行代码管理 采用Mysql进行数据存储 采用Redis进行数据缓存 实现私人订制搜索引擎 Echarts报表工具应用能力 数据清洗-构建模型-模型评估-预测结果 NLP

    【CHATGPT】实战应用

    项目说明

    ChatGPT是OpenAI开发的人工智能语言模型，由于该模型通过大量的文本数据进行训练，它可以对自然语言产生类似人类的反应。这使它可以应用于广泛的领域，如聊天机器人、语言翻译和文本生成。当然，也可以使用它来编写代码。

    项目介绍

    掌握如何使用AI大模型帮助数据开发和数据分析编程效率提升，具备使用AI大模型解决问题的能力。

    技术点

    ChatGPT生成代码 ChatGPT改Bug 基于AI大模型的出行大数据平台数仓搭建 基于AI大模型指标开发 ChatGPT基础使用 Prompts提示词进行提问 能够掌握MongoDB的数据存储技术 掌握requests快速数据抓取库 能够掌握urlib2来完成指定的需求 了解后端接口开发流程以及规范 能够掌握分析项目中的数据迁移方案 掌握企业开发模式以及规范 实现私人订制搜索引擎 能够使用Git进行代码管理 采用Mysql进行数据存储 采用Redis进行数据缓存

    【量化交易】金融项目

    项目说明

    在当前金融市场中，数据分析和量化交易已经成为最重要的竞争优势。Python 作为一种强大的编程语言，提供了丰富的工具和库，使得量化金融分析和交易变得更加容易。

    项目介绍

    ETF双底交易策略 数据获取和处理 订阅和下载金融市场数据 数据清洗和预处理 数据标准化和归一化 数据可视化 绘制股票价格走势图 绘制K线图和蜡烛图 绘制交易量柱状图 计算股票价格的平均值和标准差 计算股票价格的相关系数 进行回归分析和时间序列分析

    技术点

    pandas：数据处理和分析库，用于处理金融数据。 numpy：数值计算库，用于处理金融数据中的数学计算。 matplotlib：数据可视化库，用于绘制金融数据的图表。 seaborn：数据可视化库，用于绘制更美观的金融数据图表。 scipy：科学计算库，用于处理金融数据中的统计分析和优化问题。 statsmodels：统计模型库，用于建立金融数据的统计模型。 scikit-learn：机器学习库，用于建立金融数据的机器学习模型。 pyfolio：投资组合分析库，用于分析投资组合的表现和风险。 zipline：回测框架，用于回测金融交易策略。 backtrader：回测框架，用于回测金融交易策略。

    【机器学习】TF实战

    项目说明

    TensorFlow 就是一个开源的用于机器学习的框架，我们可以使用 TensorFlow 来快速地构建神经网络， 同时快捷地进行网络的训练、评估与保存。

    项目介绍

    模型的构建； 模型的训练； 模型的保存与加载； 模型的评估； 使用加速器提升性能； 在生产环境中部署网络； 对模型的数据进行可视化（TensorBoard）；

    技术点

    神经网络计算 神经网络设计过程 张量生成 TF2常用函数 鸢尾花数据集读入 神经网络实现鸢尾花分类 激活函数 优化器 缓解过拟合 损失函数 搭建网络八股sequential 搭建网络八股class MNIST数据集 FASHION数据集 卷积计算过程 经典卷及网络 VGGNet 描述卷积计算层 卷积神经网络 ResNet 离散数据分类 连续数据预测

    【实战项目】智能交通

    项目说明

    智能交通技术已成为推动现代技术交通技术发展的重要力量，智能交通不仅能够提供实时的交通路况信息， 帮助交通管理者规划管理策略，而且还能优化出行者的出行策略。还可以减轻交通道路的堵塞情况， 降低交通事故的发生概率，提高道路运行的安全系数。

    项目介绍

    基于视频的车辆跟踪及流量统计/可跟踪路面实时车辆通行状况，并逐帧记录不同行车道车流量数目的深度学习/车道线检测项目

    技术点

    匈牙利算法 Yolo目标检测 滤波算法 Opencv Pillow numba 掌握Numpy库 掌握Pandas库 掌握SciPy库 掌握Scrapy等库 Opencv Openvss Faceservice Pyecharts 掌握Matplotlib库 能够掌握urlib2来完成指定的需求 了解后端接口开发流程以及规范 能够掌握分析项目中的数据迁移方案 采用Mysql进行数据存储 采用Redis进行数据缓存 能够使用Git进行代码管理 掌握selenium自动抓取数据 能够掌握MongoDB的数据存储技术 掌握Zabbix库 掌握Linux系统指令

    【就业实训】毕业项目+模拟面试

    说明

    毕业项目制作
    强化面试就业核心面试题
    SQL优化面试题加强
    1V1模拟面试

    技术点

    掌握SciPy库 掌握Scrapy等库 Opencv Openvss Faceservice face_recognition Opencv Pillow Skimage Re Wave 掌握Numpy库 掌握Pandas库 掌握Matplotlib库 掌握Selenium库 掌握re库 掌握requests快速数据抓取库 能够掌握urlib2来完成指定的需求 了解后端接口开发流程以及规范 采用Mysql进行数据存储 采用Redis进行数据缓存 实现私人订制搜索引擎 掌握企业开发模式以及规范 能够使用Git进行代码管理 能够掌握MongoDB的数据存储技术 掌握Zabbix库 掌握Linux系统指令 能够掌握bs4库对数据的快速清洗 能够掌握分析项目中的数据迁移方案 神经网络计算 神经网络设计过程 张量生成 TF2常用函数 鸢尾花数据集读入 神经网络实现鸢尾花分类 激活函数 优化器 缓解过拟合 Pandas Spark Flink PIL Jupyter Notebook

    课程体系

    Python基础内容
    Python进阶知识
    SQL
    Hadoop
    数据分析
    Spark
    Java&Flink
    微玛特-离线数仓
    百万GB内存计算
    接口自动化/金融风控
    千万级电商用户画像
    简历指导/模拟面试/毕业作品

    课程体系

    第一阶段
    第二阶段
    第三阶段
    第四阶段
    Python基础内容
    Python进阶知识
    SQL
    Hadoop
    第五阶段
    第六阶段
    第七阶段
    第八阶段
    第九阶段
    第十阶段
    数据分析
    Spark
    Java&Flink
    离线数仓
    百万GB内存计算
    接口自动化/金融风控
    第十一阶段
    第十二阶段
    千万级电商用户画像
    简历指导/模拟面试/毕业作品

    在线课表

    Python就业班

    1. 上手课

      1. Python基础内容 2. Python进阶知识

    2. 高手课

      1. SQL 2. Hadoop 3. 微玛特-离线数仓项目 4. 数据采集阶段 5. Spark/用户画像 6. 实战:百万GB内存计算 7. Java&Flink 8. 实时计算:蔚来汽车计算引擎

    3. 大企业项目课

      1. 大数据云计算项目 2. Scrapy企业级应用 3. 面试宝典/大厂真题 4. 简历指导&模拟面试 5. Django企业级应用 6. 京东电商用户行为分析 7. 实战：杭州市地铁流量

    4. 毕业作品开发

      1. 接口自动化实战 2. 金融风控项目实战 3. 千万级电商用户画像实战

    • Python基础内容阶段一

      阶段课时:10天 案例:24项 技术点:23项 学习方式:手把手线下教学，Python基础是重中之重！ 发布会:1次

      达成目标

      1.Pycharm编辑器安装配置方法| 2.项目构造| 3.工作流程| 4.职位介绍| 5.行业发展状况| 6.企业编程规范| 7.掌握输入| 8.掌握输入| 9.掌握运算符、表达式、流程控制语句、List/Dict等的使用| 10.掌握基本数据类型| 11.熟练使用VSCODE开发工具| 12.熟练str类常用用法| 13.熟练List与Dict| 14.掌握Python基本面向对象知识| 15.了解集合的概念| 16.掌握函数的创建| 17.掌握函数的引用| 18.清楚并理解形参与实参的概念以及用法

      授课内容

      1. 基础语法 Python语言在国内IT行业，就业率长年稳居榜首，对于IT应届生和有转行IT行业意向的朋友来说，是个上佳选择；另外，对于要冲击高阶技术岗，例如大数据开发的朋友，也需要Python作为支撑。可以说掌握了Python，就等于拿到了IT行业的高等入场券。

      1.Python语言介绍与前景| 2.环境下载和安装以及安装演示| 3.Path环境变量的配置| 4.打印"Hello,World!"(行规) |5.第一个Python小程序| 6.Python中的数据类型 | 7.程序的移植| 8.经验技巧分享| 9.关键字、标识符| 10.二进制、八进制、十六进制| 11.类型转换、强制类型转换、表达式的类型提升| 12.运算符| 13.API、random库| 14.if分支语句的灵活使用| 15.break/continue语句| 16. for循环结构 | 17.while循环结构| 18. 字符串遍历循环结构| 19. 各种循环语句的区别和应用场景 | 20.循环跳转控制语句| 21.嵌套循环的应用| 22.使用循环嵌套打印直角三角形|23.Pycharm开发工具的详细使用 |24.数组的动态初始化|25.数 组的访问格式|26.数组的静态初始化|27.Python的内存划分和作用 |28.分析数组在内存中的存储|29.方法的定义和调用|30.方法的参数和返回值问题 |31.方法的重载(Overload)|32.参数是基本类型和引用类型的区别| 33.多重循环详解| 34.编程解析| 35.编程优化| 36.基本调试| 37.进阶练习| 38.Debug断点调试的使用| 39.综合案例（随机验证码）| 40.综合案例（宠物领养）| 41.综合案例（球队管理）| 42.综合案例（士兽之战）| 43.综合案例（取件码3次验证）

      2. 面向对象基础面向对象编程是Python编程的核心套路，这阶段可以逐步建立起面向对象编程思想，从会使用对象，到内存分析，再到真正理解为什么封装对象，包含了以下技术点：

      1.面向对象编程快速入门| 2.深刻认识面向对象| 3.对象在计算机中的执行原理| 4.类和对象的一些注意事项| 5.构造器| 6.self关键词| 7.封装| 8.实体类| 9.面向对象编程综合案例

      3. API基础介绍了什么是API，如何使用API，以及Python中常用API的使用，包含了以下知识点：

      1.API介绍、包的介绍| 2.str类概述| 3.str类的常用方法| 4.str类使用时的注意事项：创建对象的问题、常见笔试题| 5.str类常用API-字符串内容比较| 6.str类常用API-遍历、替换、截取、分割操作| 7.str类案例实战：str类开发验证码功能、模拟用户登录功能、手机号码屏蔽| 8.集合概述| 9.List集合快速入门：List常用API、遍历| 10.List集合案例：遍历并删除元素| 11.List集合的综合案例

      4. 综合案例本阶段是把Python基础阶段的内容都综合起来，做一个真正的项目出来，做到学以致用，学有所用，真正让大家学会Python。

      1.ATM项目介绍、演示| 2.系统架构搭建、欢迎界面设计| 3.开户功能实现| 4.登录功能实现| 5.操作页展示、查询账户、退出账户| 6.存款、取款功能实现| 7.转账功能实现| 8.销户功能实现| 9.用户密码修改

    • Python进阶知识阶段二

      阶段课时:4天 案例:24项 技术点:20项 学习方式:手把手线下教学，Python基础是重中之重！ 发布会:2次

      达成目标

      1.深入理解Python面向对象相关知识点| 2.掌握开发中常用类如集合、IO流、时间日期等操作| 3.掌握Python异常处理机制，熟悉Python多线程开发| 4.掌握网络基础知识，了解Socket原理，TCP、UDP协议| 5.熟悉Python新特性，如lambda、io库等操作| 6.掌握Python基本语法完成单机系统的编写

      授课内容

      1. 面向对象高级部分面向对象高级部分是Python程序的核心内容，是真正成为懂Python的大牛人员的必备课程，这阶段更加全面，更加深入的介绍了面向对象编程中的、继承、多态、抽象类、接口等等，包含了以下技术点：

      1.构造函数深度用法| 2.成员变量的内存原理&基本用法| 3.全局变量的内存原理| 4.成员代码块| 5.List/Dict/Set/Tuple应用| 6.继承的快速入门| 7.权限修饰符| 8.单继承、Object类| 9.方法的重写| 10.子类中访问其他成员的特点| 11.子类构造器的特点| 12.多态的概述&形式| 13.多态的好处和问题| 14.多态下引用数据类型的类型转换| 15.认识常量| 16.常量详解| 17.抽象类概述及应用| 18.接口概述&特点| 19.接口的多实现&多继承| 20.Python开始接口新增的方法| 21.内部类概述、成员内部类| 22.静态内部类| 23.局部内部类| 24.匿名内部类| 25.枚举| 26.泛型深入| 27.泛型类| 28.泛型接口| 29.泛型方法| 30.泛型通配符、上下限

      2. 常用APIPython提供的常用类，用于解决一些特定问题的，程序员掌握的API越多，开发能力也就越强，包含了以下技术点：

      1.API介绍| 2.Object| 3.__str__方法| 4.isinstance方法| 5.clone使用| 6.Object父类| 7.str进阶| 8.math库| 9.sys库| 10.thread库| 11.decimal| 12.混合类型| 13.date使用| 14.时间戳| 15.Py中的时间转化| 16.案例掌握| 17.计算时间前后| 18.time库| 19.时间格式转化| 20.openpyxl使用| 21.正则表式概述&匹配规则| 22.正则表达式在方法中的应用| 23.正则表达式爬取信息| 24.faker库

      3. 进阶主要介绍lambda表达式、方法引用，包含了以下技术点：

      1.lambda概述&实战| 2.装饰器函数| 3.魔法函数

      4. 集合主要介绍了Python中的集合体系，以及数据结构， io库等，包含了以下技术点：

      1.集合概述| 2.集合的体系特点| 3.集合常用API| 4.集合的遍历方式| 5.集合存储自定义类型的对象| 6.常见数据结构| 7.List系列集合| 8.常见算法、冒泡排序、选择排序、二分算法| 9.Set系列集合| 10.Dict集合的概述&体系特点| 11.Dict集合常用API| 12.Dict集合的遍历方式| 13.Tuple| 14.io操作文件| 15.快速重命名| 16.文件遍历

      5. 异常处理主要介绍了Python中虚拟机如何处理异常，以及我们自己处理异常的两种方式，包含了以下技术点：

      1.异常概述、体系| 2.常见运行时异常| 3.常见编译时异常| 4.异常的默认处理流程| 5.编译时异常的处理机制| 6.运行时异常的处理机制| 7.异常处理使代码更稳健的案例| 8.自定义异常

      6. 文件操作主要介绍了Python中跟文件相关的类file，以及Python中常见的流，包含了以下技术点：

      1.open()函数| 2.常用方法1：判断文件类型、获取文件信息| 3.常用方法2：创建文件、删除文件| 4.常用方法3：遍历文件夹| 5.递归| 6.字符集详解、IO库概述和分类| 7.InputStream| 8.try-except| 9.txt读取、txt写入| 10.access_mode、buffering、close()方法| 11.不同编码读取乱码的问题| 12.write()方法| 13.read()方法| 14.文件定位| 15.重命名和删除文件

    • SQL基础阶段一

      阶段课时:5天 案例:16项 技术点:33项 学习方式:知识点配合大量用心设计的案例，助你一臂之力！ 发布会:2次

      学习目标

      1. 掌握MySQL数据库的使用| 2. 掌握SQL语法| 3. 掌握Kettle数据迁移工具的使用| 4. 熟练使用BI可视化工具| 5. 对数据开发有一定认知，掌握BI工程师所具备的基本技能

      主讲内容

      1. MySQL与SQL零基础小白通过MySQL数据库，掌握核心必备SQL，包含了以下技术点：

      01_数据库概念和作用| 02_MySQL数据类型| 03_数据完整性和约束| 04_数据库、表基本操作命令| 05_表数据操作命令| 06_where子句| 07_分组聚合| 08_连接查询| 09_外键的使用

      2. Kettle与BI工具使用Kettle做数据迁移，通过BI工具展示excel、MySQL中的数据，包含了以下技术点：

      01_Kettle基本操作| 02_Kettle数据转换| 03_Kettle使用SQL脚本组件| 04_kettle Job开发| 05_FineBI基本操作| 06_FineBI常用图表| 07_FineBI仪表板| 08_综合案例

    • Hadoop技术栈阶段二

      课时:11天 技术点:120项 测验:1次 学习方式:线下面授

      学习目标

      1.掌握Linux常用命令，为数据开发后续学习打下的良好基础| 2.掌握大数据的核心框架Hadoop以及其生态体系，完成HDFS、MapReduce及Yarn机制基本理解与使用；能顾搭建Hadoop高可用HA集群| 3.掌握Hive的使用和调优| 4.具备Hadoop开发能力、离线数据仓库开发能力| 5.能够完成基本构建企业级数仓

      主讲内容

      1. Linux掌握Linux操作系统常用命令和权限管理，包含了以下技术点：

      01_Linux命令使用| 02_Linux命令选项的使用| 03_远程登录和远程拷贝| 04_Linux权限管理| 05_vi编辑器使用| 06_集群搭建准备

      2. 大数据基础和硬件介绍进一步阐述大数据特点与分布式思想，知识点由浅入深，包含了以下技术点：

      01_大数据的特点| 02_分布式存储概念| 03_分布式计算的概念| 04_服务器种类介绍、机架、交换机| 05_网络拓扑、Raid、IDC数据中心

      3. Zookeeper分布式软件管家，实现了集群管理与leader选举，包含了以下技术点：

      01_Zookeeper的应用场景| 02_架构和原理| 03_存储模型| 04_选举机制| 05_客户端操作| 06_ZK集群搭建

      4. HDFS分布式文件系统，解决了海量数据存储与容错，包含了以下技术点：

      01_HDFS设计的特点| 02_Master-Slave架构| 03_Block块存储、RF拷贝因子、机架感知| 04_Block拷贝策略、读写流程| 05_HDFS Federation、HDFS Snapshots、NameNode HA架构和原理| 06_HDFS管理员常用操作、HDFS权限控制| 07_HDFS普通集群以及HA集群搭建

      5. MapReduce分布式计算系统，解决海量数据的计算，包含了以下技术点：

      01_MapReduce架构和原理| 02_Split机制| 03_MapReduce并行度| 04_Combiner机制| 05_Partition机制、自定义Partition| 06_MapReduce序列化、自定义排序、数据压缩

      6. YARN分布式资源调度管理器，管理服务器软件资源，包含了以下技术点：

      01_Yarn原理和架构| 02_Yarn高可用| 03_Container资源的封装（CPU、内存和IO）| 04_资源调度策略（FIFO、Fair和Capacity）| 05_YARN高可用模式搭建

      7. Hive基础数据仓库Hive，实现企业级数仓必备工具，包含以下知识点：

      01_HQL操作| 02_数据类型| 03_分区、分桶、临时表| 04_explain执行计划详解

      8. Hive高阶数据仓库Hive高阶原理和架构深入，实现企业级数仓优化，包含以下知识点：

      01_Hive原理和架构| 02_Meta Store服务| 03_HiveServer内置函数| 04_自定义UDF和UDAF| 05_数据压缩、存储格式、自动化脚本、常见性能优化

    • 微玛特-离线数仓项目阶段三

      阶段课时:12天 技术点:33项 学习方式:行业大牛亲自讲解，企业级标准！ 发布会:2次

      微玛特-离线数仓

      项目简介技术点:80项

      微玛特-离线数仓 基于一家大型连锁超市研发的大数据分析平台。黑马深度使用Presto的项目，为后续Presto相关课程的研发打下了坚实的基础，也为学员的就业拓宽了道路；真实的数据结构，复杂的SQL实现过程，学生学习以后可以达到离线数仓的高级开发水平。

      达成目标

      1.掌握零售行业离线数仓的分层与建模，从需求、设计、研发、测试到落地上线的完整项目流程| 2.拉链表的具体应用 | 3.Presto使用 | 4.能够根据产品原型进行接口设计 | 5.提供新零售大型商超集团的数据存储分析以及服务监控方案 | 6.海量数据场景下如何优化配置| 7.熟练掌握SQL的编写 | 8.能够根据开发文档开发简单的单体项目 | 9.能够对前端代码进行打包和运行 |

      主讲解决方案

      掌握离线数仓的分层与建模、大数据量场景下如何优化配置，拉链表的具体应用，新增数据的抽取和分析，更新数据的抽取和分析，以及Hive函数的具体应用等。ClouderaManager可视化、自动部署和配置、Git的CodeReview功能保证项目高质量 离线数仓的分层与建模 项目涉及20多个主题，100多个指标场景 帆软BI企业级报表展示

      主讲知识点

      1.大数据部署运维：Cloudera Manager | 2.分析决策需求：数据仓库 | 3.数据采集：requests | 4.数据分析：Hive | 5.历史数据快照：拉链表 | 6.采用Git进行版本管理 | 6.数据更新后的统计分析：拉链表 | 7.OLAP系统存储：MySQL | 8.数据调度：oozie+shell

    • 数据采集阶段阶段四

      阶段课时:13天 技术点:23项 学习方式:线下 发布会:1次

      达成目标

      1. 爬虫能做什么？| 2.Python网络爬虫需要学习的知识和解决的问题| 3.ip地址和url详解 - 为什么网站一般不会封ip？| 4.socket编程 - 客户端和服务端通信 | 5.dom树和JavaScript操作dom树| 6.爬虫工程师基本功--计算机网络协议基础| 7.爬虫工程师基本功--前端基础| 8.爬虫前置知识讲解&爬虫初体验| 9.通过JS逆向实现论坛网站的数据抓取| 10.多线程和线程池编程-进一步改造爬虫| 11.电商网站，实现动态网网站的数据抓取|

      授课内容

      1. 爬虫基础 不论是爬虫方，还是去反爬的开发或者运维人员，都需要有计算机网络的相关知识，所以课程中我们单独设置了一个章节详细的讲解和爬虫相关的计算机网络的基础知识，这些知识是我们遇到问题后去分析和解决问题的理论基础。

      1.爬虫采集方案分类| 2.requests功能详解| 3.正则表达式-基本语法| 4.正则表达式 - python接口| 5.beautifulsoup用法 - 父子节点和兄弟节点获取| 6.xpath基本语法 - 1| 7.xpath基本语法 - 2 | 8.css选择器提取元素| 9.pymysql的简单使用| 10. 虚拟环境的安装和配置 | 11. 虚拟环境的安装和配置 - linux | 12. 虚拟环境的安装和配置 - mac | 13. 爬虫能做什么？ | 14. Python网络爬虫需要学习的知识和解决的问题 | 15. 爬虫是万能的吗？ | 16. 为什么我们需要学习计算机网络 | 17. 一个完整的网络请求过程 | 18. ip地址和url详解 - 为什么网站一般不会封ip？ | 19. 有哪些网络协议？ | 20. 我们经常看到的tcp-ip协议是什么？ | 21. socket编程 - 客户端和服务端通信 - 1 | 22. socket编程 - 客户端和服务端通信-2 | 23. 基于tcp自定义第一个协议 - 模拟qq服务器和客户端 - 1 | 24. 基于tcp自定义第一个协议 - 模拟qq服务器和客户端 - 2 | 25. 基于tcp自定义第一个协议 - 模拟qq服务器和客户端 - 3 | 26. 正确认识http协议 - 1 | 27. 正确认识http协议 -2 | 28. 本章课后作业 |

      2. TCP与HTTP知识

      1. 从零开始 系统入门python爬虫工程师-课程导学 | 2. python的安装 | 3. python的安装和配置 - linux | 4. python的安装和配置 - mac | 5. pycharm的安装和配置 (必看！！) | 6. 课程中用到的pycharm快捷键(必看！！！) | 7. mysql和navicat的安装和使用 | 8. mysql和navicat的安装和配置 - linux | 9. mysql和navicat的安装和配置 - mac | 10. 虚拟环境的安装和配置 | 11. 虚拟环境的安装和配置 - linux | 12. 虚拟环境的安装和配置 - mac | 13. 爬虫能做什么？ | 14. Python网络爬虫需要学习的知识和解决的问题 | 15. 爬虫是万能的吗？ | 16. 为什么我们需要学习计算机网络 | 17. 一个完整的网络请求过程 | 18. ip地址和url详解 - 为什么网站一般不会封ip？ | 19. 有哪些网络协议？ | 20. 我们经常看到的tcp-ip协议是什么？ | 21. socket编程 - 客户端和服务端通信 - 1 | 22. socket编程 - 客户端和服务端通信-2 | 23. 基于tcp自定义第一个协议 - 模拟qq服务器和客户端 - 1 | 24. 基于tcp自定义第一个协议 - 模拟qq服务器和客户端 - 2 | 25. 基于tcp自定义第一个协议 - 模拟qq服务器和客户端 - 3 | 26. 正确认识http协议 - 1 | 27. 正确认识http协议 -2 | 28. 本章课后作业 | 29. html、css和JavaScript之间的关系...1 | 30. 浏览器的加载过程 |

      3. 爬虫进阶

      1. dom树和JavaScript操作dom树 | 2. ajax、json和xml | 3. 动态网页和静态网页 | 4. GET、POST方法和Content-type详解 | 5. ajax方式提交表单数据 | 6. 本章课后作业。 | 7. 爬虫采集方案分类 | 8. requests功能详解 | 9. 正则表达式-基本语法 | 10. 正则表达式 - python接口 | 11. beautifulsoup用法 - find方法 | 12. beautifulsoup用法 - 父子节点和兄弟节点获取 | 13. xpath基本语法 - 1 | 14. xpath基本语法 - 2 | 15. css选择器提取元素 | 16. 2021更新重录说明 | 17. pymysql的简单使用 | 18. peewee自动生成表 | 19. 通过peewee对数据进行增、删、改、查 | 20. 目标网站需求分析 | 21. 表结构定义 | 22. 通过headers去识别反爬 | 23. 分析headers中的签名算法 | 24. 通过python调用js函数生成随机值 | 25. 模拟csdn生成参数签名防止反爬 | 26. 通过签名的参数请求正确的数据 | 27. 封装签名方法获取想要的数据 | 28. 获取所有的二级分类的url | 29. 分析列表页的数据并解析 | 30. 解析列表页数据并进行下一页策略抓取 |

      4. 多线程爬取

      1. 抽取topic数据入库到mysql中 | 2. 解析帖子回复和用户信息 | 3. 签名中的参数顺序至关重要 | 4. 后续章节学习的说明 | 5. 并发和并行 | 6. 多线程编程 | 7. python的GIL真的会导致多线程慢吗？ | 8. 线程同步 - Lock | 9. 使用多线程重构csdn爬虫 - 1 | 10. 使用多线程重构csdn爬虫 - 2 | 11. 使用多线程和Queue重构csdn爬虫 | 12. 进一步的思考 - 课后作业 | 13. ThreadPoolExecutor的基本功能 | 14. ThreadPoolExecutor线程池重构爬虫 | 15. 如果合适的话使用 asyncio 做爬虫的优势是什么？ | 16. 需求分析 | 17. 表结构设计 | 18. chrome的f12后的调试工具栏介绍 | 19. 京东的商品详情页接口分析 | 20. 通过requests完成京东详情页数据的获取 | 21. selenium的安装和使用 | 22. 通过selenium解析商品详情页 - 1 | 23. 通过selenium解析商品详情页 - 2 | 24. 通过selenium解析商品详情页 - 3 | 25. 通过selenium解析商品详情页 - 4 | 26. 通过selenium解析商品详情页 - 5 | 27. chromedirver的headless模式和设置不加载图片 | 28. 课后作业和总结 | 29. 章节目标和为什么需要模拟登录 | 30. 模拟登录的原理- session和cookie的原理 |

      5. 反爬

      1. requests模拟登录豆瓣 | 2. 将cookie保存到文件中并从文件中读取cookie | 3. selenium模拟登录豆瓣 | 4. 滑动验证码识别 和selenium模拟登录B站 - 1 | 5. 滑动验证码识别 和selenium模拟登录B站 - 2 | 6. 滑动验证码识别 和selenium模拟登录B站 - 3 | 7. 第三方验证码识别服务商推荐camproj | 8. 课后作业和总结 | 9. 【讨论题】滑动验证码的解决办法 | 10. 词云热力图应该如何实现？ | 11. 反爬和反反爬 | 12. 常见的反爬方案 | 13. 通过user-agent反爬 | 14. 通过收费的代理ip绕过反爬 - 1 | 15. 通过收费的代理ip绕过反爬 - 2 | 16. 通过一个实际的案例分析一下反爬策略是什么 | 17. 新建scrapy项目 | 18. 通过pycharm调试scrapy | 19. 编写spider的逻辑 | 20. item和pipeline | 21. scrapy集成随机useragent和ip代理 | 22. 课程总结 | 23. 成为高级爬虫工程师的学习建议 |

    • Spark技术栈阶段五

      课时:8天 技术点:108项 测验:1次 发布会:1次 学习方式:线下面授

      学习目标

      1.掌握Spark的RDD、DAG、CheckPoint等设计思想| 2.掌握SparkSQL结构化数据处理，Spark On Hive| 3.掌握Structured Streaming整合多数据源完成实时数据处理| 4.具备Spark全栈开发能力，满足大数据行业多场景统一技术栈的数据开发，提供就业核心竞争力

      主讲内容

      1. Spark基础本阶段学习Spark环境搭建及以下知识点：

      01_Spark基础环境搭建| 02_Spark的Standalone环境搭建| 03_Spark的StandaloneHA搭建| 04_SparkOnYarn环境搭建

      2. Spark Core整个spark框架核心部分，掌握框架内部设计思想，数据流转步骤，是学习spark的基础模块，包含了以下技术点：

      01_Spark架构和原理（运行机制、Driver和Executor、spark任务提交流程）| 02_RDD开发和原理（Partition、Task、RDD的依赖关系、RDD的容错机制、RDD的存储级别、RDD的缓存机制）广播变量 | 03_DAG原理（DAG思想、DAG的生成、DAG的处理过程）

      3. Spark SQL学习spark框架的SQL操作，spark与Hive等外部数据源的整合操作，包含了以下技术点：

      01_Spark SQL架构和原理| 02_DataFrame、DataSet DSL和SQL开发| 03_Spark多数据源整合（txt、CSV、Json、parquet、JDBC、Hive）| 04_Spark SQL执行计划原理| 05_Spark SQL性能调优

      4. SparkSQL案例践行场景式教学，运用了Spark阶段知识点，使用lambda加解决数据分析的应用，包含了以下技术点：

      01_Spark多场景案例实战

      5. 用户画像解决方案

      用户画像解决方案,主要针对于保险行业完成用户标签设计,提供了全行业解决方案,课程采用由浅入深,层层递进的讲解方式, 让你轻松掌握企业级用户画像的使用, 使用SparkSQL+ES+DS构建企业级用户画像。
      1. SparkSQL整合ES自定义数据源 2. DS任务界面化调度 3. 用户画像标签构建规则 4. 用户画像规则类标签构建 5. 用户画像统计类标签构建

    • 实战:百万GB内存计算阶段六

      课时:5天技术点:88项学习方式:线下面授

      学习目标

      1.快速搭建保险行业大数据平台| 2.基于Hive+Spark SQL搭建离线数据仓库| 3.基于SparkSQL应对轻松应对复杂的迭代计算| 4.完成基于国内头部保险公司大数据项目开发| 5.掌握基于Spark分析12亿报单表和8千万客户等数据| 6.对保单汇总计算（业务发展类指标，成本费用类指标等），并向业务人员做数据展示| 7.离线数仓项目实战| 8.用户画像项目实战

      "平安好车主"项目需要计算海量明细保单数据，以便生成财务报表。项目使用SparkSQL来计算， 时效大大提高，增强保险公司的商业信誉。项目将多部门的业务数据库同步到Hive数据集市， 使用SparkSQL加载源数据表（保单表12亿保单，客户表8千万客户等），计算保单的保费、现金价值、准备金等明细， 提供给财务部门收费或支出，最后对保单汇总计算（业务发展类指标，成本费用类指标等），并向业务人员做数据展示。

      主讲解决方案

      项目核心架构和业务流程、Hive数仓建模 、Sqoop数据同步开发 DolphinScheduler任务调度、使用lag，sum等窗口函数 、使用UDAF函数计算有效保单数字段、计算现金价值、计算和准备金、分区表的使用 、指标汇总计算 、Shuffle优化、用户画像解决方案。

      主讲知识点

      基于Spark轻松应对保险复杂的迭代计算、基于SparkSQL完成用户画像实战、基于ES完成标签存储与检索

    • Java阶段七

      课时:5天 技术点:50项 测验:1次 学习方式:线下面授

      学习目标

      1.掌握Java基本语法| 2.掌握面向对象编程| 3.使用Java实现与Kafka的交互

      主讲内容

      1. Java编程语法学习并掌握大数据开发所需的Java编程语法，包含的内容如下：

      01_开发环境基本配置| 02_运算符/表达式/流程控制| 03_变量及方法| 04_Lambda表达式| 05_数组与集合| 06_面向对象及常用类| 07_JDBC| 08_多线程| 09_Maven

      Flink阶段七

      课时:6天 技术点:88项 测验:1次 学习方式:线下面授

      学习目标

      1.掌握基于Flink进行实时和离线数据处理、分析| 2.掌握基于Flink的多流并行处理技术| 3.掌握千万级高速实时采集技术

      主讲内容

      1. Flink Core新一代批流统一数据处理引擎，在计算效率和性能都有很大提升，包含了以下技术点：

      01_Flink基础

      2. Flink DataStream构成了Flink解决实时数据处理部分，是掌握实时数据处理必备技能，包含了以下技术点：

      01_Flink DataStream的使用| 02_Kafka + Flink

      3. Flink SQL解决Flink中的SQL化开发，Flink-SQL开发必备技能，包含了以下技术点：

      01_Flink SQL开发| 02_Hive + Flink SQL

      4. Flink Runtime是对Flink任务进行调优，必须掌握的内容，包含了以下技术点：

      01_Watermark| 02_Checkpoint| 03_任务调度与负载均衡| 04_状态管理

      5. Flink高级解决Flink性能监控等高阶知识，具备实时数据分析必备技能，包含以下技术点：

      01_Flink性能监控| 02_Flink调优| 03_Flink SQL执行计划

      6. Flink电商案例实战践行场景式教学，运用了Flink阶段知识点，解决实时数据分析的应用，包含了以下技术点：

      01_Flume+Kafka+Flink+HBase+Sqoop+Canal+MySQL实战

    • 实时计算:蔚来汽车计算引擎阶段八

      课时:7天技术点:80项发布会:1次学习方式:线下面授

      学习目标

      1.NIO Power 业务背景| 2. NIO Power 设备运维解决方案| 3. PHM 技术面临的挑战| 4. PHM 前沿技术| 5. 智能运维PHM技术应⽤案例| 6.FlinkSQL流批一体架构实现实时数据计算| 7.使用Apache Doris进行海量多维分析| 8.掌握数据报表分析| 9.掌握业务数据实时大屏场景实现

      基于Flink+Hudi湖仓一体技术架构，实现了在线视频行业实时数据处理和分析。项目采用流处理计算引擎Flink，实时处理千万数据量的视频流数据，基于FlinkCDC完成MySQL等数据源的数据采集，通过Hudi On Hive构建湖仓一体架构，结合数据湖和数据仓库优势，建立湖仓一体化。

      主讲解决方案

      Flink，FlinkSQL，FlinkCDC，Doris，Hudi，Hudi，on Hive，FIneBI

      主讲知识点

      采集超过千万条在线视频的数据，实时高性能海量数据分析与存储业务数据实时大屏场景实现。

    • 大数据云计算项目阶段一

      阶段课时:10天 技术点:33项 学习方式:从单体项目扩展到微服务，武林高手必经之路！ 发布会:1次

      吾悦点餐

      天天牛股票

      项目简介技术点:87项

      严格按照商业系统进行架构开发的，从PC管理员端到小程序会员端，从项目搭建到部署上线，通俗易懂。
      Python推荐系统算法实现-基于用户协同过滤算法!

      搭建大纲

      1.HighCharts仪表盘数据图形化展示| 2.定时器统计入口模型 + 会员统计功能 | 3.财务统计、售卖统计、会员消费统计、分享统计展示 | 4.餐小程序前台页面搭建 | 5.管理员后台账号模块开发 | 6.小程序登录 | 7.理员后台会员管理模块开发 | 8.管理员后台菜品模块开发 | 9.小程序内的商品搜索和菜品展示模块开发 | 10.小程序菜品订单和支付模块开发 | 11.小程序会员中心 | 12.管理员后台财务管理模块开发 | 13.商品售卖统计任务 | 14.定时器统计入口模型 + 会员统计功能 | 15.nginx + uwsgi 实现多进程访问

      主讲解决方案

      1.菜品推荐解决方案| 2.商品调优解决方案| 3.生产部署的解决方案| 4.分布式消息的解决方案| 5.后台统计的解决方案| 6.雪崩问题解决方案| 7.服务熔断、降级解决方案

      主讲知识点

      1.统一认证鉴权| 2.双Token三验证的设计与实现| 3.基于Redisson实现分布式锁| 4.支付的设计与实现| 5.运费的设计实现| 6.基于图数据库Neo4J的路线规划的设计与实现| 7.物流业务中的智能调度系统| 8.基于MongoDB实现作业范围| 9.基于Caffeine、Redis的多级缓存的分析与实现| 10.使用Redis的缓存穿透、击穿、雪崩问题的分析与解决| 11.基于Graylog实现分布式日志的收集与分析| 12.基于Skywalking实现微服务架构中的链路追踪

    • Scrapy企业级应用阶段二

      阶段课时:8天 技术点:43项 学习方式:线下 发布会:1次

      Scrapy

      技术简介技术点:118项

      Scrapy 是一个为了抓取网页数据、提取结构性数据而编写的应用框架，该框架是封装的，包含 request （异步调度和处理）、下载器（多线程的 Downloader）、解析器（selector）和 twisted（异步处理）等。对于网站的内容爬取，其速度非常快捷。

      达成目标

      1. python分布式爬虫打造搜索引擎简介 | 2. scrapy安装和简单使用 | 3. navicat的安装和使用 | 4. windows和linux下部署所需环境 | 5. 虚拟环境的安装和配置 | 6. 技术选型 爬虫能做什么 | 7. 正则表达式-1 | 8. 正则表达式-2 | 9. 正则表达式-3 | 10. 深度优先和广度优先原理 | 11. url去重方法 | 12. 彻底搞清楚unicode和utf8编码 | 13. 重录说明(很重要！！！) | 14. scrapy安装和配置 | 15. 需求分析 | 16. pycharm中调试scrapy源码 | 17. xpath基础语法 | 18. xpath提取元素 | 19. css选择器 | 20. . cnblogs模拟登录(新增内容) | 21. 编写spider完成抓取过程 - 1 | 22. 编写spider完成抓取过程 - 2 | 23. scrapy中为什么要使用yield | 24. 提取详情页信息 | 25. 提取详情页信息 | 26. items的定义和使用 - 1 | 27. items的定义和使用 - 2 | 28. scrapy配置图片下载 | 29. items数据写入到json文件中 | 30. mysql表结构设计 | 31. pipeline数据库保存 | 32. 异步方式入库mysql | 33. 数据插入主键冲突的解决方法 | 34. itemloader提取信息 | 35. itemloader提取信息 | 36. 大规模抓取图片下载出错的问题 | 37. 有没有方法可以比较准确的解析出 title 和正文内容 | 38. session和cookie自动登录机制 | 39. 课程如何应对网站反爬变化？ | 40. 使用opencv识别滑动验证码的环境准备 | 41. opencv滑动验证码识别原理 | 42. 滑动验证码识别集成到scrapy中 | 43. 通过机器学习平台训练滑动验证码模型 | 44. 发布训练模型并远程调用识别 | 45. 知乎分析以及数据表设计1 | 46. 知乎分析以及数据表设计 - 2 | 47. item loder方式提取question - 1 | 48. item loder方式提取question - 2 | 49. item loder方式提取question - 3 | 50. 知乎spider爬虫逻辑的实现以及answer的提取 - 1 | 51. 知乎spider爬虫逻辑的实现以及answer的提取 - 2 | 52. 保存数据到mysql中 -1 | 53. 保存数据到mysql中 -2 | 54. 保存数据到mysql中 -3 | 55. 如何将数据的保存和抓取独立出来？ | 56. 数据表结构设计 | 57. CrawlSpider源码分析-新建CrawlSpider与settings配置 | 58. CrawlSpider源码分析 | 59. Rule和LinkExtractor使用 | 60. 网页302之后的模拟登录和cookie传递(网站需要登录时学习本视频教程) | 61. item loader方式解析职位 | 62. 职位数据入库-1 | 63. 职位信息入库-2 | 64. 网站反爬突破 | 65. 爬虫和反爬的对抗过程以及策略 | 66. scrapy架构源码分析 | 67. Requests和Response介绍 | 68. 通过downloadmiddleware随机更换user-agent-1 | 69. 通过downloadmiddleware随机更换user-agent - 2 | 70. scrapy实现ip代理池 - 1 | 71. scrapy实现ip代理池 - 2 | 72. scrapy实现ip代理池 - 3 | 73. 云打码实现验证码识别 | 74. cookie禁用、自动限速、自定义spider的settings | 75. selenium动态网页请求与模拟登录知乎 | 76. selenium模拟登录微博， 模拟鼠标下拉 | 77. chromedriver不加载图片、phantomjs获取动态网页 | 78. selenium集成到scrapy中 | 79. 其余动态网页获取技术介绍-chrome无界面运行、scrapy-splash、selenium-grid, splinter | 80. scrapy的暂停与重启 | 81. scrapy url去重原理 | 82. scrapy telnet服务 | 83. spider middleware 详解 | 84. scrapy的数据收集 | 85. scrapy信号详解 | 86. scrapy扩展开发 | 87. 分布式爬虫要点 | 88. redis基础知识 - 1 | 89. redis基础知识 - 2 | 90. scrapy-redis编写分布式爬虫代码 | 91. scrapy源码解析-connection.py、defaults.py- | 92. scrapy-redis源码剖析-dupefilter.py- | 93. scrapy-redis源码剖析- pipelines.py、 queue.py- | 94. scrapy-redis源码分析- scheduler.py、spider.py- | 95. 集成bloomfilter到scrapy-redis中 | 96. 什么是cookie池？ | 97. cookie池系统设计 | 98. 实现cookie池-1 | 99. 实现cookie池-2 | 100. 改造login方法 - 1 | 101. 改造login方法 - 2 | 102. 改造login方法-3 | 103. 改造login方法-4 | 104. 通过抽象基类实现网站轻松接入 | 105. 实现检测网站cookie是否有效 | 106. 如何选择redis的数据结构来保存cookie | 107. cookie管理器的实现 | 108. 启动cookie池服务 | 109. 将cookie集成到爬虫项目中 | 110. cookie架构设计改进意见 | 111. 滑动验证码的识别思路 | 112. 验证码截屏-1 | 113. 验证码截屏-2 | 114. 计算出滑动的距离 | 115. 计算滑动轨迹 | 116. 增量爬虫需要解决的问题 | 117. 通过修改scrapy-redis完成增量抓取 -1 | 118. 通过修改scrapy-redis完成增量抓取-2 | 119. 爬虫数据更新 | 120. elasticsearch介绍 | 121. elasticsearch安装 | 122. elasticsearch-head插件以及kibana的安装 | 123. elasticsearch的基本概念 | 124. 倒排索引 | 125. elasticsearch 基本的索引和文档CRUD操作 | 126. elasticsearch的mget和bulk批量操作 | 127. elasticsearch的mapping映射管理 | 128. elasticsearch的简单查询 - 1 | 129. elasticsearch的简单查询 - 2 | 130. elasticsearch的bool组合查询 | 131. scrapy写入数据到elasticsearch中 - 1 | 132. scrapy写入数据到elasticsearch中 - 2 | 133. es完成搜索建议-搜索建议字段保存 - 1 | 134. es完成搜索建议-搜索建议字段保存 - 2 | 135. django实现elasticsearch的搜索建议 - 1 | 136. django实现elasticsearch的搜索建议 - 2 | 137. django实现elasticsearch的搜索功能 -1 | 138. django实现elasticsearch的搜索功能 -2 | 139. django实现搜索结果分页 | 140. 搜索记录、热门搜索功能实现 - 1 | 141. 搜索记录、热门搜索功能实现 - 2 | 142. scrapyd部署scrapy项目 | 143. 课程总结 | 144. 【讨论题】你认为什么是 JS 逆向？ | 145. 如何将 nodejs 服务集成进来呢？ | 146. 【讨论题】字体反爬应该如何解析？ |

    • 面试宝典阶段三

      阶段课时:8天 技术点:43项 学习方式:线下 发布会:1次

      超高频面试题

      简介

      课程覆盖了90%面试高频考点 +10%课程中的面试技巧+简历指导 +面试经验分享， 硬核技术+面试软实力双重提升，优质offer纷至沓来！目前已经帮助很多pythoner拿到offer！

      达成目标

      1. Python服务端工程师面试指导-课程导学篇 | 2. Python 后端职位分析 | 3. 面试流程和环节 | 4. Python后端技术栈 | 5. Python初中级工程师技能要求和面试标准 | 6. 简历书写与自我介绍 | 7. 行为面试常见问题与回答技巧 | 8. 行为面试练习题：讲讲你的项目 | 9. Python语言基础常考题 | 10. python2和3差异常考题 | 11. Python函数常考题 | 12. Python异常机制常考题 | 13. Python性能剖析与优化,GIL常考题 | 14. Python生成器与协程 | 15. Python单元测试 | 16. Python基础练习题：深拷贝与浅拷贝 | 17. Python常用内置算法与数据结构常考题 | 18. Python面试常考算法 | 19. Python数据结构常考题 | 20. Python白板编程 | 21. Python数据结构常考题之链表 | 22. Python数据结构常考题之二叉树 | 23. Python数据结构常考题之栈与队列 | 24. Python数据结构常考题之堆 | 25. Python字符串常考算法题 | 26. 算法与数据结构练习题：反转链表 | 27. 面向对象基础及Python 类常考问题 | 28. 装饰器面试常考问题 | 29. 设计模式：创建型模式Python应用面试题 | 30. 设计模式：结构型模式Python应用面试题 | 31. 设计模式：行为型模式Python应用面试题 | 32. Python 函数式编程常考题 | 33. 编程范式练习题：编写一个单例模式 | 34. 面试常考 linux 命令 | 35. 操作系统线程和进程常考面试题 | 36. 操作系统内存管理机制与Python垃圾回收面试题 | 37. 线程练习题：多线程爬虫 | 38. 网络协议TCP和UDP面试常考题 | 39. HTTP 面试常考题 | 40. 网络编程常考题 | 41. 并发编程IO多路复用常见考题 | 42. Python并发网络库常考题 | 43. 异步框架练习题：异步爬虫 | 44. Mysql基础常考题 | 45. Mysql索引优化常考面试题 | 46. SQL语句编写常考题 | 47. 缓存机制及Redis常考面试题 | 48. 数据库练习题：Mysql索引与 Redis 应用 | 49. Python WSGI与web框架常考点 | 50. web安全常考点 | 51. 前后端分离与 RESTful 常见面试题 | 52. web安全思考题：什么是https | 53. 系统设计考点解析 | 54. 系统设计真题解析：短网址系统的设计与实现 | 55. 系统设计思考题：如何设计一个秒杀系统 | 56. 面试经验分享 | 57. 课程总结 |

    • 简历指导&模拟面试阶段四

      阶段课时:5天 模拟面试:>2次 学习方式:大牛讲解大厂高频面试题，做好笔记吧！ 发布会:2次

      达成目标

      1.用科学方法循序渐进模块化简历书写| 2.简历互批模式 、优秀简历鉴赏和三方简历批改助力产出明星简历| 3.高质量行业标准简历库累积，让学员简历技术专业度、项目专业度、经验专业度提挡提质| 4.分阶段、分批次、分组开展面试实战演练，练讲解清晰度、练胆识与信心、练专业技术和项目架构表述的逻辑性| 5.一对一企业模拟面试，全方位指导、帮扶面试过程核心问题及解决措施| 6.提升项目表达与项目业务专业度

      授课内容

      1. 简历指导分批次简历指导、专业简历课、创新简历批改模式和行业级有竞争力简历评价标准：

      1.分批次简历指导课，让简历书写循序渐进不再难| 2.整合HR、专业技能和项目经验，让简历符合行业标准| 3.顶级项目讲师进行技术层面全方面多频次专业简历指导与批改

      2. 面试专题库面试高频问题总结，面试专题讲座，实战化专题演练，强化面试演练：

      1.面试高频问题总结，形成面试专题及参考答案|2.开展真实面试问题讲座，让学生不仅仅会背更要明白背后逻辑，提升学生面试底气|3.开展专题实战化演练，发挥个人优势，提升成功率|4.学生问题提查，引导思维训练，提升技术表述与项目融合讲解

      3. 项目专题训练专业指导完成项目表述，从原型与架构角度剖析项目结构，实现技术与项目业务融合促进项目逻辑链条更完整：

      1.将项目专题抽取，更好的组装业务逻辑和技术架构| 2.以专题化驱动项目训练，让实际开发经验更易于呈现，极大丰富项目经验| 3.通过项目专题，将技术与项目业务逻辑更好的整合在一起，完善项目表述逻辑链条| 4.合理的项目选型与架构，搭配项目业务流程综合体现项目硬实力

      4. 模拟面试企业级面试流程指导，老师与学生模拟面试训练，企业标准面试学生更好的面试流程和氛围：

      1.多频次、企业级面试流程指导，助力真实面试体验| 2.老师与学生通过模拟真实场景下面试，提前感受面试氛围、克服面试紧张情绪| 3.提供模拟面试专业指导，帮助及时改正问题点| 4.以简历为基础、企业面试流程为标准，强化模拟面试标准推进

      5. 面试指导分批次学习专项项目课程，更好发挥学生专长促进学习效果，面试跟踪与复盘：

      1、通过分批次专项项目课程学习，更好的实现因材施教| 2、结合学生简历及面试情况，确保指导效果有的放矢| 3、从简历书写、投放、面试结果反馈进行全面跟踪，保证全流程实施效果| 4、面试问题及时跟踪复盘，无缝对接企业面试保障面试效果

    • Django企业级应用阶段五

      阶段课时:12天 案例:16项 技术点:43项 发布会:2次

      简介

      一个Django的实战项目，以在线教育网站为案例，带你吃透Django的各个知识点，不同于其它课程的是，本课程采用Django＋xadmin完成项目，这套技术组合，可助你解决大部分Python网站后端问题，解决企业的实际需求！

      授课内容

      1. 强力django+杀手级xadmin 打造上线标准的在线教育平台 | 2. 课程中会用到的开发环境介绍 | 3. 如何在windows上安装linux-上 | 4. 如何在windows上安装linux-下 | 5. python的安装和配置 | 6. 虚拟环境的安装和配置 | 7. mysql和navicat的安装和配置 | 8. pycharm的安装和配置 | 9. 课程中会用到的开发环境介绍 | 10. python、mysql、navicat和pycharm的安装和配置 | 11. 开发环境搭建指南-mac | 12. navicat的简单使用 |
      13. pycharm简单介绍(很重要！！！) | 14. 如何在pycharm中调试代码 | 15. pycharm中常用的快捷键(很重要！！！) | 16. django目录结构解析-1 | 17. django目录结构解析-2 | 18. 配置url和静态文件 | 19. orm和model表设计-1 | 20. orm和model表设计-2 | 21. model进行增、删、改、查-1 | 22. model进行增、删、改、查-2 | 23. 从前端html页面提取出数据并保存到数据库中 | 24. django的template数据展示 | 25. 需求分析和app设计 | 26. 新建项目和apps | 27. 自定义userprofile表覆盖默认的user表 |
      28. 如何避免循环import不同apps中的model | 29. course相关的表结构设计 - 1 | 30. course相关的表结构设计 - 2 | 31. 课程机构相关的表结构设计 | 32. operations相关表结构设计 | 33. 通过migrate生成表和本章小结 |
      34. 有没有方法既可以使用外键又不定死外键类型？ | 35. 通过django的admin快速搭建后台管理系统 | 36. 更加强大的后台管理系统-xadmin的配置 | 37. 解决xadmin新建用户出现手机号码重复的问题 | 38. xadmin快速配置列表、搜索、过滤等功能 | 39. 快速注册model到xadmin中 |
      40. xadmin全局配置和本章总结 | 41. 配置首页和登录页面 | 42. 通过django内置的login完成登录 | 43. 登录成功之后的思考 | 44. 通过form表单对登录框进行验证 | 45. 退出登录接口开发 |
      46. 通过云片网发送短信验证码 | 47. 通过django-captcha-simple显示图片验证码 | 48. 图片验证码是如何显示在前端页面中的 | 49. ajax方式完成短信验证码的发送 - 1 |
      50. ajax方式完成短信验证码的发送 - 2 | 51. 通过redis记录发送的验证码 | 52. 手机验证码动态登录 - 1 | 53. 手机验证码动态登录 - 2 | 54. 手机注册功能 - 1 | 55. 手机注册功能 - 2 | 56. cookie和session的登录原理和区别 | 57. 使用了django的什么功能来创建这么多的form表单呢 |
      58. 使用template的static重新引入静态文件 | 59. 通过django的template继承机制重构html页面 | 60. 显示课程机构列表页数据 - 1 | 61. 显示课程机构列表页数据 - 2 | 62. 课程机构经典课程展示- 通过model反向去外键关联数据 | 63. 课程机构分页 | 64. 课程机构的筛选 | 65. 通过order_by对课程机构排序 |
      66. 授课机构排名 - 通过forloop显示索引 | 67. 通过url的include机制重新设计url | 68. 通过modelform完成用户咨询提交..1 | 69. 课程机构详情页 | 70. 课程机构详情页2 | 71. 机构讲师列表 | 72. 机构课程和机构介绍页面开发 |
      73. 课程机构收藏 - 1 | 74. 课程机构收藏 - 2 | 75. django 是否有内置的允许我们将常用逻辑封装好的功能 | 76. 课程列表页开发 - 1 | 77. 课程列表页开发 - 2 | 78. 热门课程推荐 | 79. 课程详情页面显示 | 80. 课程详情页的收藏和相关课程推荐 - 1 |
      81. 课程详情页的收藏和相关课程推荐 - 2 | 82. 课程章节信息展示 | 83. 如何控制一个view必须登录之后才能访问 | 84. 学过该课程的同学还学习过的课程 | 85. 课程评论页面开发 - 1 | 86. 课程评论页面开发 - 2 |
      87. 视频播放 | 88. 如何在不修改现有 view 的代码基础上去自动更新字段 | 89. 讲师列表页开发 | 90. 讲师详情页面开发 | 91. 个人信息显示 | 92. 通过django的modelform处理头像修改 | 93. 修改个人信息 |
      94. 修改密码 | 95. 修改手机号码 | 96. 多种方式实现我的课程页面 | 97. 我的收藏 - 课程机构 | 98. 我的收藏 - 授课讲师 | 99. 我的收藏 - 公开课程 | 100. 全局消息提示和个人消息中心 | 101. 首页 -1 |
      102. 首页 - 2 | 103. 全局搜索功能 - 副本 | 104. 如何快速找到所有的连接并快速的配置 | 105. 课程详情页显示学习用户 | 106. 自定义用户验证模块 | 107. 自定义404、500页面 | 108. sql注入攻击 | 109. xss攻击原理及防范 | 110. csrf攻击与防范 | 111. 如何修改编辑页面的布局 | 112. django的组和权限管理配置 |
      113. 如何定义编辑页面和新增页面的表单 | 114. 如何让讲师可以登录xadmin并过滤列表页数据 | 115. 重载save_models方法控制保存和修改数据的逻辑 | 116. 同一张表的不同数据使用不同的管理器进行管理 | 117. 通过在model中定义方法将图片显示在列表页 | 118. 配置只读字段、排除字段和默认的排序 |
      119. 通过model_icon修改model的图标 | 120. 通过inline配置多张表的一次性编辑 | 121. 集成ueditor富文本编辑器到xadmin中 | 122. 数据的导入和导出配置 | 123. 为什么我们需要云服务器部署 | 124. 如何购买阿里云服务器和连接到阿里云服务器 | 125. uwsgi nginx组合介绍 以及python的安装和配置 | 126. mariadb和redis的安装与配置 | 127. nginx和virtualenvwrapper的安装和配置 | 128. 如何同步本地代码到阿里云服务器 | 129. uwsgi和nginx配置 |
      130. uwsgi和nginx配置 | 131. 配置域名和服务器之间的映射 | 132. 部署后需要注意的事项以及如何排查日志错误 | 133. centos7 下通过uwsgi，nginx部署django应用 | 134. 是否可以在同一个操作系统上部署不同的客户系统？ |

    • 京东电商用户行为分析阶段六

      阶段课时:4天 技术点:13项 发布会:3次

      达成目标

      仅掌握基础的数据分析技能，早已无法满足高薪岗位的需求，所以进阶成为中高级数据工程师势在必行。本课程通过一系列企业级数据分析项目实战，带你夯实数据分析必备技能、拓展数据分析思维、学习数据分析算法应用，让你快速掌握中级数据工程师必备的核心技能，叩开大厂之门！

      选取了2020年11月25日至2022年12月3日之前，有行为的1000w用户的所有行为（包括点击、购买、加购、喜欢）， 数据量约5w，分析了用户行为与商品规律 以京东app平台用户行为数据集，通过行业的指标对淘宝用户进行分析，探索淘宝用户的行为模式，具体指标包括： 日PV和UV分析，付费率分析，复购行为分析，漏斗流失分析和用户价值RFM分析。 通过对用户行为的解读分析，以此来洞察隐藏在用户各个行为背后的寓意，结合洞察的结论提出相关的优化建议给至平台和商家， 从而实现平台、商家和用户的共赢。

      主讲解决方案

      1.海量数据高效加载解决方案| 2.海量商品数据事实同步解决方案| 3.实时收集解决方案| 4.冷热数据隔离解决方案| 5.数据一致性解决方案| 6.多线程处理解决方案

      主讲知识点

      1. 数据分析课程导学 | 2. 数据分析工程师的进阶指南 | 3. 课程的核心目标 | 4. 数据分析报告的关键组成部分 | 5. 如何构建企业级数据分析报告？ | 6. Python还可以这样用（中高级） | 7. 快速处理数据不二选择-NumPy | 8. 数据探索工具-Pandas | 9. 高效处理带有时间序列数据（一） | 10. 高效处理带有时间序列数据（二） | 11. 实战：杭州市地铁流量时间序列数据处理（一） | 12. 实战：杭州市地铁流量时间序列数据处理（二） | 13. 实战：kaggle数据分析可视化实战（一） | 14. 实战：kaggle数据分析可视化实战（二） | 15. 实战：kaggle数据分析可视化实战（三） | 16. 实战：kaggle数据分析可视化实战（四） | 17. 对比分析和分类分析思路与应用场景 | 18. 时间序列分析思路与应用场景 | 19. 实战：淘宝电商商品销量数据分析 | 20. 逻辑树分析思路与应用场景 | 21. 多维度拆解分析思路与应用场景 | 22. 假设检验分析思路与应用场景 | 23. 多个变量间的相关性分析与应用场景 | 24. 实战：互联网金融信贷数据分析 | 25. 如何使用AARRR模型对用户进行分层？ | 26. RFM模型实现精细化用户运营 | 27. 用户画像：如何真正了解用户需求？ | 28. 抖音、QQ浏览器、百度APP的用户画像差异 | 29. 推荐系统中的用户画像 | 30. 从决策树到GBDT的优化（一） | 31. 从决策树到GBDT的优化（二） |

    • 实战：杭州市地铁流量阶段七

      阶段课时:4天 技术点:13项 发布会:3次

      达成目标

      数据清洗是指发现并纠正数据文件中可识别的错误的最后一道程序，包括检查数据一致性，处理无效值和缺失值等。与问卷审核不同，录入后的数据清理一般是由计算机而不是人工完成。 数据清洗(Data cleaning)– 对数据进行重新审查和校验的过程，目的在于删除重复信息、纠正存在的错误，并提供数据一致性。 数据清洗从名字上也看的出就是把“脏”的“洗掉”，指发现并纠正数据文件中可识别的错误的最后一道程序，包括检查数据一致性，处理无效值和缺失值等。因为数据仓库中的数据是面向某一主题的数据的集合，这些数据从多个业务系统中抽取而来而且包含历史数据，这样就避免不了有的数据是错误数据、有的数据相互之间有冲突，这些错误的或有冲突的数据显然是我们不想要的，称为“脏数据”。我们要按照一定的规则把“脏数据”“洗掉”，这就是数据清洗。而数据清洗的任务是过滤那些不符合要求的数据，将过滤的结果交给业务主管部门，确认是否过滤掉还是由业务单位修正之后再进行抽取。不符合要求的数据主要是有不完整的数据、错误的数据、重复的数据三大类。数据清洗是与问卷审核不同，录入后的数据清理一般是由计算机而不是人工完成 。

      长三角都市区一体化,需要杭州具有更高效,快捷的组织区域交通,提升面向区域的交通辐射力与交通承载力,切实发挥区域引领作用.以杭州轨道交通的OD客流数据为研究对象,利用Python对客流数据进行处理,并利用集合论等知识构建地铁站间的OD矩阵,从时间和空间两个角度对客流数据进行可视化分析,发现杭州地铁现有线路的交通时段分布很不均衡.通过Echarts绘制部分地铁站点各时段的OD客流热力图,对杭州城市居民出行特征进行研究,为杭州市在建地铁线路规划及地铁站点选址等提供重要参考依据. 利用Pandas数据分析工具分析杭州地铁站乘客人流量数据，掌握数据分析知识，包括数据预处理【数据清洗，异常值的查找等】， 数据的合并和分组及聚合，还有数据可视化来直观的观察. 分析数据。

      主讲解决方案

      1.海量数据高效加载解决方案| 2.海量商品数据事实同步解决方案| 3.实时收集解决方案| 4.冷热数据隔离解决方案| 5.数据一致性解决方案| 6.多线程处理解决方案

      主讲知识点

      1. 数据分析课程导学 | 2. 数据分析工程师的进阶指南 | 3. 课程的核心目标 | 4. 数据分析报告的关键组成部分 | 5. 如何构建企业级数据分析报告？ | 6. Python还可以这样用（中高级） | 7. 快速处理数据不二选择-NumPy | 8. 数据探索工具-Pandas | 9. 高效处理带有时间序列数据（一） | 10. 高效处理带有时间序列数据（二） | 11. 实战：杭州市地铁流量时间序列数据处理（一） | 12. 实战：杭州市地铁流量时间序列数据处理（二） | 13. 实战：kaggle数据分析可视化实战（一） | 14. 实战：kaggle数据分析可视化实战（二） | 15. 实战：kaggle数据分析可视化实战（三） | 16. 实战：kaggle数据分析可视化实战（四） | 17. 对比分析和分类分析思路与应用场景 | 18. 时间序列分析思路与应用场景 | 19. 实战：淘宝电商商品销量数据分析 | 20. 逻辑树分析思路与应用场景 | 21. 多维度拆解分析思路与应用场景 | 22. 假设检验分析思路与应用场景 | 23. 多个变量间的相关性分析与应用场景 | 24. 实战：互联网金融信贷数据分析 | 25. 如何使用AARRR模型对用户进行分层？ | 26. RFM模型实现精细化用户运营 | 27. 用户画像：如何真正了解用户需求？ | 28. 抖音、QQ浏览器、百度APP的用户画像差异 | 29. 推荐系统中的用户画像 | 30. 从决策树到GBDT的优化（一） | 31. 从决策树到GBDT的优化（二） | 32. 信用卡客户贷款违约预测实战--使用决策树（一） | 33. 信用卡客户贷款违约预测实战--使用决策树（二） | 34. kmeans无监督聚类的强大 | 35. 红楼梦文本聚类实战--使用kmeans | 36. 关联规则分析应用 | 37. 经典模型支持向量积 | 38. 超强拟合能力的神经网络 | 39. 预测服装厂员工生产效率--神经网络（一） | 40. 预测服装厂员工生产效率--神经网络（二） | 41. 如何提出分析问题？ | 42. 数据获取和数据预处理 | 43. 掌握流量和转化指标 | 44. 用户行为路径分析应用 | 45. 使用AARRR漏斗模型拆解用户行为 | 46. 用户消费习惯分析及应对方式 | 47. 从商品相关性中挖掘可用信息 | 48. 使用RFM模型进行用户价值分析及应对方式（一） | 49. 使用RFM模型进行用户价值分析及应对方式（二） | 50. 问题理解与评估指标 | 51. 数据探索性分析（EDA） | 52. 特征工程的重要性 | 53. 如何选择合适的模型？ | 54. 进行模型高阶实践 | 55. 实战案例准备工作 | 56. 数据获取和数据预处理.mp4 | 57. 用户行为数据分析和可视化 | 58. 滑窗法扩充训练集数据 | 59. 构建描述用户的特征 | 60. 构建描述拍客的特征 | 61. 选择有价值的特征 | 62. 使用树模型三剑客 | 63. 构建模型差异性进行融合 | 64. 整章课程回顾 | 65. 数据分析工程师面试问题方向讲解 | 66. 选择合适的意向领域及成长路线 | 67. 学习完这个课程以后怎样继续深入数据分析的学习？ |

    • 接口自动化实战高手阶段项目一

      课时:5天技术点:48项测验:1次学习方式:线下面授

      学习流程

      3.1、流程 | A. 确定业务范围，哪些业务功能的接口可以做自动化——接口自动化的覆盖率可以达到 100% | B. 时间进度安排，人员分配 | C. 确定自动化测试框架 | D. 准备数据——准备接口用例数据 | E. 编写接口自动化脚本 | 3.2、搭建接口自动化测试环境 | 1、安装python3.x——配置python的环境变量 | 2、安装PyCharm——python开发工具 | 3、安装测试库：| Requests库—— 提供了丰富的用来发请求，对请求进行处理的API函数 | xlrd,xlwt库—— 提供了对Excel文件进行操作的API函数 | Pymysql库—— 提供了对Mysql数据库进行操作的API函数 | paramsunittest库—— 实现参数化的库 | Json库—— 提供了对Json格式的数据进行操作的API函数 |

      核心组件 : 1、测试固件 setUp() 每条用例执行之前，首先会执行这个setUp()方法，在setUp()方法中完成准备初始化工作 比如：连接数据库，后期在将Web UI功能自动化的时候，可以在这里去打开浏览器，配置 tearDown() 每条用例执行完成之后，回收一些资源，比如：关闭数据库，关闭浏览器 2、测试用例 每一条用例需要实现一个用例方法，每个用例方法都必须要以test开头 3、测试套件 执行用例的时候，需要创建测试套件，把用例加入测试套件。 4、加载器 用来加载用例的，把测试用例加入测试套件中 5、执行器 用来执行测试套件中的用例的 如何使用unittest框架来编写用例

      主讲解决方案

      与UI相比，接口一旦研发完成，通常变更或重构的频率和幅度相对较小。因此做接口自动化的性价比更高，通常运用于迭代版本上线前的回归测试中。 手工做接口测试，测试数据和参数都可以由测试人员手动填写和更新。 因此我们在考虑将接口用例实现自动化的时候，主要思路就是在单个接口请求的测试用例已经完成的前提下，我们如何解决以下问题：
      1.业务测试场景会调用不止一个接口，下一个接口的请求依赖于上一个接口的数据，需要解决接口依赖问题
      2.token等鉴权数据有过期时间，多个接口用到该参数，需要解决一次修改，多处生效的问题
      3.一个接口要用到多个测试数据做覆盖
      4.批量测试下，需要知道某个接口返回的参数/数据是否符合预期

      主讲知识点

      01. 为什么要学接口自动化测试 | 02. 编写项目登录接口 | 03. 登录加密函数封装 | 04. 剖析Python操作excel思路 | 05. Python操作excel测试用例 | 06. Pytest执行自动化测试 | 07. 轻松入门接口自动化 | 08. 接口自动化代码实战技巧 | 09. 接口自动化执行Yamll测试用例一 | 10. 接口自动化执行Yamll测试用例二 | 11. Pytest框架实现接口自动化测试 | 12. 结合allre实战接口自动化报告 | 13. 接口测试如何处理token | 14. cookies的工作原理 | 15. Pyhon处理cookies技巧 | 16. Jenkins+GitLab实现自动化测试 | 17. 项目常用的接口加密方式 | A. 确定业务范围，哪些业务功能的接口可以做自动化——接口自动化的覆盖率可以达到 100% | B. 时间进度安排，人员分配 | C. 确定自动化测试框架 | D. 准备数据——准备接口用例数据 | E. 编写接口自动化脚本 | 3.2、搭建接口自动化测试环境 | 1、安装python3.x——配置python的环境变量 | 2、安装PyCharm——python开发工具 | 3、安装测试库：| Requests库—— 提供了丰富的用来发请求，对请求进行处理的API函数 | xlrd,xlwt库—— 提供了对Excel文件进行操作的API函数 | Pymysql库—— 提供了对Mysql数据库进行操作的API函数 | paramsunittest库—— 实现参数化的库 | Json库—— 提供了对Json格式的数据进行操作的API函数 |

    • 金融风控项目实战高手阶段项目二

      课时:8天技术点:48项测验:1次学习方式:线下面授

      学习流程

      python金融风控评分卡模型和数据分析概述 | python信用评分卡建模（用户评级+企业评级 | 企业信用风险评级-python信用评分卡应用 | python风控建模实战lendingClub | 移动杯-消费者人群画像-信用智能评分 | 金融现金贷用户数据分析和用户画像 | Anaconda下载安装（python环境搭建） | 2008年华尔街黑天鹅？PSI揭秘 | 黑产诈骗中介独家揭秘 | GermanCredit数据集变量中文释义和业务逻辑 | xlrd,xlwt库—— 提供了对Excel文件进行操作的API函数 | 手把手用excel推导WOE公式 | 论文毕业设计复现机器学习模型案例大本营 | 玩转python风控模型 | python金融风控评分卡模型和数据分析概述 | python信用评分卡建模（用户评级+企业评级 | 玩转python风控模型 | python风控建模实战-风控的阿克琉斯之踵 |

      核心组件 :
      金融风控建模
      逻辑回归评分卡，集成树，神经网络模型介绍
      金融风控模型论文复现
      python风控模型

      历史背景

      自国内金融P2P暴雷，国内很多小贷机构便涌入了东南亚、非洲等未开拓的市场，像印尼、印度、菲律宾、泰国、越南、尼日利亚等国家。 分析这些东南亚/非洲国家的市场特点，有低金融包容性（2017年越南有30.8%的人拥有银行账户），对金融的高需求（2017年借贷的人口比例49.0%）和互联网普及率（2018年为66%）和移动连通性，为东南亚金融科技贷款的发展提供了最有利的条件，开启了野蛮生长的模式。 结合这些地域的贷款市场情况，通常征信体系建设及经济情况都比较差，且大部分的用户资质比较差（也并不满足银行的贷款资格）。种种因素下，机构对于放贷用户的信用/欺诈风险的掌握是比较差的，小贷机构坏账率普遍地高（如一些机构的新借贷用户坏账率可达 20~30%，而银行坏账通常在10%左右）。 在东南亚开展的小额贷款产品，普遍是714高炮（贷款周期7-14天，收取高额逾期费用或放贷时提前从本金中扣除利息-砍头息，有的实际年化利率竟达到300%）。 高利率必然带着高风险，这种业务也很容易受到金融监管政策的封杀。

      主讲知识点

      xlrd,xlwt库—— 提供了对Excel文件进行操作的API函数 | 手把手用excel推导WOE公式 | 论文毕业设计复现机器学习模型案例大本营 | 玩转python风控模型 | python金融风控评分卡模型和数据分析概述 | python信用评分卡建模（用户评级+企业评级 | 玩转python风控模型 | python风控建模实战-风控的阿克琉斯之踵 风控好坏关键在于数据获取及积累。一个明显差异体现在于，机构新借贷的用户坏账率是20~30%（里面骗贷欺诈的比重应该挺高），而对于在机构内复贷的老用户（之前有借贷的再重复贷款的用户）坏账率仅有4%。 也就是，对于机构有掌握借贷历史的用户，其坏账率是显著较低的！信贷风控能力的差异其实也就是数据垄断优势的体现！ 对于小贷机构，营销扩展新用户后，如何应用风控模型尽量准确地评估新用户，并给予较低的额度，当其有较好的信贷历史后再提高额度，好好维持及扩充这部分复贷用户就是业务盈利的关键。 海外的小贷机构申请评分模型的数据主要来源有： 机构历史借贷记录：如使用同一手机号申请贷款次数、逾期次数。在征信体系建设覆盖不完全的情况下，在机构内（或联合机构）的借贷历史往往也是最有说服力及有效的。 客户基本资料：如身份信息、联系方式、职业、收入、借款用途等信息。由于线上申请这些数据往往没有人工审核，信息的可靠性是存疑的，通常可以借助多方数据来核验这些是不是一致及可靠的。 征信机构的征信报告：全球三大商业个人征信巨头分别为益百利（Experian）、艾克发（Equifax）和环联（Trans union），可以提供贷款申请次数、贷款额度、信用账户数等信息。但不足的地方在于，对于征信体系建设不完善的地区，覆盖度、信息记录会比较差（本项目验证的Experian实际覆盖度80%左右）。 手机短信：短信可以提供很多有价值的信息，如话费欠费、银行卡收入支出、联系人数量、日常闲聊短信、机构催收短信、信贷广告数量。可以通过简单关键字匹配、词袋模型等方法抽取关键特征，进一步还可以通过短信分类、信息抽取（实体抽取）等方法统计催收短信数量、欠款金额、收入支出金额等数据（注：获取短信数据肯定是不合规的，对于机构只想要更多的数据保证，而对于用户急着用钱哪还管什么隐私数据。当前，有些APP已被禁止获取短信、通话记录，这也是要随着监管不断完善。） 手机通讯录：可用于统计关联的联系人的逾期次数等特征，以及其他的一些社交信息； APP数据：可统计安装信贷类APP、社交类APP的数量，以及app使用率； 登录IP、GPS、设备号信息：可以用于关联特征，如同一IP下逾期次数，以及建立IP、设备黑名单； 银行对账单数据：如工资流水等信息，可以比较有效体现用户还款能力。 本项目基于东南亚某国近期的500笔的小额贷款交易（数据源于网络，侵删），获取相应Experian征信报告数据，并用Python加工出滑动窗口的征信特征： 如近30天的贷款次数，贷款平均额度、最近贷款日期间隔、历史逾期次数等特征，通过LightGBM构建申请评分模型。 Experian征信报告原始报文包含了个人基本信息、近期贷款信息、信用卡、贷款等历史表现等信息。 考虑征信报告的隐私性，本项目仅提供一份报告示例做特征加工。特征加工后特征选择，关联逾期标签，形成最终数据特征宽表。 python信用评分卡建模（用户评级+企业评级 | 企业信用风险评级-python信用评分卡应用 | python风控建模实战lendingClub | 移动杯-消费者人群画像-信用智能评分 | 金融现金贷用户数据分析和用户画像 | Anaconda下载安装（python环境搭建）

    • 千万级电商用户画像实战高手阶段项目三

      课时:7天技术点:38项发布会:1次学习方式:线下面授

      画像意义

      用户画像可以帮助电商运营者了解产品的消费者是谁，他们有怎样的购物习惯和特征，他们的地域分布、价格偏好等信息。运营者通过构建用户画像体系，可以全方位地了解自身的市场定位和目标用户，从而通过数据化运营方式提升运营效率。 通过分析用户的基本属性数据（年龄、性别、教育水平、收入等），可以对用户进行更加合理的分类，通过更精准的广告营销获取客户；通过分析用户行为数据（搜索、浏览、加购、下单、评论等），可以获得用户的商品偏好、价格偏好等信息，从而帮助入驻商更好地选品，帮助平台更好地进行个性化推荐、搜索排序等；通过分析用户偏好数据（促销敏感度、价格敏感度、平台推荐等）对商品关联内容进行优化，提升个性化推荐的准确率，从而提升转化率、客单价等。

      核心组件 :
      用户画像作为一种定义用户群体、勾画目标用户的有效工具，已经被普遍应用到电商运营工作中。 本项目通过“亚马逊入驻商用户画像构建”案例来带入电商用户画像的构建思路。

      体系搭建

      用户地区分布分析
      用户价格分布分析
      用户购物习惯分析
      用户画像对于多品牌矩阵运营的帮助

      主讲知识点

      一、 用户画像有什么用？ 用户画像可以帮助电商运营者了解产品的消费者是谁，他们有怎样的购物习惯和特征，他们的地域分布、价格偏好等信息。运营者通过构建用户画像体系，可以全方位地了解自身的市场定位和目标用户，从而通过数据化运营方式提升运营效率。 通过分析用户的基本属性数据（年龄、性别、教育水平、收入等），可以对用户进行更加合理的分类，通过更精准的广告营销获取客户；通过分析用户行为数据（搜索、浏览、加购、下单、评论等），可以获得用户的商品偏好、价格偏好等信息，从而帮助入驻商更好地选品，帮助平台更好地进行个性化推荐、搜索排序等；通过分析用户偏好数据（促销敏感度、价格敏感度、平台推荐等）对商品关联内容进行优化，提升个性化推荐的准确率，从而提升转化率、客单价等。 二、【案例】亚马逊美国市场用户画像体系搭建 用户画像搭建思路分三部分展开： 用户地区分布分析 用户价格分布分析 用户购物习惯分析 用户画像对于多品牌矩阵运营的帮助 2.1 用户地区分布分析 用户地区分布分析是建立店铺用户画像的基础性分析。拿到订单报表数据后，对各州的数据进行汇总统计，统计不同地区累计订单量、占比情况，绘制帕累托图。 对各个地区的市场占有情况有了了解之后，可以进一步划分店铺的各类市场： 头部市场：市场份额大于1%的地区； 长尾市场：市场份额大于0.1%小于1%的地区； 低单市场：市场份额小于等于0.1%的地区。 划分完成之后，需要进一步调整，以使市场划分更加合理。通用的划分原则是：“长尾市场”的市场总额必须大于第一“头部市场”的份额；“低单市场”的市场总额必须小于最后一个“头部市场”的份额。 运营者可以结合自身产品的特点分析产品的核心竞争力究竟是什么，对于不同的市场进行针对化选品，实现头部市场、长尾市场、低单市场的差异化运营，以免造成运营资源的浪费。 2.2 用户价格分布分析 对价格进行时间分布分析，观察单日24小时平均客单价变化情况。 将客单价波动划分为三个区间：低价格敏感区间、中价格敏感区间、高价格敏感区间。 观察发现，MS、TN客单价偏高，这些地区有更多的用户会购买客单价较高的商品；WA~MO这些地区的平均客单价中等，这些地区有更多用户会选择购买客单价适中的商品；NJ~OR地区有更多用户会选择购买客单价较低的商品。 2.3 用户购物习惯分析 首先，绘制单日24小时订单量和平均客单价变化图表，观察24小时总订单量变化规律。 观察发现，7:00~20:00属于购物高峰期，电商平台可以在这个时间段期间提升广告曝光率，优化广告单击点击竞价等。 2.4 用户画像对于多品牌矩阵运营的帮助 绘制不同店铺的利润 - 单个订单成本气泡图，将图表划分为四象限，I象限为高成本高利润店铺，二象限为高成本低利润店铺，三象限为低成本低利润店铺，四象限为低成本高利润店铺。 针对多店铺的长期运营策略，是让尽量多的店铺向四象限转化，可以通过提高利润率的方式，让II象限店铺转化为I象限店铺再转化为IV象限店铺；也可以通过降低成本的方式，让II象限店铺转化为III象限店铺再转化为IV象限店铺。 而短期运营策略则是，进行更加合理的资源配置，例如，马上要到“双11大促”了，就需要尽快把二象限店铺资源转移至四象限，避免运营资源浪费。 为气泡图增加颜色维度，代表不同的产品类目，以进行针对化选品。 红色产品，属于成本投入越高，则利润率越大，高风险高收益，属于正常产品；绿色产品的成本都很低，利润率却有高有低，这类产品（比如手机壳）更加考验选品能力和运营能力；蓝色产品成本高，利润率却很低，需要尽快放弃。

    在线课表

  • Python基础内容阶段一

    阶段课时:10天 案例:24项 技术点:23项 学习方式:手把手线下教学，Python基础是重中之重！ 发布会:1次

    达成目标

    1.Pycharm编辑器安装配置方法| 2.项目构造| 3.工作流程| 4.职位介绍| 5.行业发展状况| 6.企业编程规范| 7.掌握输入| 8.掌握输入| 9.掌握运算符、表达式、流程控制语句、List/Dict等的使用| 10.掌握基本数据类型| 11.熟练使用VSCODE开发工具| 12.熟练str类常用用法| 13.熟练List与Dict| 14.掌握Python基本面向对象知识| 15.了解集合的概念| 16.掌握函数的创建| 17.掌握函数的引用| 18.清楚并理解形参与实参的概念以及用法

    授课内容

    1. 基础语法 Python语言在国内IT行业，就业率长年稳居榜首，对于IT应届生和有转行IT行业意向的朋友来说，是个上佳选择；另外，对于要冲击高阶技术岗，例如大数据开发的朋友，也需要Python作为支撑。可以说掌握了Python，就等于拿到了IT行业的高等入场券。

    1.Python语言介绍与前景| 2.环境下载和安装以及安装演示| 3.Path环境变量的配置| 4.打印"Hello,World!"(行规) |5.第一个Python小程序| 6.Python中的数据类型 | 7.程序的移植| 8.经验技巧分享| 9.关键字、标识符| 10.二进制、八进制、十六进制| 11.类型转换、强制类型转换、表达式的类型提升| 12.运算符| 13.API、random库| 14.if分支语句的灵活使用| 15.break/continue语句| 16. for循环结构 | 17.while循环结构| 18. 字符串遍历循环结构| 19. 各种循环语句的区别和应用场景 | 20.循环跳转控制语句| 21.嵌套循环的应用| 22.使用循环嵌套打印直角三角形|23.Pycharm开发工具的详细使用 |24.数组的动态初始化|25.数 组的访问格式|26.数组的静态初始化|27.Python的内存划分和作用 |28.分析数组在内存中的存储|29.方法的定义和调用|30.方法的参数和返回值问题 |31.方法的重载(Overload)|32.参数是基本类型和引用类型的区别| 33.多重循环详解| 34.编程解析| 35.编程优化| 36.基本调试| 37.进阶练习| 38.Debug断点调试的使用| 39.综合案例（随机验证码）| 40.综合案例（宠物领养）| 41.综合案例（球队管理）| 42.综合案例（士兽之战）| 43.综合案例（取件码3次验证）

    2. 面向对象基础面向对象编程是Python编程的核心套路，这阶段可以逐步建立起面向对象编程思想，从会使用对象，到内存分析，再到真正理解为什么封装对象，包含了以下技术点：

    1.面向对象编程快速入门| 2.深刻认识面向对象| 3.对象在计算机中的执行原理| 4.类和对象的一些注意事项| 5.构造器| 6.self关键词| 7.封装| 8.实体类| 9.面向对象编程综合案例

    3. API基础介绍了什么是API，如何使用API，以及Python中常用API的使用，包含了以下知识点：

    1.API介绍、包的介绍| 2.str类概述| 3.str类的常用方法| 4.str类使用时的注意事项：创建对象的问题、常见笔试题| 5.str类常用API-字符串内容比较| 6.str类常用API-遍历、替换、截取、分割操作| 7.str类案例实战：str类开发验证码功能、模拟用户登录功能、手机号码屏蔽| 8.集合概述| 9.List集合快速入门：List常用API、遍历| 10.List集合案例：遍历并删除元素| 11.List集合的综合案例

    4. 综合案例本阶段是把Python基础阶段的内容都综合起来，做一个真正的项目出来，做到学以致用，学有所用，真正让大家学会Python。

    1.ATM项目介绍、演示| 2.系统架构搭建、欢迎界面设计| 3.开户功能实现| 4.登录功能实现| 5.操作页展示、查询账户、退出账户| 6.存款、取款功能实现| 7.转账功能实现| 8.销户功能实现| 9.用户密码修改

  • Python进阶知识阶段二

    阶段课时:4天 案例:24项 技术点:20项 学习方式:手把手线下教学，Python基础是重中之重！ 发布会:2次

    达成目标

    1.深入理解Python面向对象相关知识点| 2.掌握开发中常用类如集合、IO流、时间日期等操作| 3.掌握Python异常处理机制，熟悉Python多线程开发| 4.掌握网络基础知识，了解Socket原理，TCP、UDP协议| 5.熟悉Python新特性，如lambda、io库等操作| 6.掌握Python基本语法完成单机系统的编写

    授课内容

    1. 面向对象高级部分面向对象高级部分是Python程序的核心内容，是真正成为懂Python的大牛人员的必备课程，这阶段更加全面，更加深入的介绍了面向对象编程中的、继承、多态、抽象类、接口等等，包含了以下技术点：

    1.构造函数深度用法| 2.成员变量的内存原理&基本用法| 3.全局变量的内存原理| 4.成员代码块| 5.List/Dict/Set/Tuple应用| 6.继承的快速入门| 7.权限修饰符| 8.单继承、Object类| 9.方法的重写| 10.子类中访问其他成员的特点| 11.子类构造器的特点| 12.多态的概述&形式| 13.多态的好处和问题| 14.多态下引用数据类型的类型转换| 15.认识常量| 16.常量详解| 17.抽象类概述及应用| 18.接口概述&特点| 19.接口的多实现&多继承| 20.Python开始接口新增的方法| 21.内部类概述、成员内部类| 22.静态内部类| 23.局部内部类| 24.匿名内部类| 25.枚举| 26.泛型深入| 27.泛型类| 28.泛型接口| 29.泛型方法| 30.泛型通配符、上下限

    2. 常用APIPython提供的常用类，用于解决一些特定问题的，程序员掌握的API越多，开发能力也就越强，包含了以下技术点：

    1.API介绍| 2.Object| 3.__str__方法| 4.isinstance方法| 5.clone使用| 6.Object父类| 7.str进阶| 8.math库| 9.sys库| 10.thread库| 11.decimal| 12.混合类型| 13.date使用| 14.时间戳| 15.Py中的时间转化| 16.案例掌握| 17.计算时间前后| 18.time库| 19.时间格式转化| 20.openpyxl使用| 21.正则表式概述&匹配规则| 22.正则表达式在方法中的应用| 23.正则表达式爬取信息| 24.faker库

    3. 进阶主要介绍lambda表达式、方法引用，包含了以下技术点：

    1.lambda概述&实战| 2.装饰器函数| 3.魔法函数

    4. 集合主要介绍了Python中的集合体系，以及数据结构， io库等，包含了以下技术点：

    1.集合概述| 2.集合的体系特点| 3.集合常用API| 4.集合的遍历方式| 5.集合存储自定义类型的对象| 6.常见数据结构| 7.List系列集合| 8.常见算法、冒泡排序、选择排序、二分算法| 9.Set系列集合| 10.Dict集合的概述&体系特点| 11.Dict集合常用API| 12.Dict集合的遍历方式| 13.Tuple| 14.io操作文件| 15.快速重命名| 16.文件遍历

    5. 异常处理主要介绍了Python中虚拟机如何处理异常，以及我们自己处理异常的两种方式，包含了以下技术点：

    1.异常概述、体系| 2.常见运行时异常| 3.常见编译时异常| 4.异常的默认处理流程| 5.编译时异常的处理机制| 6.运行时异常的处理机制| 7.异常处理使代码更稳健的案例| 8.自定义异常

    6. 文件操作主要介绍了Python中跟文件相关的类file，以及Python中常见的流，包含了以下技术点：

    1.open()函数| 2.常用方法1：判断文件类型、获取文件信息| 3.常用方法2：创建文件、删除文件| 4.常用方法3：遍历文件夹| 5.递归| 6.字符集详解、IO库概述和分类| 7.InputStream| 8.try-except| 9.txt读取、txt写入| 10.access_mode、buffering、close()方法| 11.不同编码读取乱码的问题| 12.write()方法| 13.read()方法| 14.文件定位| 15.重命名和删除文件

  • SQL基础阶段一

    阶段课时:5天 案例:16项 技术点:33项 学习方式:知识点配合大量用心设计的案例，助你一臂之力！ 发布会:2次

    学习目标

    1. 掌握MySQL数据库的使用| 2. 掌握SQL语法| 3. 掌握Kettle数据迁移工具的使用| 4. 熟练使用BI可视化工具| 5. 对数据开发有一定认知，掌握BI工程师所具备的基本技能

    主讲内容

    1. MySQL与SQL零基础小白通过MySQL数据库，掌握核心必备SQL，包含了以下技术点：

    01_数据库概念和作用| 02_MySQL数据类型| 03_数据完整性和约束| 04_数据库、表基本操作命令| 05_表数据操作命令| 06_where子句| 07_分组聚合| 08_连接查询| 09_外键的使用

    2. Kettle与BI工具使用Kettle做数据迁移，通过BI工具展示excel、MySQL中的数据，包含了以下技术点：

    01_Kettle基本操作| 02_Kettle数据转换| 03_Kettle使用SQL脚本组件| 04_kettle Job开发| 05_FineBI基本操作| 06_FineBI常用图表| 07_FineBI仪表板| 08_综合案例

  • Hadoop技术栈阶段二

    课时:11天 技术点:120项 测验:1次 学习方式:线下面授

    学习目标

    1.掌握Linux常用命令，为数据开发后续学习打下的良好基础| 2.掌握大数据的核心框架Hadoop以及其生态体系，完成HDFS、MapReduce及Yarn机制基本理解与使用；能顾搭建Hadoop高可用HA集群| 3.掌握Hive的使用和调优| 4.具备Hadoop开发能力、离线数据仓库开发能力| 5.能够完成基本构建企业级数仓

    主讲内容

    1. Linux掌握Linux操作系统常用命令和权限管理，包含了以下技术点：

    01_Linux命令使用| 02_Linux命令选项的使用| 03_远程登录和远程拷贝| 04_Linux权限管理| 05_vi编辑器使用| 06_集群搭建准备

    2. 大数据基础和硬件介绍进一步阐述大数据特点与分布式思想，知识点由浅入深，包含了以下技术点：

    01_大数据的特点| 02_分布式存储概念| 03_分布式计算的概念| 04_服务器种类介绍、机架、交换机| 05_网络拓扑、Raid、IDC数据中心

    3. Zookeeper分布式软件管家，实现了集群管理与leader选举，包含了以下技术点：

    01_Zookeeper的应用场景| 02_架构和原理| 03_存储模型| 04_选举机制| 05_客户端操作| 06_ZK集群搭建

    4. HDFS分布式文件系统，解决了海量数据存储与容错，包含了以下技术点：

    01_HDFS设计的特点| 02_Master-Slave架构| 03_Block块存储、RF拷贝因子、机架感知| 04_Block拷贝策略、读写流程| 05_HDFS Federation、HDFS Snapshots、NameNode HA架构和原理| 06_HDFS管理员常用操作、HDFS权限控制| 07_HDFS普通集群以及HA集群搭建

    5. MapReduce分布式计算系统，解决海量数据的计算，包含了以下技术点：

    01_MapReduce架构和原理| 02_Split机制| 03_MapReduce并行度| 04_Combiner机制| 05_Partition机制、自定义Partition| 06_MapReduce序列化、自定义排序、数据压缩

    6. YARN分布式资源调度管理器，管理服务器软件资源，包含了以下技术点：

    01_Yarn原理和架构| 02_Yarn高可用| 03_Container资源的封装（CPU、内存和IO）| 04_资源调度策略（FIFO、Fair和Capacity）| 05_YARN高可用模式搭建

    7. Hive基础数据仓库Hive，实现企业级数仓必备工具，包含以下知识点：

    01_HQL操作| 02_数据类型| 03_分区、分桶、临时表| 04_explain执行计划详解

    8. Hive高阶数据仓库Hive高阶原理和架构深入，实现企业级数仓优化，包含以下知识点：

    01_Hive原理和架构| 02_Meta Store服务| 03_HiveServer内置函数| 04_自定义UDF和UDAF| 05_数据压缩、存储格式、自动化脚本、常见性能优化

  • 微玛特-离线数仓项目阶段三

    阶段课时:12天 技术点:33项 学习方式:行业大牛亲自讲解，企业级标准！ 发布会:2次

    微玛特-离线数仓

    项目简介技术点:80项

    微玛特-离线数仓 基于一家大型连锁超市研发的大数据分析平台。黑马深度使用Presto的项目，为后续Presto相关课程的研发打下了坚实的基础，也为学员的就业拓宽了道路；真实的数据结构，复杂的SQL实现过程，学生学习以后可以达到离线数仓的高级开发水平。

    达成目标

    1.掌握零售行业离线数仓的分层与建模，从需求、设计、研发、测试到落地上线的完整项目流程| 2.拉链表的具体应用 | 3.Presto使用 | 4.能够根据产品原型进行接口设计 | 5.提供新零售大型商超集团的数据存储分析以及服务监控方案 | 6.海量数据场景下如何优化配置| 7.熟练掌握SQL的编写 | 8.能够根据开发文档开发简单的单体项目 | 9.能够对前端代码进行打包和运行 |

    主讲解决方案

    掌握离线数仓的分层与建模、大数据量场景下如何优化配置，拉链表的具体应用，新增数据的抽取和分析，更新数据的抽取和分析，以及Hive函数的具体应用等。ClouderaManager可视化、自动部署和配置、Git的CodeReview功能保证项目高质量 离线数仓的分层与建模 项目涉及20多个主题，100多个指标场景 帆软BI企业级报表展示

    主讲知识点

    1.大数据部署运维：Cloudera Manager | 2.分析决策需求：数据仓库 | 3.数据采集：requests | 4.数据分析：Hive | 5.历史数据快照：拉链表 | 6.采用Git进行版本管理 | 6.数据更新后的统计分析：拉链表 | 7.OLAP系统存储：MySQL | 8.数据调度：oozie+shell

  • 数据采集阶段阶段四

    阶段课时:13天 技术点:23项 学习方式:线下 发布会:1次

    达成目标

    1. 爬虫能做什么？| 2.Python网络爬虫需要学习的知识和解决的问题| 3.ip地址和url详解 - 为什么网站一般不会封ip？| 4.socket编程 - 客户端和服务端通信 | 5.dom树和JavaScript操作dom树| 6.爬虫工程师基本功--计算机网络协议基础| 7.爬虫工程师基本功--前端基础| 8.爬虫前置知识讲解&爬虫初体验| 9.通过JS逆向实现论坛网站的数据抓取| 10.多线程和线程池编程-进一步改造爬虫| 11.电商网站，实现动态网网站的数据抓取|

    授课内容

    1. 爬虫基础 不论是爬虫方，还是去反爬的开发或者运维人员，都需要有计算机网络的相关知识，所以课程中我们单独设置了一个章节详细的讲解和爬虫相关的计算机网络的基础知识，这些知识是我们遇到问题后去分析和解决问题的理论基础。

    1.爬虫采集方案分类| 2.requests功能详解| 3.正则表达式-基本语法| 4.正则表达式 - python接口| 5.beautifulsoup用法 - 父子节点和兄弟节点获取| 6.xpath基本语法 - 1| 7.xpath基本语法 - 2 | 8.css选择器提取元素| 9.pymysql的简单使用| 10. 虚拟环境的安装和配置 | 11. 虚拟环境的安装和配置 - linux | 12. 虚拟环境的安装和配置 - mac | 13. 爬虫能做什么？ | 14. Python网络爬虫需要学习的知识和解决的问题 | 15. 爬虫是万能的吗？ | 16. 为什么我们需要学习计算机网络 | 17. 一个完整的网络请求过程 | 18. ip地址和url详解 - 为什么网站一般不会封ip？ | 19. 有哪些网络协议？ | 20. 我们经常看到的tcp-ip协议是什么？ | 21. socket编程 - 客户端和服务端通信 - 1 | 22. socket编程 - 客户端和服务端通信-2 | 23. 基于tcp自定义第一个协议 - 模拟qq服务器和客户端 - 1 | 24. 基于tcp自定义第一个协议 - 模拟qq服务器和客户端 - 2 | 25. 基于tcp自定义第一个协议 - 模拟qq服务器和客户端 - 3 | 26. 正确认识http协议 - 1 | 27. 正确认识http协议 -2 | 28. 本章课后作业 |

    2. TCP与HTTP知识

    1. 从零开始 系统入门python爬虫工程师-课程导学 | 2. python的安装 | 3. python的安装和配置 - linux | 4. python的安装和配置 - mac | 5. pycharm的安装和配置 (必看！！) | 6. 课程中用到的pycharm快捷键(必看！！！) | 7. mysql和navicat的安装和使用 | 8. mysql和navicat的安装和配置 - linux | 9. mysql和navicat的安装和配置 - mac | 10. 虚拟环境的安装和配置 | 11. 虚拟环境的安装和配置 - linux | 12. 虚拟环境的安装和配置 - mac | 13. 爬虫能做什么？ | 14. Python网络爬虫需要学习的知识和解决的问题 | 15. 爬虫是万能的吗？ | 16. 为什么我们需要学习计算机网络 | 17. 一个完整的网络请求过程 | 18. ip地址和url详解 - 为什么网站一般不会封ip？ | 19. 有哪些网络协议？ | 20. 我们经常看到的tcp-ip协议是什么？ | 21. socket编程 - 客户端和服务端通信 - 1 | 22. socket编程 - 客户端和服务端通信-2 | 23. 基于tcp自定义第一个协议 - 模拟qq服务器和客户端 - 1 | 24. 基于tcp自定义第一个协议 - 模拟qq服务器和客户端 - 2 | 25. 基于tcp自定义第一个协议 - 模拟qq服务器和客户端 - 3 | 26. 正确认识http协议 - 1 | 27. 正确认识http协议 -2 | 28. 本章课后作业 | 29. html、css和JavaScript之间的关系...1 | 30. 浏览器的加载过程 |

    3. 爬虫进阶

    1. dom树和JavaScript操作dom树 | 2. ajax、json和xml | 3. 动态网页和静态网页 | 4. GET、POST方法和Content-type详解 | 5. ajax方式提交表单数据 | 6. 本章课后作业。 | 7. 爬虫采集方案分类 | 8. requests功能详解 | 9. 正则表达式-基本语法 | 10. 正则表达式 - python接口 | 11. beautifulsoup用法 - find方法 | 12. beautifulsoup用法 - 父子节点和兄弟节点获取 | 13. xpath基本语法 - 1 | 14. xpath基本语法 - 2 | 15. css选择器提取元素 | 16. 2021更新重录说明 | 17. pymysql的简单使用 | 18. peewee自动生成表 | 19. 通过peewee对数据进行增、删、改、查 | 20. 目标网站需求分析 | 21. 表结构定义 | 22. 通过headers去识别反爬 | 23. 分析headers中的签名算法 | 24. 通过python调用js函数生成随机值 | 25. 模拟csdn生成参数签名防止反爬 | 26. 通过签名的参数请求正确的数据 | 27. 封装签名方法获取想要的数据 | 28. 获取所有的二级分类的url | 29. 分析列表页的数据并解析 | 30. 解析列表页数据并进行下一页策略抓取 |

    4. 多线程爬取

    1. 抽取topic数据入库到mysql中 | 2. 解析帖子回复和用户信息 | 3. 签名中的参数顺序至关重要 | 4. 后续章节学习的说明 | 5. 并发和并行 | 6. 多线程编程 | 7. python的GIL真的会导致多线程慢吗？ | 8. 线程同步 - Lock | 9. 使用多线程重构csdn爬虫 - 1 | 10. 使用多线程重构csdn爬虫 - 2 | 11. 使用多线程和Queue重构csdn爬虫 | 12. 进一步的思考 - 课后作业 | 13. ThreadPoolExecutor的基本功能 | 14. ThreadPoolExecutor线程池重构爬虫 | 15. 如果合适的话使用 asyncio 做爬虫的优势是什么？ | 16. 需求分析 | 17. 表结构设计 | 18. chrome的f12后的调试工具栏介绍 | 19. 京东的商品详情页接口分析 | 20. 通过requests完成京东详情页数据的获取 | 21. selenium的安装和使用 | 22. 通过selenium解析商品详情页 - 1 | 23. 通过selenium解析商品详情页 - 2 | 24. 通过selenium解析商品详情页 - 3 | 25. 通过selenium解析商品详情页 - 4 | 26. 通过selenium解析商品详情页 - 5 | 27. chromedirver的headless模式和设置不加载图片 | 28. 课后作业和总结 | 29. 章节目标和为什么需要模拟登录 | 30. 模拟登录的原理- session和cookie的原理 |

    5. 反爬

    1. requests模拟登录豆瓣 | 2. 将cookie保存到文件中并从文件中读取cookie | 3. selenium模拟登录豆瓣 | 4. 滑动验证码识别 和selenium模拟登录B站 - 1 | 5. 滑动验证码识别 和selenium模拟登录B站 - 2 | 6. 滑动验证码识别 和selenium模拟登录B站 - 3 | 7. 第三方验证码识别服务商推荐camproj | 8. 课后作业和总结 | 9. 【讨论题】滑动验证码的解决办法 | 10. 词云热力图应该如何实现？ | 11. 反爬和反反爬 | 12. 常见的反爬方案 | 13. 通过user-agent反爬 | 14. 通过收费的代理ip绕过反爬 - 1 | 15. 通过收费的代理ip绕过反爬 - 2 | 16. 通过一个实际的案例分析一下反爬策略是什么 | 17. 新建scrapy项目 | 18. 通过pycharm调试scrapy | 19. 编写spider的逻辑 | 20. item和pipeline | 21. scrapy集成随机useragent和ip代理 | 22. 课程总结 | 23. 成为高级爬虫工程师的学习建议 |

  • Spark技术栈阶段五

    课时:8天 技术点:108项 测验:1次 发布会:1次 学习方式:线下面授

    学习目标

    1.掌握Spark的RDD、DAG、CheckPoint等设计思想| 2.掌握SparkSQL结构化数据处理，Spark On Hive| 3.掌握Structured Streaming整合多数据源完成实时数据处理| 4.具备Spark全栈开发能力，满足大数据行业多场景统一技术栈的数据开发，提供就业核心竞争力

    主讲内容

    1. Spark基础本阶段学习Spark环境搭建及以下知识点：

    01_Spark基础环境搭建| 02_Spark的Standalone环境搭建| 03_Spark的StandaloneHA搭建| 04_SparkOnYarn环境搭建

    2. Spark Core整个spark框架核心部分，掌握框架内部设计思想，数据流转步骤，是学习spark的基础模块，包含了以下技术点：

    01_Spark架构和原理（运行机制、Driver和Executor、spark任务提交流程）| 02_RDD开发和原理（Partition、Task、RDD的依赖关系、RDD的容错机制、RDD的存储级别、RDD的缓存机制）广播变量 | 03_DAG原理（DAG思想、DAG的生成、DAG的处理过程）

    3. Spark SQL学习spark框架的SQL操作，spark与Hive等外部数据源的整合操作，包含了以下技术点：

    01_Spark SQL架构和原理| 02_DataFrame、DataSet DSL和SQL开发| 03_Spark多数据源整合（txt、CSV、Json、parquet、JDBC、Hive）| 04_Spark SQL执行计划原理| 05_Spark SQL性能调优

    4. SparkSQL案例践行场景式教学，运用了Spark阶段知识点，使用lambda加解决数据分析的应用，包含了以下技术点：

    01_Spark多场景案例实战

    5. 用户画像解决方案

    用户画像解决方案,主要针对于保险行业完成用户标签设计,提供了全行业解决方案,课程采用由浅入深,层层递进的讲解方式, 让你轻松掌握企业级用户画像的使用, 使用SparkSQL+ES+DS构建企业级用户画像。
    1. SparkSQL整合ES自定义数据源 2. DS任务界面化调度 3. 用户画像标签构建规则 4. 用户画像规则类标签构建 5. 用户画像统计类标签构建

  • 实战:百万GB内存计算阶段六

    课时:5天技术点:88项学习方式:线下面授

    学习目标

    1.快速搭建保险行业大数据平台| 2.基于Hive+Spark SQL搭建离线数据仓库| 3.基于SparkSQL应对轻松应对复杂的迭代计算| 4.完成基于国内头部保险公司大数据项目开发| 5.掌握基于Spark分析12亿报单表和8千万客户等数据| 6.对保单汇总计算（业务发展类指标，成本费用类指标等），并向业务人员做数据展示| 7.离线数仓项目实战| 8.用户画像项目实战

    "平安好车主"项目需要计算海量明细保单数据，以便生成财务报表。项目使用SparkSQL来计算， 时效大大提高，增强保险公司的商业信誉。项目将多部门的业务数据库同步到Hive数据集市， 使用SparkSQL加载源数据表（保单表12亿保单，客户表8千万客户等），计算保单的保费、现金价值、准备金等明细， 提供给财务部门收费或支出，最后对保单汇总计算（业务发展类指标，成本费用类指标等），并向业务人员做数据展示。

    主讲解决方案

    项目核心架构和业务流程、Hive数仓建模 、Sqoop数据同步开发 DolphinScheduler任务调度、使用lag，sum等窗口函数 、使用UDAF函数计算有效保单数字段、计算现金价值、计算和准备金、分区表的使用 、指标汇总计算 、Shuffle优化、用户画像解决方案。

    主讲知识点

    基于Spark轻松应对保险复杂的迭代计算、基于SparkSQL完成用户画像实战、基于ES完成标签存储与检索

  • Java阶段七

    课时:5天 技术点:50项 测验:1次 学习方式:线下面授

    学习目标

    1.掌握Java基本语法| 2.掌握面向对象编程| 3.使用Java实现与Kafka的交互

    主讲内容

    1. Java编程语法学习并掌握大数据开发所需的Java编程语法，包含的内容如下：

    01_开发环境基本配置| 02_运算符/表达式/流程控制| 03_变量及方法| 04_Lambda表达式| 05_数组与集合| 06_面向对象及常用类| 07_JDBC| 08_多线程| 09_Maven

    Flink阶段七

    课时:6天 技术点:88项 测验:1次 学习方式:线下面授

    学习目标

    1.掌握基于Flink进行实时和离线数据处理、分析| 2.掌握基于Flink的多流并行处理技术| 3.掌握千万级高速实时采集技术

    主讲内容

    1. Flink Core新一代批流统一数据处理引擎，在计算效率和性能都有很大提升，包含了以下技术点：

    01_Flink基础

    2. Flink DataStream构成了Flink解决实时数据处理部分，是掌握实时数据处理必备技能，包含了以下技术点：

    01_Flink DataStream的使用| 02_Kafka + Flink

    3. Flink SQL解决Flink中的SQL化开发，Flink-SQL开发必备技能，包含了以下技术点：

    01_Flink SQL开发| 02_Hive + Flink SQL

    4. Flink Runtime是对Flink任务进行调优，必须掌握的内容，包含了以下技术点：

    01_Watermark| 02_Checkpoint| 03_任务调度与负载均衡| 04_状态管理

    5. Flink高级解决Flink性能监控等高阶知识，具备实时数据分析必备技能，包含以下技术点：

    01_Flink性能监控| 02_Flink调优| 03_Flink SQL执行计划

    6. Flink电商案例实战践行场景式教学，运用了Flink阶段知识点，解决实时数据分析的应用，包含了以下技术点：

    01_Flume+Kafka+Flink+HBase+Sqoop+Canal+MySQL实战

  • 实时计算:蔚来汽车计算引擎阶段八

    课时:7天技术点:80项发布会:1次学习方式:线下面授

    学习目标

    1.NIO Power 业务背景| 2. NIO Power 设备运维解决方案| 3. PHM 技术面临的挑战| 4. PHM 前沿技术| 5. 智能运维PHM技术应⽤案例| 6.FlinkSQL流批一体架构实现实时数据计算| 7.使用Apache Doris进行海量多维分析| 8.掌握数据报表分析| 9.掌握业务数据实时大屏场景实现

    基于Flink+Hudi湖仓一体技术架构，实现了在线视频行业实时数据处理和分析。项目采用流处理计算引擎Flink，实时处理千万数据量的视频流数据，基于FlinkCDC完成MySQL等数据源的数据采集，通过Hudi On Hive构建湖仓一体架构，结合数据湖和数据仓库优势，建立湖仓一体化。

    主讲解决方案

    Flink，FlinkSQL，FlinkCDC，Doris，Hudi，Hudi，on Hive，FIneBI

    主讲知识点

    采集超过千万条在线视频的数据，实时高性能海量数据分析与存储业务数据实时大屏场景实现。

  • 大数据云计算项目阶段一

    阶段课时:10天 技术点:33项 学习方式:从单体项目扩展到微服务，武林高手必经之路！ 发布会:1次

    吾悦点餐

    天天牛股票

    项目简介技术点:87项

    严格按照商业系统进行架构开发的，从PC管理员端到小程序会员端，从项目搭建到部署上线，通俗易懂。
    Python推荐系统算法实现-基于用户协同过滤算法!

    搭建大纲

    1.HighCharts仪表盘数据图形化展示| 2.定时器统计入口模型 + 会员统计功能 | 3.财务统计、售卖统计、会员消费统计、分享统计展示 | 4.餐小程序前台页面搭建 | 5.管理员后台账号模块开发 | 6.小程序登录 | 7.理员后台会员管理模块开发 | 8.管理员后台菜品模块开发 | 9.小程序内的商品搜索和菜品展示模块开发 | 10.小程序菜品订单和支付模块开发 | 11.小程序会员中心 | 12.管理员后台财务管理模块开发 | 13.商品售卖统计任务 | 14.定时器统计入口模型 + 会员统计功能 | 15.nginx + uwsgi 实现多进程访问

    主讲解决方案

    1.菜品推荐解决方案| 2.商品调优解决方案| 3.生产部署的解决方案| 4.分布式消息的解决方案| 5.后台统计的解决方案| 6.雪崩问题解决方案| 7.服务熔断、降级解决方案

    主讲知识点

    1.统一认证鉴权| 2.双Token三验证的设计与实现| 3.基于Redisson实现分布式锁| 4.支付的设计与实现| 5.运费的设计实现| 6.基于图数据库Neo4J的路线规划的设计与实现| 7.物流业务中的智能调度系统| 8.基于MongoDB实现作业范围| 9.基于Caffeine、Redis的多级缓存的分析与实现| 10.使用Redis的缓存穿透、击穿、雪崩问题的分析与解决| 11.基于Graylog实现分布式日志的收集与分析| 12.基于Skywalking实现微服务架构中的链路追踪

  • Scrapy企业级应用阶段二

    阶段课时:8天 技术点:43项 学习方式:线下 发布会:1次

    Scrapy

    技术简介技术点:118项

    Scrapy 是一个为了抓取网页数据、提取结构性数据而编写的应用框架，该框架是封装的，包含 request （异步调度和处理）、下载器（多线程的 Downloader）、解析器（selector）和 twisted（异步处理）等。对于网站的内容爬取，其速度非常快捷。

    达成目标

    1. python分布式爬虫打造搜索引擎简介 | 2. scrapy安装和简单使用 | 3. navicat的安装和使用 | 4. windows和linux下部署所需环境 | 5. 虚拟环境的安装和配置 | 6. 技术选型 爬虫能做什么 | 7. 正则表达式-1 | 8. 正则表达式-2 | 9. 正则表达式-3 | 10. 深度优先和广度优先原理 | 11. url去重方法 | 12. 彻底搞清楚unicode和utf8编码 | 13. 重录说明(很重要！！！) | 14. scrapy安装和配置 | 15. 需求分析 | 16. pycharm中调试scrapy源码 | 17. xpath基础语法 | 18. xpath提取元素 | 19. css选择器 | 20. . cnblogs模拟登录(新增内容) | 21. 编写spider完成抓取过程 - 1 | 22. 编写spider完成抓取过程 - 2 | 23. scrapy中为什么要使用yield | 24. 提取详情页信息 | 25. 提取详情页信息 | 26. items的定义和使用 - 1 | 27. items的定义和使用 - 2 | 28. scrapy配置图片下载 | 29. items数据写入到json文件中 | 30. mysql表结构设计 | 31. pipeline数据库保存 | 32. 异步方式入库mysql | 33. 数据插入主键冲突的解决方法 | 34. itemloader提取信息 | 35. itemloader提取信息 | 36. 大规模抓取图片下载出错的问题 | 37. 有没有方法可以比较准确的解析出 title 和正文内容 | 38. session和cookie自动登录机制 | 39. 课程如何应对网站反爬变化？ | 40. 使用opencv识别滑动验证码的环境准备 | 41. opencv滑动验证码识别原理 | 42. 滑动验证码识别集成到scrapy中 | 43. 通过机器学习平台训练滑动验证码模型 | 44. 发布训练模型并远程调用识别 | 45. 知乎分析以及数据表设计1 | 46. 知乎分析以及数据表设计 - 2 | 47. item loder方式提取question - 1 | 48. item loder方式提取question - 2 | 49. item loder方式提取question - 3 | 50. 知乎spider爬虫逻辑的实现以及answer的提取 - 1 | 51. 知乎spider爬虫逻辑的实现以及answer的提取 - 2 | 52. 保存数据到mysql中 -1 | 53. 保存数据到mysql中 -2 | 54. 保存数据到mysql中 -3 | 55. 如何将数据的保存和抓取独立出来？ | 56. 数据表结构设计 | 57. CrawlSpider源码分析-新建CrawlSpider与settings配置 | 58. CrawlSpider源码分析 | 59. Rule和LinkExtractor使用 | 60. 网页302之后的模拟登录和cookie传递(网站需要登录时学习本视频教程) | 61. item loader方式解析职位 | 62. 职位数据入库-1 | 63. 职位信息入库-2 | 64. 网站反爬突破 | 65. 爬虫和反爬的对抗过程以及策略 | 66. scrapy架构源码分析 | 67. Requests和Response介绍 | 68. 通过downloadmiddleware随机更换user-agent-1 | 69. 通过downloadmiddleware随机更换user-agent - 2 | 70. scrapy实现ip代理池 - 1 | 71. scrapy实现ip代理池 - 2 | 72. scrapy实现ip代理池 - 3 | 73. 云打码实现验证码识别 | 74. cookie禁用、自动限速、自定义spider的settings | 75. selenium动态网页请求与模拟登录知乎 | 76. selenium模拟登录微博， 模拟鼠标下拉 | 77. chromedriver不加载图片、phantomjs获取动态网页 | 78. selenium集成到scrapy中 | 79. 其余动态网页获取技术介绍-chrome无界面运行、scrapy-splash、selenium-grid, splinter | 80. scrapy的暂停与重启 | 81. scrapy url去重原理 | 82. scrapy telnet服务 | 83. spider middleware 详解 | 84. scrapy的数据收集 | 85. scrapy信号详解 | 86. scrapy扩展开发 | 87. 分布式爬虫要点 | 88. redis基础知识 - 1 | 89. redis基础知识 - 2 | 90. scrapy-redis编写分布式爬虫代码 | 91. scrapy源码解析-connection.py、defaults.py- | 92. scrapy-redis源码剖析-dupefilter.py- | 93. scrapy-redis源码剖析- pipelines.py、 queue.py- | 94. scrapy-redis源码分析- scheduler.py、spider.py- | 95. 集成bloomfilter到scrapy-redis中 | 96. 什么是cookie池？ | 97. cookie池系统设计 | 98. 实现cookie池-1 | 99. 实现cookie池-2 | 100. 改造login方法 - 1 | 101. 改造login方法 - 2 | 102. 改造login方法-3 | 103. 改造login方法-4 | 104. 通过抽象基类实现网站轻松接入 | 105. 实现检测网站cookie是否有效 | 106. 如何选择redis的数据结构来保存cookie | 107. cookie管理器的实现 | 108. 启动cookie池服务 | 109. 将cookie集成到爬虫项目中 | 110. cookie架构设计改进意见 | 111. 滑动验证码的识别思路 | 112. 验证码截屏-1 | 113. 验证码截屏-2 | 114. 计算出滑动的距离 | 115. 计算滑动轨迹 | 116. 增量爬虫需要解决的问题 | 117. 通过修改scrapy-redis完成增量抓取 -1 | 118. 通过修改scrapy-redis完成增量抓取-2 | 119. 爬虫数据更新 | 120. elasticsearch介绍 | 121. elasticsearch安装 | 122. elasticsearch-head插件以及kibana的安装 | 123. elasticsearch的基本概念 | 124. 倒排索引 | 125. elasticsearch 基本的索引和文档CRUD操作 | 126. elasticsearch的mget和bulk批量操作 | 127. elasticsearch的mapping映射管理 | 128. elasticsearch的简单查询 - 1 | 129. elasticsearch的简单查询 - 2 | 130. elasticsearch的bool组合查询 | 131. scrapy写入数据到elasticsearch中 - 1 | 132. scrapy写入数据到elasticsearch中 - 2 | 133. es完成搜索建议-搜索建议字段保存 - 1 | 134. es完成搜索建议-搜索建议字段保存 - 2 | 135. django实现elasticsearch的搜索建议 - 1 | 136. django实现elasticsearch的搜索建议 - 2 | 137. django实现elasticsearch的搜索功能 -1 | 138. django实现elasticsearch的搜索功能 -2 | 139. django实现搜索结果分页 | 140. 搜索记录、热门搜索功能实现 - 1 | 141. 搜索记录、热门搜索功能实现 - 2 | 142. scrapyd部署scrapy项目 | 143. 课程总结 | 144. 【讨论题】你认为什么是 JS 逆向？ | 145. 如何将 nodejs 服务集成进来呢？ | 146. 【讨论题】字体反爬应该如何解析？ |

  • 面试宝典阶段三

    阶段课时:8天 技术点:43项 学习方式:线下 发布会:1次

    超高频面试题

    简介

    课程覆盖了90%面试高频考点 +10%课程中的面试技巧+简历指导 +面试经验分享， 硬核技术+面试软实力双重提升，优质offer纷至沓来！目前已经帮助很多pythoner拿到offer！

    达成目标

    1. Python服务端工程师面试指导-课程导学篇 | 2. Python 后端职位分析 | 3. 面试流程和环节 | 4. Python后端技术栈 | 5. Python初中级工程师技能要求和面试标准 | 6. 简历书写与自我介绍 | 7. 行为面试常见问题与回答技巧 | 8. 行为面试练习题：讲讲你的项目 | 9. Python语言基础常考题 | 10. python2和3差异常考题 | 11. Python函数常考题 | 12. Python异常机制常考题 | 13. Python性能剖析与优化,GIL常考题 | 14. Python生成器与协程 | 15. Python单元测试 | 16. Python基础练习题：深拷贝与浅拷贝 | 17. Python常用内置算法与数据结构常考题 | 18. Python面试常考算法 | 19. Python数据结构常考题 | 20. Python白板编程 | 21. Python数据结构常考题之链表 | 22. Python数据结构常考题之二叉树 | 23. Python数据结构常考题之栈与队列 | 24. Python数据结构常考题之堆 | 25. Python字符串常考算法题 | 26. 算法与数据结构练习题：反转链表 | 27. 面向对象基础及Python 类常考问题 | 28. 装饰器面试常考问题 | 29. 设计模式：创建型模式Python应用面试题 | 30. 设计模式：结构型模式Python应用面试题 | 31. 设计模式：行为型模式Python应用面试题 | 32. Python 函数式编程常考题 | 33. 编程范式练习题：编写一个单例模式 | 34. 面试常考 linux 命令 | 35. 操作系统线程和进程常考面试题 | 36. 操作系统内存管理机制与Python垃圾回收面试题 | 37. 线程练习题：多线程爬虫 | 38. 网络协议TCP和UDP面试常考题 | 39. HTTP 面试常考题 | 40. 网络编程常考题 | 41. 并发编程IO多路复用常见考题 | 42. Python并发网络库常考题 | 43. 异步框架练习题：异步爬虫 | 44. Mysql基础常考题 | 45. Mysql索引优化常考面试题 | 46. SQL语句编写常考题 | 47. 缓存机制及Redis常考面试题 | 48. 数据库练习题：Mysql索引与 Redis 应用 | 49. Python WSGI与web框架常考点 | 50. web安全常考点 | 51. 前后端分离与 RESTful 常见面试题 | 52. web安全思考题：什么是https | 53. 系统设计考点解析 | 54. 系统设计真题解析：短网址系统的设计与实现 | 55. 系统设计思考题：如何设计一个秒杀系统 | 56. 面试经验分享 | 57. 课程总结 |

  • 简历指导&模拟面试阶段四

    阶段课时:5天 模拟面试:>2次 学习方式:大牛讲解大厂高频面试题，做好笔记吧！ 发布会:2次

    达成目标

    1.用科学方法循序渐进模块化简历书写| 2.简历互批模式 、优秀简历鉴赏和三方简历批改助力产出明星简历| 3.高质量行业标准简历库累积，让学员简历技术专业度、项目专业度、经验专业度提挡提质| 4.分阶段、分批次、分组开展面试实战演练，练讲解清晰度、练胆识与信心、练专业技术和项目架构表述的逻辑性| 5.一对一企业模拟面试，全方位指导、帮扶面试过程核心问题及解决措施| 6.提升项目表达与项目业务专业度

    授课内容

    1. 简历指导分批次简历指导、专业简历课、创新简历批改模式和行业级有竞争力简历评价标准：

    1.分批次简历指导课，让简历书写循序渐进不再难| 2.整合HR、专业技能和项目经验，让简历符合行业标准| 3.顶级项目讲师进行技术层面全方面多频次专业简历指导与批改

    2. 面试专题库面试高频问题总结，面试专题讲座，实战化专题演练，强化面试演练：

    1.面试高频问题总结，形成面试专题及参考答案|2.开展真实面试问题讲座，让学生不仅仅会背更要明白背后逻辑，提升学生面试底气|3.开展专题实战化演练，发挥个人优势，提升成功率|4.学生问题提查，引导思维训练，提升技术表述与项目融合讲解

    3. 项目专题训练专业指导完成项目表述，从原型与架构角度剖析项目结构，实现技术与项目业务融合促进项目逻辑链条更完整：

    1.将项目专题抽取，更好的组装业务逻辑和技术架构| 2.以专题化驱动项目训练，让实际开发经验更易于呈现，极大丰富项目经验| 3.通过项目专题，将技术与项目业务逻辑更好的整合在一起，完善项目表述逻辑链条| 4.合理的项目选型与架构，搭配项目业务流程综合体现项目硬实力

    4. 模拟面试企业级面试流程指导，老师与学生模拟面试训练，企业标准面试学生更好的面试流程和氛围：

    1.多频次、企业级面试流程指导，助力真实面试体验| 2.老师与学生通过模拟真实场景下面试，提前感受面试氛围、克服面试紧张情绪| 3.提供模拟面试专业指导，帮助及时改正问题点| 4.以简历为基础、企业面试流程为标准，强化模拟面试标准推进

    5. 面试指导分批次学习专项项目课程，更好发挥学生专长促进学习效果，面试跟踪与复盘：

    1、通过分批次专项项目课程学习，更好的实现因材施教| 2、结合学生简历及面试情况，确保指导效果有的放矢| 3、从简历书写、投放、面试结果反馈进行全面跟踪，保证全流程实施效果| 4、面试问题及时跟踪复盘，无缝对接企业面试保障面试效果

  • Django企业级应用阶段五

    阶段课时:12天 案例:16项 技术点:43项 发布会:2次

    简介

    一个Django的实战项目，以在线教育网站为案例，带你吃透Django的各个知识点，不同于其它课程的是，本课程采用Django＋xadmin完成项目，这套技术组合，可助你解决大部分Python网站后端问题，解决企业的实际需求！

    授课内容

    1. 强力django+杀手级xadmin 打造上线标准的在线教育平台 | 2. 课程中会用到的开发环境介绍 | 3. 如何在windows上安装linux-上 | 4. 如何在windows上安装linux-下 | 5. python的安装和配置 | 6. 虚拟环境的安装和配置 | 7. mysql和navicat的安装和配置 | 8. pycharm的安装和配置 | 9. 课程中会用到的开发环境介绍 | 10. python、mysql、navicat和pycharm的安装和配置 | 11. 开发环境搭建指南-mac | 12. navicat的简单使用 |
    13. pycharm简单介绍(很重要！！！) | 14. 如何在pycharm中调试代码 | 15. pycharm中常用的快捷键(很重要！！！) | 16. django目录结构解析-1 | 17. django目录结构解析-2 | 18. 配置url和静态文件 | 19. orm和model表设计-1 | 20. orm和model表设计-2 | 21. model进行增、删、改、查-1 | 22. model进行增、删、改、查-2 | 23. 从前端html页面提取出数据并保存到数据库中 | 24. django的template数据展示 | 25. 需求分析和app设计 | 26. 新建项目和apps | 27. 自定义userprofile表覆盖默认的user表 |
    28. 如何避免循环import不同apps中的model | 29. course相关的表结构设计 - 1 | 30. course相关的表结构设计 - 2 | 31. 课程机构相关的表结构设计 | 32. operations相关表结构设计 | 33. 通过migrate生成表和本章小结 |
    34. 有没有方法既可以使用外键又不定死外键类型？ | 35. 通过django的admin快速搭建后台管理系统 | 36. 更加强大的后台管理系统-xadmin的配置 | 37. 解决xadmin新建用户出现手机号码重复的问题 | 38. xadmin快速配置列表、搜索、过滤等功能 | 39. 快速注册model到xadmin中 |
    40. xadmin全局配置和本章总结 | 41. 配置首页和登录页面 | 42. 通过django内置的login完成登录 | 43. 登录成功之后的思考 | 44. 通过form表单对登录框进行验证 | 45. 退出登录接口开发 |
    46. 通过云片网发送短信验证码 | 47. 通过django-captcha-simple显示图片验证码 | 48. 图片验证码是如何显示在前端页面中的 | 49. ajax方式完成短信验证码的发送 - 1 |
    50. ajax方式完成短信验证码的发送 - 2 | 51. 通过redis记录发送的验证码 | 52. 手机验证码动态登录 - 1 | 53. 手机验证码动态登录 - 2 | 54. 手机注册功能 - 1 | 55. 手机注册功能 - 2 | 56. cookie和session的登录原理和区别 | 57. 使用了django的什么功能来创建这么多的form表单呢 |
    58. 使用template的static重新引入静态文件 | 59. 通过django的template继承机制重构html页面 | 60. 显示课程机构列表页数据 - 1 | 61. 显示课程机构列表页数据 - 2 | 62. 课程机构经典课程展示- 通过model反向去外键关联数据 | 63. 课程机构分页 | 64. 课程机构的筛选 | 65. 通过order_by对课程机构排序 |
    66. 授课机构排名 - 通过forloop显示索引 | 67. 通过url的include机制重新设计url | 68. 通过modelform完成用户咨询提交..1 | 69. 课程机构详情页 | 70. 课程机构详情页2 | 71. 机构讲师列表 | 72. 机构课程和机构介绍页面开发 |
    73. 课程机构收藏 - 1 | 74. 课程机构收藏 - 2 | 75. django 是否有内置的允许我们将常用逻辑封装好的功能 | 76. 课程列表页开发 - 1 | 77. 课程列表页开发 - 2 | 78. 热门课程推荐 | 79. 课程详情页面显示 | 80. 课程详情页的收藏和相关课程推荐 - 1 |
    81. 课程详情页的收藏和相关课程推荐 - 2 | 82. 课程章节信息展示 | 83. 如何控制一个view必须登录之后才能访问 | 84. 学过该课程的同学还学习过的课程 | 85. 课程评论页面开发 - 1 | 86. 课程评论页面开发 - 2 |
    87. 视频播放 | 88. 如何在不修改现有 view 的代码基础上去自动更新字段 | 89. 讲师列表页开发 | 90. 讲师详情页面开发 | 91. 个人信息显示 | 92. 通过django的modelform处理头像修改 | 93. 修改个人信息 |
    94. 修改密码 | 95. 修改手机号码 | 96. 多种方式实现我的课程页面 | 97. 我的收藏 - 课程机构 | 98. 我的收藏 - 授课讲师 | 99. 我的收藏 - 公开课程 | 100. 全局消息提示和个人消息中心 | 101. 首页 -1 |
    102. 首页 - 2 | 103. 全局搜索功能 - 副本 | 104. 如何快速找到所有的连接并快速的配置 | 105. 课程详情页显示学习用户 | 106. 自定义用户验证模块 | 107. 自定义404、500页面 | 108. sql注入攻击 | 109. xss攻击原理及防范 | 110. csrf攻击与防范 | 111. 如何修改编辑页面的布局 | 112. django的组和权限管理配置 |
    113. 如何定义编辑页面和新增页面的表单 | 114. 如何让讲师可以登录xadmin并过滤列表页数据 | 115. 重载save_models方法控制保存和修改数据的逻辑 | 116. 同一张表的不同数据使用不同的管理器进行管理 | 117. 通过在model中定义方法将图片显示在列表页 | 118. 配置只读字段、排除字段和默认的排序 |
    119. 通过model_icon修改model的图标 | 120. 通过inline配置多张表的一次性编辑 | 121. 集成ueditor富文本编辑器到xadmin中 | 122. 数据的导入和导出配置 | 123. 为什么我们需要云服务器部署 | 124. 如何购买阿里云服务器和连接到阿里云服务器 | 125. uwsgi nginx组合介绍 以及python的安装和配置 | 126. mariadb和redis的安装与配置 | 127. nginx和virtualenvwrapper的安装和配置 | 128. 如何同步本地代码到阿里云服务器 | 129. uwsgi和nginx配置 |
    130. uwsgi和nginx配置 | 131. 配置域名和服务器之间的映射 | 132. 部署后需要注意的事项以及如何排查日志错误 | 133. centos7 下通过uwsgi，nginx部署django应用 | 134. 是否可以在同一个操作系统上部署不同的客户系统？ |

  • 京东电商用户行为分析阶段六

    阶段课时:4天 技术点:13项 发布会:3次

    达成目标

    仅掌握基础的数据分析技能，早已无法满足高薪岗位的需求，所以进阶成为中高级数据工程师势在必行。本课程通过一系列企业级数据分析项目实战，带你夯实数据分析必备技能、拓展数据分析思维、学习数据分析算法应用，让你快速掌握中级数据工程师必备的核心技能，叩开大厂之门！

    选取了2020年11月25日至2022年12月3日之前，有行为的1000w用户的所有行为（包括点击、购买、加购、喜欢）， 数据量约5w，分析了用户行为与商品规律 以京东app平台用户行为数据集，通过行业的指标对淘宝用户进行分析，探索淘宝用户的行为模式，具体指标包括： 日PV和UV分析，付费率分析，复购行为分析，漏斗流失分析和用户价值RFM分析。 通过对用户行为的解读分析，以此来洞察隐藏在用户各个行为背后的寓意，结合洞察的结论提出相关的优化建议给至平台和商家， 从而实现平台、商家和用户的共赢。

    主讲解决方案

    1.海量数据高效加载解决方案| 2.海量商品数据事实同步解决方案| 3.实时收集解决方案| 4.冷热数据隔离解决方案| 5.数据一致性解决方案| 6.多线程处理解决方案

    主讲知识点

    1. 数据分析课程导学 | 2. 数据分析工程师的进阶指南 | 3. 课程的核心目标 | 4. 数据分析报告的关键组成部分 | 5. 如何构建企业级数据分析报告？ | 6. Python还可以这样用（中高级） | 7. 快速处理数据不二选择-NumPy | 8. 数据探索工具-Pandas | 9. 高效处理带有时间序列数据（一） | 10. 高效处理带有时间序列数据（二） | 11. 实战：杭州市地铁流量时间序列数据处理（一） | 12. 实战：杭州市地铁流量时间序列数据处理（二） | 13. 实战：kaggle数据分析可视化实战（一） | 14. 实战：kaggle数据分析可视化实战（二） | 15. 实战：kaggle数据分析可视化实战（三） | 16. 实战：kaggle数据分析可视化实战（四） | 17. 对比分析和分类分析思路与应用场景 | 18. 时间序列分析思路与应用场景 | 19. 实战：淘宝电商商品销量数据分析 | 20. 逻辑树分析思路与应用场景 | 21. 多维度拆解分析思路与应用场景 | 22. 假设检验分析思路与应用场景 | 23. 多个变量间的相关性分析与应用场景 | 24. 实战：互联网金融信贷数据分析 | 25. 如何使用AARRR模型对用户进行分层？ | 26. RFM模型实现精细化用户运营 | 27. 用户画像：如何真正了解用户需求？ | 28. 抖音、QQ浏览器、百度APP的用户画像差异 | 29. 推荐系统中的用户画像 | 30. 从决策树到GBDT的优化（一） | 31. 从决策树到GBDT的优化（二） |

  • 实战：杭州市地铁流量阶段七

    阶段课时:4天 技术点:13项 发布会:3次

    达成目标

    数据清洗是指发现并纠正数据文件中可识别的错误的最后一道程序，包括检查数据一致性，处理无效值和缺失值等。与问卷审核不同，录入后的数据清理一般是由计算机而不是人工完成。 数据清洗(Data cleaning)– 对数据进行重新审查和校验的过程，目的在于删除重复信息、纠正存在的错误，并提供数据一致性。 数据清洗从名字上也看的出就是把“脏”的“洗掉”，指发现并纠正数据文件中可识别的错误的最后一道程序，包括检查数据一致性，处理无效值和缺失值等。因为数据仓库中的数据是面向某一主题的数据的集合，这些数据从多个业务系统中抽取而来而且包含历史数据，这样就避免不了有的数据是错误数据、有的数据相互之间有冲突，这些错误的或有冲突的数据显然是我们不想要的，称为“脏数据”。我们要按照一定的规则把“脏数据”“洗掉”，这就是数据清洗。而数据清洗的任务是过滤那些不符合要求的数据，将过滤的结果交给业务主管部门，确认是否过滤掉还是由业务单位修正之后再进行抽取。不符合要求的数据主要是有不完整的数据、错误的数据、重复的数据三大类。数据清洗是与问卷审核不同，录入后的数据清理一般是由计算机而不是人工完成 。

    长三角都市区一体化,需要杭州具有更高效,快捷的组织区域交通,提升面向区域的交通辐射力与交通承载力,切实发挥区域引领作用.以杭州轨道交通的OD客流数据为研究对象,利用Python对客流数据进行处理,并利用集合论等知识构建地铁站间的OD矩阵,从时间和空间两个角度对客流数据进行可视化分析,发现杭州地铁现有线路的交通时段分布很不均衡.通过Echarts绘制部分地铁站点各时段的OD客流热力图,对杭州城市居民出行特征进行研究,为杭州市在建地铁线路规划及地铁站点选址等提供重要参考依据. 利用Pandas数据分析工具分析杭州地铁站乘客人流量数据，掌握数据分析知识，包括数据预处理【数据清洗，异常值的查找等】， 数据的合并和分组及聚合，还有数据可视化来直观的观察. 分析数据。

    主讲解决方案

    1.海量数据高效加载解决方案| 2.海量商品数据事实同步解决方案| 3.实时收集解决方案| 4.冷热数据隔离解决方案| 5.数据一致性解决方案| 6.多线程处理解决方案

    主讲知识点

    1. 数据分析课程导学 | 2. 数据分析工程师的进阶指南 | 3. 课程的核心目标 | 4. 数据分析报告的关键组成部分 | 5. 如何构建企业级数据分析报告？ | 6. Python还可以这样用（中高级） | 7. 快速处理数据不二选择-NumPy | 8. 数据探索工具-Pandas | 9. 高效处理带有时间序列数据（一） | 10. 高效处理带有时间序列数据（二） | 11. 实战：杭州市地铁流量时间序列数据处理（一） | 12. 实战：杭州市地铁流量时间序列数据处理（二） | 13. 实战：kaggle数据分析可视化实战（一） | 14. 实战：kaggle数据分析可视化实战（二） | 15. 实战：kaggle数据分析可视化实战（三） | 16. 实战：kaggle数据分析可视化实战（四） | 17. 对比分析和分类分析思路与应用场景 | 18. 时间序列分析思路与应用场景 | 19. 实战：淘宝电商商品销量数据分析 | 20. 逻辑树分析思路与应用场景 | 21. 多维度拆解分析思路与应用场景 | 22. 假设检验分析思路与应用场景 | 23. 多个变量间的相关性分析与应用场景 | 24. 实战：互联网金融信贷数据分析 | 25. 如何使用AARRR模型对用户进行分层？ | 26. RFM模型实现精细化用户运营 | 27. 用户画像：如何真正了解用户需求？ | 28. 抖音、QQ浏览器、百度APP的用户画像差异 | 29. 推荐系统中的用户画像 | 30. 从决策树到GBDT的优化（一） | 31. 从决策树到GBDT的优化（二） | 32. 信用卡客户贷款违约预测实战--使用决策树（一） | 33. 信用卡客户贷款违约预测实战--使用决策树（二） | 34. kmeans无监督聚类的强大 | 35. 红楼梦文本聚类实战--使用kmeans | 36. 关联规则分析应用 | 37. 经典模型支持向量积 | 38. 超强拟合能力的神经网络 | 39. 预测服装厂员工生产效率--神经网络（一） | 40. 预测服装厂员工生产效率--神经网络（二） | 41. 如何提出分析问题？ | 42. 数据获取和数据预处理 | 43. 掌握流量和转化指标 | 44. 用户行为路径分析应用 | 45. 使用AARRR漏斗模型拆解用户行为 | 46. 用户消费习惯分析及应对方式 | 47. 从商品相关性中挖掘可用信息 | 48. 使用RFM模型进行用户价值分析及应对方式（一） | 49. 使用RFM模型进行用户价值分析及应对方式（二） | 50. 问题理解与评估指标 | 51. 数据探索性分析（EDA） | 52. 特征工程的重要性 | 53. 如何选择合适的模型？ | 54. 进行模型高阶实践 | 55. 实战案例准备工作 | 56. 数据获取和数据预处理.mp4 | 57. 用户行为数据分析和可视化 | 58. 滑窗法扩充训练集数据 | 59. 构建描述用户的特征 | 60. 构建描述拍客的特征 | 61. 选择有价值的特征 | 62. 使用树模型三剑客 | 63. 构建模型差异性进行融合 | 64. 整章课程回顾 | 65. 数据分析工程师面试问题方向讲解 | 66. 选择合适的意向领域及成长路线 | 67. 学习完这个课程以后怎样继续深入数据分析的学习？ |

  • 接口自动化实战高手阶段项目一

    课时:5天技术点:48项测验:1次学习方式:线下面授

    学习流程

    3.1、流程 | A. 确定业务范围，哪些业务功能的接口可以做自动化——接口自动化的覆盖率可以达到 100% | B. 时间进度安排，人员分配 | C. 确定自动化测试框架 | D. 准备数据——准备接口用例数据 | E. 编写接口自动化脚本 | 3.2、搭建接口自动化测试环境 | 1、安装python3.x——配置python的环境变量 | 2、安装PyCharm——python开发工具 | 3、安装测试库：| Requests库—— 提供了丰富的用来发请求，对请求进行处理的API函数 | xlrd,xlwt库—— 提供了对Excel文件进行操作的API函数 | Pymysql库—— 提供了对Mysql数据库进行操作的API函数 | paramsunittest库—— 实现参数化的库 | Json库—— 提供了对Json格式的数据进行操作的API函数 |

    核心组件 : 1、测试固件 setUp() 每条用例执行之前，首先会执行这个setUp()方法，在setUp()方法中完成准备初始化工作 比如：连接数据库，后期在将Web UI功能自动化的时候，可以在这里去打开浏览器，配置 tearDown() 每条用例执行完成之后，回收一些资源，比如：关闭数据库，关闭浏览器 2、测试用例 每一条用例需要实现一个用例方法，每个用例方法都必须要以test开头 3、测试套件 执行用例的时候，需要创建测试套件，把用例加入测试套件。 4、加载器 用来加载用例的，把测试用例加入测试套件中 5、执行器 用来执行测试套件中的用例的 如何使用unittest框架来编写用例

    主讲解决方案

    与UI相比，接口一旦研发完成，通常变更或重构的频率和幅度相对较小。因此做接口自动化的性价比更高，通常运用于迭代版本上线前的回归测试中。 手工做接口测试，测试数据和参数都可以由测试人员手动填写和更新。 因此我们在考虑将接口用例实现自动化的时候，主要思路就是在单个接口请求的测试用例已经完成的前提下，我们如何解决以下问题：
    1.业务测试场景会调用不止一个接口，下一个接口的请求依赖于上一个接口的数据，需要解决接口依赖问题
    2.token等鉴权数据有过期时间，多个接口用到该参数，需要解决一次修改，多处生效的问题
    3.一个接口要用到多个测试数据做覆盖
    4.批量测试下，需要知道某个接口返回的参数/数据是否符合预期

    主讲知识点

    01. 为什么要学接口自动化测试 | 02. 编写项目登录接口 | 03. 登录加密函数封装 | 04. 剖析Python操作excel思路 | 05. Python操作excel测试用例 | 06. Pytest执行自动化测试 | 07. 轻松入门接口自动化 | 08. 接口自动化代码实战技巧 | 09. 接口自动化执行Yamll测试用例一 | 10. 接口自动化执行Yamll测试用例二 | 11. Pytest框架实现接口自动化测试 | 12. 结合allre实战接口自动化报告 | 13. 接口测试如何处理token | 14. cookies的工作原理 | 15. Pyhon处理cookies技巧 | 16. Jenkins+GitLab实现自动化测试 | 17. 项目常用的接口加密方式 | A. 确定业务范围，哪些业务功能的接口可以做自动化——接口自动化的覆盖率可以达到 100% | B. 时间进度安排，人员分配 | C. 确定自动化测试框架 | D. 准备数据——准备接口用例数据 | E. 编写接口自动化脚本 | 3.2、搭建接口自动化测试环境 | 1、安装python3.x——配置python的环境变量 | 2、安装PyCharm——python开发工具 | 3、安装测试库：| Requests库—— 提供了丰富的用来发请求，对请求进行处理的API函数 | xlrd,xlwt库—— 提供了对Excel文件进行操作的API函数 | Pymysql库—— 提供了对Mysql数据库进行操作的API函数 | paramsunittest库—— 实现参数化的库 | Json库—— 提供了对Json格式的数据进行操作的API函数 |

  • 金融风控项目实战高手阶段项目二

    课时:8天技术点:48项测验:1次学习方式:线下面授

    学习流程

    python金融风控评分卡模型和数据分析概述 | python信用评分卡建模（用户评级+企业评级 | 企业信用风险评级-python信用评分卡应用 | python风控建模实战lendingClub | 移动杯-消费者人群画像-信用智能评分 | 金融现金贷用户数据分析和用户画像 | Anaconda下载安装（python环境搭建） | 2008年华尔街黑天鹅？PSI揭秘 | 黑产诈骗中介独家揭秘 | GermanCredit数据集变量中文释义和业务逻辑 | xlrd,xlwt库—— 提供了对Excel文件进行操作的API函数 | 手把手用excel推导WOE公式 | 论文毕业设计复现机器学习模型案例大本营 | 玩转python风控模型 | python金融风控评分卡模型和数据分析概述 | python信用评分卡建模（用户评级+企业评级 | 玩转python风控模型 | python风控建模实战-风控的阿克琉斯之踵 |

    核心组件 :
    金融风控建模
    逻辑回归评分卡，集成树，神经网络模型介绍
    金融风控模型论文复现
    python风控模型

    历史背景

    自国内金融P2P暴雷，国内很多小贷机构便涌入了东南亚、非洲等未开拓的市场，像印尼、印度、菲律宾、泰国、越南、尼日利亚等国家。 分析这些东南亚/非洲国家的市场特点，有低金融包容性（2017年越南有30.8%的人拥有银行账户），对金融的高需求（2017年借贷的人口比例49.0%）和互联网普及率（2018年为66%）和移动连通性，为东南亚金融科技贷款的发展提供了最有利的条件，开启了野蛮生长的模式。 结合这些地域的贷款市场情况，通常征信体系建设及经济情况都比较差，且大部分的用户资质比较差（也并不满足银行的贷款资格）。种种因素下，机构对于放贷用户的信用/欺诈风险的掌握是比较差的，小贷机构坏账率普遍地高（如一些机构的新借贷用户坏账率可达 20~30%，而银行坏账通常在10%左右）。 在东南亚开展的小额贷款产品，普遍是714高炮（贷款周期7-14天，收取高额逾期费用或放贷时提前从本金中扣除利息-砍头息，有的实际年化利率竟达到300%）。 高利率必然带着高风险，这种业务也很容易受到金融监管政策的封杀。

    主讲知识点

    xlrd,xlwt库—— 提供了对Excel文件进行操作的API函数 | 手把手用excel推导WOE公式 | 论文毕业设计复现机器学习模型案例大本营 | 玩转python风控模型 | python金融风控评分卡模型和数据分析概述 | python信用评分卡建模（用户评级+企业评级 | 玩转python风控模型 | python风控建模实战-风控的阿克琉斯之踵 风控好坏关键在于数据获取及积累。一个明显差异体现在于，机构新借贷的用户坏账率是20~30%（里面骗贷欺诈的比重应该挺高），而对于在机构内复贷的老用户（之前有借贷的再重复贷款的用户）坏账率仅有4%。 也就是，对于机构有掌握借贷历史的用户，其坏账率是显著较低的！信贷风控能力的差异其实也就是数据垄断优势的体现！ 对于小贷机构，营销扩展新用户后，如何应用风控模型尽量准确地评估新用户，并给予较低的额度，当其有较好的信贷历史后再提高额度，好好维持及扩充这部分复贷用户就是业务盈利的关键。 海外的小贷机构申请评分模型的数据主要来源有： 机构历史借贷记录：如使用同一手机号申请贷款次数、逾期次数。在征信体系建设覆盖不完全的情况下，在机构内（或联合机构）的借贷历史往往也是最有说服力及有效的。 客户基本资料：如身份信息、联系方式、职业、收入、借款用途等信息。由于线上申请这些数据往往没有人工审核，信息的可靠性是存疑的，通常可以借助多方数据来核验这些是不是一致及可靠的。 征信机构的征信报告：全球三大商业个人征信巨头分别为益百利（Experian）、艾克发（Equifax）和环联（Trans union），可以提供贷款申请次数、贷款额度、信用账户数等信息。但不足的地方在于，对于征信体系建设不完善的地区，覆盖度、信息记录会比较差（本项目验证的Experian实际覆盖度80%左右）。 手机短信：短信可以提供很多有价值的信息，如话费欠费、银行卡收入支出、联系人数量、日常闲聊短信、机构催收短信、信贷广告数量。可以通过简单关键字匹配、词袋模型等方法抽取关键特征，进一步还可以通过短信分类、信息抽取（实体抽取）等方法统计催收短信数量、欠款金额、收入支出金额等数据（注：获取短信数据肯定是不合规的，对于机构只想要更多的数据保证，而对于用户急着用钱哪还管什么隐私数据。当前，有些APP已被禁止获取短信、通话记录，这也是要随着监管不断完善。） 手机通讯录：可用于统计关联的联系人的逾期次数等特征，以及其他的一些社交信息； APP数据：可统计安装信贷类APP、社交类APP的数量，以及app使用率； 登录IP、GPS、设备号信息：可以用于关联特征，如同一IP下逾期次数，以及建立IP、设备黑名单； 银行对账单数据：如工资流水等信息，可以比较有效体现用户还款能力。 本项目基于东南亚某国近期的500笔的小额贷款交易（数据源于网络，侵删），获取相应Experian征信报告数据，并用Python加工出滑动窗口的征信特征： 如近30天的贷款次数，贷款平均额度、最近贷款日期间隔、历史逾期次数等特征，通过LightGBM构建申请评分模型。 Experian征信报告原始报文包含了个人基本信息、近期贷款信息、信用卡、贷款等历史表现等信息。 考虑征信报告的隐私性，本项目仅提供一份报告示例做特征加工。特征加工后特征选择，关联逾期标签，形成最终数据特征宽表。 python信用评分卡建模（用户评级+企业评级 | 企业信用风险评级-python信用评分卡应用 | python风控建模实战lendingClub | 移动杯-消费者人群画像-信用智能评分 | 金融现金贷用户数据分析和用户画像 | Anaconda下载安装（python环境搭建）

  • 千万级电商用户画像实战高手阶段项目三

    课时:7天技术点:38项发布会:1次学习方式:线下面授

    画像意义

    用户画像可以帮助电商运营者了解产品的消费者是谁，他们有怎样的购物习惯和特征，他们的地域分布、价格偏好等信息。运营者通过构建用户画像体系，可以全方位地了解自身的市场定位和目标用户，从而通过数据化运营方式提升运营效率。 通过分析用户的基本属性数据（年龄、性别、教育水平、收入等），可以对用户进行更加合理的分类，通过更精准的广告营销获取客户；通过分析用户行为数据（搜索、浏览、加购、下单、评论等），可以获得用户的商品偏好、价格偏好等信息，从而帮助入驻商更好地选品，帮助平台更好地进行个性化推荐、搜索排序等；通过分析用户偏好数据（促销敏感度、价格敏感度、平台推荐等）对商品关联内容进行优化，提升个性化推荐的准确率，从而提升转化率、客单价等。

    核心组件 :
    用户画像作为一种定义用户群体、勾画目标用户的有效工具，已经被普遍应用到电商运营工作中。 本项目通过“亚马逊入驻商用户画像构建”案例来带入电商用户画像的构建思路。

    体系搭建

    用户地区分布分析
    用户价格分布分析
    用户购物习惯分析
    用户画像对于多品牌矩阵运营的帮助

    主讲知识点

    一、 用户画像有什么用？ 用户画像可以帮助电商运营者了解产品的消费者是谁，他们有怎样的购物习惯和特征，他们的地域分布、价格偏好等信息。运营者通过构建用户画像体系，可以全方位地了解自身的市场定位和目标用户，从而通过数据化运营方式提升运营效率。 通过分析用户的基本属性数据（年龄、性别、教育水平、收入等），可以对用户进行更加合理的分类，通过更精准的广告营销获取客户；通过分析用户行为数据（搜索、浏览、加购、下单、评论等），可以获得用户的商品偏好、价格偏好等信息，从而帮助入驻商更好地选品，帮助平台更好地进行个性化推荐、搜索排序等；通过分析用户偏好数据（促销敏感度、价格敏感度、平台推荐等）对商品关联内容进行优化，提升个性化推荐的准确率，从而提升转化率、客单价等。 二、【案例】亚马逊美国市场用户画像体系搭建 用户画像搭建思路分三部分展开： 用户地区分布分析 用户价格分布分析 用户购物习惯分析 用户画像对于多品牌矩阵运营的帮助 2.1 用户地区分布分析 用户地区分布分析是建立店铺用户画像的基础性分析。拿到订单报表数据后，对各州的数据进行汇总统计，统计不同地区累计订单量、占比情况，绘制帕累托图。 对各个地区的市场占有情况有了了解之后，可以进一步划分店铺的各类市场： 头部市场：市场份额大于1%的地区； 长尾市场：市场份额大于0.1%小于1%的地区； 低单市场：市场份额小于等于0.1%的地区。 划分完成之后，需要进一步调整，以使市场划分更加合理。通用的划分原则是：“长尾市场”的市场总额必须大于第一“头部市场”的份额；“低单市场”的市场总额必须小于最后一个“头部市场”的份额。 运营者可以结合自身产品的特点分析产品的核心竞争力究竟是什么，对于不同的市场进行针对化选品，实现头部市场、长尾市场、低单市场的差异化运营，以免造成运营资源的浪费。 2.2 用户价格分布分析 对价格进行时间分布分析，观察单日24小时平均客单价变化情况。 将客单价波动划分为三个区间：低价格敏感区间、中价格敏感区间、高价格敏感区间。 观察发现，MS、TN客单价偏高，这些地区有更多的用户会购买客单价较高的商品；WA~MO这些地区的平均客单价中等，这些地区有更多用户会选择购买客单价适中的商品；NJ~OR地区有更多用户会选择购买客单价较低的商品。 2.3 用户购物习惯分析 首先，绘制单日24小时订单量和平均客单价变化图表，观察24小时总订单量变化规律。 观察发现，7:00~20:00属于购物高峰期，电商平台可以在这个时间段期间提升广告曝光率，优化广告单击点击竞价等。 2.4 用户画像对于多品牌矩阵运营的帮助 绘制不同店铺的利润 - 单个订单成本气泡图，将图表划分为四象限，I象限为高成本高利润店铺，二象限为高成本低利润店铺，三象限为低成本低利润店铺，四象限为低成本高利润店铺。 针对多店铺的长期运营策略，是让尽量多的店铺向四象限转化，可以通过提高利润率的方式，让II象限店铺转化为I象限店铺再转化为IV象限店铺；也可以通过降低成本的方式，让II象限店铺转化为III象限店铺再转化为IV象限店铺。 而短期运营策略则是，进行更加合理的资源配置，例如，马上要到“双11大促”了，就需要尽快把二象限店铺资源转移至四象限，避免运营资源浪费。 为气泡图增加颜色维度，代表不同的产品类目，以进行针对化选品。 红色产品，属于成本投入越高，则利润率越大，高风险高收益，属于正常产品；绿色产品的成本都很低，利润率却有高有低，这类产品（比如手机壳）更加考验选品能力和运营能力；蓝色产品成本高，利润率却很低，需要尽快放弃。

    • Python就业班项目在线演示

    人脸识别项目
    TensorFlow MATLAB Numpy OpenCV face_recognition
    用户画像-新闻推荐
    Django wordcloud jieba MongoDB
    爬虫集合-系统集成
    requests selenium scrapy xpath html
    量化交易-机器学习
    Scikit-learn Pendulum TensorFlow PyTorch
    Django-自动化办公
    Tornado WebSockets re flask MySQL
    生鲜外卖-三端项目
    Crypt加密 pandas PyMySQL Django MySQL
    更多项目演示, 可以到店试听哦!

    适合人群

    应届生/大三/大四

    专业岗位岗位需求多，前景好，适合作为应届生的第一职业长远发展

    想转行

    解决当前职位遇到的瓶颈,提高收入,前景清晰，大势所趋，抓住机会

    专业爱好者

    让爱好变成自己的职业!兴趣是最好的导师

    0基础,但有创意有想法的人

    有创意有想法是学习本专业的加分技能哦~

    毕业学员数据分析

    Python薪资是程序员中老大

    华北地区Python职位月平均需求量

    当前Python职位仅占未来5年的5%

    教学环境

    课程亮点

    全天主讲老师亲授

    想象一下全天,都有一个马上能给你讲明白代码问题的好老师!

    案例实战进阶

    我们不会让你学得很累,我们会把课程设计的像玩游戏一样有趣上瘾.

    课下友情互助

    倡导互助和交流,因为未来你去的公司将会需要你们的团队力和人情味.

    新技术及时更新

    我们的团队基因就是技术至上,紧贴行业动态!

    零基础上手课

    小白别担心,专门为你大力研发了趣味上手课程.

    多样性案例

    全生态链的公司技术需求,变成案例,完整耐心教你

    企业接口案例

    手机端/云计算/大数据/AI等接口和框架

    作品全部上线

    毕业前你会得到整套上线运行起来的程序

    IT编程类课程是我们的旗舰课程

    课程亮点

    icon及交互效果 icon及交互效果

    媒体网站

    python的Django制作完整带视频的新闻网站

    引导页面/海报设计 引导页面/海报设计

    手机网站

    flask框架配合前端响应式制作手机网站

    产品界面设计及交互 产品界面设计及交互

    蜘蛛爬虫

    数据采集各种依赖,爬虫框架,抓取各种数据

    整套app设计 整套app设计

    数据存储

    除了MySQL还有分布式存储MongoDB

    整套淘宝店铺设计 整套淘宝店铺设计

    数据分析

    numpy/pandas等分析依赖全会讲

    整套营销型网站设计 整套营销型网站设计

    机器学习

    scikit-learn与keras都讲给你

    产品经理/数据分析 产品经理/数据分析

    广告推荐系统

    学python后的核心作品

    C4D C4D

    安全

    如何让你看起来经验丰富,安全!

    大厂技能

    python
    MySQL
    Django
    Scrapy
    Flask
    NumPy
    Anaconda
    scikit-learn
    Keras
    MongoDB
    Matplotlib
    redis

    高品质人才

    优秀学员
    ui_优秀学员公司_01.png
  • 姓名:王宏瑞
  • 薪资:¥9500
  • 基础:零基础入学
  • 入职:优易办公
    • 优秀学员
    ui_优秀学员公司_01.png
  • 姓名:孙钰
  • 薪资:¥8500
  • 基础:计算机专业
  • 入职:恒生聚源
    • 优秀学员
    ui_优秀学员公司_01.png
  • 姓名:陈爽
  • 薪资:¥7800
  • 基础:计算机专业
  • 入职:云翼大数据
    • 优秀学员
    ui_优秀学员公司_01.png
  • 姓名:王铮
  • 薪资:¥110000
  • 基础:其他行业转行
  • 入职:国政通
    • 优秀学员
    ui_优秀学员公司_01.png
  • 姓名:李响
  • 薪资:¥9000
  • 基础:零基础入学
  • 入职:金数源数据
    • 优秀学员
    ui_优秀学员公司_01.png
  • 姓名:徐上上
  • 薪资:¥8800
  • 基础:有编程基础
  • 入职:丰桥
    • 优秀学员
    ui_优秀学员公司_01.png
  • 姓名:李静楠
  • 薪资:¥7500
  • 基础:代码爱好者
  • 入职:慧动创想
    • 优秀学员
    ui_优秀学员公司_01.png
  • 姓名:刘唯
  • 薪资:¥12500
  • 基础:零基础入学
  • 入职:清博大
    • 优秀学员
    ui_优秀学员公司_01.png
  • 姓名:焦丹
  • 薪资:¥10500
  • 基础:其它行业转行
  • 入职:帝隆科技
    • 优秀学员
    ui_优秀学员公司_01.png
  • 姓名:李明静
  • 薪资:¥7800
  • 基础:前端基础
  • 入职:怡合达
    • 优秀学员
    ui_优秀学员公司_01.png
  • 姓名:南文智
  • 薪资:¥8300
  • 基础:java基础
  • 入职:用友
    • 优秀学员
    ui_优秀学员公司_01.png
  • 姓名:丁盼
  • 薪资:¥9500
  • 基础:有C基础
  • 入职:富士康

    • 【学员作品-视频讲解】

    更多学员作品

    【Python专业】近期就业名单

    仅显示最新20条，真实就业数据，禁止复制或爬虫，违者将依法追究责任，特此声明!

    姓名(年龄)/薪资 专业/就业时间 公司名称/公司地点
    刘凯(24) Python 通**名联科技有限公司
    ¥9100 2023-05-02 北京市丰台区汽车*********
    靳*(18) Python **腾网络有限公司
    ¥9500 2023-05-02 天津***
    蒋*香(31) Python 方**科技科技有限公司
    ¥9500 2023-05-02 回龙观镇北******
    王*(18) Python 万**电脑科技有限公司
    ¥6100 2023-05-02 棉纺路19号院********
    陈秀英(26) Python 银**信息有限公司
    ¥6400 2023-05-02 超前路甲1******
    王凤兰(36) Python **博腾飞网络有限公司
    ¥6300 2023-05-02 北京市石景山区石景**********
    张波(30) Python 趋**信息有限公司
    ¥8600 2023-05-02 广开四马******
    李*燕(24) Python 中**创业网络有限公司
    ¥7000 2023-05-02 北京市海淀区西北旺东路1*************
    刘*英(17) Python **亿传媒有限公司
    ¥6500 2023-05-02 北京市海淀区羊坊*********
    王英(19) Python 商**冠联网络有限公司
    ¥7500 2023-05-02 北京市大*****
    王*(17) Python 天**科技有限公司
    ¥7500 2023-05-02 酒仙桥东*****
    王*梅(18) Python **提科信信息有限公司
    ¥6000 2023-05-02 空港经济区三道1*********
    梁玉珍(22) Python **艺传媒有限公司
    ¥8800 2023-05-02 开发区南海路3********
    钱*国(26) Python **歌信息传媒有限公司
    ¥7300 2023-05-02 宏展***
    房婷婷(29) Python 济**亿次元信息有限公司
    ¥7400 2023-05-02 学府工业*****
    罗*(29) Python **海科技科技有限公司
    ¥8800 2023-05-02 北京市海淀区上********
    何*(20) Python **禾传媒有限公司
    ¥9400 2023-05-02 北京市大*****
    谭*英(17) Python 创**世纪网络有限公司
    ¥5900 2023-05-02 北京市海淀区杏石*********
    刘*香(22) Python 济**亿次元信息有限公司
    ¥7200 2023-05-02 北京市朝阳区*******
    王*(25) Python 信**致远网络有限公司
    ¥8800 2023-05-02 一经路3*****

    *仅显示最新20条，真实就业数据，禁止复制或爬虫，违者将依法追究责任，特此声明!

    展开查看更多就业数据

    大神级讲师团队

    刘玉琳讲师【全栈工程师】 刘玉琳老师曾任职于新西兰Vodafone公司4年，项目经验丰富，并在2017年任职天津佳软科技网络有限公司项目经理。 近7年开发和技术管理经验。 主要从事后端技术和数据分析领域，有丰富的算法经验与物流平台核心系统的架构设计和开发经验。 拥有丰富的大型项目开发经验，目前已拥有5年教学经验， 授课风格诙谐幽默，讲解到位细致。在主流在线教育网站现已上线多门课程，广受用户与学员好评。 主攻后端Python/R方向数据分析。经历过杭州地铁流量大型项目历练， 善于运用各项互联网中间件及系统设计技术为业务能力建设提供亿级流量的基础保障。后参与政府项目《石家庄市智能交通》。
    王伟平讲师【教学总监/全栈架构师】 毕业于天津大学计算机科学与技术学院，拥有近8年开发及项目管理经验。曾任【大宇宙信息创造】项目管理，参与研发千万级高并发实时数据监控项目、大型分布式架构电商项目; 并任【中软杭州】公司等两家国内企业高级技术顾问；曾参与项目【科瑞泰Q医】开发,【佳软医药ERP】项目管理，其累计用户700万+; 目前已拥有4年教学经验，在教授过的学员当中，东京、大阪、悉尼、惠灵顿、奥克兰、温哥华以及洛杉矶均有成功入行IT的学员65例, 其中包括帮助学员拿下UCLA，UTS等大学offer以及奖学金7例,在国内成功入职上市互联网公司的学员达13%, 其中包括QQ音乐、有赞、浪潮以及惠普等互联网公司，且均有不错的口碑。 个人Github以及Gitee账号截止目前，已累计获得6万Star数量。2020年受邀开始参与开源商业应用套件【Odoo14社区版】的中文版本代码贡献。
    冯佳讲师【高级后端工程师】 冯佳老师，Python学科高级讲师。毕业于天津理工大学，9年IT行业经验，擅长Python大型项目的架构与实现，熟悉前端框架、算法、图像处理、模式识别算法等， 对深度学习算法有深入的理解，并有多个C++、Java项目经验。 精通Python编程、网络爬虫和数据分析、人工智能，精通HTML5、CSS、JavaScript等前端开发技术。 曾参与过手机银行，有利网互联网金融产品研发，互联网家装O2O产品研发以及用户数据采集分析，直播即时通讯项目的研发与优化。 是一名技术“偏执狂”，喜欢研究新技术和原理，对互联网行业充满信心，看好IT行业的前景，具有独特的授课技巧。 沟通能力及逻辑思维强，为人热情，乐于与学员分享自己的经验和技术。
    夏磊银讲师【教学副总监/全栈工程师】 夏磊银老师曾任职于中国移动、平安保险4年，项目经验丰富，并在2017年任职天津蚁航科技网络有限公司项目经理。 近7年开发和技术管理经验。 主要从事后端技术和架构领域，有丰富的电商平台与物流平台核心系统的架构设计和开发经验。 拥有丰富的大型项目开发经验，目前已拥有5年教学经验， 授课风格诙谐幽默，讲解到位细致。在主流在线教育网站现已上线多门课程，广受用户与学员好评。 主攻Java后端高性能集群以及R/Python/SQL语言大数据分析。经历过天猫双十一巨峰流量历练， 善于运用各项互联网中间件及系统设计技术为业务能力建设提供亿级流量的基础保障。后曾参与开发国家级项目《地震前兆系统》， 在蚁航科技作为项目经理带团队开发的医疗信息平台《嘟嘟会议》，平均每天能流畅提供上百场医疗会议，为蚁航科技转型到服务模式提供了丰厚的技术支持。
    李鑫宇讲师【高级Python工程师】 六年软件开发经验，主导研发了多端大型网络游戏平台、网络原创文学运营及服务管理系统、体育赛事直播及数据分析平台、手机平台智能安全服务等多个大型项目。 累计4年授课经验中，饱受学员好评，在提供Python核心、开发能力提升、数据库、爬虫技术、数据分析、web开发题、人工智能等七大专题课程上有做出巨大贡献! 曾在个人博客上发表过关于Python企业级应用开发、移动客户端开发、企业架构研究、中间件开发等多个领域的内容文章，其访问量超过150万次，也获得了CSDN博客专家称号。 也曾受2022央广网“声彻中国”教育年度峰会组委会邀请,接受过个人专访。授课经验丰富，思路清晰，善于使用引导式授课方式提升学员思考能力。 "所谓传道、授业、解惑也"是他的授课谨言!
    刘艳博讲师【高级后端工程师】 诚筑说高级讲师, 就职量子科技7年, 期间参与量子足球、量子炫舞等月流水过千万网络手游及多款单机手游的开发工作，参与农业部防治灾害、信息分类等深度学习科研项目; 从事游戏开发及人工智能深度学习研究工作多年，对人工智能、图像识别技术有深入研究，Unity3D开发经验丰富，精通OpenGL及GPU编程。 具有丰富的架构设计和教学经验。在敏捷开发、架构设计和性能调优方面有着深厚的造诣。20年如一日保持对技术的追求和热爱，授课幽默、创新，匠心与执行力并存， 致力于实战课堂，影响学员超300人，是学员膜拜的大神讲师，一切从实际工作经验出发,培养学员分析理解能力与自主开发能力,深受学员喜爱。中软集团、净好科技等省内外多家集团公司特邀架构师。

    右划以查看更多讲师信息☞

    空 空

    在线教育
    更多在线教育

    老师会找大互联网公司，面试题实时更新

    1. 玩蟹科技手机python程序员面试题

      在Python中有多少种运算符?
      解释一下算数运算符。

      诚筑说python课程对应解决方案

      答：在Python中，我们有7种运算符:算术运算符、关系运算符、赋值运算符、逻辑运算符、位运算符、成员运算符、身份运算符。
      我们有7个算术运算符，能让我们对数值进行算术运算： +
      -
      *
      /
      向下取整除
      取模
      取幂

    2. 小鹏汽车python程序员面试题

      解释下django-debug-toolbar的使用

      诚筑说python课程对应解决方案

      使用django开发站点时，可以使用django-debug-toolbar来进行调试。在settings.py中添加’debug_toolbar.middleware.DebugToolbarMiddleware’到项目的MIDDLEWARE_CLASSES 内。

    3. 中科研拓python程序员面试题

      什么情况下需要把类和方法的实现写入.h文件？

      诚筑说python课程对应解决方案

      模板类以及模板函数的定义和实现需要都写入.h文件。

    4. 苏宁易购python程序员面试题

      什么是python的装饰器？

      诚筑说python课程对应解决方案

      答：Python的装饰器也是一个函数，不过是返回函数对象的高阶函数，可以让其他函数在不修改代码的情况下增加额外的功能。经常用于添加log， 时间性能测试，事务处理，缓存等。装饰器可以抽离与具体函数无关的相同代码并进行重用。

    5. 分众传媒python程序员面试题

      如何在 Python 中管理内存?

      诚筑说python课程对应解决方案

      答：Python 用一个私有堆内存空间来放置所有对象和数据结构，我们无法访问它。由解释器来管理它。不过使用一些核心 API，我们可以访问一些 Python 内存管理工具控制内存分配。

    6. 软银集团python程序员面试题

      什么是 Flask？

      诚筑说python课程对应解决方案

      Flask 是一个使用 Python 编写的轻量级 Web 应用框架，使用 BSD 授权。其 WSGI 工具箱采用 Werkzeug，模板引擎则使用 Jinja2。除了 Werkzeug 和 Jinja2 以外几乎不依赖任何外部库。因为 Flask 被称为轻量级框架。 Flask 的会话会话使用签名 cookie 来允许用户查看和修改会话内容。它会记录从一个请求到另一个请求的信息。但如果要修改会话，则必须有密钥 Flask.secret_key。

    7. 滴滴Java程序员面试题

      Python 中如何实现多线程？

      诚筑说python课程对应解决方案

      线程是轻量级的进程，多线程允许一次执行多个线程。众所周知，Python 是一种多线程语言，它有一个多线程包。GIL（全局解释器锁）确保一次执行单个线程。一个线程保存 GIL 并在将其传递给下一个线程之前执行一些操作，这就产生了并行执行的错觉。但实际上，只是线程轮流在 CPU 上。当然，所有传递都会增加执行的开销。

    8. 友盟python程序员面试题

      如何用Python输出一个Fibonacci数列？

      诚筑说python课程对应解决方案

      a,b = 0, 1
      while b<100:
      print (b),
      a, b = b, a+b

    9. 华为python程序员面试题

      请写出一段Python代码实现删除一个list里面的重复元素

      诚筑说python课程对应解决方案

      >>> l = [1,1,2,3,4,5,4]
      >>> list(set(l))
      [1, 2, 3, 4, 5]
      或者
      d = {}
      for x in mylist:
      d[x] = 1
      mylist = list(d.keys())

    10. 万国数据python程序员面试题

      Python里面search()和match()的区别？

      诚筑说python课程对应解决方案

      match()函数只检测RE是不是在string的开始位置匹配，search()会扫描整个string查找匹配, 也就是说match()只有在0位置匹配成功的话才有返回，如果不是开始位置匹配成功的话，match()就返回none

    11. 春雨医生python程序员面试题

      在Python中如何使用多进制数字？

      诚筑说python课程对应解决方案

      我们在Python 中，除十进制外还可以使用二进制、八进制和十六进制。
      1、二进制数字由0和1 组成，我们使用0b或0B前缀表示二进 制数。
      >>> int(ob1010)
      10
      2、使用bin0函数将-个数字转换为它的二进制形式。
      >>>. bin(0xf)
      '0b11 11'
      3、八进制数由数字0-7组成，用前缀0o或00表示8进制数。
      >>> oct(8)
      '0o10'

    12. B站python程序员面试题

      如何用Python删除一个文件？

      诚筑说python课程对应解决方案

      使用os.remove(filename)或者os.unlink(filename);

    私活不断

    助你快速得到OFFER

    电话咨询
    QQ咨询
    加入微博
    微信咨询