40m QIL Cryo_Lab CTN SUS_Lab TCS_Lab OMC_Lab CRIME_Lab FEA ENG_Labs OptContFac Mariner WBEEShop
  40m Log, Page 54 of 330  Not logged in ELOG logo
ID Date Author Type Categoryup Subject Text Attachments
  15383   Mon Jun 8 18:14:55 2020 gautamUpdateCDSVertex FEs crashedSummary:

Around 5pm local time, the three
vertex FEs crashed. AFAIK, 
 FEcrash_CDSoverview.png 
  15423   Mon Jun 22 17:51:50 2020 gautamUpdateCDSc1iscaux was downThe machine needed a hard reboot as it
was un-ssh-able. 

The exact time that the machine
  
  15462   Thu Jul 9 16:02:33 2020 JonHowToCDSProcedure for setting up BHD front-endsHere is the procedure for setting up the
three new BHD front-ends (c1bhd, c1sus2,
c1ioo - replacement). This plan is based
  
  15515   Wed Aug 12 17:36:42 2020 gautamUpdateCDSTiming distribution slot availabilitySee Attachment
#1. J8 was connected
 IMG_8706.JPG 
  15518   Wed Aug 12 20:14:06 2020 KojiUpdateCDSTiming distribution slot availabilityI believe we will use two new chassis at
most. We'll replace c1ioo from Sun to
Supermicro, but we recycle the existing timing
  
  15521   Thu Aug 13 11:30:19 2020 gautamUpdateCDSTiming distribution slot availabilityThat's great. I wonder if we can also
get away with not adding new Dolphin infrastructure.
I'd really like to avoid changing any
  
  15522   Thu Aug 13 13:35:13 2020 KojiUpdateCDSTiming distribution slot availabilityThe new dolphin eventually helps us. But
the installation is an invasive change to
the existing system and should be done at
  
  15524   Fri Aug 14 00:01:55 2020 gautamUpdateCDSBHD / OMC model channels now added to autoburtI added the EPCIS channels for the c1omc
model (gains, matrix elements etc) to the
autoburt such that we have a record of these,
  
  15525   Fri Aug 14 10:03:37 2020 JonUpdateCDSTiming distribution slot availabilityThat's great news we
won't have to worry about a new timing
fanout for the two new machines, c1bhd and
  
  15564   Tue Sep 8 11:49:04 2020 gautamUpdateCDSSome path changesI edited /diskless/root.jessie/home/controls/.bashrc
so that I don't have to keep doing this
  
  15578   Wed Sep 16 17:44:27 2020 gautamUpdateCDSAll vertex FE models restartedI had to make a CDS change to the c1lsc
model in an effort to get a few more signals
into the models. Rather than risk requiring
 CDS.png 
  15609   Sat Oct 3 16:51:27 2020 gautamUpdateCDSRFM errorsAttachment
#1 shows that the
 RFMstat.pngRFMerrs.png 
  15646   Wed Oct 28 09:35:00 2020 KojiUpdateCDSRFM errorsI'm starting the model restarts from
remote. Then later I'll show up in the
lab to do more hard resets.
 Screen_Shot_2020-10-28_at_10.06.00.png 
  15659   Wed Nov 4 17:14:49 2020 gautamUpdateCDSc1bhd setupI am working on the setup of a CDS FE,
so please do not attempt any remote
login to the IPMI interface of c1bhd
  
  15663   Fri Nov 6 14:27:16 2020 gautamUpdateCDSc1bhd setup - diskless bootI was able to boot one of the 3 new Supermicro
machines, which I christened c1bhd, in a
diskless way (with the boot image hosted
 Screenshot_2020-11-06_14-26-54.png 
  15695   Wed Dec 2 17:54:03 2020 gautamUpdateCDSFE rebootAs discussed at the meeting, I commenced
the recovery of the CDS status at 1750 local
time.
  
  15719   Wed Dec 9 15:37:48 2020 gautamUpdateCDSRFM switch IP addr resetI suspect what happened here is that the
IP didn't get updated when we went from
the 131.215.113.xxx system to 192.168.113.xxx
 Screenshot_2020-12-09_15-39-20.pngScreenshot_2020-12-09_15-46-46.png 
  15737   Fri Dec 18 10:52:17 2020 gautamUpdateCDSRFM errors As I was working on the IFO re-alignment
just now, the rfm errors popped up again.
I don't see any useful diagnostics on
 RFMdiag.png 
  15738   Fri Dec 18 22:59:12 2020 JonConfigurationCDSUpdated CDS upgrade planAttached is the layout for the "intermediate"
CDS upgrade option, as was discussed on Wednesday.
Under this plan:
 CDS_2020_Dec.pdfCDS_2020_Dec.graffle 
  15742   Mon Dec 21 09:28:50 2020 JamieConfigurationCDSUpdated CDS upgrade plan


Quote:


  
  15743   Mon Dec 21 18:18:03 2020 gautamUpdateCDSMany model changesThe CDS model change required to get the
AS WFS signals into the RTCDS system are
rather invasive.
 CDSoverview.png 
  15744   Tue Dec 22 22:11:37 2020 gautamUpdateCDSAA filt repaired and reinstalledKoji fixed the problematic channel - the
issue was a bad solder joint on the input
resistors to the THS4131. The board was re-installed.
  
  15745   Wed Dec 23 10:13:08 2020 gautamUpdateCDSNear term upgradesSummary:


There appears to be insufficient
 IMG_0020.pdf 
  15746   Wed Dec 23 23:06:45 2020 gautamConfigurationCDSUpdated CDS upgrade plan
The diagram should clearly show
the host machines and the expansion chassis
and the interconnects between them.
We
  
  15760   Tue Jan 12 08:21:47 2021 anchalHowToCDSAcromag wiring investigationI used an Acromag XT1221 in CTN to play
around with different wiring and see what
works.  Following are my findings:
 SingleEndedNonFloatingWiring.pdfSingleEndedFloatingWiring.pdfDifferentialSignalWiring.pdf 
  15761   Tue Jan 12 11:42:38 2021 gautamHowToCDSAcromag wiring investigationThanks for the systematic effort.


Can you please post some
time domain plots (ndscope perferably or
  
  15762   Wed Jan 13 16:09:29 2021 AnchalHowToCDSAcromag wiring investigationI'm working on a better wiring diagram
that takes into account multiple power supplies,
how their GND is passed forward to the circuits
 SimpleTestsStriptoolImages.pdf 
  15763   Thu Jan 14 11:46:20 2021 gautamUpdateCDSExpansion chassis from LHOI picked the boxes up this morning. The
inventory per Fil's email looks accurate.
Some comments:
  
  15764   Thu Jan 14 12:19:43 2021 JonUpdateCDSExpansion chassis from LHOThat's fine, we didn't actually
request those. We bought and already have
in hand new PCIe x4 cables for the chassis-host
  
  15765   Thu Jan 14 12:32:28 2021 gautamUpdateCDSRogue master may be doing something good?I think the "Rogue
Master" setting on the RFM network
may be doing some good. 5 mins, ago, all
 Screenshot_2021-01-14_12-35-52.png 
  15766   Fri Jan 15 15:06:42 2021 JonUpdateCDSExpansion chassis from LHOKoji asked me assemble a detailed breakdown
of the parts received from LHO, which I do
based on the high-res photos
  
  15767   Fri Jan 15 16:54:57 2021 gautamUpdateCDSExpansion chassis from LHOCan you please provide a link to this "list
of boards"? The only document I can
find is T1800302.
 Screenshot_2021-01-15_17-00-06.png 
  15770   Tue Jan 19 13:19:24 2021 JonUpdateCDSExpansion chassis from LHOIndeed T1800302 is
the document I was alluding to, but I completely
missed the statement about >3 GHz speed.
  
  15771   Tue Jan 19 14:05:25 2021 JonConfigurationCDSUpdated CDS upgrade planI've produced updated diagrams of the
CDS layout, taking the comments in 15476 into
 40m_CDS_Network_-_Planned.pdf40m_CDS_Network_-_Current.pdf 
  15772   Tue Jan 19 15:43:24 2021 gautamConfigurationCDSUpdated CDS upgrade planNot sure if 1Y1 can accommodate both c1sus2
and c1bhd as well as the various electronics
chassis that will have to be installed. There
  
  15775   Wed Jan 20 19:12:16 2021 gautamUpdateCDSSLwebview fixedAfter fixing multiple issues, the model
webviews are updating, should be done
by tomorrow. It should be obvious from the
  
  15778   Tue Jan 26 12:59:51 2021 AnchalHowToCDSAcromag wiring investigationTaking inspiration from SR785 on how it
reads differential signal, I figured that
acromag too always need a way to return current
 TestingDifferentialSignalWithFloatingRTNwrtIN-.pdf 
  15779   Tue Jan 26 15:37:25 2021 AnchalHowToCDSAcromag wiring investigationHere I present few wiring diagrams when
using Acromag to avoid noisy behavior and
ground loops.
 GeneralLabWiring.pdfGeneralLabWiring2.pdfGeneralLabWiring3.pdf 
  15785   Fri Jan 29 17:57:17 2021 AnchalHowToCDSAcromag wiring investigationI found a
white paper  from Acromag which
discusses how to read differential signal
 GeneralLabWiringDiffWith2Wires.pdfGeneralLabWiringDiffWith3Wires.pdfDiffReadResistorbtwnINandRTN.pdf 
  15791   Tue Feb 2 23:29:35 2021 KojiUpdateCDSCDS crash and CDS/IFO recoveryI worked around the racks and the feedthru
flanges this afternoon and evening. This
inevitably crashed c1lsc real-time process.
  
  15792   Wed Feb 3 15:24:52 2021 gautamUpdateCDSCDS crash and CDS/IFO recoveryDidn't get a chance to comment during the
meeting - This was almost certainly
a coincidence. I have never had to do
  
  15794   Wed Feb 3 18:53:31 2021 KojiUpdateCDSCDS crash and CDS/IFO recoveryReally!? I didn't reboot the machines
between "sudo date" and "rtcds
start c1x0*". I tried rtcds. If it didn't
  
  15795   Wed Feb 3 21:28:02 2021 gautamUpdateCDSCDS crash and CDS/IFO recoveryI am just reporting my experience - this
may be a new failure mode but I don't
think so. In the new RTCDS, the ntp server
  
  15833   Mon Feb 22 14:53:47 2021 gautamUpdateCDSdtt-ezca-tools installed on rossaThe defaults cds-crtools didn't come
with some of the older ezcautils (like ezcaread,
ezcawrite etc). This is now packaged for
  
  15842   Wed Feb 24 22:13:47 2021 JonUpdateCDSPlanning document for front-end testingI've started writing up a rough testing
sequence for getting the three new front-ends
operational (c1bhd, c1sus2, c1ioo). Since
  
  15843   Thu Feb 25 14:30:05 2021 gautamUpdateCDSnew c1bhd setup - diskless bootI've set up one 2U server unit received
from KT in the control room area (the fans
in it are pretty loud but other than
  
  15872   Fri Mar 5 17:48:25 2021 JonUpdateCDSFront-end testingToday I moved the c1bhd machine from the
control room to a new test area set up behind
(west of) the 1X6 rack. The test stand is
 image_67203585.JPGimage_67216641.JPGimage_17185537.JPG 
  15890   Tue Mar 9 16:52:47 2021 JonUpdateCDSFront-end testingToday I continued with assembly and testing
of the new front-ends. The main progress
is that the IO chassis is now communicating
 image_72192707.JPG 
  15904   Thu Mar 11 14:27:56 2021 gautamUpdateCDStimesync issue?I have recently been running into hitting
the 4MB/s data rate limit on testpoints -
basically, I can't run DTT TF and spectrum
 timesync.pngc1lscMods.png 
  15905   Thu Mar 11 18:46:06 2021 gautamUpdateCDScds rebootSince Koji was in the lab I decided to
bite the bullet and do the reboot. I've
modified the reboot script - now, it prompts
 CDSoverview.png 
ELOG V3.1.3-